Lernen
Transformer
Erklärung von Transformer in klarer Sprache, mit verwandten Katalogseiten.
Definition
Der Transformer ist die neuronale Architektur hinter den meisten modernen Sprach- und multimodalen Modellen. Er nutzt Attention, um Tokens in einer Sequenz in Beziehung zu setzen.
So funktioniert es
Jeder Token achtet auf andere und bildet kontextuelle Repräsentationen in gestapelten Schichten. Varianten tauschen Tiefe, Breite und Attention-Design gegen Kosten und Qualität.