Apprendre
Transformer
Explication en langage simple de Transformer, avec les pages catalogue liées.
Définition
Le transformer est l'architecture neuronale derrière la plupart des modèles de langage et multimodaux modernes. Il utilise l'attention pour relier les tokens dans une séquence.
Comment ça marche
Chaque token porte attention aux autres, construisant des représentations contextuelles dans des couches empilées. Les variantes arbitrent profondeur, largeur et conception de l'attention selon le coût et la qualité.