Leren
Transformer
Uitleg in gewone taal van Transformer, met gerelateerde cataloguspagina's.
Definitie
De transformer is de neurale architectuur achter de meeste moderne taal- en multimodale modellen. Hij gebruikt attention om tokens in een reeks te relateren.
Hoe het werkt
Elk token schenkt aandacht aan andere tokens en bouwt contextuele representaties in gestapelde lagen. Varianten wisselen diepte, breedte en attention-ontwerp af tegen kosten en kwaliteit.