Impara
Transformer
Spiegazione in linguaggio semplice di Transformer, con pagine correlate del catalogo.
Definizione
Il transformer è l'architettura neurale dietro la maggior parte dei modelli linguistici e multimodali moderni. Usa l'attenzione per mettere in relazione i token in una sequenza.
Come funziona
Ogni token presta attenzione agli altri, costruendo rappresentazioni contestuali in strati impilati. Le varianti scambiano profondità, larghezza e design dell'attenzione per costo e qualità.