Aprender
Transformer
Explicación en lenguaje claro de Transformer, con páginas relacionadas del catálogo.
Definición
El transformer es la arquitectura neuronal detrás de la mayoría de los modelos modernos de lenguaje y multimodales. Usa atención para relacionar tokens en una secuencia.
Cómo funciona
Cada token atiende a los demás y construye representaciones contextuales en capas apiladas. Las variantes intercambian profundidad, anchura y diseño de la atención por coste y calidad.