Modelo de lenguaje grande

Un modelo de lenguaje grande (LLM) es una red neuronal entrenada para predecir el siguiente token en un texto a gran escala. La misma idea central impulsa ahora el chat, la programación, el resumen y muchos agentes.

El texto se divide en tokens. El modelo puntúa los posibles tokens siguientes y muestrea de esa distribución. Las capacidades proceden de los datos de preentrenamiento, del postentrenamiento (incluidos los métodos de preferencia) y de la interfaz que envuelve al modelo.