Grand modèle de langage

Un large language model (LLM) est un réseau de neurones entraîné à prédire le jeton suivant dans un texte à grande échelle. La même idée de fond alimente désormais le chat, le code, le résumé et de nombreux agents.

Le texte est découpé en tokens. Le modèle note les tokens suivants possibles et échantillonne cette distribution. Les capacités viennent des données de pré-entraînement, du post-entraînement (y compris les méthodes de préférence) et de l'interface autour du modèle.