Groot taalmodel

Een large language model (LLM) is een neuraal netwerk dat is getraind om het volgende token in tekst op grote schaal te voorspellen. Dezelfde kernidee drijft nu chat, coding, samenvattingen en veel agents.

Tekst wordt in tokens gesplitst. Het model scoort mogelijke volgende tokens en trekt samples uit die verdeling. Capaciteiten komen uit pretraining-data, post-training (inclusief preferentiemethoden) en de interface rond het model.