Leren
Tokens
Uitleg in gewone taal van Tokens, met gerelateerde cataloguspagina's.
Definitie
Tokens zijn de tekststukken die een model leest en schrijft — vaak subwoorden in plaats van hele woorden.
Hoe het werkt
Een tokenizer splitst invoer in token-ID's. Contextvensters, outputlimieten en API-rekeningen worden meestal in tokens gemeten, niet in tekens.