Apprendre
Tokens
Explication en langage simple de Tokens, avec les pages catalogue liées.
Définition
Les tokens sont les morceaux de texte qu'un modèle lit et écrit — souvent des sous-mots plutôt que des mots entiers.
Comment ça marche
Un tokenizer découpe l'entrée en identifiants de token. Les fenêtres de contexte, les limites de sortie et les factures d'API se mesurent généralement en tokens, pas en caractères.