Lernen
Token
Erklärung von Token in klarer Sprache, mit verwandten Katalogseiten.
Definition
Tokens sind die Textstücke, die ein Modell liest und schreibt — oft Subwörter statt ganzer Wörter.
So funktioniert es
Ein Tokenizer zerlegt die Eingabe in Token-IDs. Kontextfenster, Ausgabelimits und API-Rechnungen werden meist in Tokens gemessen, nicht in Zeichen.