Impara
Token
Spiegazione in linguaggio semplice di Token, con pagine correlate del catalogo.
Definizione
I token sono i pezzi di testo che un modello legge e scrive — spesso sottoparole piuttosto che parole intere.
Come funziona
Un tokenizer suddivide l'input in ID di token. Le finestre di contesto, i limiti di output e le fatture API si misurano di solito in token, non in caratteri.