Aprender
Tokens
Explicación en lenguaje claro de Tokens, con páginas relacionadas del catálogo.
Definición
Los tokens son los fragmentos de texto que un modelo lee y escribe — a menudo subpalabras más que palabras enteras.
Cómo funciona
Un tokenizador divide la entrada en IDs de token. Las ventanas de contexto, los límites de salida y las facturas de API se miden normalmente en tokens, no en caracteres.