Öğren
Tokenlar
Tokenlar için sade dilli açıklama, ilgili katalog sayfalarıyla.
Tanım
Token'lar, bir modelin okuduğu ve yazdığı metin parçalarıdır — çoğu zaman tam sözcükler değil, alt sözcüklerdir.
Nasıl çalışır
Bir tokenizer girdiyi token kimliklerine böler. Bağlam pencereleri, çıktı sınırları ve API faturaları genellikle karakter değil token cinsinden ölçülür.