Öğren
Nicemleme
Nicemleme için sade dilli açıklama, ilgili katalog sayfalarıyla.
Tanım
Nicemleme (quantization), bellek azaltmak ve çıkarımı hızlandırmak için model ağırlıklarını (ve bazen aktivasyonları) daha düşük hassasiyetli sayılarda saklar.
Nasıl çalışır
Yaygın biçimler 8-bit ve 4-bit'i içerir. Ödünleşim kaliteye karşı donanım uyumudur. Nicemledikten sonra her zaman gerçek görevlerinizi ölçün.