Apprendre
Quantification
Explication en langage simple de Quantification, avec les pages catalogue liées.
Définition
La quantification stocke les poids du modèle (et parfois les activations) dans des nombres de moindre précision pour réduire la mémoire et accélérer l'inférence.
Comment ça marche
Les formats courants incluent 8 bits et 4 bits. Le compromis est qualité contre adéquation au matériel. Mesurez toujours vos tâches réelles après quantification.