Lernen
Quantisierung
Erklärung von Quantisierung in klarer Sprache, mit verwandten Katalogseiten.
Definition
Quantisierung speichert Modellgewichte (und manchmal Aktivierungen) in Zahlen geringerer Präzision, um Speicher zu sparen und Inferenz zu beschleunigen.
So funktioniert es
Übliche Formate sind 8-Bit und 4-Bit. Der Kompromiss ist Qualität versus Hardware-Passung. Miss nach dem Quantisieren immer deine echten Aufgaben.