Latest in AI

Leren

Kwantisatie

Uitleg in gewone taal van Kwantisatie, met gerelateerde cataloguspagina's.

Definitie

Quantisatie slaat modelgewichten (en soms activaties) op in getallen met lagere precisie om geheugen te verminderen en inference te versnellen.

Hoe het werkt

Gangbare formaten zijn 8-bit en 4-bit. De afweging is kwaliteit versus hardwarefit. Meet na quantiseren altijd je echte taken.