Inferentie

Inference is het draaien van een getraind model om output te produceren — chatantwoorden, embeddings, afbeeldingen of toolaanroepen.

Latency, kosten, batching, hardware en quantisatie horen allemaal bij de inference-stack. Training gebeurt één keer; inference is de doorlopende rekening.