Lernen
Inferenz
Erklärung von Inferenz in klarer Sprache, mit verwandten Katalogseiten.
Definition
Inferenz ist das Ausführen eines trainierten Modells, um Ausgaben zu erzeugen — Chat-Antworten, Embeddings, Bilder oder Tool-Aufrufe.
So funktioniert es
Latenz, Kosten, Batching, Hardware und Quantisierung gehören alle zum Inferenz-Stack. Training passiert einmal; Inferenz ist die laufende Rechnung.