Apprendre
Inférence
Explication en langage simple de Inférence, avec les pages catalogue liées.
Définition
L'inférence, c'est faire tourner un modèle entraîné pour produire des sorties — réponses de chat, embeddings, images ou appels d'outils.
Comment ça marche
Latence, coût, traitement par lots, matériel et quantification font tous partie de la pile d'inférence. L'entraînement a lieu une fois ; l'inférence est la facture continue.