Großes Sprachmodell

Ein Large Language Model (LLM) ist ein neuronales Netz, das darauf trainiert ist, den nächsten Token in Text in großem Maßstab vorherzusagen. Dieselbe Kernidee treibt heute Chat, Coding, Zusammenfassungen und viele Agenten an.

Text wird in Tokens zerlegt. Das Modell bewertet mögliche nächste Tokens und zieht Stichproben aus dieser Verteilung. Fähigkeiten entstehen aus Pretraining-Daten, Post-Training (einschließlich Präferenzmethoden) und der Schnittstelle um das Modell.