Was sind Large Language Models eigentlich?

Large Language Models (LLMs) sind neuronale Netze, die darauf trainiert wurden, das nächste Wort in einem Text vorherzusagen. Klingt simpel – doch aus dieser einfachen Aufgabe entsteht ein System, das Fragen beantworten, Code schreiben und komplexe Zusammenhänge erklären kann.

Das Training läuft in mehreren Phasen ab. Zuerst lernt das Modell auf riesigen Textmengen aus dem Internet, Büchern und Code-Repositories die statistischen Muster von Sprache. Diese Phase heißt Pretraining. Danach folgt das Fine-Tuning, bei dem das Modell durch menschliches Feedback lernt, hilfreiche und sichere Antworten zu geben.

Ein zentrales Konzept ist die Transformer-Architektur, vorgestellt 2017 im Paper 'Attention Is All You Need'. Sie erlaubt es dem Modell, Beziehungen zwischen Wörtern unabhängig von ihrem Abstand im Text zu erfassen – der Schlüssel zu ihrer Leistungsfähigkeit.

Wichtig zu verstehen: LLMs 'wissen' nichts im menschlichen Sinne. Sie erkennen Muster und generieren darauf basierend plausible Fortsetzungen. Das erklärt sowohl ihre Stärken als auch ihre Schwächen, etwa das gelegentliche Erfinden von Fakten ('Halluzinationen').