Wie funktioniert ein Sprachmodell? Einfach erklärt

Kurz gesagt: Ein großes Sprachmodell (englisch large language model, LLM) sagt immer wieder voraus, welches Stück Text wahrscheinlich als Nächstes kommt. Das hat es aus riesigen Textmengen gelernt. Die Antwort, die Sie bekommen, ist eine Kette solcher Vorhersagen hintereinander.

Text in kleinen Stücken: Tokens

Ein Sprachmodell liest keine Wörter so wie wir. Es zerlegt Text in Tokens: ganze Wörter, Wortteile, Satzzeichen oder einzelne Zeichen. Laut OpenAI entspricht ein Token im Englischen im Schnitt etwa vier Zeichen oder einem Dreiviertelwort. Im Deutschen sieht das etwas anders aus, das Prinzip bleibt aber dasselbe.

Lernen in zwei Schritten

1. Vortraining. Das Modell bekommt sehr viel Text zu sehen und lernt, jeweils das nächste Token vorherzusagen. So schnappt es Sprache, Fakten und Muster auf. Die zugrunde liegende Architektur ist meist der Transformer, beschrieben in einem Fachartikel von 2017.
2. Nachjustieren. Danach wird das Modell zu einem hilfsbereiten Assistenten verfeinert. OpenAI beschrieb beim Start von ChatGPT, wie das ablief: Menschen schrieben Beispielgespräche und brachten danach Antworten des Modells in eine Rangfolge von gut bis schlecht. Das Modell lernte aus dieser Rangfolge. Die Methode heißt Reinforcement Learning from Human Feedback (RLHF). Das Nachjustieren mit zusätzlichen Beispielen nennt man Fine-Tuning.

Warum es manchmal Dinge erfindet

Ein Sprachmodell sucht nicht in einer Datenbank voller Wahrheiten. Es erzeugt einen Text, der wahrscheinlich klingt. Deshalb kann es eine Antwort geben, die überzeugend klingt, aber nicht stimmt. Das nennt man Halluzinieren.

OpenAI schrieb schon beim Start von ChatGPT selbst, dass das Modell manchmal „plausibel klingende, aber falsche oder unsinnige Antworten“ gibt und dass eine kleine Änderung an der Frage zu einer anderen Antwort führen kann. Die niederländische Datenschutzbehörde (Autoriteit Persoonsgegevens) nennt das Risiko falscher oder unerwünschter Antworten als festen Prüfpunkt für Organisationen, die generative KI nutzen.

Was können Sie dagegen tun?

• Prüfen Sie Fakten, Zahlen und Namen, bevor ein Text an einen Kunden geht.
• Geben Sie dem Modell Ihre eigenen Quellen (ein Dokument, eine Preisliste) und bitten Sie es, sich daran zu halten.
• Fragen Sie nach Quellen und klicken Sie sie an. Eine Quelle, die es nicht gibt, sagt alles.
• Nutzen Sie KI für einen ersten Entwurf, nicht für das letzte Wort.

Quellen

• OpenAI Help Center: What are tokens and how to count them?
• OpenAI: Introducing ChatGPT (Methode und Grenzen)
• Vaswani u. a., Attention Is All You Need (arXiv, 2017)
• Autoriteit Persoonsgegevens: Hulpmiddel inzet generatieve AI & de AVG (PDF, Niederländisch)

Abgerufen am 21. Oktober 2026.