Die Funktionsweise KI-basierter Sprachmodelle
Zurück zu unserer Ausgangsfrage des Kapitels:
Ist eine textgenerierende KI am Ende nur ein plappernder Papagei?
Inzwischen hast du viel über solche Systeme erfahren und kannst dir sicherlich selbst eine Antwort darauf geben...Das hast du hier gelernt
Bei textgenerierenden Systemen geht es immer um die Frage "Wie lautet das nächste Wort?".
Aus dem bisherigen Text (bzw. dem Prompt der Anfrage) wird für jedes mögliche Wort
die Wahrscheinlichkeit berechnet, das nächste Wort
im Antworttext zu sein. Unter Berücksichtigung dieser Wahrscheinlichkeiten wird dann zufällig ein Wort
ausgewählt und angehängt.
Zusatzinformationen
Die in diesem Kapitel verwendeten Sprachmodelle sind natürlich im Vergleich zu professionellen Werkzeugen, den sogenannten LLMs (large language models), stark vereinfacht.
Dies betrifft insbesondere die folgenden Aspekte:
- Die Menge der Trainingsdaten ist bei bekannten Sprachmodellen riesig. Als Basis dienen Textsammlungen mit Billionen von Wörtern. Das entspricht etwa dem Inhalt von 10 Millionen dicken Büchern. Nebeneinander gestellt würden sie eine Bücherreihe quer durch ganz Deutschland ergeben!
- Die großen Sprachmodelle arbeiten nicht mit Wörtern, sondern mit Wortteilen, sogenannten Tokens, die durchnummeriert sind. Die Tokens können z.B. hier betrachtet werden: → Tokenizer von openAI
- Durch längere Anfrageprompts kann sich die texterzeugende KI den Kontext der Anfrage erschließen und entsprechend gezielter antworten. Dabei kommen gelernte Embedding-Vektoren zum Einsatz, die Ähnlichkeiten und semantische Zusammenhänge zwischen Wörtern beschreiben.
- Das Sprachmodell ist nicht in einer Tabelle gespeichert, sondern wird in einem riesigen neuronalen Netz abgebildet.
- Das mit Hilfe von überwachtem Lernen erzeugte Sprachmodell wird in der Praxis in einem zweiten Schritt noch von Menschen getestet. In diesem Prozess des verstärkenden Lernens bekommt die KI zu jedem erzeugten Text eine Rückmeldung, ob die Antwort den Erwartungen entsprochen hat. Mit dieser Rückmeldung verbessert das KI-System sein zukünftiges Verhalten.