Aufbau eines statistischen Sprachmodells aus Trainingstexten
Wie jede andere Künstliche Intelligenz, die maschinell lernt, benötigt auch eine texterzeugende KI Trainingsdaten zur Erstellung des Sprachmodells. Das können beliebige Texte sein, die im einfachsten Fall aus dem Internet (z.B. Wikipedia) kopiert werden. Wie das mit wenigen Trainingsdaten und einem einfachen Sprachmodell funktioniert, kannst du auf dieser Seite sehen.
Die Trainingsphase
In der Trainingsphase wird der vorgegebene Text in einzelne Wörter zerlegt. Dabei werden immer drei aufeinander folgende Wörter (Trigramme) betrachtet. Die ersten beiden Wörter bilden das Präfix des Trigramms, das letzte Wort das Suffix. Diese Trigramme werden in einer Liste gespeichert.Das Sprachmodell
Die Liste der Trigramme bildet das Sprachmodell der KI. Es besteht also nur aus statistischen Informationen darüber, welche Wörter in den Trainingstexten aufeinander folgen. Das Sprachmodell hat jetzt z.B. gelernt, dass nach den Wörtern "Ein Pferd" das Wort ist oder das Wort kann folgt. Zur Vereinfachung werden alle Wörter klein geschrieben. Außerdem werden die Satzzeichen bei den Wörtern belassen, nach denen sie stehen.Hier siehst du einen einfachen Trainingstext mit Informationen über Pferde und das daraus erzeugte Sprachmodell:
Aufgaben
- Erläutere den Zusammenhang zwischen Trainingstext und Sprachmodell.
- Begründe, warum in manchen Zeilen des Sprachmodells mehrere Suffixe stehen.
- Verändere oder ergänze den Trainingstext und beobachte die Auswirkungen auf das Sprachmodell.
Wie mit Hilfe des Sprachmodells neue Texte generiert werden können, erfährst du im nächsten Lernschritt.
