Aufbau eines Sprachmodells
Beispieltexte sammeln
Für das maschinelle Lernen benötigen KI-Systeme Trainingsdaten. Entsprechend benötigt auch eine textgenerierende KI Beispieltexte, um ein Sprachmodell zu erstellen. Das können beliebige Texte sein, die im einfachsten Fall aus dem Internet (zum Beispiel Wikipedia) kopiert werden. Wie das mit wenigen Trainingsdaten und einem einfachen Sprachmodell funktioniert, kannst du auf dieser Seite sehen.
Die Trainingsphase - welches Wort kommt als Nächstes?
In der Trainingsphase wird der vorgegebene Text zunächst in einzelne Wörter zerlegt. Nach und nach werden dann immer drei aufeinanderfolgende Wörter (Trigramme) betrachtet. Im Beispieltext wäre das am Anfang "Ein Pferd ist". Das System merkt sich dabei, dass nach den Worten "Ein Pferd" das Wort "ist" folgt. Die ersten beiden Wörter bilden dabei das Präfix des Trigramms, das letzte Wort das Suffix. Diese Trigramme werden in einer Liste gespeichert.Das Sprachmodell
Die Liste der Trigramme bildet das Sprachmodell des KI-Systems. Es besteht also nur aus statistischen Informationen darüber, welche Wörter in den Trainingstexten aufeinander folgen. Das Sprachmodell hat beispielsweise gelernt, dass nach den Wörtern "Ein Pferd" das Wort "ist" oder das Wort "kann"" folgt. Zur Vereinfachung werden alle Wörter kleingeschrieben. Außerdem bleiben die Satzzeichen bei den Wörtern erhalten, nach denen sie stehen.Hier siehst du einen einfachen Trainingstext mit Informationen über Pferde und das daraus erzeugte Sprachmodell:
Aufgaben
- Erläutere den Zusammenhang zwischen Trainingstext und Sprachmodell.
- Begründe, warum in manchen Zeilen des Sprachmodells mehrere Suffixe stehen.
- Verändere oder ergänze den Trainingstext und beobachte die Auswirkungen auf das Sprachmodell.
Wie mit Hilfe des Sprachmodells neue Texte generiert werden können, erfährst du im nächsten Lernschritt.