Die Funktionsweise KI-basierter Sprachmodelle

Zurück zu unserer Ausgangsfrage des Kapitels:

Ist eine textgenerierende KI am Ende nur ein plappernder Papagei?

Inzwischen hast du viel über solche KIs erfahren und kannst dir sicherlich selbst eine Antwort darauf geben. Im folgenden Lückentext sind für dich die wichtigsten Aspekte nochmals zusammengefasst!

Zusatzinformationen

Die in diesem Kapitel verwendeten Sprachmodelle sind natürlich im Vergleich zu professionellen Werkzeugen, den sogenannten LLMs (large language models), stark vereinfacht.

Dies betrifft insbesondere die folgenden Aspekte:

• Die Menge der Trainingsdaten ist bei bekannten Sprachmodellen riesig. Als Basis dienen Textsammlungen mit Billionen von Wörtern. Das entspricht etwa dem Inhalt von 10 Millionen dicken Büchern. Nebeneinander gestellt würden sie eine Bücherreihe quer durch ganz Deutschland ergeben!
• Die großen Sprachmodelle arbeiten nicht mit Wörtern, sondern mit Wortteilen, sogenannten Tokens, die durchnummeriert sind. Die Tokens können z.B. hier betrachtet werden:
  → Tokenizer von openAI
• Durch längere Anfrageprompts kann sich die texterzeugende KI den Kontext der Anfrage erschließen und entsprechend gezielter antworten.
• Das Sprachmodell ist nicht in einer Tabelle gespeichert, sondern wird in einem riesigen neuronalen Netz abgebildet.
• Das mit Hilfe von überwachtem Lernen erzeugte Sprachmodell wird in der Praxis in einem zweiten Schritt noch von Menschen getestet. In diesem Prozess des verstärkenden Lernens bekommt die KI zu jedem erzeugten Text eine Rückmeldung, ob die Antwort den Erwartungen entsprochen hat. Mit dieser Rückmeldung verbessert das KI-System sein zukünftiges Verhalten.