Die Funktionsweise KI-basierter Sprachmodelle

Zurück zu unserer Ausgangsfrage des Kapitels:

Ist eine Sprach-KI am Ende nur ein plappernder Papagei?

Inzwischen hast du viel über Sprach-KIs erfahren und kannst dir sicherlich selbst eine Antwort darauf geben. Im folgenden Lückentext sind für dich die wichtigsten Aspekte nochmals zusammengefasst!

Zusatzinformationen

Die in diesem Kapitel verwendeten Sprachmodelle sind natürlich im Vergleich zu professionellen Werkzeugen, den sogenannten LLMs (large language models), stark vereinfacht.

Dies betrifft insbesondere die folgenden Aspekte:

• Die Menge der Trainingsdaten ist bei bekannten Sprachmodellen riesig. Als Basis dienen Textsammlungen mit Billionen (!!!) von Wörtern.
• Die Sprachmodelle arbeiten nicht mit Wörtern, sondern mit Wortteilen, sogenannten Tokens, die durchnummeriert sind. Die Tokens können z.B. hier betrachtet werden:
  → Tokenizer von openAI
• Durch längere Anfrageprompts kann sich die Sprach-KI den Kontext der Anfrage erschließen und entsprechend gezielter antworten.
• Ein großer Teil des Sprachmodells ist in einem riesigen neuronalen Netz abgebildet. Sein Training bildet das Kernstück einer Sprach-KI.
• Das mit Hilfe von überwachtem Lernen erzeugte Sprachmodell wird in der Praxis in einem zweiten Schritt noch von Menschen getestet. In diesem Prozess des verstärkenden Lernens bekommt die Sprach-KI zu jedem erzeugten Text eine Rückmeldung, ob die Antwort den Erwartungen entsprochen hat. Mit dieser Rückmeldung verbessert das KI-System sein zukünftiges Verhalten.