Unbegründbarkeit von KI-Entscheidungen

KI-Systeme werden automatisiert durch so genanntes maschinelles Lernen trainiert. Dazu sind Trainingsdaten erforderlich, von denen man bei einer Menge von Eingabegrößen die erwünschten Ausgabegrößen bereits kennt. Diese erwünschten Ausgabegrößen können zum Beispiel extrahiert worden sein, indem menschliches Verhalten analysiert wurde, zum Beispiel beim Schachspielen, Autofahren oder bei Entscheidungen eines Sachbearbeiters einer Krankenkasse oder einer Richterin in einem Strafprozeß.

Beim automatisiertem Lernen werden nun die Gewichte des neuronalen Netzes sukzessive so lange justiert, bis die Trainingsdaten möglichst gut die vorgegebenen Ausgabedaten liefern. Nach abgeschlossenem Training hofft man nun, dass neue Eingabedaten, die also noch nicht in dem Trainingsdatensatz vorhanden waren, ebenfalls zu sinnvollen Ausgabegrößen führen. Allerdings gibt es für diese Hoffnung keinerlei Garantie. Es kann also durchaus sein, dass KI-Systeme falsche Entscheidungen treffen.

Das Problem ist nun, dass die Entscheidungen eines KI-Systems abhängig von einer sehr großen Anzahl an justierten Gewichten und Schwellenwerten sind. Es kann sich dabei durchaus um viele Millionen von Gewichten und Schwellenwerten handeln. Aufgrund dieser großen Anzahl ist der Prozess der Forward-Propagation durch das neuronale Netz zwar leicht berechenbar, aber für Menschen ganz grundsätzlich nicht mehr auf einer Verständnisebene nachvollziehbar. Damit lässt sich also auch die Frage, aufgrund welcher Tatsachen in den ursprünglichen Trainingsdaten das neuronale Netz zu dieser oder jener Entscheidung kommt, grundsätzlich nicht mehr beantworten.

Und auch das KI-System selbst kann seine Entscheidungen über die Begründung, dass seine Abermillionen von Gewichten und Schwellenwerte halt nun mal so und nicht anders justiert sind, nicht mehr weiter konkretisieren oder rechtfertigen.
Daraus ergeben sich eine Reihe von Prolemen und Dilemmata. Hier nur einige wenige Beispiele:

• Ein KI-System entscheidet aufgrund einer Reihe von persönlicher Daten über eine Bankkundin, dass dieser ein Kredit für einen Hauskauf entweder ganz verweigert oder nur zu sehr viel schlechteren Konditionen angeboten wird. Die Kundin fühl sich ungerecht behandelt und verlangt eine Begründung für die Verweigerung des Kredites.
  Da die Entscheidung aber durch ein KI-System getroffen wurde, kann die Bank der Kundin nur diese Entscheidung mitteilen. Die Begründung dafür ist auch für die Mitarbeiter der Bank grundsätzlich nicht mehr nachvollziehbar, so dass sie der Kundnin nur schwammig mitteilen können, dass eine umfassende Risikoanalyse das nun einmal so ergeben habe. Um die Kundin noch etwas weiter zu beruhigen, wird vielleicht noch hinzugefügt, dass man sich zu näheren Begründungen aufgrund von Datenschutz, Geschäftsgeheimnissen oder urheberrechtlichen Zwängen leider nicht in der Lage sähe.
• Ein Kunde beantragt die Aufnahme in eine private Krankenversicherung. Die Krankenversicherung fragt bei einem externen Dienstleister einen medizinischen Scoring-Wert an. Der Dienstleister wiederum ermittelt diesen Scoring-Wert mit Hilfe eines KI-Systems.
  Die dazu nötigen Trainingsdaten hat er bei diversen Datenhändlern erworben, die mit persönlichen Daten handeln, die sie mittels Werbetrackern und der Analyse von Kundenverhalten auf diversen Webseiten erlangt haben. Das KI-System ermittelt aufgrund von Forward-Propagation der Daten des Kunden einen Scoringwert von 67,8 Punkten von Hundert möglichen.
  Dem ursprünglichen Interessenten an der Krankenversicherung wird diese aufgrund seines zu geringen Scoring-Wertes verweigert. Der Kunde fühlt sich ungerecht behandelt. Die einzige Begründung, die die Krankenversicherung dem Kunden für ihre Entscheidung nennen könnte, ist dass sein Scoring Wert nun einmal nur 67,8 Punkte von 100 möglichen Punkten beträgt. Aber genau das wird sie natürlich nicht tun, um den Kunden nicht noch weiter gegen sich aufzubringen. Stattdessen wird der Kunde mit einer eloquenten aber inhaltlich leeren Pseudobegründung über umfangreiche Risikoanalysen abgespeist.
• Eine staatliche Organisation erstellt Social-Ranking-Scores ihrer Bevölkerung. Die Punktewerte hängen von einer Vielzahl an persönlichen Daten wie zum Beispiel Einkommen, erteilten Bußgeldern für Falschparken oder erteilten Tagessätzen für Straftaten sowie von dem jeweiligen Freundes- und Bekanntenkreis ab.
  Eine ehemalige Schülerin würde gerne Ärztin werden. Aufgrund ihres Social-Scoring-Wertes wird ihr jedoch der Studienplatz verweigert. Da der Scoring-Wert durch ein KI-System ermittelt wurde, kann der aufgebrachten Schülerin die Entscheidung grundsätzlich nicht in ihrer Begründung erläutert werden.
  In den Trainingsdaten des KI-Systems sind auch Informationen über Verwandtschaftsverhältnisse vorhanden. Daher ist wahrscheinlich oder zumindest möglich, dass zukünftige Kinder der Schülerin aufgrund des niedrigen Scores ihrer Mutter ebenfalls einen niedrigen Scoring-Wert erhalten.