XOR-Problem

Wir kommen nochmal auf eine der vergangenen Aufgaben zurück:

Aufgabe: Ein sehr problematischer Zusammenhang

Betrachte ein Neuron mit zwei Eingängen $x_1$ und $x_2$, die beide die Werte 0 oder 1 annehmen können (und dem konstanten Eingang $x_3=1$) . Versuche zunächst, die Werte für die drei $w_i$ so festzulegen, dass der Wert von $y$ immer dann und nur dann 1 ist, wenn die beiden $x$-Werte verschiedene Werte haben. Beschreibe dann, warum eine passende Festlegung der Gewichte bei noch so viel Anstrengung nicht gelingen kann.

Ein solcher Zusammenhang kann tatsächlich nicht von einem Perzeptron realisiert werden. Der Grund ist einfach:

Für die Kombination $(x_1=0;x_2=0)$ muss die 0 zugeordnet werden, für die Kombinationen $(x_1=1;x_2=0)$ und $(x_1=0;x_2=1)$ soll die 1 zugeordnet werden. Also müssen die synaptischen Gewichte $w_1$ und $w_2$ positive Werte haben. $w_0$ muss mindestens so groß gewählt werden, dass eine einzige 1 bei einem der Eingänge schon ausreicht, um die Aktivierung $a=\sum _{i=1}^3{w}_i\cdot x_i$ positiv werden zu lassen. Wenn das aber so ist, werden Eingänge mit dem Wert 1 den Wert der Aktivierung $a$ noch größer machen und damit ebenfalls eine 1 als Ausgangswert bewirken. Allerdings war hier, weil beide Eingänge den gleichen Wert haben, eine 0 gefordert.

Dieses so einfache wie (für Perzeptronen) unlösbare Problem ist als XOR-Problem bekannt geworden und hat in den 1970er Jahren die großen Hoffnungen, die man in die Nachahmung von Neuronen gesetzt hatte, schwer erschüttert: Wenn schon ein so einfacher Zusammenhang nicht erlernbar war, wie sollte es dann erst mit komplexeren Zusammenhängen bestellt sein. Für die folgenden Jahre wird häufig sogar vom "KI-Winter" gesprochen:

Erst in den 1980er Jahren wurde das Problem, mit Perzeptronen auch den oben genannten Zusammenhang mit Neuronalen Netzen lernen zu können, gelöst. Der Trick: Man verwendet mehrere, in Schichten angeordnete künstliche Neuronen und findet passende Lernregeln. Man spricht in diesem Zusammenhang von "Mehrlagigen Perzeptronen".