Exkurs: Backward-Propagation

In diesem Unterkapitel wird nun das bereits weiter oben betrachtete Gradientenabstiegsverfahren für beliebig große KNN formuliert.

Wie vorher werden dazu gelabelte Trainingsdaten verwendet, bei denen die gewünschten Ausgaben bereits bekannt sind. Diese erwünschten Ausgaben werden auf geschickte Art rückwärts durch das gesamte KNN propagiert (Backward-Propagation) und dabei werden die Gewichte und Schwellenwerte des KNN automatisch und sukzessive immer weiter angepasst - man sagt, dass KNN wird trainiert.

Der Algorithmus der Backward-Propagation beruht auf partiellen Ableitungen. Da wir hier nun beliebig große KNN betrachten, haben wir es mit riesigen Datenmengen zu tun und die Formulierung des Backpropagation-Algorithmus wird entsprechend technisch (und unübersichtlich) werden.

Hinweis

Dieses Kaptiel geht deutlich über den Stoff eines Informatik-Leistungskurses hinaus und ist nur für diejenigen gedacht, die sich über den Unterricht hinaus vertieft mit dem Backpropagation-Algorithmus beschäfigen möchten.

Das Kapitel überträgt lediglich das weiter oben betrachtete Gradientenabstiegsverfahren eines einzelnen Neurons auf beliebig große KNN. Inhaltlich werden hier also keine neuen Konzepte behandelt, so dass dieses Exkurs-Kapitel ohne Bedenken weggelassen werden kann.