Fachkonzept: Lernrate

Um mit zufälligen Ereignissen bzw. mit Chancen und Risiken umzugehen, sorgt man beim Q-Learning-Algorithmus dafür, dass sich einzelne positive (oder negative) Erfahrungen nicht "schlagartig" auf die Q-Werte auswirken sondern nur allmählich. Bisher wurde der Q-Wert beim Lernen direkt auf die Summe aus Belohnung und (etwas reduziert) den künftigen besten Q-Wert gesetzt: $$Q(s,a)\leftarrow r+\gamma \cdot \underset{a^{\prime }}{max}Q(s^{\prime },a^{\prime })$$ Nun gehen wir etwas behutsamer vor und verschieben den Q-Wert nur ein Stück weit in Richtung dieses Wertes. Wir bilden dafür eine Art Mittelwert zwischen dem alten Q-Wert und der oben beschriebenen Summe. $$Q(s,a)\leftarrow (1-\alpha )\cdot Q(s,a)+\alpha \cdot (r+\gamma \cdot \underset{a^{\prime }}{max}Q(s^{\prime },a^{\prime }))$$ Die neue Variable $\alpha$ heißt Lernrate. Ihr Wert liegt typischerweise irgendwo zwischen 0 und 1. Den Einfluss, die die Lernrate auf das Lernen hat, kann man sich gut verdeutlichen, wenn man zwei Extremfälle betrachtet:

• $\alpha =1$
  In diesem Fall wird der erste Summand 0 und die Formel reduziert sich gerade wieder auf die ursprüngliche, die wir vorher verwendet hatten und bei der der bisherige Q-Wert vollkommen in Vergessenheit gerät: $$Q(s,a)\leftarrow r+\gamma \cdot \underset{a^{\prime }}{max}Q(s^{\prime },a^{\prime })$$
• $\alpha =0$
  In diesem Fall ist der zweite Summand 0 und der Q-Wert ändert sich einfach überhaupt nicht: $$Q(s,a)\leftarrow Q(s,a)$$

Die Lernrate $\alpha$ steuert also, wie stark eine neue Erfahrung den Q-Wert beeinflusst. Kleine Werte für $\alpha$ sorgen für eine starke Gewichtung des bisher Gelernten und ein nur langsames Lernen. Große Werte für $\alpha$ sorgen für eine schnelle Anpassung der Q-Werte, aber auch für ein etwas "sprunghaftes" Verhalten.