Modellevaluierung
Ziel der Phase "Modellevaluierung" ist die Bewertung des in der Phase "Modellentwicklung" entwickelten Modells. Erfüllt das Modell die
Erwartungen, so wird es fertiggestellt und eingesetzt. Ist dies nicht der Fall, so geht das Projekt in einen neuen Projektzyklus, d.h. eine neue Phase der
"Projektexpertise" startet, in der beispielsweise neue Daten erhoben werden.
Worum geht es hier?
Beim Netflix Prize sollten die Teams den Filmempfehlungsalgorithmus um mindestens 10% verbessern. Noch können wir nicht sagen, wie gut die Vorhersagen
unseres entwickelten Modells tatsächlich sind. Daher sollte ein Modell immer evaluiert werden, um Aussagen über die Qualität treffen zu können.
Dafür gibt es verschiedene Methoden
und Kennzahlen, die berechnet werden können. In diesem Kapitel wird eine einfache Möglichkeit vorgestellt, wie ein Modell getestet werden kann. Außerdem
betrachten wir mögliche Kennzahlen, die angeben, wie gut das Modell ist. Darüber hinaus reflektieren wir, wie wir die Qualität unseres Modells verbessern können.
Hier lernst du...
- ...wie ein Modell getestet werden kann.
- ...wie die Qualität eines Modells bewertet werden kann.
- ...warum ein Data Science Projekt normalerweise nach einem Projektzyklus noch nicht abgeschlossen ist.
