Machine Learning

Ein Modell, das mit seinen eigenen Trainingsdaten geprüft wird, hat die richtigen Antworten längst auswendig gelernt statt eine Regel abgeleitet, die auf neue Fälle passt – die Prüfung sieht dann makellos aus und sagt trotzdem nichts über ungesehene Fälle. Deshalb teilt man die Datenmenge vor dem Training auf: Googles Machine-Learning-Kurs nennt als Beispiel siebzig Prozent Trainings-, fünfzehn Prozent Validierungs- und fünfzehn Prozent Testdaten. Nur die Leistung auf dem zurückgehaltenen Testanteil zeigt, ob eine übertragbare Regel gefunden wurde.

Daran, dass die Güte auf den Trainingsdaten weiter steigt, während die Güte auf zurückgehaltenen Daten wieder schlechter wird – Googles Machine-Learning-Kurs beschreibt dieses Auseinanderlaufen der beiden Verlustkurven als Kennzeichen von Überanpassung. Das Modell hat einzelne Trainingsbeispiele auswendig gelernt statt eine allgemeine Regel gefunden, oft weil es für die vorhandene Datenmenge zu komplex gebaut ist. Ein überangepasstes Modell leistet deshalb genau das nicht, wofür es gebaut wurde: Es verallgemeinert nicht.

Weil ein Modell, das immer die häufigere Klasse vorhersagt, allein durch die Verteilung der Daten hohe Werte erreicht, ohne die seltenen Fälle je zu erkennen. Kommt die gesuchte Eigenschaft nur bei einem Prozent der Fälle vor, erzielt ein Modell, das durchgehend die übrigen 99 Prozent vorhersagt, rechnerisch 99 Prozent Trefferquote – und erkennt dabei keinen einzigen echten Fall. Genau dieses Beispiel nennt Googles Machine-Learning-Kurs für stark unausgeglichene Datensätze.

Nein: Ein Modell übernimmt die statistischen Muster der Daten, die es bekommt, und gleicht historische Verzerrungen darin nicht von selbst aus. Googles Machine-Learning-Kurs beschreibt das am Beispiel von Kreditvergabedaten aus den 1960er-Jahren: Ein darauf trainiertes Modell würde die damalige, diskriminierende Praxis unverändert fortschreiben, weil es sie als normales Muster gelernt hat. Wer solche Verzerrungen ausgleichen will, muss die Daten vor dem Training prüfen und bereinigen.