Überanpassung im Machine Learning erkennen

Stell dir ein Bilderkennungsmodell vor, das Tierarten bestimmen soll. Auf den Trainingsbildern stehen Pferde fast immer auf Wiesen und Kühe vor Ställen. Lernt das Modell hauptsächlich die Hintergründe, kann es die Trainingsbilder richtig zuordnen. Ein Pferd am Strand erkennt es jedoch möglicherweise nicht.

Ein geringer Trainingsfehler reicht daher nicht als Qualitätsnachweis. Du musst ihn mit der Leistung auf Daten vergleichen, die beim Training nicht verwendet wurden.

Für eine belastbare Prüfung werden Daten nach ihrer Aufgabe getrennt:

1. Mit den Trainingsdaten lernt das Modell seine Parameter.
2. Mit den Validierungsdaten vergleichst du Modelle und stimmst Einstellungen wie die Modellkomplexität ab.
3. Mit den Testdaten prüfst du das fertig ausgewählte Modell abschließend an zurückgehaltenen Beispielen.

Würdest du dasselbe Testset immer wieder zur Modellauswahl verwenden, könnten deine Entscheidungen sich schrittweise auch an dieses Set anpassen. Es wäre dann keine unabhängige Abschlussprüfung mehr.

Verlustkurven richtig lesen

Der Verlust ist ein Maß für den Vorhersagefehler. Bei einer typischen Überanpassung entwickeln sich die Kurven so:

1. Trainings- und Validierungsverlust sinken zunächst gemeinsam.
2. Der Trainingsverlust sinkt später weiter oder bleibt sehr niedrig.
3. Der Validierungsverlust steigt wieder.
4. Die Kurven laufen auseinander.

Eine kleine Abweichung zwischen Trainings- und Validierungsleistung beweist dagegen noch keine Überanpassung. Entscheidend sind die Größe der Lücke, die Anforderungen der Aufgabe und die Leistung, die im Anwendungskontext benötigt wird.

Eine einzelne zufällige Datenaufteilung kann zufällig besonders günstig oder ungünstig sein. Die k-fache Kreuzvalidierung prüft das Modell deshalb mehrfach:

1. Der Datensatz wird in ungefähr gleich große Teilmengen, die sogenannten Folds, geteilt.
2. Ein Fold bleibt jeweils zur Bewertung zurück.
3. Die übrigen Folds werden zum Training verwendet.
4. Der Vorgang wird wiederholt, bis jeder Fold einmal zurückgehalten wurde.
5. Die Ergebnisse werden gemeinsam beurteilt.

So hängt die Bewertung weniger stark von einer einzigen Aufteilung ab. Kreuzvalidierung verringert das Risiko einer irreführenden Bewertung, beseitigt es aber nicht. Außerdem benötigt sie mehr Trainingszeit, weil mehrere Modelle trainiert werden.

Die Daten müssen zur späteren Anwendung passen

Gute Generalisierung wird wahrscheinlicher, wenn:

• die Beispiele einander nicht beeinflussen,
• sich die zugrunde liegenden Bedingungen im Zeitverlauf nicht wesentlich verändern,
• Trainings-, Validierungs-, Test- und spätere Realdaten statistisch ähnlich verteilt sind.

Vor einer zufälligen Aufteilung kann gründliches Mischen helfen, ähnliche Partitionen zu erhalten. Bei zeitabhängigen Aufgaben darfst du jedoch nicht unkritisch mischen: Die gewählte Aufteilung muss die spätere Vorhersagesituation realistisch nachbilden.

Die passende Maßnahme hängt von der vermuteten Ursache ab. Keine einzelne Technik löst jedes Überanpassungsproblem.

Bei Bilddaten kann Datenaugmentierung zusätzliche Varianten erzeugen, etwa durch sinnvolles Skalieren oder veränderte Ausrichtung vorhandener Bilder. Die Varianten müssen zur Aufgabe passen. Eine Transformation, die die Bedeutung des Bildes verändert, wäre kein geeignetes Trainingsbeispiel.

Auch das Entfernen irrelevanter oder redundanter Merkmale kann helfen. Bleibt die Leistung trotz weniger Merkmale ähnlich, kann das schlankere Modell weniger Gelegenheit zum Auswendiglernen zufälliger Details haben.

Eine kleine Lücke zwischen Trainings- und Testleistung beweist noch nicht, dass das Modell in der Realität zuverlässig arbeitet.

Target Leakage: Informationen aus der Zukunft

Target Leakage entsteht, wenn ein Merkmal beim Training Informationen enthält, die zum tatsächlichen Vorhersagezeitpunkt nicht verfügbar wären.

Leakage kann sowohl Trainings- als auch Testwerte verbessern, wenn beide Datensätze denselben fehlerhaften Merkmalsaufbau besitzen. Deshalb musst du neben den Messwerten auch prüfen, wann und wie jedes Merkmal verfügbar ist.

Unausgeglichene Klassen

Bei unausgeglichenen Klassifikationsdaten kommt eine Klasse viel häufiger vor als eine andere. Ein Modell kann dann eine hohe Gesamtgenauigkeit erreichen, indem es fast immer die Mehrheitsklasse vorhersagt.

Je nach Ziel helfen unter anderem:

• unterschiedliche Gewichtung der Klassen,
• Über- oder Unterstichproben der Klassen,
• die gemeinsame Betrachtung von Präzision und Recall,
• der F1-Score als harmonisches Mittel aus Präzision und Recall.

Welche Metrik geeignet ist, hängt davon ab, ob beispielsweise falsch positive oder falsch negative Ergebnisse schwerer wiegen.

Hohe Komplexität ist ein Warnsignal, kein Beweis

Das klassische Bild lautet: Mit steigender Komplexität sinkt zunächst der Fehler, bevor Überanpassung einsetzt. Neuere Forschung zum doppelten Abstieg zeigt jedoch, dass sehr komplexe Modelle nach einer Phase schlechterer Generalisierung unter bestimmten Bedingungen wieder besser werden können.

Daraus folgt nicht, dass Komplexität bedeutungslos ist. Es folgt nur: Beurteile Überanpassung anhand unbekannter, passender Daten und nicht allein anhand der Größe des Modells.

Überanpassung ist keine Eigenschaft, die du allein an einem niedrigen Trainingsfehler oder an einem großen Modell ablesen kannst. Entscheidend ist, ob das Modell auf passenden unbekannten Daten zuverlässig arbeitet. Diagnose, Gegenmaßnahme und erneute Validierung gehören deshalb zusammen.