Mit Google fortfahren
Trainingsdaten: Qualität, Aufteilung und Bias
Trainingsdaten sind Beispiele, aus denen ein Machine-Learning-Modell Muster und Zusammenhänge lernt. Ob es später bei neuen Fällen zuverlässig funktioniert, hängt nicht nur von der Datenmenge ab. Ebenso wichtig sind Qualität, Vielfalt, Repräsentativität und eine saubere Trennung von Trainings-, Validierungs- und Testdaten.
Hake ab, was du schon kannst — und komm am Ende hierher zurück!
Wie lernt ein Modell aus Daten?
Ein Machine-Learning-Modell erhält viele Beispiele. Während des Trainings passt ein Lernverfahren das Modell so an, dass es in den Daten wiederkehrende Muster nutzen kann. Das Ergebnis soll anschließend auch bei neuen, bisher ungesehenen Fällen funktionieren.
Trainingsdaten können sehr unterschiedlich aussehen:
- Texte, etwa E-Mails oder Produktbewertungen
- Bilder und Videos
- Audioaufnahmen
- Tabellen und Messwerte
Merkmal
Ein Merkmal ist eine beobachtete Eigenschaft eines Beispiels. Bei einer Maschine können Temperatur und Schwingung Merkmale sein. Bei einer E-Mail können Wörter in der Betreffzeile als Merkmale dienen.
Label
Ein Label ist das vorgegebene richtige Ergebnis eines Trainingsbeispiels. Eine E-Mail kann zum Beispiel das Label Spam oder kein Spam tragen.
Vorhersage
Eine Vorhersage ist das Ergebnis, das das trainierte Modell für einen neuen Fall erzeugt. Sie ist nicht automatisch richtig und muss geprüft werden.
Beim überwachten Lernen enthalten die Trainingsdaten Merkmale und passende Labels. Das Modell lernt die Beziehung zwischen Eingaben und erwarteten Ergebnissen. Beim unüberwachten Lernen fehlen vorgegebene Labels. Das Verfahren sucht stattdessen selbst nach Strukturen oder Gruppen in den Daten.
Ein Modell soll E-Mails als Spam oder kein Spam einordnen.
- Die Wörter und weitere Eigenschaften einer E-Mail bilden die Merkmale.
- Menschen kennzeichnen Trainingsbeispiele mit Spam oder kein Spam. Das sind die Labels.
- Das Modell sucht Zusammenhänge zwischen Merkmalen und Labels.
- Bei einer neuen E-Mail erzeugt es eine Vorhersage.
Ein einzelnes Wort wie „kostenlos“ reicht dabei nicht als sichere Regel. Das Modell muss mehrere gelernte Hinweise zusammenführen.
Wähle in jeder Lücke die passende Form und prüfe anschließend deine Antworten.
Beim überwachten Lernen heißen beobachtete Eigenschaften . Das vorgegebene richtige Ergebnis ist das . Das Ergebnis des Modells für einen neuen Fall heißt . Beim unüberwachten Lernen gibt es keine vorgegebenen .
Warum werden Daten in drei Teile getrennt?
Ein Modell darf nicht mit denselben Beispielen lernen und anschließend ausschließlich an diesen Beispielen bewertet werden. Sonst zeigt das Ergebnis vor allem, wie gut es die bekannten Daten angepasst hat.
| Teilmenge | Aufgabe | Darf das Modell daraus lernen? |
|---|---|---|
| Training | Modellparameter anpassen | Ja |
| Validierung | Varianten und Hyperparameter vergleichen, Überanpassung erkennen | Nicht als eigentliche Trainingsmenge |
| Test | abschließende Leistung an ungesehenen Fällen prüfen | Nein |
Modellparameter werden während des Trainings aus den Beispielen angepasst. Hyperparameter sind Einstellungen des Lernverfahrens oder der Modellgestaltung, die vor oder zwischen Trainingsläufen gewählt werden.
Eine Aufteilung in 70 % Training, 20 % Validierung und 10 % Test ist ein mögliches Beispiel. Die Anteile ergeben zusammen 100 %, sind aber keine allgemeingültige Vorschrift. Eine sinnvolle Aufteilung hängt unter anderem von Aufgabe, Datenmenge und Prüfverfahren ab.
Der Testdatensatz ist die Abschlussprüfung des Modells. Wird er schon zur Auswahl oder Verbesserung des Modells benutzt, ist die spätere Testbewertung nicht mehr unabhängig.
Ein Team entwickelt mehrere Varianten eines Bilderkennungsmodells.
- Jede Variante lernt aus den Trainingsdaten.
- Mit den Validierungsdaten vergleicht das Team die Varianten und wählt Einstellungen aus.
- Erst nachdem diese Entscheidungen abgeschlossen sind, wird das gewählte Modell einmal abschließend mit den Testdaten bewertet.
So bleiben die Testfälle für das Modell und für die Modellauswahl ungesehen.
Woran erkennst du gute Trainingsdaten?
Ein großer Datensatz ist nicht automatisch ein guter Datensatz. Er muss die spätere Aufgabe und die tatsächlichen Einsatzbedingungen möglichst passend abbilden.
Wichtige Qualitätsmerkmale sind:
- Relevanz: Die Daten passen zur Aufgabe.
- Repräsentativität: Wichtige reale Fälle und Gruppen kommen angemessen vor.
- Vielfalt: Unterschiedliche Umgebungen, Geräte, Ausdrucksweisen oder Grenzfälle sind enthalten.
- Korrektheit: Werte und Labels sind möglichst richtig.
- Konsistenz: Formate und Kennzeichnungsregeln werden einheitlich verwendet.
- Klassenbalance: Seltene, aber wichtige Klassen werden nicht übersehen.
Vor dem Training werden Rohdaten deshalb häufig bereinigt und aufbereitet. Dabei können fehlende Werte, Duplikate, Formatabweichungen und fehlerhafte Labels auffallen. Bei gelabelten Daten müssen außerdem die Kennzeichnungsregeln eindeutig sein.
Verzerrung
Eine Verzerrung, oft auch Bias genannt, entsteht, wenn die Datenauswahl oder -kennzeichnung bestimmte Fälle systematisch bevorzugt oder benachteiligt. Das Modell kann diese Schieflage übernehmen.
Eine Spracherkennung wird fast nur mit ruhigen Studioaufnahmen trainiert. Später soll sie auch in Klassenzimmern, auf Fluren und bei unterschiedlichen Sprechweisen funktionieren.
Der Datensatz bildet die Einsatzbedingungen nicht ausreichend ab. Mehr Studioaufnahmen würden die entscheidende Lücke nicht unbedingt schließen. Nützlicher wären gezielt ausgewählte Aufnahmen aus den bisher fehlenden Situationen. Danach müsste die Leistung für diese Situationen getrennt geprüft werden.
Eine gute Gesamtkennzahl kann Probleme verdecken. Deshalb sollte die Modellleistung nicht nur insgesamt, sondern auch für wichtige Klassen, Gruppen und Grenzfälle betrachtet werden.
Wie viel Training ist genug?
Es gibt keine universelle Mindestzahl von Trainingsbeispielen. Der Bedarf hängt unter anderem von der Aufgabenkomplexität, dem Modelltyp, der Klassenanzahl, der Datenqualität, der gewünschten Zuverlässigkeit und der Vielfalt der späteren Fälle ab.
Komplexe Bild-, Audio- oder Sprachaufgaben benötigen häufig mehr und vielfältigere Daten als einfache Aufgaben mit gut aufbereiteten Tabellenmerkmalen. Ein vortrainiertes Modell kann den Bedarf an neuen aufgabenspezifischen Daten verringern.
Eine Lernkurve hilft bei der Planung:
- Erstelle einen repräsentativen Pilotdatensatz.
- Trenne Training, Validierung und Test sauber.
- Trainiere mit schrittweise wachsenden Anteilen der Trainingsdaten, etwa 10 %, 20 %, 40 %, 60 %, 80 % und 100 %.
- Miss die Leistung jeweils auf geeigneten Validierungsdaten.
- Prüfe, ob die Verbesserung weiter deutlich steigt oder ein Plateau erreicht.
- Untersuche zusätzlich wichtige Klassen und Gruppen getrennt.
Flacht die Lernkurve ab, sind zusätzliche ähnliche Daten möglicherweise weniger hilfreich. Dann können fehlerhafte Labels, ungeeignete Merkmale, Klassenungleichgewicht oder die Modellwahl wichtigere Engpässe sein.
Überanpassung
Überanpassung oder Overfitting bedeutet: Ein Modell passt sehr gut zu seinen Trainingsdaten, überträgt die gelernten Zusammenhänge aber schlecht auf neue Fälle.
Ein deutlicher Abstand zwischen guter Trainingsleistung und schwächerer Leistung auf unabhängigen Daten kann auf Überanpassung hinweisen. Er ist ein Warnsignal, das genauer untersucht werden muss.
Datenaugmentation, Transferlernen, aktives Lernen und synthetische Daten können den Bedarf an neu erhobenen Daten senken. Diese Verfahren ersetzen die Qualitätsprüfung nicht. Insbesondere synthetische oder veränderte Beispiele müssen realistisch sein und gegen reale Daten geprüft werden.
Welche Verantwortung gehört zur Datenauswahl?
Trainingsdaten betreffen nicht nur technische Leistung. Ihre Herkunft und Nutzung müssen ebenfalls geprüft werden.
Achte besonders auf:
- Datenschutz und den Schutz personenbezogener Daten
- Einwilligungen und zulässige Nutzungszwecke
- Urheber- und Lizenzrechte
- mögliche Benachteiligungen betroffener Gruppen
- nachvollziehbare Herkunft und Bearbeitung der Daten
Öffentlich zugängliche Inhalte dürfen nicht automatisch für jeden Zweck frei genutzt werden. Rechtliche Ausnahmen für Text und Data Mining gelten nur unter bestimmten Voraussetzungen und sind keine allgemeine Erlaubnis für jede KI-Anwendung.
Ein Team findet im Internet eine große Bildsammlung. Vor der Nutzung reichen Dateimenge und technische Qualität nicht als Prüfung aus. Das Team muss auch klären, woher die Bilder stammen, welche Rechte gelten, ob personenbezogene Informationen betroffen sind und welche Gruppen oder Situationen fehlen.
Karteikasten
Überlege zuerst selbst und drehe die Karte anschließend zum Prüfen um.
Alles auf einen Blick
- Trainingsdaten
- liefern Beispiele für das Lernen
- enthalten Merkmale und manchmal Labels
- werden von Validierungs- und Testdaten getrennt
- brauchen Qualität, Vielfalt und Repräsentativität
- können Verzerrungen und blinde Flecken enthalten
- werden mit Lernkurven auf ausreichende Menge untersucht
- erfordern Prüfung von Herkunft, Datenschutz und Rechten
Abschluss-Check
Du kannst Trainingsdaten nun nicht nur als große Beispielsammlung beschreiben. Du kannst auch prüfen, was sie abbilden, wie sie aufgeteilt werden und welche Fälle oder Gruppen fehlen könnten.