Entscheidungsbaum: Aufbau, Lernen und Grenzen

Stell dir zuerst eine Entscheidung vor: Soll eine neue Technologie in einem Projekt eingesetzt werden? Ein Team kann nacheinander nach Mehrwert, Kompatibilität, Kosten und Implementierungszeit fragen. Die Antworten bilden einen manuell entworfenen Entscheidungsbaum. Seine Regeln stammen von Menschen und machen den Entscheidungsweg sichtbar.

Ein gelernter Entscheidungsbaum ist dagegen ein Modell des maschinellen Lernens. Ein Computer leitet seine Regeln aus Beispieldaten ab. Er kann Objekte Klassen zuordnen, etwa „Spam“ oder „kein Spam“, oder einen Zahlenwert vorhersagen, etwa einen Preis.

Bei einer manuellen Entscheidung können auch Umweltzustände vorkommen. Das sind äußere Bedingungen, die das Ergebnis beeinflussen, aber nicht von der entscheidenden Person kontrolliert werden, zum Beispiel das Wetter in der Landwirtschaft.

Der Wurzelknoten ist der Startpunkt. Ein Entscheidungsknoten prüft eine Bedingung oder ein Merkmal. Von ihm führen Zweige weiter; sie stehen für mögliche Antworten. Ein Blattknoten, kurz Blatt, enthält das Endergebnis.

Die Formen der Knoten sind nicht überall gleich. Rechtecke, Rauten, Kreise oder Dreiecke sind mögliche Darstellungskonventionen. Verlasse dich deshalb auf Beschriftung und Funktion, nicht allein auf die Form.

Beim überwachten Lernen sind die richtigen Zuordnungen der Trainingsbeispiele bekannt. Jedes Beispiel besitzt Merkmale, also beobachtbare Eigenschaften wie Zuckergehalt oder Vertragsdauer. Das Label ist die vorgegebene Zielklasse, etwa „Kauf“ oder „kein Kauf“.

Der Lernalgorithmus sucht Tests, welche die Beispiele möglichst gut trennen. Bei Zahlen kann das ein Schwellenwert sein. Er teilt den Datensatz am Wurzelknoten, wiederholt das Verfahren in den entstandenen Teilmengen und erzeugt so weitere Knoten. Dieses wiederholte Teilen heißt rekursive Partitionierung.

Wenn der fertige Baum ein unbekanntes Objekt erhält, folgt er dessen Merkmalswerten bis zu einem Blatt. Die dort ausgegebene Klasse oder Zahl ist die Vorhersage.

Trainingsdaten dienen zum Aufbau des Modells. Getrennte Testdaten werden erst danach verwendet. So lässt sich prüfen, ob der Baum nicht nur bekannte Beispiele beherrscht, sondern auch auf unbekannte Daten übertragbar ist. Diese Übertragbarkeit heißt Generalisierung.

Bei einer Klassifikation sagt ein Blatt eine Klasse voraus, zum Beispiel „Regen“ oder „kein Regen“. Bei einer Regression sagt es einen numerischen Wert voraus, zum Beispiel einen Preis. Der Aufgabentyp bestimmt deshalb, was die Blätter enthalten und wie Aufteilungen bewertet werden.

Für die Klassifikation sollen nach einer guten Aufteilung möglichst homogene Gruppen entstehen: In einem Kindknoten liegen dann überwiegend Beispiele derselben Klasse. Gini-Verunreinigung und Entropie messen die Unreinheit eines Knotens; niedrigere Werte bedeuten homogenere Gruppen. Der Informationsgewinn beschreibt, wie stark eine Aufteilung die Unsicherheit verringert.

Bei einer Regression kann der mittlere quadratische Fehler (MSE) als Kriterium dienen. Große Abweichungen gehen dabei wegen des Quadrierens besonders stark ein.

Ein sehr tiefer Baum kann Besonderheiten und Rauschen seiner Trainingsdaten auswendig lernen. Er erzielt dann möglicherweise gute Ergebnisse auf Trainingsdaten, aber deutlich schlechtere auf Testdaten. Das heißt Overfitting oder Überanpassung.

Gegen Überanpassung helfen eine begrenzte Baumtiefe, eine Mindestzahl von Beispielen pro Blatt und Pruning. Beim Pruning werden Zweige entfernt, die die Leistung auf unbekannten Daten nicht wesentlich verbessern. Ein zu einfacher Baum kann dagegen wichtige Muster übersehen; das heißt Underfitting oder Unteranpassung.

Auch gute Einstellungen können schlechte Daten nicht ausgleichen. Einseitige oder falsch beschriftete Trainingsdaten können systematische Fehler erzeugen. Sind zum Beispiel nur Beispiele einer bestimmten Art vertreten, kann der Baum bei anderen Arten unzuverlässig sein. Deshalb prüfst du, ob wichtige Gruppen angemessen vorkommen, ob Labels eindeutig sind und ob die Testdaten wirklich getrennt geblieben sind.

Ein einzelner Baum kann außerdem instabil sein: Kleine Änderungen der Trainingsdaten können seine Struktur stark verändern. Ein Random Forest kombiniert viele Entscheidungsbäume und fasst ihre Vorhersagen zusammen. Das kann Genauigkeit und Stabilität erhöhen, ist aber weniger leicht als ein einzelner Baum zu erklären.

Manuell entworfene Bäume haben eine andere Grenze: Nicht alle Alternativen, Folgen, Risiken oder Umweltzustände sind immer bekannt. Ein übersichtlicher Baum beweist daher nicht, dass alle wichtigen Informationen enthalten sind.

Bearbeite die Fragen ohne zurückzublättern. Nutze die Erklärungen danach zur Kontrolle deines Denkwegs.