Mit Google fortfahren
Bestärkendes Lernen: KI lernt durch Belohnung
Beim bestärkenden Lernen handelt ein Agent in einer Umgebung und lernt aus den Folgen seiner Aktionen. Sein Ziel ist eine Strategie, die langfristig möglichst viel Belohnung erzielt – nicht unbedingt die Aktion mit dem größten sofortigen Gewinn.
Auf dieser Seite untersuchst du den Lernkreislauf, den Umgang mit zukünftigen Belohnungen, das Verhältnis von Erkunden und Nutzen sowie die Grenzen sicherer Anwendungen.
Hake ab, was du schon kannst — und komm am Ende hierher zurück!
Lernen durch Handeln und Rückmeldung
Stell dir einen Roboter in einem Labyrinth vor. Er kennt den besten Weg nicht. In jedem Schritt beobachtet er seine Situation, wählt eine Richtung und erfährt anschließend, was diese Entscheidung bewirkt hat.
Der Lernkreislauf lautet:
- Der Agent nimmt einen Zustand wahr.
- Er wählt eine Aktion.
- Die Umgebung reagiert.
- Der Agent erhält eine Belohnung und beobachtet den neuen Zustand.
- Er passt sein zukünftiges Verhalten an.
Grundbegriffe
Der Agent ist das lernende und handelnde System. Die Umgebung ist der Bereich, in dem es handelt. Ein Zustand beschreibt die für die Entscheidung relevante Situation. Eine Aktion ist eine mögliche Handlung. Die Belohnung, auch Reward genannt, ist eine Zahl, mit der die Umgebung das Ergebnis bewertet.
Die Policy ist die Strategie des Agenten. Sie legt fest, welche Aktion er in einem Zustand auswählt. Eine Policy kann eindeutig eine Aktion vorgeben oder den möglichen Aktionen Wahrscheinlichkeiten zuordnen.
Ein Staubsaugerroboter soll möglichst viel Staub aufnehmen.
- Agent: der Roboter
- Umgebung: die Wohnung
- Zustand: etwa Position, erreichbare Nachbarbereiche und beobachteter Schmutz
- Aktion: beispielsweise vorwärtsfahren oder abbiegen
- Belohnung: eine Zahl, die sich an der aufgenommenen Staubmenge orientiert
- Policy: die Strategie, nach der der Roboter seine nächste Bewegung auswählt
Der Roboter bekommt dabei nicht für jede Lage einen vollständigen Lösungsweg. Er verbessert seine Strategie durch wiederholte Erfahrungen.
Bestärkendes Lernen programmiert nicht jede richtige Handlung vor. Es legt fest, welche Rückmeldungen der Agent erhält und wie er daraus lernt.
Langfristigen Erfolg statt Sofortgewinn bewerten
Eine einzelne Belohnung bewertet nur einen Übergang. Für eine gute Strategie muss der Agent jedoch auch spätere Folgen berücksichtigen. Die Summe der zukünftigen, gewichteten Belohnungen heißt Return.
Ein diskontierter Return kann so geschrieben werden:
$$G_t = \sum_{i=0}^{\infty} \gamma^i r_{t+i}$$
Dabei bezeichnet $r_{t+i}$ eine Belohnung und $\gamma$ den Diskontierungsfaktor mit $0 \leq \gamma < 1$.
- Bei $\gamma=0$ zählt nur die unmittelbare Belohnung.
- Je näher $\gamma$ an $1$ liegt, desto stärker zählen spätere Belohnungen.
- Durch die zunehmenden Potenzen von $\gamma$ erhalten weiter entfernte Belohnungen bei $\gamma<1$ ein kleineres Gewicht.
Ein Agent erhält jetzt die Belohnung $2$, im nächsten Schritt $4$ und einen weiteren Schritt später $8$. Für $\gamma=0{,}5$ ergibt sich:
$$G_t = 2 + 0{,}5 \cdot 4 + 0{,}5^2 \cdot 8 = 6$$
Die drei Beiträge sind jeweils $2$. Obwohl die letzte Belohnung mit $8$ am größten ist, zählt sie wegen ihrer zeitlichen Entfernung nur mit dem Gewicht $0{,}5^2$.
Eine zunächst ungünstige Aktion kann sinnvoll sein, wenn sie später zu einem hohen Return führt. Genau darin liegt das Problem der verzögerten Belohnung: Der Agent muss langfristigen Erfolg früheren Entscheidungen zurechnen.
Erkunden und vorhandenes Wissen nutzen
Ein Agent kann nur aus Erfahrungen lernen, die er tatsächlich macht. Wählt er immer sofort die bisher beste Aktion, entdeckt er möglicherweise eine bessere Möglichkeit nie. Handelt er dagegen ständig zufällig, nutzt er sein Wissen kaum.
Dieser Zielkonflikt heißt Exploration–Exploitation-Kompromiss:
- Exploration bedeutet, wenig bekannte Aktionen auszuprobieren.
- Exploitation bedeutet, die nach bisherigem Wissen beste Aktion zu nutzen.
Eine einfache Strategie ist Epsilon-greedy. Mit der Wahrscheinlichkeit $1-\varepsilon$ wählt der Agent die bisher beste Aktion. Mit der Wahrscheinlichkeit $\varepsilon$ wählt er zufällig eine Aktion, wobei $0 \leq \varepsilon \leq 1$ gilt.
Ein Roboter hat an einer Kreuzung bisher meistens den rechten Weg genommen und dabei kleine Belohnungen erhalten. Links ist er erst einmal gefahren.
Wenn er immer rechts fährt, nutzt er seine Erfahrung, erfährt aber wenig über den linken Weg. Gelegentliche Exploration kann zeigen, ob links langfristig ein besseres Ziel erreichbar ist.
Zu wenig Exploration kann den Agenten früh auf eine mäßige Strategie festlegen. Zu viel Exploration macht sein Verhalten ineffizient und kann in realen Umgebungen riskant sein.
Wähle in jeder Lücke die passende Form und prüfe anschließend deine Antworten.
Beim probiert der Agent wenig bekannte Aktionen aus. Beim wählt er bevorzugt eine bereits als gut eingeschätzte Aktion. Epsilon-greedy verbindet beide Verhaltensweisen mithilfe des Parameters .
Werte lernen oder ein Modell aufbauen
Bei kleinen, diskreten Aufgaben kann ein Agent Qualitätswerte in einer Q-Tabelle speichern. Jede Zeile steht für einen Zustand, jede Spalte für eine Aktion. Eine Zelle enthält die Einschätzung, wie günstig diese Aktion in diesem Zustand langfristig ist.
Beim Q-Lernen werden diese Werte anhand erlebter Übergänge und Belohnungen fortlaufend angepasst. Die Policy kann anschließend in jedem Zustand eine Aktion mit einem hohen Q-Wert bevorzugen.
In einer kleinen Gitterwelt sind die Felder die Zustände. Die möglichen Aktionen lauten oben, unten, links und rechts. Für jedes erreichbare Feld kann eine Tabellenzeile vier Q-Werte enthalten.
Eine vollständige Route für jeden Startpunkt wäre unnötig. Die Tabelle speichert stattdessen zustandsabhängige Bewertungen der einzelnen Aktionen.
Tabellarisches Q-Lernen eignet sich nur für überschaubare Zustands- und Aktionsräume. Der Agent muss Zustände wiederholt besuchen und verschiedene Aktionen ausprobieren können. Bei sehr großen oder kontinuierlichen Räumen wird eine vollständige Tabelle unpraktikabel. Dann können Funktionen oder neuronale Netze die Werte annähern. Die Verbindung von bestärkendem Lernen mit tiefen neuronalen Netzen heißt Deep Reinforcement Learning.
Eine zweite wichtige Unterscheidung betrifft das Wissen über die Umgebung:
- Modellfreie Verfahren lernen unmittelbar Werte oder eine Policy. Sie bauen kein ausdrückliches Modell auf, das den nächsten Zustand vorhersagt.
- Modellbasierte Verfahren verwenden oder lernen ein Modell der Übergänge und Belohnungen. Damit können sie mögliche Folgen vorausberechnen und planen.
Ein Modell ist hier keine Q-Tabelle. Ein Umgebungsmodell beantwortet sinngemäß: „Was könnte geschehen, wenn ich in diesem Zustand diese Aktion ausführe?“ Ein Q-Wert bewertet dagegen, wie günstig eine Zustands-Aktions-Kombination langfristig erscheint.
Exploration kann gefährlich werden
In einer Spielsimulation kostet eine schlechte Erkundungsaktion vielleicht nur einen Versuch. Bei einem realen Fahrzeug oder Roboter kann dieselbe Lernidee Menschen oder Geräte gefährden. Gewöhnliches bestärkendes Lernen garantiert außerdem nicht automatisch, dass die erlernte Policy in jeder unbekannten Situation sicher handelt.
Deshalb wird viel Training in kontrollierten Umgebungen und Simulationen durchgeführt. Das senkt das unmittelbare Trainingsrisiko, löst aber nicht automatisch das Problem, ob sich die gelernte Strategie sicher auf die Wirklichkeit übertragen lässt.
Zwei Ansätze des sicheren bestärkenden Lernens lassen sich unterscheiden:
- Safe Optimization berücksichtigt Sicherheitsbedingungen bei der Optimierung der Policy. Das garantiert jedoch nicht zwingend, dass schon die Exploration während des Trainings sicher ist.
- Safe Exploration soll gefährliche Aktionen bereits während des Lernens vermeiden. Dafür können Vorwissen, Risikobewertungen oder eine leitende menschliche beziehungsweise technische Instanz eingesetzt werden.
Ein simulierter Roboter darf eine unbekannte Bewegung ausprobieren und umfallen. Bei einem echten Pflegeroboter wäre dasselbe Ausprobieren nicht ohne Weiteres vertretbar. Eine sichere Lernstrategie muss deshalb nicht nur das Endergebnis, sondern auch die Erkundung selbst berücksichtigen.
Deep Reinforcement Learning erweitert den Einsatzbereich, übernimmt aber zusätzliche Probleme neuronaler Netze. Dazu gehören Angreifbarkeit, schwer einschätzbare Unsicherheit und die Frage, ob das System außerhalb seiner Trainingssituationen zuverlässig handelt. Sichere Verallgemeinerung auf unbekannte Situationen ist weiterhin ein Forschungsziel.
Karteikasten
Überlege zuerst selbst und drehe die Karte anschließend zum Prüfen um.
Alles auf einen Blick
- Bestärkendes Lernen
- Lernkreislauf
- Zustand, Aktion, neuer Zustand und Belohnung
- Strategie
- Policy maximiert den erwarteten langfristigen Return
- Entscheidungsproblem
- Exploration gewinnt Wissen, Exploitation nutzt Wissen
- Verfahren
- Q-Tabelle für kleine Räume, Approximation für große Räume
- Umgebungswissen
- modellfrei lernt Werte oder Policy, modellbasiert ermöglicht Planung
- Sicherheit
- sichere Optimierung und sichere Exploration
- Lernkreislauf
Bestärkendes Lernen verbindet Handeln, Rückmeldung und langfristige Bewertung. Seine Stärke liegt darin, dass ein Agent eine Strategie aus Erfahrungen entwickeln kann. Seine Grenzen werden sichtbar, wenn Zustandsräume sehr groß sind, Beobachtungen unvollständig bleiben oder das notwendige Ausprobieren Schäden verursachen könnte.
Abschluss-Check
Wenn du alle vier Abschlussfragen begründen kannst, hast du den Kern verstanden: Ein RL-Agent verbessert eine Policy aus Erfahrungen, bewertet Entscheidungen langfristig und muss Wissenserwerb, Nutzung und Sicherheit gegeneinander abwägen.