Mit Google fortfahren
Delta-Regel: Gewichte im neuronalen Netz anpassen
Die Delta-Regel lässt ein einschichtiges neuronales Netz aus bekannten Sollausgaben lernen. Sie verändert jedes Gewicht abhängig von drei Größen: dem Ausgabefehler, dem zugehörigen Eingang und der Lernrate.
Hake ab, was du schon kannst — und komm am Ende hierher zurück!
So lernt ein Ausgabeneuron
Beim überwachten Lernen gehört zu jedem Trainingsbeispiel eine gewünschte Ausgabe. Das Neuron berechnet zunächst aus den Eingängen $x_i$ und Gewichten $w_i$ seine tatsächliche Ausgabe $y$.
Für ein lineares Ausgabeneuron gilt:
$$y = \sum_i w_i x_i$$
Danach wird $y$ mit dem Sollwert $t$ verglichen. Wir verwenden auf dieser Seite die Fehlerkonvention:
$$e = t-y$$
- $e>0$: Die Ausgabe ist zu klein.
- $e<0$: Die Ausgabe ist zu groß.
- $e=0$: Soll- und Ist-Ausgabe stimmen überein.
Delta-Regel
Die Delta-Regel ist eine Lernregel, die Gewichte mithilfe der Soll-Ist-Abweichung korrigiert. Sie wird auch Widrow-Hoff-Regel genannt und ist mit dem Least-Mean-Squares-Verfahren verbunden.
Erst Ausgabe berechnen, dann Soll minus Ist bilden und anschließend die Gewichte anpassen.
So berechnest du neue Gewichte
Die Änderung eines Gewichts lautet:
$$\Delta w_i = \alpha e x_i$$
Danach wird sie zum bisherigen Gewicht addiert:
$$w_i^{\text{neu}} = w_i^{\text{alt}} + \Delta w_i$$
Dabei ist:
- $\alpha$ die positive Lernrate und damit die Schrittweite,
- $e=t-y$ der Fehler,
- $x_i$ der Eingang, der mit dem Gewicht $w_i$ verbunden ist.
Die Eingangsgröße ist wichtig: Bei $x_i=0$ bleibt das Gewicht unverändert. Ein großer Betrag von $x_i$ führt bei gleichem Fehler zu einer stärkeren Änderung.
Das Vorzeichen des Eingangs bestimmt außerdem die Änderungsrichtung. Bei einem negativen Eingang kann ein positiver Fehler deshalb zu einer negativen Gewichtsänderung führen.
Manche Darstellungen definieren den Fehler umgekehrt als $\delta=y-t$. Dann schreiben sie $w_i^{\text{neu}}=w_i^{\text{alt}}-\alpha\delta x_i$. Beide Schreibweisen sind gleichwertig, solange Vorzeichen und Rechenoperation zusammenpassen.
Ein vollständiger Trainingsschritt
Gegeben sind zwei Eingänge und zwei Gewichte:
- $x_1=0{,}5$ und $x_2=-1$
- $w_1=0{,}4$ und $w_2=-0{,}2$
- Sollwert $t=0{,}7$
- Lernrate $\alpha=0{,}1$
1. Ausgabe berechnen
$$y=w_1x_1+w_2x_2$$
$$y=0{,}4\cdot0{,}5+(-0{,}2)\cdot(-1)=0{,}4$$
2. Fehler bestimmen
$$e=t-y=0{,}7-0{,}4=0{,}3$$
Die Ausgabe ist zu klein.
3. Gewichtsänderungen berechnen
$$\Delta w_1=0{,}1\cdot0{,}3\cdot0{,}5=0{,}015$$
$$\Delta w_2=0{,}1\cdot0{,}3\cdot(-1)=-0{,}03$$
4. Gewichte aktualisieren
$$w_1^{\text{neu}}=0{,}4+0{,}015=0{,}415$$
$$w_2^{\text{neu}}=-0{,}2-0{,}03=-0{,}23$$
5. Wirkung prüfen
$$y^{\text{neu}}=0{,}415\cdot0{,}5+(-0{,}23)\cdot(-1)=0{,}4375$$
Die neue Ausgabe $0{,}4375$ liegt näher am Sollwert $0{,}7$ als die alte Ausgabe $0{,}4$. Der einzelne Trainingsschritt hat den Fehler also verkleinert.
Lernrate, Fehlermaß und Grenzen
Die Delta-Regel kann als Schritt zur Verringerung des quadratischen Fehlers verstanden werden:
$$E=\frac{1}{2}(t-y)^2$$
Große Abweichungen werden durch das Quadrieren stärker gewichtet. Die Gewichte bewegen sich beim linearen Ausgabeneuron schrittweise in eine Richtung, die diesen Fehler für das aktuelle Beispiel verringern soll.
Die Lernrate $\alpha$ steuert die Schrittweite:
- Eine kleine Lernrate verändert die Gewichte vorsichtig, kann das Lernen aber verlangsamen.
- Eine große Lernrate verändert sie schneller, kann jedoch zu starken Schwankungen oder instabilem Lernen führen.
Die einfache Delta-Regel benötigt bekannte Sollwerte und passt direkt überwachte Ausgabeneuronen an. Bei versteckten Schichten fehlen solche direkten Sollwerte. Dort wird das Grundprinzip durch Backpropagation erweitert: Der Ausgangsfehler wird mithilfe von Ableitungen rückwärts durch das Netz verteilt.
Ein einschichtiges Modell bleibt außerdem durch seine Modellform begrenzt. Insbesondere kann ein einfaches Perzeptron die nicht linear trennbare XOR-Zuordnung nicht mit einer einzigen Trennlinie lernen.
Eine Gewichtsänderung ist nur dann sinnvoll beurteilt, wenn du Fehlerkonvention, Eingangsvorzeichen und Lernrate gemeinsam betrachtest.
Karteikasten
Überlege zuerst selbst und drehe die Karte anschließend zum Prüfen um.
Alles auf einen Blick
- Delta-Regel
- Voraussetzung: Trainingsbeispiele mit Sollwerten
- Vorwärts: Ausgabe $y$ berechnen
- Vergleichen: Fehler $e=t-y$ bestimmen
- Anpassen: $\Delta w_i=\alpha e x_i$
- Prüfen: neue Ausgabe mit dem Sollwert vergleichen
- Einflussgrößen
- Lernrate bestimmt die Schrittweite
- Fehler bestimmt Stärke und Richtung
- Eingang bestimmt Beteiligung und Vorzeichen
- Grenzen
- einfache Regel für direkt überwachte Ausgaben
- Backpropagation für versteckte Schichten
Abschluss-Check
Du beherrschst die Delta-Regel, wenn du bei einem Trainingsbeispiel die Ausgabe, den Fehler und alle Gewichtsänderungen berechnen und anschließend ihre Richtung begründen kannst.