Neuronales Netz: Aufbau, Berechnung und Training

Stell dir vor, ein Programm soll ein Bild als Apfel oder Birne einordnen. Das Netz sieht keine Frucht wie ein Mensch. Es erhält Zahlen, zum Beispiel Farbwerte einzelner Pixel.

Ein typisches neuronales Netz besitzt drei Arten von Schichten:

1. Die Eingabeschicht nimmt die Merkmale auf.
2. Eine oder mehrere verborgene Schichten verarbeiten und kombinieren die Werte.
3. Die Ausgabeschicht liefert die Vorhersage, etwa zwei Werte für „Apfel“ und „Birne“.

Die Verbindungen zwischen Neuronen heißen Kanten. Jede Kante trägt ein Gewicht. Ein großes positives Gewicht verstärkt den Einfluss eines Eingangswerts. Ein kleines Gewicht schwächt ihn. Ein negatives Gewicht wirkt ihm entgegen.

Der Bias ist ein zusätzlicher einstellbarer Wert. Er verschiebt die Schwelle, ab der ein Neuron deutlich reagiert.

Ein Neuron führt zwei zentrale Schritte aus. Zuerst bildet es die gewichtete Summe:

$$z = w_1 x_1 + w_2 x_2 + ... + w_n x_n + b$$

Dabei sind $x_i$ die Eingaben, $w_i$ die Gewichte und $b$ der Bias. Danach berechnet die Aktivierungsfunktion aus $z$ die Ausgabe $a$:

$$a = sigma(z)$$

Die Aktivierungsfunktion legt fest, wie das Neuron auf die gewichtete Summe reagiert. Eine einfache Schwellenwertfunktion gibt nur 0 oder 1 aus. Andere Funktionen wie Sigmoid, tanh oder ReLU ermöglichen abgestufte Ausgaben oder nichtlineare Verarbeitung.

Zu Beginn sind die Gewichte häufig zufällig gewählt. Deshalb sind falsche Vorhersagen zunächst normal. Im Apfel-Birnen-Beispiel kann das Netz etwa $0{,}6$ für „Birne“ und $0{,}4$ für „Apfel“ ausgeben, obwohl das Bild einen Apfel zeigt.

Beim überwachten Lernen besitzt jedes Trainingsbeispiel eine bekannte Zielausgabe, das Label. Das Netz durchläuft wiederholt diesen Zyklus:

1. Beim Vorwärtsdurchlauf berechnet es aus der Eingabe eine Vorhersage.
2. Eine Verlustfunktion misst die Abweichung zwischen Vorhersage und Ziel.
3. Die Backpropagation ermittelt rückwärts durch das Netz, wie die einzelnen Parameter zum Fehler beitragen.
4. Der Gradientenabstieg verändert Gewichte und Biaswerte schrittweise in eine Richtung, die den Verlust verringern soll.
5. Der Vorgang wird mit weiteren Trainingsbeispielen wiederholt.

Eine mögliche Verlustfunktion ist die Summe der quadrierten Abweichungen:

$$L = (a_1-e_1)^2 + ... + (a_n-e_n)^2$$

$a_i$ bezeichnet eine Ausgabe des Netzes, $e_i$ den erwarteten Wert. Je näher $L$ an 0 liegt, desto näher liegen diese Ausgaben an den Zielwerten.

Beim unüberwachten Lernen fehlen vorgegebene richtige Zielausgaben. Das Verfahren soll stattdessen selbst Muster oder Gruppen in den Daten finden. Der oben beschriebene direkte Vergleich mit einem korrekten Klassenlabel gehört daher zum überwachten Lernen.

Nicht jedes neuronale Netz verbindet seine Neuronen auf dieselbe Weise. Die Architektur bestimmt, wie Informationen weitergegeben und kombiniert werden.

Perzeptron

Die Grundform des Perzeptrons besteht aus einem künstlichen Neuron. Es addiert gewichtete Eingaben und trifft mit einer Schwellenwertfunktion eine binäre Entscheidung, zum Beispiel 0 oder 1.

Feed-Forward-Netz

In einem Feed-Forward-Netz laufen Signale nur von der Eingabe zur Ausgabe. Es gibt keine zurückgerichteten Verbindungen. Viele verborgene Schichten ermöglichen eine tiefe Verarbeitung; solche tiefen Netze gehören zum Deep Learning.

Convolutional Neural Network

Ein Convolutional Neural Network, kurz CNN, ist besonders für gitterartige Daten wie Bilder geeignet. Filter werden über die Eingabe geschoben und erfassen räumliche Merkmale. Pooling kann die Darstellung verkleinern und dabei wichtige Informationen erhalten.

Recurrent Neural Network

Ein Recurrent Neural Network, kurz RNN, führt Informationen aus früheren Verarbeitungsschritten weiter. Dieses Gedächtnis hilft bei Sequenzen. So kann der vorausgehende Satzteil entscheiden, ob „Bank“ eine Sitzgelegenheit oder ein Geldinstitut meint. LSTM-Einheiten sind eine Variante für längerfristige Abhängigkeiten.

Transformer

Transformer verwenden Aufmerksamkeitsmechanismen, um datenabhängige Beziehungen zwischen Teilen einer Eingabe zu gewichten. Sie haben RNNs bei vielen Sequenzaufgaben ersetzt und bilden eine Grundlage moderner Sprachmodelle.

Ein kleiner Trainingsfehler beweist noch nicht, dass ein Netz seine Aufgabe allgemein gelernt hat. Es kann die Trainingsbeispiele zu genau nachbilden und bei neuen Daten versagen. Das heißt Überanpassung oder Overfitting.

Deshalb werden Trainings- und Testdaten getrennt:

• Mit Trainingsdaten werden Gewichte und Biaswerte angepasst.
• Mit zuvor nicht zum Anpassen verwendeten Testdaten wird geprüft, wie gut das Modell auf unbekannte Beispiele überträgt.

Eine deutlich bessere Trainingsgüte als Testgüte ist ein Warnzeichen für mögliche Überanpassung. Sie zeigt einen Prüfbedarf, erklärt aber noch nicht allein die genaue Ursache.

Auch die Qualität der Daten zählt. Sind Beispiele einseitig oder enthalten sie unerwünschte Muster, kann das Netz diese Muster lernen. Bei Bildern könnte es etwa die Helligkeit statt der eigentlich wichtigen Form verwenden.

Die inneren Wechselwirkungen vieler Neuronen sind oft schwer nachzuvollziehen. Diese eingeschränkte Interpretierbarkeit wird häufig als Black-Box-Problem beschrieben. Eine hohe ausgegebene Wahrscheinlichkeit ist außerdem keine Garantie für eine richtige Entscheidung.

Ein neuronales Netz ist ein Modell innerhalb eines KI-Systems. Für die Folgen einer Anwendung sind zusätzlich die Daten, die gewählte Aufgabe, Entscheidungsschwellen, organisatorische Abläufe und die betroffenen Menschen wichtig.

Du hast den Kern verstanden, wenn du nicht nur Netztypen benennen kannst, sondern den vollständigen Zusammenhang erklären kannst: Eingaben werden vorwärts verarbeitet, der Fehler wird bewertet, Parameter werden angepasst und die Übertragung auf unbekannte Daten wird getrennt geprüft.