Informationstheorie

Wenn du eine Nachricht verschickst, passiert mehr als nur Tippen und Senden. Dein Handy muss Zeichen speichern, weitergeben und beim Empfänger wieder richtig anzeigen. Informatik fragt dabei nicht zuerst: „Ist die Nachricht wichtig?“, sondern: „Wie kann sie eindeutig ankommen?“

Worum es in der Informationstheorie geht

Stell dir vor, deine Klasse stimmt über den Wandertag ab. Wenn fast alle schon „Schwimmbad“ gesagt haben, überrascht dich die nächste Stimme kaum. Wenn drei Ziele gleich beliebt sind, ist jede neue Stimme spannender.

Die Informationstheorie ist eine mathematische Theorie. Sie wird in Informatik, Nachrichtentechnik und vielen anderen Bereichen genutzt. Sie untersucht, wie Nachrichten dargestellt, gespeichert, übertragen, gekürzt und gegen Fehler geschützt werden können.

Eine Nachricht ist eine Folge von Zeichen, Tönen, Bildern oder anderen Signalen. Eine Quelle ist der Ursprung der Nachricht, zum Beispiel eine Tastatur, ein Sensor oder ein Mensch. Ein Empfänger ist die Stelle, die die Nachricht liest oder verarbeitet.

Ein Code ist eine feste Regel, mit der eine Nachricht in eine andere Darstellung übersetzt wird. Zum Beispiel kann ein Buchstabe als Folge aus Nullen und Einsen dargestellt werden. Ein Kanal ist der Weg, über den die Nachricht übertragen wird, etwa WLAN, Kabel oder Funk.

Definition

Informationstheorie beschreibt technische Kommunikation mit Modellen: Eine Quelle erzeugt eine Nachricht, ein Code stellt sie dar, ein Kanal überträgt sie, und ein Empfänger rekonstruiert sie.

Beispiel

Du schreibst „Hallo“ in einen Chat.

Quelle: deine Tastatur oder App
Nachricht: die Zeichenfolge „Hallo“
Code: die digitale Darstellung der Buchstaben
Kanal: WLAN, Mobilfunk oder Kabel
Empfänger: das Handy der anderen Person

Merke

Informationstheorie fragt: Wie kann eine Nachricht möglichst sparsam und möglichst zuverlässig übertragen werden?

Information ist nicht dasselbe wie Bedeutung

Im Alltag sagst du vielleicht: „Das war eine wichtige Information.“ In der Informationstheorie ist der Begriff enger. Sie misst nicht, ob eine Nachricht klug, nützlich oder wahr ist.

Bedeutung meint, was eine Nachricht für einen Menschen aussagt. Technische Information meint, wie stark eine Nachricht Unsicherheit verringert. Unsicherheit bedeutet hier: Vorher sind mehrere Ergebnisse möglich, und du weißt noch nicht, welches eintritt.

Beispiel

Nachricht A: „Morgen fällt die Mathearbeit aus.“
Nachricht B: „Q7X9P2“.

Für dich hat Nachricht A wahrscheinlich mehr Bedeutung. Für ein technisches System können beide Nachrichten trotzdem als Zeichenfolgen betrachtet und übertragen werden.

Wenn eine Nachricht sehr vorhersehbar ist, bringt sie technisch wenig neue Information. Wenn sie viele mögliche Alternativen klärt, bringt sie mehr technische Information.

Gut zu wissen

Claude Shannon veröffentlichte 1948 eine wichtige Arbeit zur mathematischen Theorie der Kommunikation. Seine Ideen wurden grundlegend für digitale Speicherung, Datenübertragung und Fehlerbehandlung.

Merke

Bedeutung fragt: Was heißt das für mich? Technische Information fragt: Welche Unsicherheit wird beseitigt?

Das Bit als kleine Entscheidung

Manchmal reicht eine Ja-Nein-Frage. „Ist das Licht an?“ hat zwei mögliche Antworten. Genau hier beginnt die wichtigste Einheit der Informationstheorie.

Ein Bit ist die kleinste übliche Informationseinheit in der Informatik. Es unterscheidet zwei Zustände, zum Beispiel 0 und 1. Genau 1 Bit Informationsgehalt entsteht bei einer Entscheidung zwischen zwei gleich wahrscheinlichen Möglichkeiten.

Definition

Ein Bit unterscheidet zwei Zustände. Bei zwei gleich wahrscheinlichen Zuständen liefert das Ergebnis genau 1 Bit Information.

Beispiel

Eine faire Münze wird geworfen.

Mögliche Ergebnisse: Kopf oder Zahl
Vor dem Wurf: zwei gleich wahrscheinliche Möglichkeiten
Nach dem Wurf: eine Möglichkeit ist klar

Das Ergebnis liefert 1 Bit Information.

Bei vier gleich wahrscheinlichen Möglichkeiten brauchst du zwei Bit, weil zwei Ja-Nein-Entscheidungen reichen. Vier Farben können zum Beispiel so codiert werden:

Merke

Mit jedem zusätzlichen Bit verdoppelt sich die Anzahl der unterscheidbaren Möglichkeiten.

Entropie: Wie überraschend ist eine Quelle?

Wenn deine Lehrerin immer montags einen Test schreibt, überrascht dich die Ankündigung kaum. Wenn sie aber zufällig an einem von fünf Tagen testet, ist die genaue Ansage viel hilfreicher. Die Informationstheorie misst solche Unsicherheit mit Entropie.

Die Entropie ist ein Maß für die durchschnittliche Unsicherheit einer Quelle. Sie ist hoch, wenn viele Ergebnisse ähnlich wahrscheinlich sind. Sie ist niedrig, wenn ein Ergebnis fast sicher ist.

Definition

Entropie misst, wie viel Information eine Quelle im Durchschnitt liefert. Je unvorhersehbarer die Ausgaben der Quelle sind, desto höher ist die Entropie.

Beispiel

Quelle A sendet immer nur „A“.
Du weißt schon vorher, was kommt. Die Entropie ist sehr niedrig.

Quelle B sendet zufällig „A“, „B“, „C“ oder „D“, alle gleich wahrscheinlich.
Du kannst vorher schlecht raten. Die Entropie ist höher.

Bei einer fairen Münze beträgt die Entropie 1 Bit pro Wurf. Bei einer Münze, die fast immer Kopf zeigt, ist die Entropie kleiner. Das Ergebnis „Zahl“ wäre dann zwar überraschend, aber es passiert selten und erhöht den Durchschnitt nur wenig.

Merke

Hohe Entropie bedeutet: Vor der Nachricht gibt es viel Unsicherheit, nach der Nachricht ist viel geklärt.

Codierung und Kompression

Ein Computer kann einen Text nicht einfach „als Textgefühl“ speichern. Er braucht Regeln, die Zeichen in Bits übersetzen. Solche Regeln sind Codes.

Codierung bedeutet, dass Nachrichten nach festen Regeln in eine andere Darstellung übersetzt werden. Kompression bedeutet, Daten kürzer darzustellen. Das geht besonders gut, wenn sich Muster oder Wiederholungen finden lassen.

Definition

Codierung ordnet Nachrichten Codewörter zu. Kompression versucht, Daten mit weniger Zeichen oder Bits darzustellen.

Beispiel

In einem deutschen Text kommt der Buchstabe E sehr oft vor, das Q aber selten.

Ein Kompressionsverfahren kann häufige Zeichen kurz codieren und seltene Zeichen länger. Dadurch wird der ganze Text kleiner, obwohl jedes Zeichen wiederhergestellt werden kann.

Das klappt besonders gut, wenn Daten Muster enthalten. Ein Bild mit vielen gleichfarbigen Flächen lässt sich oft stärker komprimieren als ein Bild mit zufälligem Rauschen. Entropie erklärt, warum: Vorhersehbare Daten enthalten weniger durchschnittliche neue Information.

Merke

Kompression nutzt Vorhersagbarkeit. Je mehr Muster in Daten stecken, desto leichter lassen sie sich kürzer beschreiben.

Störungen, Redundanz und Fehlerkorrektur

Bei einer Nachricht kann unterwegs etwas schiefgehen. Funk kann rauschen, eine Festplatte kann einen Fehler haben, oder ein Kabel kann gestört sein. Deshalb reicht „kurz“ allein nicht immer aus.

Eine Störung ist ein Einfluss, der Daten unterwegs verändern kann. Redundanz bedeutet: Es werden zusätzliche Zeichen oder Bits mitgesendet, die nicht neue Nutzinformation tragen. Fehlerkorrektur bedeutet, dass der Empfänger gestörte Daten mithilfe zusätzlicher Daten wiederherstellen kann.

Definition

Redundanz ist absichtlich hinzugefügte Zusatzinformation. Sie macht eine Übertragung größer, kann sie aber zuverlässiger machen.

Beispiel

Du willst die Bitfolge 1 senden. Zur Sicherheit sendest du sie dreimal: 111.

Kommt 101 an, kann der Empfänger vermuten: Ein Bit wurde gestört, gemeint war wahrscheinlich 111. Die ursprüngliche Nachricht war also 1.

Das ist nicht besonders effizient, zeigt aber die Idee. Echte Systeme nutzen klügere Fehlerkorrektur-Codes. Sie fügen gerade genug Zusatzbits hinzu, damit Fehler erkannt oder manchmal sogar behoben werden können.

Merke

Kompression entfernt überflüssige Wiederholung. Fehlerkorrektur fügt gezielte Redundanz hinzu. Beide Ziele müssen gut ausbalanciert werden.

Zusammenfassung

Die Informationstheorie hilft dir zu verstehen, wie Computer und Kommunikationssysteme mit Nachrichten umgehen. Sie betrachtet Nachrichten technisch: als Daten, die dargestellt, gemessen, übertragen, komprimiert und geschützt werden.

Merke

Die wichtigste Idee lautet: Information hängt mit Unsicherheit zusammen. Was vorher schwer vorherzusagen war, liefert beim Eintreffen viel technische Information.