Mit Google fortfahren
Lineare Regression einfach erklärt und berechnet
Mit einer linearen Regression beschreibst du, wie zwei Größen linear zusammenhängen. Die Regressionsgerade liegt so in einer Punktwolke, dass die Summe der quadrierten vertikalen Abstände zu den Datenpunkten möglichst klein ist. Mit ihr kannst du Zusammenhänge beschreiben und vorsichtige Vorhersagen treffen – aber keine Ursache beweisen.
Hake ab, was du schon kannst — und komm am Ende hierher zurück!
Wann hilft eine lineare Regression?
Stell dir ein Streudiagramm vor, dessen Punkte ungefähr entlang einer steigenden oder fallenden Geraden liegen. Eine lineare Regression fasst dieses Muster durch eine Gleichung zusammen:
$$\hat y=a+bx$$
Dabei bedeuten:
- $x$: Wert der erklärenden Größe,
- $\hat y$: vom Modell vorhergesagter Wert der Zielgröße,
- $a$: Achsenabschnitt, also die Vorhersage für $x=0$,
- $b$: Steigung der Geraden.
Ist $b>0$, steigt die Vorhersage mit $x$. Ist $b<0$, fällt sie. Bei $b=0$ stellt die Gerade keinen linearen Zusammenhang dar.
Einfache lineare Regression
Eine einfache lineare Regression verwendet genau eine erklärende Größe $X$, um eine Zielgröße $Y$ durch eine Gerade zu beschreiben oder vorherzusagen. Bei mehreren erklärenden Größen spricht man von multipler Regression.
Der Achsenabschnitt $a$ ist rechnerisch nötig, aber nicht immer sachlich sinnvoll. Eine Vorhersage für Körpergröße $0$ besitzt zum Beispiel keine brauchbare Bedeutung.
Wie findet man die passende Gerade?
Zu jedem beobachteten Punkt $(x_i,y_i)$ liefert die Gerade eine Vorhersage
$$\hat y_i=a+bx_i.$$
Der vertikale Unterschied zwischen Beobachtung und Vorhersage heißt Residuum:
$$e_i=y_i-\hat y_i.$$
Ein positives Residuum bedeutet: Der beobachtete Punkt liegt über der Geraden. Ein negatives Residuum bedeutet: Er liegt darunter.
Methode der kleinsten Quadrate
Die Methode der kleinsten Quadrate, kurz OLS, wählt $a$ und $b$ so, dass die Residuenquadratsumme
$$\sum_{i=1}^{n} e_i^2$$
möglichst klein wird. Durch das Quadrieren können sich positive und negative Residuen nicht gegenseitig aufheben.
Für Datenpaare $(x_i,y_i)$ berechnest du zuerst die Mittelwerte $\bar x$ und $\bar y$. Dann gilt:
$$b=\frac{\sum_i(x_i-\bar x)(y_i-\bar y)}{\sum_i(x_i-\bar x)^2}$$
$$a=\bar y-b\bar x$$
Die Rechnung ist nur eindeutig möglich, wenn die $x$-Werte nicht alle gleich sind. Außerdem folgt aus der Formel für $a$, dass die Regressionsgerade immer durch den Punkt $(\bar x,\bar y)$ verläuft.
Die Regressionsgerade wird nicht so gewählt, dass möglichst viele Punkte auf ihr liegen. Entscheidend ist die kleinste Summe der quadrierten vertikalen Abstände.
Wähle in jeder Lücke die passende Form und prüfe anschließend deine Antworten.
Ein beobachteter Wert wird mit dem von der Geraden Wert verglichen. Ihre Differenz heißt . OLS minimiert die Summe der Residuen. Die Regressionsgerade verläuft durch den Punkt .
Wie berechnet man eine Regressionsgerade vollständig?
Gegeben sind die drei Datenpunkte
$$(1,1),\quad(2,2),\quad(3,2).$$
1. Mittelwerte bestimmen
$$\bar x=\frac{1+2+3}{3}=2$$
$$\bar y=\frac{1+2+2}{3}=\frac53$$
2. Steigung berechnen
Für diese Daten gelten
$$\sum x_iy_i=11\quad\text{und}\quad\sum x_i^2=14.$$
Mit der gleichwertigen Rohsummenform erhältst du:
$$b=\frac{\sum x_iy_i-n\bar x\bar y}{\sum x_i^2-n\bar x^2}$$
$$b=\frac{11-3\cdot2\cdot\frac53}{14-3\cdot2^2}=\frac{11-10}{14-12}=\frac12$$
Die Vorhersage steigt also um $0{,}5$, wenn $x$ um eine Einheit wächst.
3. Achsenabschnitt berechnen
$$a=\bar y-b\bar x=\frac53-\frac12\cdot2=\frac23$$
Damit lautet die Regressionsgerade:
$$\hat y=\frac23+\frac12x$$
4. Vorhersagen und Residuen prüfen
| $x_i$ | $y_i$ | $\hat y_i$ | $e_i=y_i-\hat y_i$ |
|---|---|---|---|
| 1 | 1 | $\frac76$ | $-\frac16$ |
| 2 | 2 | $\frac53$ | $\frac26$ |
| 3 | 2 | $\frac{13}{6}$ | $-\frac16$ |
Die Residuenquadratsumme beträgt
$$\left(-\frac16\right)^2+\left(\frac26\right)^2+\left(-\frac16\right)^2=\frac16.$$
Für $x=2$ sagt das Modell $\hat y=\frac53$ voraus. Beobachtet wurde $y=2$. Deshalb ist das Residuum
$$e=2-\frac53=\frac13=\frac26.$$
Der Punkt liegt um $\frac13$ über der Regressionsgeraden.
Wie deutet man Vorhersage und Modellgüte?
Liegt ein neuer $x$-Wert innerhalb des beobachteten Bereichs, heißt die Vorhersage Interpolation. Liegt er außerhalb, heißt sie Extrapolation.
Im Rechenbeispiel reicht der beobachtete Bereich von $x=1$ bis $x=3$. Die Vorhersage für $x=2{,}5$ ist eine Interpolation. Die Vorhersage für $x=4$ ist eine Extrapolation und deshalb besonders vorsichtig zu behandeln: Außerhalb der Daten kann sich der Zusammenhang verändern.
Das Bestimmtheitsmaß $R^2$ vergleicht die Fehler der Regressionsgeraden mit der gesamten Streuung der Zielwerte:
$$R^2=1-\frac{\sum_i(y_i-\hat y_i)^2}{\sum_i(y_i-\bar y)^2}$$
Sofern die $y$-Werte überhaupt streuen, liegt $R^2$ bei einer einfachen Regression mit Achsenabschnitt zwischen $0$ und $1$:
- $R^2=0$: Die Gerade erklärt keine zusätzliche Streuung gegenüber dem Mittelwertmodell.
- $R^2=1$: Alle Punkte liegen genau auf der Regressionsgeraden.
Im Drei-Punkte-Beispiel ist die Gesamtquadratsumme $\frac23$ und die Residuenquadratsumme $\frac16$. Daher gilt:
$$R^2=1-\frac{\frac16}{\frac23}=\frac34=0{,}75.$$
Das Modell beschreibt damit $75\,\%$ der beobachteten Streuung von $Y$. Diese Aussage gilt für die Daten und beweist keine Ursache.
Ein kleines $R^2$ bedeutet nicht automatisch, dass gar kein Zusammenhang besteht. Ein gekrümmter Zusammenhang kann stark sein und trotzdem von einer Geraden schlecht erfasst werden. Umgekehrt beweist ein großes $R^2$ weder Kausalität noch ein fehlerfreies Modell.
Woran erkennt man ein ungeeignetes Modell?
Eine berechnete Gerade ist nicht automatisch ein gutes Modell. Prüfe zuerst das Streudiagramm und danach die Residuen.
- Linearität: Die Punktwolke sollte durch eine Gerade angemessen beschreibbar sein. Eine deutliche Kurve spricht gegen ein lineares Modell.
- Gleichmäßige Streuung: Die Residuen sollten über den Vorhersagebereich ähnlich stark streuen. Eine Trichterform weist auf ungleiche Streuung hin.
- Unabhängigkeit: Residuen sollten nicht systematisch voneinander abhängen. Das ist besonders bei zeitlich geordneten Daten wichtig.
- Ausreißer und einflussreiche Punkte: Einzelne extreme Punkte können Steigung und Achsenabschnitt stark verändern.
- Normalverteilung der Fehler: Sie ist für die reine OLS-Berechnung nicht nötig, spielt aber bei klassischen Signifikanztests und Konfidenzintervallen eine wichtige Rolle.
Schau nie nur auf die Regressionsgleichung oder auf $R^2$. Streudiagramm, Residuenmuster, Datenbereich und Sachkontext gehören gemeinsam zur Beurteilung.
Außerdem gilt: Zusammenhang ist nicht Ursache. Wenn zwei Größen gemeinsam steigen, kann eine dritte Größe beide beeinflussen. Die Regression beschreibt zunächst nur eine Beziehung in den Daten.
Karteikasten
Überlege zuerst selbst und drehe die Karte anschließend zum Prüfen um.
Alles auf einen Blick
- Lineare Regression
- beschreibt einen linearen Zusammenhang
- verwendet $\hat y=a+bx$
- bestimmt $a$ und $b$ mit OLS
- misst Abweichungen durch Residuen
- bewertet Modellgüte unter anderem mit $R^2$
- unterscheidet Interpolation und Extrapolation
- verlangt die Prüfung von Mustern, Ausreißern und Annahmen
- beweist keine Kausalität
Abschluss-Check
Du beherrschst den Kern der linearen Regression, wenn du eine Gerade berechnen, ihre Bestandteile im Sachzusammenhang deuten und zugleich begründen kannst, wann ihre Vorhersagen fragwürdig werden.