Ordinary Least Squares (OLS)
In diesem Beitrag
Was versteht man unter Ordinary Least Squares (OLS)?
Ordinary Least Squares (OLS) ist das am häufigsten verwendete Schätzverfahren in der linearen Regressionsanalyse. Ziel ist es, die Parameter eines linearen Modells so zu bestimmen, dass die Summe der quadrierten Abweichungen zwischen den beobachteten Werten und den durch das Modell vorhergesagten Werten minimal wird.
Formal gesprochen: Gegeben ein lineares Modell der Form
Lineares Regressionsmodell
sucht OLS denjenigen Koeffizientenvektor , der die folgende Verlustfunktion minimiert:
OLS-Kriterium: Minimierung der Residuenquadratsumme
Dabei bezeichnet den beobachteten Wert der abhängigen Variable, den vom Modell vorhergesagten Wert und das sogenannte Residuum – also den verbleibenden, nicht erklärten Anteil.
Die Lösung dieser Minimierungsaufgabe ergibt den OLS-Schätzer:
OLS-Schätzer (Normalengleichung)
Warum ist OLS für statistische Analysen wichtig?
OLS ist das Fundament der linearen Regressionsanalyse und damit eine der zentralen Methoden in den Sozialwissenschaften, der Wirtschaftswissenschaft, der Psychologie und vielen anderen Disziplinen. Wer mit Regressionen arbeitet, arbeitet in der Regel – oft ohne es explizit zu benennen – mit OLS.
Unter bestimmten Bedingungen, den sogenannten Gauss-Markov-Annahmen, ist der OLS-Schätzer nachweislich der beste lineare unverzerrte Schätzer (BLUE – Best Linear Unbiased Estimator). Das bedeutet: Kein anderes lineares und unverzerrtes Schätzverfahren liefert kleinere Schätzfehler.
Die wichtigsten Gauss-Markov-Annahmen im Überblick:
- Linearität: Der wahre Zusammenhang ist linear in den Parametern.
- Zufällige Stichprobe: Die Beobachtungen sind unabhängig voneinander.
- Keine perfekte Multikollinearität: Die unabhängigen Variablen sind nicht exakt linear abhängig voneinander.
- Erwartungswert der Fehler ist null:
- Homoskedastizität: Die Varianz der Fehler ist konstant über alle Beobachtungen.
Praxisbeispiel zu Ordinary Least Squares
Angenommen, du untersuchst, ob der Umfang des wöchentlichen Lernaufwands (in Stunden) die Klausurnote von Studierenden vorhersagen kann. Du hast Daten von fünf Studierenden erhoben:
| Studierende:r | Lernaufwand (Std./Woche) | Klausurnote (Punkte) |
|---|---|---|
| A | 2 | 42 |
| B | 4 | 55 |
| C | 6 | 61 |
| D | 8 | 74 |
| E | 10 | 80 |
Du schätzt ein einfaches lineares Regressionsmodell mit OLS: Note = β₀ + β₁ · Lernaufwand + ε. OLS berechnet nun automatisch jene Werte für den y-Achsenabschnitt β₀ und die Steigung β₁, bei denen die Summe der quadrierten Abstände aller fünf Datenpunkte von der Regressionsgeraden minimal ist.
Das Ergebnis könnte lauten: Note = 30 + 5 · Lernaufwand. Das bedeutet: Jede zusätzliche Lernstunde pro Woche ist im Durchschnitt mit 5 weiteren Punkten in der Klausur verbunden. Ein:e Studierende:r mit 7 Stunden Lernaufwand würde demnach eine vorhergesagte Note von 30 + 5 · 7 = 65 Punkten erhalten.
Die tatsächliche Note wird von diesem Vorhersagewert abweichen – diese Abweichung ist das Residuum. OLS hat gerade dafür gesorgt, dass diese Abweichungen über alle Beobachtungen hinweg so klein wie möglich sind.
