Kleinste-Quadrate-Schätzung
In diesem Beitrag
Was versteht man unter der Kleinste-Quadrate-Schätzung?
Die Kleinste-Quadrate-Schätzung (englisch: Ordinary Least Squares, kurz OLS) ist ein statistisches Verfahren zur Schätzung der Parameter eines linearen Regressionsmodells. Das Ziel besteht darin, eine Regressionsgerade (oder -hyperebene bei mehreren Prädiktoren) so durch die Datenpunkte zu legen, dass die Summe der quadrierten Abweichungen zwischen den beobachteten Werten und den durch das Modell vorhergesagten Werten minimiert wird.
Formal gesprochen sucht man die Parameterschätzer , welche die folgende Summe minimieren:
Minimierungskriterium (OLS)
Dabei ist der beobachtete Wert der abhängigen Variable, der vom Modell vorhergesagte Wert und die Anzahl der Beobachtungen. Die Differenz wird als Residuum bezeichnet.
Für das einfache lineare Regressionsmodell mit einem Prädiktor ergibt sich die Lösung analytisch durch die sogenannten Normalengleichungen. Die geschätzten Koeffizienten lassen sich direkt berechnen – es ist keine iterative Optimierung notwendig.
Warum ist die Kleinste-Quadrate-Schätzung für statistische Analysen wichtig?
Die Kleinste-Quadrate-Schätzung ist das mit Abstand am häufigsten eingesetzte Verfahren in der linearen Regression und bildet die Grundlage eines Großteils der empirischen Forschung. Ihre Popularität hat mehrere Gründe:
- Einfache Berechnung: Die Koeffizienten lassen sich analytisch bestimmen, ohne iterative Algorithmen zu benötigen.
- Optimale Eigenschaften unter bestimmten Bedingungen: Sind die Gauss-Markov-Annahmen erfüllt (Linearität, Homoskedastizität, keine Autokorrelation, keine Multikollinearität), ist der OLS-Schätzer der Best Linear Unbiased Estimator (BLUE) – also der beste unverzerrte lineare Schätzer.
- Breite Anwendbarkeit: OLS wird in Wirtschaftswissenschaften, Psychologie, Medizin, Sozialwissenschaften und vielen weiteren Disziplinen eingesetzt.
- Interpretierbarkeit: Die geschätzten Koeffizienten lassen sich direkt inhaltlich interpretieren.
Praxisbeispiel zu Kleinste-Quadrate-Schätzung
Angenommen, eine Forscherin möchte untersuchen, ob die wöchentliche Lernzeit (in Stunden) die Prüfungsnote (auf einer Skala von 0 bis 100) vorhersagt. Sie erhebt Daten von fünf Studierenden:
| Person | Lernzeit (Std./Woche) | Prüfungsnote (Punkte) |
|---|---|---|
| 1 | 2 | 50 |
| 2 | 4 | 60 |
| 3 | 6 | 65 |
| 4 | 8 | 75 |
| 5 | 10 | 85 |
Die OLS-Methode sucht nun die Gerade , die die Summe der quadrierten Residuen minimiert. Für diesen Datensatz ergibt sich näherungsweise ein Achsenabschnitt von etwa 41 und eine Steigung von etwa 4,3. Das bedeutet: Pro zusätzliche Lernstunde pro Woche steigt die erwartete Prüfungspunktzahl um rund 4,3 Punkte.
Hätte eine der Studierenden trotz zehn Lernstunden nur 55 Punkte erreicht, wäre das Residuum für diese Person groß – und genau solche Abweichungen versucht OLS durch die Wahl der optimalen Geraden so gering wie möglich zu halten.
