Robuste Regression
In diesem Beitrag
Was versteht man unter Robuster Regression?
Die robuste Regression ist eine Familie von Regressionsverfahren, die darauf ausgelegt sind, gegenüber Ausreißern und Verletzungen der klassischen Modellannahmen unempfindlicher zu sein als die gewöhnliche Kleinste-Quadrate-Schätzung (OLS, Ordinary Least Squares).
Bei der OLS-Regression wird die Summe der quadrierten Residuen minimiert:
OLS-Verlustfunktion
Das Quadrieren der Abweichungen hat einen entscheidenden Nachteil: Einzelne weit entfernte Beobachtungen – also Ausreißer – gehen mit überproportional großem Gewicht in die Schätzung ein und können die Regressionsgerade erheblich verzerren.
Robuste Verfahren begegnen diesem Problem, indem sie alternative Verlustfunktionen oder Gewichtungsschemata verwenden, die dem Einfluss extremer Beobachtungen eine natürliche Grenze setzen. Zu den bekanntesten Methoden gehören:
- M-Schätzer (z. B. Huber-Regression): Ersetzen die quadratische Verlustfunktion durch eine Funktion, die bei kleinen Residuen wie OLS und bei großen Residuen wie eine betragsmäßige Funktion wirkt.
- Least Trimmed Squares (LTS): Minimiert die Summe der kleinsten h quadrierten Residuen und ignoriert die größten Abweichungen vollständig.
- MM-Schätzer: Kombiniert eine hohe Ausreißerresistenz mit guter statistischer Effizienz bei normalverteilten Daten.
- Quantilsregression: Schätzt den Median oder andere Quantile der abhängigen Variable statt des Mittelwerts, was sie von Natur aus robuster macht.
Warum ist Robuste Regression für statistische Analysen wichtig?
In der Praxis sind Datensätze selten perfekt. Messfehler, Dateneingabefehler oder genuine Extremwerte kommen in nahezu jeder empirischen Studie vor. Die OLS-Regression reagiert auf solche Ausreißer besonders sensibel, weil das Quadrieren der Residuen extreme Abweichungen systematisch übergewichtet. Das kann zu verzerrten Koeffizientenschätzungen führen, ohne dass man es auf den ersten Blick bemerkt.
Robuste Regression bietet hier einen wichtigen Schutz: Die geschätzten Koeffizienten bleiben stabil, selbst wenn ein Teil der Beobachtungen stark von der Hauptstruktur des Datensatzes abweicht. Ein zentrales Maß für diese Stabilität ist der sogenannte Breakpoint (breakdown point): Er gibt an, welcher Anteil der Daten verfälscht sein darf, bevor die Schätzung vollständig zusammenbricht. OLS hat einen Breakpoint von nahezu 0 %, während LTS-Schätzer Breakpoints von bis zu 50 % erreichen können.
Praxisbeispiel zu Robuster Regression
Eine Forscherin untersucht den Zusammenhang zwischen den wöchentlichen Lernstunden und der Prüfungsleistung von 15 Studierenden. Dreizehn Studierende folgen einem nachvollziehbaren Muster, doch zwei Beobachtungen stechen heraus: Ein Student hat trotz sehr vieler Lernstunden eine ungewöhnlich schlechte Note – möglicherweise aufgrund von Prüfungsangst.
| Methode | Steigung (Lernstunden) | Intercept | Ausreißereinfluss |
|---|---|---|---|
| OLS | 1,8 | 42,0 | Hoch |
| Huber-Regression (M-Schätzer) | 3,1 | 38,5 | Gering |
Die OLS-Schätzung ergibt eine Steigung von nur 1,8 Punkten pro Lernstunde, weil die Ausreißer die Gerade nach unten ziehen. Die robuste Regression hingegen schätzt eine Steigung von 3,1 – was besser dem tatsächlichen Muster der Mehrheit der Studierenden entspricht. Die Forscherin kann so fundierter interpretieren, dass mehr Lernzeit im Regelfall mit deutlich besseren Prüfungsleistungen einhergeht, ohne dass einzelne Extremfälle das Bild verzerren.
