Lasso-Regression
In diesem Beitrag
Was versteht man unter Lasso-Regression?
Die Lasso-Regression ist eine Form der regulierten linearen Regression, die 1996 von Robert Tibshirani eingeführt wurde. Sie erweitert das klassische Kleinste-Quadrate-Verfahren (OLS) um einen sogenannten Strafterm, der die Größe der Regressionskoeffizienten begrenzt. Das Besondere an Lasso ist, dass dieser Strafterm einzelne Koeffizienten vollständig auf null setzen kann – das Modell betreibt damit automatisch eine Variablenselektion.
Mathematisch minimiert die Lasso-Regression die folgende Zielfunktion:
Lasso-Zielfunktion
Dabei ist die Summe der quadrierten Residuen (wie bei OLS), der Tuning-Parameter, der die Stärke der Regularisierung kontrolliert, und die Summe der Absolutbeträge aller Regressionskoeffizienten – die sogenannte L1-Norm. Ein höheres bedeutet stärkere Schrumpfung und damit mehr Koeffizienten, die auf null gesetzt werden.
Warum ist Lasso-Regression für statistische Analysen wichtig?
Die Lasso-Regression löst zwei häufige Probleme in der statistischen Modellierung gleichzeitig:
- Overfitting: Wenn ein Modell sehr viele Prädiktoren enthält, passt es sich zu stark an die Trainingsdaten an und generalisiert schlecht auf neue Daten. Der Lasso-Strafterm bremst diesen Effekt.
- Variablenselektion: In vielen Forschungsprojekten – etwa in der Genomik, Psychologie oder Wirtschaftswissenschaft – gibt es deutlich mehr potenzielle Prädiktoren als Beobachtungen. Lasso wählt automatisch die relevantesten Variablen aus.
Im Vergleich zur verwandten Ridge-Regression (L2-Regularisierung) schrumpft Ridge alle Koeffizienten, setzt sie aber nie vollständig auf null. Lasso erzeugt dagegen sparsame Modelle, was die Interpretation deutlich erleichtert. Eine Kombination beider Ansätze bietet das sogenannte Elastic Net.
Praxisbeispiel zu Lasso-Regression
Eine Forscherin möchte den Blutdruck von Patientinnen und Patienten vorhersagen. Sie hat 200 Beobachtungen und 30 potenzielle Prädiktoren gemessen, darunter Alter, BMI, Salzkonsum, Sportaktivität, Schlafdauer, Raucherstatus und viele weitere Laborwerte.
Ein klassisches OLS-Modell mit allen 30 Variablen würde overfittten und wäre kaum interpretierbar. Sie entscheidet sich daher für eine Lasso-Regression mit Kreuzvalidierung zur Wahl von λ.
| Prädiktor | OLS-Koeffizient | Lasso-Koeffizient |
|---|---|---|
| Alter | 0,42 | 0,38 |
| BMI | 0,67 | 0,61 |
| Salzkonsum | 0,31 | 0,27 |
| Schlafdauer | −0,08 | 0,00 |
| Schuhgröße | 0,05 | 0,00 |
| … (25 weitere) | ≠ 0 | 0,00 |
Das Ergebnis: Von 30 Prädiktoren behält das Lasso-Modell lediglich 3 Variablen mit einem von null verschiedenen Koeffizienten. Die Forscherin kann das Modell nun klar interpretieren und gezielt kommunizieren, welche Faktoren tatsächlich mit dem Blutdruck zusammenhängen.
