Elastic Net
In diesem Beitrag
Was versteht man unter Elastic Net?
Das Elastic Net ist eine regularisierte Regressionsmethode, die zwei bekannte Strafterme miteinander kombiniert: die L1-Regularisierung (wie beim Lasso) und die L2-Regularisierung (wie bei Ridge-Regression). Ziel ist es, ein Regressionsmodell zu schätzen, das einerseits sparsam ist – also möglichst wenige Prädiktoren verwendet –, andererseits aber stabil bleibt, wenn viele Prädiktoren miteinander korrelieren.
Die Verlustfunktion, die das Elastic Net minimiert, lautet:
Verlustfunktion des Elastic Net
Dabei steht für den üblichen quadratischen Fehler (Residuenquadratsumme), für den L1-Strafterm (Betrag der Koeffizienten), für den L2-Strafterm (quadrierte Koeffizienten), für die Gesamtstärke der Regularisierung und für die Gewichtung zwischen L1 und L2. Ist , ergibt sich reines Lasso; ist , ergibt sich Ridge-Regression.
Warum ist Elastic Net für statistische Analysen wichtig?
In vielen empirischen Forschungsfeldern – etwa in der Genomik, Psychologie oder Wirtschaftswissenschaft – gibt es Datensätze mit deutlich mehr Prädiktoren als Beobachtungen, oder Prädiktoren hängen stark miteinander zusammen (Multikollinearität). In solchen Situationen versagen klassische Kleinstquadrate-Schätzungen (OLS) regelmäßig. Hier kommt das Elastic Net ins Spiel:
- Variablenselektion: Durch den L1-Anteil setzt das Elastic Net Koeffizienten irrelevanter Prädiktoren exakt auf null – ähnlich wie Lasso.
- Stabilität bei Multikollinearität: Der L2-Anteil sorgt dafür, dass bei korrelierten Variablen nicht willkürlich eine ausgewählt und der Rest auf null gesetzt wird, sondern alle ähnlich gewichtet werden.
- Flexibilität: Über die Hyperparameter und lässt sich das Modell gezielt anpassen – von reinem Lasso bis zu reiner Ridge-Regression.
Praxisbeispiel zu Elastic Net
Eine Forscherin möchte den Studienerfolg (gemessen in Abschlussnote) anhand von 50 Fragebogen-Items vorhersagen, die Lernverhalten, Motivation und Persönlichkeitseigenschaften erfassen. Viele dieser Items sind inhaltlich ähnlich und daher hoch miteinander korreliert.
Sie wendet das Elastic Net an und optimiert die Hyperparameter via 10-facher Kreuzvalidierung. Das Ergebnis:
| Verfahren | Anzahl Variablen im Modell | Kreuzvalidierungs-RMSE | Umgang mit korrelierten Items |
|---|---|---|---|
| OLS (kein Strafterm) | 50 | 0,91 | Instabil, Überanpassung |
| Lasso | 8 | 0,74 | Willkürliche Auswahl bei Korrelation |
| Ridge | 50 (geschrumpft) | 0,76 | Alle Items bleiben, aber kein Ausschluss |
| Elastic Net | 14 | 0,68 | Stabile Gruppen korrelierter Items |
Das Elastic Net erzielt den niedrigsten Vorhersagefehler (RMSE) und wählt dabei eine interpretierbare Anzahl von Prädiktoren aus. Korrelierte Items werden nicht willkürlich auf null gesetzt, sondern als Gruppe ähnlich gewichtet – das erhöht sowohl die Vorhersagegenauigkeit als auch die inhaltliche Nachvollziehbarkeit des Modells.
