Statistik-Glossar

Ridge-Regression

Ridge Regression / L2-Regularisierung / Tikhonov-Regularisierung · Maximilian Fuchs · 24. April 2026 · 5 Min. Lesezeit

In diesem Beitrag

Was versteht man unter Ridge-Regression?
Warum ist Ridge-Regression wichtig?
Praxisbeispiel

Was versteht man unter Ridge-Regression?

Die Ridge-Regression ist eine Erweiterung der klassischen linearen Regression, die verwendet wird, wenn das Modell zu stark an die Trainingsdaten angepasst ist (Overfitting) oder wenn Prädiktoren stark miteinander korrelieren (Multikollinearität). Sie gehört zur Familie der regularisierten Regressionsverfahren.

Bei der gewöhnlichen kleinsten Quadrate-Regression (OLS) werden die Regressionskoeffizienten so geschätzt, dass die Summe der quadrierten Residuen minimiert wird. Die Ridge-Regression fügt dieser Verlustfunktion einen zusätzlichen Strafterm hinzu, der die Größe der Koeffizienten begrenzt. Die zu minimierende Funktion lautet:

Ridge-Verlustfunktion

$\min_{\boldsymbol{\beta}} \left( \sum_{i=1}^{n}(y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^{p} \beta_j^2 \right)$

Dabei ist $\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$ der Residualterm (wie bei OLS), $\lambda \geq 0$ der Regularisierungsparameter (auch Penalty-Parameter genannt) und $\sum_{j=1}^{p} \beta_j^2$ die quadrierten Regressionskoeffizienten. Je größer $\lambda$ , desto stärker werden die Koeffizienten in Richtung null gedrängt – ohne jedoch genau null zu werden. Deshalb verbleiben alle Prädiktoren im Modell.

Einfach erklärt: Stell dir vor, du willst eine Gleichung finden, die deine Daten möglichst gut beschreibt. Normalerweise könnten dabei einzelne Einflussfaktoren übermäßig hohe Gewichtungen bekommen – besonders wenn diese Faktoren untereinander ähnlich sind. Die Ridge-Regression sagt: „Gut, aber bitte halte alle Gewichtungen möglichst klein.“ So entsteht ein robusteres, stabileres Modell, das auch bei neuen Daten besser funktioniert.

Warum ist Ridge-Regression für statistische Analysen wichtig?

Ridge-Regression löst zwei häufig auftretende Probleme in der Regressionsanalyse:

Multikollinearität: Wenn Prädiktoren stark korrelieren, werden OLS-Schätzer instabil und haben eine hohe Varianz. Ridge-Regression stabilisiert die Schätzungen, indem sie hohe Koeffizienten bestraft.
Overfitting: Modelle mit vielen Prädiktoren passen sich oft zu sehr den Trainingsdaten an und generalisieren schlecht. Die Regularisierung reduziert diese Überanpassung.

Der entscheidende Parameter ist Lambda (λ). Er wird in der Regel über Kreuzvalidierung (Cross-Validation) bestimmt: Man testet verschiedene λ-Werte und wählt denjenigen, der auf ungesehenen Daten die besten Vorhersagen liefert.

Häufiger Fehler: Die Ridge-Regression setzt voraus, dass die Prädiktoren standardisiert (z-transformiert) sind. Werden Variablen mit unterschiedlichen Skalen direkt eingegeben, werden Koeffizienten mit kleineren Einheiten unverhältnismäßig stark bestraft. Vor der Anwendung sollten alle Prädiktoren daher auf denselben Maßstab gebracht werden.

Gut zu wissen: Die Ridge-Regression unterscheidet sich von der Lasso-Regression (L1-Regularisierung) dadurch, dass sie Koeffizienten nur schrumpft, sie aber nie exakt auf null setzt. Lasso kann dagegen eine echte Variablenselektion durchführen. Eine Kombination beider Ansätze heißt Elastic Net.

Praxisbeispiel zu Ridge-Regression

Angenommen, du untersuchst in deiner Masterarbeit, welche Faktoren den Studienerfolg (Abschlussnote) vorhersagen. Du hast 15 Prädiktoren erhoben – darunter Abiturnote, Lernstunden pro Woche, Schlafdauer, Stresslevel und mehrere Persönlichkeitsmerkmale. Viele dieser Variablen korrelieren miteinander (z. B. Stress und Schlafdauer).

Eine gewöhnliche OLS-Regression liefert in diesem Fall instabile Koeffizientenschätzungen mit sehr großen Standardfehlern. Du entscheidest dich daher für eine Ridge-Regression:

Tabelle 1. Vergleich von OLS- und Ridge-Koeffizienten (vereinfachtes Beispiel)
Prädiktor	OLS-Koeffizient	Ridge-Koeffizient (λ = 0,5)
Abiturnote	0,72	0,54
Lernstunden/Woche	−1,43	−0,61
Stresslevel	2,18	0,89
Schlafdauer	−2,05	−0,84

Man sieht: Die OLS-Koeffizienten sind teils sehr groß und spiegeln die Instabilität durch Multikollinearität wider. Die Ridge-Koeffizienten sind deutlich kleiner und stabiler – das Modell wird robuster, alle Prädiktoren bleiben jedoch erhalten. Das optimale λ wird per 10-facher Kreuzvalidierung bestimmt.