EM-Algorithmus
In diesem Beitrag
Was versteht man unter dem EM-Algorithmus?
Der EM-Algorithmus (Expectation-Maximization) ist ein iteratives Verfahren zur Schätzung unbekannter Parameter in statistischen Modellen, wenn ein Teil der Daten unbeobachtet oder unvollständig ist. Er wurde 1977 von Dempster, Laird und Rubin systematisch beschrieben und gehört heute zu den meistgenutzten Algorithmen in der statistischen Modellierung.
Der Algorithmus wechselt in jedem Durchlauf zwischen zwei Schritten:
- E-Schritt (Expectation): Gegeben die aktuellen Parameterschätzungen, wird der Erwartungswert der sogenannten vollständigen Log-Likelihood berechnet – also die wahrscheinlichste Zuordnung der fehlenden oder latenten Daten.
- M-Schritt (Maximization): Die im E-Schritt berechnete erwartete Log-Likelihood wird maximiert, um verbesserte Parameterschätzungen zu erhalten.
Diese beiden Schritte werden so lange wiederholt, bis die Parameterschätzungen konvergieren, also kaum noch Veränderungen auftreten.
Formale Zielfunktion (M-Schritt)
Warum ist der EM-Algorithmus für statistische Analysen wichtig?
In der Praxis sind Datensätze selten vollständig. Fehlende Werte, nicht direkt messbare Variablen (sogenannte latente Variablen) oder unbekannte Gruppenzugehörigkeiten sind häufige Probleme. Der EM-Algorithmus bietet eine elegante und mathematisch fundierte Lösung, um dennoch zuverlässige Parameterschätzungen zu erhalten.
Typische Anwendungsgebiete sind:
- Mixture Models (z. B. Gaussian Mixture Models): Wenn Beobachtungen aus mehreren unbekannten Subgruppen stammen und die Gruppenzugehörigkeit nicht direkt bekannt ist.
- Fehlende Daten: Schätzung von Parametern, wenn einzelne Messwerte im Datensatz fehlen.
- Faktorenanalyse und latente Klassenmodelle: Schätzung nicht direkt beobachtbarer Konstrukte.
- Hidden Markov Models: Modellierung von Zeitreihendaten mit verborgenen Zuständen.
Praxisbeispiel zum EM-Algorithmus
Angenommen, du analysierst die Körpergrößen von Studierenden und vermutest, dass sich die Stichprobe aus zwei Subgruppen zusammensetzt – etwa aus Personen mit unterschiedlichem biologischem Geschlecht – ohne dass diese Information im Datensatz vorhanden ist. Die beobachteten Größen scheinen sich bimodal zu verteilen, also mit zwei Häufigkeitsgipfeln.
Du möchtest die Verteilungsparameter (Mittelwert und Standardabweichung) beider Gruppen sowie deren Anteile schätzen. Da die Gruppenzugehörigkeit unbekannt ist, kannst du nicht einfach nach Gruppe trennen. Hier setzt der EM-Algorithmus an:
- E-Schritt: Für jede Person wird die Wahrscheinlichkeit berechnet, zur Gruppe 1 oder Gruppe 2 zu gehören – basierend auf den aktuellen Schätzungen der Mittelwerte, Standardabweichungen und Gruppenanteile.
- M-Schritt: Mit diesen Zuordnungswahrscheinlichkeiten werden neue, verbesserte Schätzungen für Mittelwerte, Standardabweichungen und Gruppenanteile berechnet.
| Iteration | Mittelwert Gruppe 1 (cm) | Mittelwert Gruppe 2 (cm) | Anteil Gruppe 1 |
|---|---|---|---|
| Start (zufällig) | 170 | 172 | 0,50 |
| Iteration 1 | 166,3 | 178,1 | 0,48 |
| Iteration 5 | 165,1 | 179,8 | 0,47 |
| Konvergenz | 165,0 | 180,0 | 0,47 |
Nach wenigen Iterationen konvergiert der Algorithmus auf stabile Schätzwerte. Die beiden Gruppen sind nun klar getrennt, obwohl die Zugehörigkeit der einzelnen Personen nie direkt beobachtet wurde.
