Hohe Accuracy, schwache Methodik? Warum Machine Learning in Abschlussarbeiten klare Grenzen braucht

Machine Learning ist kein Qualitätsmerkmal. Es ist eine Methodenklasse wie jede andere. Wer das versteht, trifft bessere Entscheidungen für die eigene Abschlussarbeit.

Dieses Urteil klingt zunächst provokant, ist aber methodisch exakt der richtige Ausgangspunkt. Denn in empirischen Abschlussarbeiten häuft sich ein Muster: Studierende wählen ML, weil es modern klingt, weil die Software es anbietet, oder weil ein hoher Score am Ende gut aussieht. Die Frage, ob ML zur Forschungsfrage, zur Datenstruktur und zur verfügbaren Fallzahl passt, wird dagegen oft erst nachgelagert gestellt, wenn überhaupt.

ML per Klick: Was moderne Software suggeriert

Die technische Einstiegshürde für Machine Learning sinkt seit Jahren. Mit JASP 0.96 und der neu eingeführten Online-Modulbibliothek lassen sich neue Analyseverfahren schneller in grafische Oberflächen integrieren, ohne dass ein vollständiges Software-Release nötig ist. Methoden wie KNN, Random Forests oder Boosted Regression Trees stehen Studierenden damit zunehmend über klickbare Interfaces zur Verfügung, und das ausdrücklich ohne Statistik- oder Programmierkenntnisse als Voraussetzung.

Das ist aus Bildungsperspektive nicht grundsätzlich problematisch. Es entsteht aber eine gefährliche Asymmetrie: Die technische Bedienung wird einfacher, die methodische Verantwortung bleibt vollständig bestehen.

Wer ein ML-Modell in seine Abschlussarbeit einbaut, muss im Methodenteil erklären können, warum genau dieses Verfahren gewählt wurde, wie Daten aufgeteilt wurden, wie das Modell validiert wurde und welche Grenzen die Ergebnisse haben. Ein Screenshot aus einer Software reicht dafür nicht.

Wenn Accuracy lügt: Das Validierungsproblem

Ein Beispiel mit konkreten Zahlen

Das schwerwiegendste Risiko beim Einsatz von ML in Abschlussarbeiten ist kein Denkfehler, sondern ein technisches Problem mit direkten Auswirkungen auf die Ergebnisinterpretation: falsche Validierung.

Eine Studie von Karbalaie, Abtahi und Häger, veröffentlicht in JMIR AI, macht das besonders deutlich. Untersucht wurden 623 Hop-Trials von 72 Personen nach einer ACL-Rekonstruktion. Für dasselbe Modell, Extra Trees, lieferten unterschiedliche Validierungsstrategien dramatisch unterschiedliche Ergebnisse.

Derselbe Algorithmus, dieselben Daten, aber ein Accuracy-Unterschied von 0,91 zu 0,66. Das ist kein Rauschen, das ist methodisch bedeutsam.

Warum das bei Abschlussarbeiten besonders relevant ist

Das Problem entsteht, weil viele Datensätze keine vollständig unabhängigen Einzelbeobachtungen enthalten. In Abschlussarbeiten finden sich häufig Messwiederholungen, Befragungen zu mehreren Zeitpunkten, Ratings derselben Personen, Trials, Items oder Gruppenstrukturen. In solchen Fällen überschätzt eine zufällige Datenaufteilung wie ein Standard-10-fold-CV die tatsächliche Modellleistung erheblich, weil Beobachtungen derselben Person gleichzeitig in Training und Test landen.

Die Autoren der Studie betonen: Bei Messwiederholungen entspricht die effektive Stichprobengröße methodisch eher der Zahl der Teilnehmenden als der Zahl der Einzelmessungen. Wer 200 Antworten von 30 Personen hat, arbeitet methodisch mit einer Stichprobe von 30, nicht von 200.

In der Praxis zeigt sich allerdings, dass dieser Schritt, also die bewusste Wahl einer zur Datenstruktur passenden Validierungsstrategie, in vielen Abschlussarbeiten ausgelassen wird. Das Ergebnis ist eine Accuracy-Angabe, die methodisch nicht hält, was sie verspricht.

Nicht jede Forschungsfrage ist eine Vorhersagefrage

Der häufigste Denkfehler beim ML-Einsatz

Machine Learning ist primär für Vorhersageprobleme entwickelt worden. Das klingt trivial, wird aber in der Praxis häufig ignoriert. Wenn eine Bachelorarbeit untersucht, ob es Unterschiede zwischen zwei Gruppen gibt, ob ein Zusammenhang zwischen zwei Variablen besteht oder welche Faktoren ein Outcome erklären, handelt es sich nicht zwingend um ein Vorhersageproblem.

Eine ANOVA, eine multiple Regression oder ein gut begründeter t-Test kann für solche Fragen wissenschaftlich belastbarer, interpretierbarer und im Kolloquium deutlich besser verteidigbar sein als ein Random Forest mit fragwürdiger Validierung. Einfachere Modelle sind in dieser Situation nicht altmodisch, sondern methodisch ehrlicher.

Wann ML tatsächlich sinnvoll sein kann

ML lohnt sich in Abschlussarbeiten dann, wenn die Fragestellung wirklich auf Vorhersage ausgerichtet ist, wenn die Datenbasis ausreichend groß und die Beobachtungen tatsächlich unabhängig sind, wenn Overfitting durch korrekte Trennung von Training, Tuning und Test kontrolliert wird, und wenn die Ergebnisse im Methodenteil nachvollziehbar dokumentiert werden können.

Was gutes ML-Reporting wirklich bedeutet

Selbst wenn ML methodisch zur Forschungsfrage passt, ist die Arbeit damit nicht getan. Die Frage lautet dann: Können Sie Ihre Modellentscheidungen transparent dokumentieren und verteidigen?

Das TRIPOD+AI Statement, publiziert im BMJ von Collins et al., liefert dafür einen klaren Qualitätsrahmen. Die 27-Item-Checkliste für transparentes Reporting von Vorhersagemodellen gilt unabhängig davon, ob Regression oder Machine Learning verwendet wird. Ihr Kerngedanke ist eindeutig: Wer ein ML-Modell wissenschaftlich einsetzt, muss Studiendesign, Datenbasis, verwendete Prädiktoren, Splits, Tuning-Entscheidungen, Validierungsstrategien, Limitationen und Schlussfolgerungen so dokumentieren, dass andere das Vorgehen kritisch bewerten können.

Das Transparenzproblem bei komplexen Modellen

TRIPOD+AI hebt dabei explizit hervor, dass komplexe ML-Modelle häufig keine einfache Gleichung liefern und dass manchmal nicht einmal klar ist, welche Prädiktoren tatsächlich verwendet wurden. Unvollständiges oder ungenaues Reporting kann Schwächen im Design, in der Datenerhebung oder in der Studiendurchführung verdecken.

Für Abschlussarbeiten bedeutet das: Ein ML-Modell, das Sie im Methodenteil nicht vollständig beschreiben können, ist kein Vorteil. Es ist ein Risiko, besonders im Kolloquium.

Sieben Fragen, die Sie vor der Methodenwahl stellen sollten

Bevor ML in eine empirische Abschlussarbeit eingebunden wird, sollte eine ehrliche Machbarkeitsprüfung stehen. Die folgenden Fragen helfen dabei einzuschätzen, ob ML zur Arbeit passt oder ob ein klassisches Verfahren die bessere Wahl ist.

Wenn mehrere dieser Fragen offen bleiben oder zu unbefriedigenden Antworten führen, ist das kein Zeichen von Schwäche. Es ist ein Hinweis darauf, dass ein transparenteres, besser kontrollierbares Verfahren die wissenschaftlich stärkere Wahl wäre.

Was QuantExpert dabei leisten kann

Genau an dieser Schnittstelle setzt die methodische Unterstützung von QuantExpert an. Ob ML zur Forschungsfrage und zur Datenstruktur Ihrer Arbeit passt, lässt sich häufig bereits in einem frühen Stadium klären, lange bevor die erste Analyse läuft. Wenn ML sinnvoll ist, begleiten wir Sie bei Validierungsstrategie, Dokumentation und Interpretation. Wenn ein klassisches Verfahren die stärkere Wahl ist, arbeiten wir das gemeinsam heraus.

Machine Learning wertet eine Abschlussarbeit nicht automatisch auf. Es überzeugt erst dann, wenn die Grenzen des Modells genauso sauber begründet werden wie seine Ergebnisse.