P-Hacking (Data Dredging) — Wenn Logik sich verkleidet

P-Hacking tritt auf, wenn Forscher Daten wiederholt mit verschiedenen Methoden, Variablenauswahlen oder Untergruppen-Aufteilungen analysieren, bis ein statistisch signifikanter p-Wert (typischerweise unter 0,05) gefunden wird. Diese Ausnutzung von „Researcher Degrees of Freedom“ bläht die Rate falsch-positiver Ergebnisse weit über das nominale Signifikanzniveau auf. Die Praxis kann absichtlich oder unbewusst erfolgen, getrieben durch Publikationsanreize, die signifikante Ergebnisse belohnen.

Auch bekannt als: Data Dredging, Significance Chasing, Researcher Degrees of Freedom Exploitation, Signifikanz-Jagen

Wie es funktioniert

Bei einer Signifikanzschwelle von 5 % ergibt das Testen von 20 unabhängigen Hypothesen eine Chance von etwa 64 %, mindestens ein falsch-positives Ergebnis zu erhalten. Das Publikum sieht in der Regel nur das berichtete Ergebnis, nicht den gesamten Suchprozess.

Ein klassisches Beispiel

Ein Pharmaforscher testet ein neues Ergänzungsmittel gegen 20 verschiedene Gesundheitsoutcomes. Ein Ergebnis (Wachstumsrate der Zehennägel) liefert p < 0,05. Die Studie wird unter dem Titel „Präparat X verbessert signifikant das Zehennagelwachstum“ veröffentlicht, ohne die 19 nicht signifikanten Tests zu erwähnen.

Wo man das in der Praxis findet

P-Hacking ist in der Sozialpsychologie und biomedizinischen Forschung weit verbreitet und trägt zur Replikationskrise bei. Fachzeitschriften wie PLOS ONE fordern heute eine Präregistrierung, um dem entgegenzuwirken.

Wie man es erkennt und kontert

Verlange eine Präregistrierung von Hypothesen und Analyseplänen. Wende Korrekturen für multiples Testen wie Bonferroni oder Benjamini-Hochberg an und frage nach der Gesamtzahl der durchgeführten Tests.

Das Fazit

P-Hacking (Data Dredging) gehört zu den Denkfehlern, die auf den ersten Blick völlig logisch klingen. Genau das macht sie gefährlich — sie tragen das Kostüm valider Argumentation, während sie eine fehlerhafte Schlussfolgerung einschmuggeln. Die beste Verteidigung? Langsamer werden und fragen: Folgt diese Schlussfolgerung tatsächlich aus diesen Prämissen?