p-Wert-Fehlinterpretation — Wenn Logik sich verkleidet

Der p-Wert ist die Wahrscheinlichkeit, Daten zu beobachten, die mindestens so extrem sind wie die tatsächlich erhobenen, vorausgesetzt, die Nullhypothese ist wahr. Er ist nicht die Wahrscheinlichkeit, dass Ergebnisse auf Zufall zurückzuführen sind, nicht die Wahrscheinlichkeit, dass die Nullhypothese wahr ist, und nicht die Wahrscheinlichkeit, dass Befunde repliziert werden.

Auch bekannt als: Signifikanz-Fehlinterpretation, NHST-Missbrauch

Wie es funktioniert

Der p-Wert ist tief kontraintuitiv. Menschen wollen die Wahrscheinlichkeit kennen, dass ihre Hypothese richtig ist, aber der p-Wert beantwortet eine andere Frage — P(Daten|Hypothese) statt P(Hypothese|Daten).

Ein klassisches Beispiel

Ein Forscher findet p = 0,03 und schlussfolgert: 'Es gibt eine 3-prozentige Chance, dass dieses Ergebnis ein Zufallsbefund ist.' Aber p = 0,03 bedeutet: Wenn die Nullhypothese wahr wäre, würden 3 % der so durchgeführten Studien Ergebnisse dieser Extremheit produzieren.

Wo man das in der Praxis findet

Die Replikationskrise in Psychologie und Medizin wird teilweise der p-Wert-Fehlinterpretation zugeschrieben. Die ASA veröffentlichte 2016 formale Leitlinien zum p-Wert-Missbrauch.

Wie man es erkennt und kontert

Effektgrößen und Konfidenzintervalle neben p-Werten berichten. Leitlinien der American Statistical Association zur p-Wert-Interpretation beachten. Statistische von praktischer Signifikanz unterscheiden.

Das Fazit

p-Wert-Fehlinterpretation gehört zu den Denkfehlern, die auf den ersten Blick völlig logisch klingen. Genau das macht sie gefährlich — sie tragen das Kostüm valider Argumentation, während sie eine fehlerhafte Schlussfolgerung einschmuggeln. Die beste Verteidigung? Langsamer werden und fragen: Folgt diese Schlussfolgerung tatsächlich aus diesen Prämissen?