Problem des multiplen Testens (Multiple Comparisons Problem) — Wenn Logik sich verkleidet

Der Fehler, viele Tests durchzuführen, ohne die steigende Wahrscheinlichkeit für falsch-positive Ergebnisse zu berücksichtigen. Werden 20 unabhängige Tests bei Alpha 0,05 gemacht, liegt die Chance für mindestens einen Fehler bereits bei 64 %.

Auch bekannt als: Look-Elsewhere Effect, Multiple Testing Problem, Multiplicity

Wie es funktioniert

Jeder Test für sich wirkt legitim. Die kumulative Fehlerquote ist für Menschen schwer zu greifen.

Ein klassisches Beispiel

Eine Hirnscan-Studie testet 100.000 Punkte (Voxel). Bei p < 0,05 werden allein durch Zufall 5.000 Punkte „Aktivität“ zeigen, was zu falschen Gehirnkarten führt.

Wo man das in der Praxis findet

Genomik, Hirnforschung, klinische Studien mit vielen Endpunkten.

Wie man es erkennt und kontert

Wende Korrekturen an (Bonferroni, FDR). Unterscheide explorative von konfirmatorischen Tests.

Das Fazit

Problem des multiplen Testens (Multiple Comparisons Problem) gehört zu den Denkfehlern, die auf den ersten Blick völlig logisch klingen. Genau das macht sie gefährlich — sie tragen das Kostüm valider Argumentation, während sie eine fehlerhafte Schlussfolgerung einschmuggeln. Die beste Verteidigung? Langsamer werden und fragen: Folgt diese Schlussfolgerung tatsächlich aus diesen Prämissen?