Problem des multiplen Testens (Multiple Comparisons Problem)

Auch bekannt als: Look-Elsewhere Effect Multiple Testing Problem Multiplicity

Discourse Mechanics ID: multiple_comparisons_problem

Definition

Der Fehler, viele Tests durchzuführen, ohne die steigende Wahrscheinlichkeit für falsch-positive Ergebnisse zu berücksichtigen. Werden 20 unabhängige Tests bei Alpha 0,05 gemacht, liegt die Chance für mindestens einen Fehler bereits bei 64 %.

Beispiele

Eine Hirnscan-Studie testet 100.000 Punkte (Voxel). Bei p < 0,05 werden allein durch Zufall 5.000 Punkte „Aktivität“ zeigen, was zu falschen Gehirnkarten führt.

Ein Pharmaunternehmen testet ein neues Medikament auf 50 verschiedene Nebenwirkungen gleichzeitig. Bei einem Signifikanzniveau von 5 % würde man rein zufällig bei etwa 2–3 Nebenwirkungen einen 'signifikanten' Effekt finden – auch wenn das Medikament völlig harmlos ist.

Ein Social-Media-Analyst untersucht, ob der Wochentag eines Posts (7 Optionen), die Uhrzeit (4 Zeitfenster), die Farbe des Titelbilds (5 Varianten) und die Länge des Textes (3 Stufen) den Erfolg beeinflussen. Bei 19 gleichzeitigen Tests ist es fast sicher, dass mindestens ein 'signifikantes' Ergebnis rein zufällig entsteht.

Prüfschritte

Prüfschritte

Binäre Ja/Nein-Fragen, die eine KI beantworten muss, um ein Argumentationsmuster in einem Text zu erkennen.

Jeder der 452 Aspekte hat Prüfschritte — einfache Ja/Nein-Fragen, die systematisch erkennen sollen, ob ein Muster in einem Text vorkommt. Für Ad Hominem: "Greift das Argument eine Person statt ihre Behauptung an?" Für falsche Dichotomie: "Werden nur zwei Optionen präsentiert, obwohl mehr existieren?"

Im Glossar ansehen →

Binäre (Ja/Nein) Fragen, die ein LLM beantworten muss, um diesen Aspekt zu identifizieren:

1

Werden viele statistische Tests am selben Datensatz durchgeführt?
Typ: binary
2

Wurde die Signifikanzschwelle (Alpha) nicht für die Anzahl der Tests angepasst?
Typ: binary