🧪 Diese Plattform befindet sich in der Beta-Phase. Funktionen können sich ändern und es können Fehler auftreten. Danke für dein Feedback!
underpowered_study
Eine unterpowerte Studie hat zu wenige Beobachtungen, um einen Effekt einer erwarteten Größe zuverlässig zu erkennen. Die statistische Power gibt die Wahrscheinlichkeit an, einen echten Effekt zu finden. Studien mit einer Power unter 80 % gelten als unzuverlässig: Signifikante Befunde sind oft übertrieben groß, und nicht-signifikante Befunde sind kein Beweis für das Ausbleiben eines Effekts.
Eine Studie mit nur 15 Teilnehmern pro Gruppe testet eine neue Therapie. Um den Effekt zu finden, wären eigentlich 80 Teilnehmer pro Gruppe nötig. Die Studie findet p = 0,08 und schließt auf „keine Wirkung“. Das ist falsch: Die Studie war einfach zu klein, um die Wirkung zu beweisen.
Ein Startup testet eine neue App zur Stressreduktion an 12 Mitarbeitern eines einzigen Unternehmens. Die Studie zeigt keinen signifikanten Effekt (p = 0,12) und schlussfolgert, die App wirke nicht – dabei wäre für diesen Effekt eine Stichprobengröße von mindestens 60 Personen nötig gewesen.
Eine Schule vergleicht zwei Unterrichtsmethoden mit je 10 Schülern pro Gruppe. Das Ergebnis zeigt keinen Unterschied in den Testergebnissen. Die Studie wird als Beleg dafür zitiert, dass beide Methoden gleich gut sind – obwohl die geringe Fallzahl schlicht nicht ausreichte, um einen realen Unterschied zu entdecken.
Binäre (Ja/Nein) Fragen, die ein LLM beantworten muss, um diesen Aspekt zu identifizieren:
Wurde vorab eine Power-Analyse durchgeführt, um die Stichprobengröße festzulegen?
Typ: binaryIst die Stichprobe groß genug für die erwartete Effektstärke?
Typ: binaryWerden Nullbefunde als „kein Effekt“ fehlinterpretiert, ohne die geringe Power zu nennen?
Typ: binaryEine unterpowerte Studie hat zu wenige Beobachtungen, um einen Effekt einer erwarteten Größe zuverlässig zu erkennen. Die statistische Power gibt die Wahrscheinlichkeit an, einen echten Effekt zu finden. Studien mit einer Power unter 80 % gelten als unzuverlässig: Signifikante Befunde sind oft übertrieben groß, und nicht-signifikante Befunde sind kein Beweis für das Ausbleiben eines Effekts.
Berechnungen zur Stichprobengröße sind technisch und werden in Pressemitteilungen selten erwähnt. Das Publikum nimmt an, dass jede publizierte Studie groß genug sei.
Prüfe die Stichprobengröße im Verhältnis zum Effekt. Wenn eine kleine Studie „nichts findet“, bewerte dies als „nicht aussagekräftig“ statt als „Beweis für Unwirksamkeit“.
Unterpowerte Studien sind häufig in den Neurowissenschaften und in Pilotstudien der klinischen Forschung.
Equal measurement error across groups that typically biases estimates toward the null.
The tendency to draw strong conclusions from small samples, failing to recognize that small samples are more variable and less reliable than large ones.
Believing that small samples accurately represent the underlying population distribution.
Bayesian and frequentist approaches yield contradictory conclusions with large sample sizes.
Nutze diese Tools, um diesen Aspekt zu erkennen, zu analysieren oder zu trainieren.