🧪 Diese Plattform befindet sich in der Beta-Phase. Funktionen können sich ändern und es können Fehler auftreten. Danke für dein Feedback!
winners_curse
Der Fluch des Gewinners besagt, dass der erste statistisch signifikante Befund eines Effekts fast sicher die wahre Effektgröße überschätzt, aufgrund der mathematischen Eigenschaften des Signifikanztestens in Kombination mit Publikationsbias.
Die erste Studie, die eine Assoziation zwischen einem genetischen Varianten und einem Merkmal berichtet, findet ein Odds Ratio von 3,2. Nachfolgende genomweite Assoziationsstudien mit Hunderttausenden von Teilnehmenden finden das wahre Odds Ratio von 1,12.
Die erste publizierte Studie berichtet, dass ein neues Antidepressivum die Depressionswerte um 40 % stärker senkt als ein Placebo. Als drei Jahre später eine groß angelegte Metaanalyse mit zehnmal mehr Teilnehmenden erscheint, beträgt der tatsächliche Unterschied nur noch 12 % – die Erststudie hatte schlicht Glück mit einer ungewöhnlich positiven Stichprobe.
Ein Startup präsentiert stolz eine interne A/B-Test-Studie, die zeigt, dass ein neues App-Design die Nutzerverweildauer um 35 % steigert. Nach dem Roll-out für alle Nutzer beträgt der tatsächliche Effekt nur 8 %, weil der erste Test zufällig in einer besonders günstigen Nutzergruppe durchgeführt wurde – ein klassisches Beispiel für den Fluch des Gewinners im Produktmanagement.
Binäre (Ja/Nein) Fragen, die ein LLM beantworten muss, um diesen Aspekt zu identifizieren:
Ist dies die erste Studie, die einen großen, statistisch signifikanten Effekt in einem neuen Bereich berichtet?
Typ: binaryErscheint die Effektgröße angesichts der Stichprobengröße der Studie unplausibel groß?
Typ: binaryHaben nachfolgende größere Studien den Effekt mit ähnlicher Größenordnung repliziert?
Typ: binaryIst Publikationsbias in diesem Forschungsbereich plausibel?
Typ: binaryDer Fluch des Gewinners besagt, dass der erste statistisch signifikante Befund eines Effekts fast sicher die wahre Effektgröße überschätzt, aufgrund der mathematischen Eigenschaften des Signifikanztestens in Kombination mit Publikationsbias.
Untermächtige Studien sind häufig. Bei einer Power von 50 % überqueren nur die größten Schätzungen aus der Stichprobenverteilung die Signifikanzschwelle. Veröffentlichte Ergebnisse sind daher systematisch nach oben verzerrt.
Fluch-des-Gewinners-Korrekturen anwenden (Schrumpfung, Empirisches Bayes). Erste Effektgrößen mit Skepsis behandeln. Nach großen präregistrierten Studien oder Meta-Analysen suchen.
Kandidatengenstudien in der Psychiatrie zeigten in den 1990er und 2000er Jahren massive Effektgrößen, von denen die meisten durch große GWAS-Studien eliminiert wurden.
Nutze diese Tools, um diesen Aspekt zu erkennen, zu analysieren oder zu trainieren.