🧪 Diese Plattform befindet sich in der Beta-Phase. Funktionen können sich ändern und es können Fehler auftreten. Danke für dein Feedback!
freedmans_paradox
Freedmans Paradoxon zeigt, dass bei vielen gescreenten Prädiktoren im Verhältnis zu Beobachtungen rein zufällige Variablen statistisch signifikant erscheinen und scheinbar gut angepasste Modelle rein durch Zufall produzieren. Bei 50 Prädiktoren und 50 Beobachtungen erscheinen ca. 5 Prädiktoren bei p < 0,05 signifikant, allein durch Zufall.
Ein Forscher mit 50 Patienten und 50 Kandidaten-Biomarkern führt 50 univariate Regressionen durch. Durch reinen Zufall erscheinen ca. 2-3 Biomarker bei p < 0,05 signifikant. Das multivariate Modell mit diesen 'signifikanten' Prädiktoren wirkt gut angepasst, sagt aber auf neuen Patienten nicht besser als Zufall vorher.
Eine Marketingabteilung analysiert den Einfluss von 80 verschiedenen Kampagnenvariablen auf den Umsatz, basierend auf Daten aus 60 Filialen. Rein zufällig erscheinen vier Variablen signifikant (p < 0,05); das daraus abgeleitete 'Erfolgsmodell' versagt bei neuen Filialen vollständig, weil es statistische Artefakte statt echter Zusammenhänge abbildet.
Eine Ernährungsstudie mit 40 Teilnehmern testet 60 Nahrungsmittelkomponenten auf ihre Korrelation mit einem Gesundheitsmarker. Durch Zufall zeigen drei Komponenten signifikante Ergebnisse und werden in der Presse als 'Superfoods' gefeiert – obwohl die Signifikanz rein auf multiplem Testen ohne Korrektur beruht.
Binäre (Ja/Nein) Fragen, die ein LLM beantworten muss, um diesen Aspekt zu identifizieren:
Werden viele Prädiktoren im Verhältnis zur Anzahl der Beobachtungen gescreent?
Typ: binaryWurden Prädiktoren für die Aufnahme in ein endgültiges Modell basierend auf ihrer Signifikanz in einer vorläufigen Analyse derselben Daten ausgewählt?
Typ: binaryVerwendet das Modell dieselben Daten für Variablenauswahl und abschließende Schätzung?
Typ: binaryWird die Leistung des endgültigen Modells an einem unabhängigen Holdout-Datensatz validiert?
Typ: binaryFreedmans Paradoxon zeigt, dass bei vielen gescreenten Prädiktoren im Verhältnis zu Beobachtungen rein zufällige Variablen statistisch signifikant erscheinen und scheinbar gut angepasste Modelle rein durch Zufall produzieren. Bei 50 Prädiktoren und 50 Beobachtungen erscheinen ca. 5 Prädiktoren bei p < 0,05 signifikant, allein durch Zufall.
Wenn die Anzahl der Tests die Anzahl der Beobachtungen erreicht oder übersteigt, wird die Rate falscher Entdeckungen enorm. Schrittweise Auswahl und univariates Screening verschlimmern dies durch die Wiederverwendung von Daten für Auswahl und Schätzung.
Vorab spezifizierte Prädiktormengen verwenden. Korrekturen für multiples Testen anwenden. Modelle an unabhängigen Daten validieren. Regularisierungsmethoden (LASSO, Ridge) einsetzen.
Genomische Assoziationsstudien mit Tausenden von Kandidatengenen waren von Freedmans Paradoxon geplagt, bis das Gebiet genomweite Signifikanzschwellen und Replikationsanforderungen einführte.
Nutze diese Tools, um diesen Aspekt zu erkennen, zu analysieren oder zu trainieren.