🧪 Diese Plattform befindet sich in der Beta-Phase. Funktionen können sich ändern und es können Fehler auftreten. Danke für dein Feedback!
harking
HARKing ist die Praxis, eine Hypothese, die nach der Datenanalyse entwickelt oder verfeinert wurde, so zu präsentieren, als sei sie vor der Datenerhebung formuliert worden. Dies verwandelt explorative Analyse in scheinbar konfirmatorische Forschung und erzeugt den falschen Eindruck, dass eine spezifische Vorhersage bestätigt wurde. HARKing bläht den scheinbaren Evidenzwert von Befunden auf, da post-hoc formulierte Hypothesen an die Daten angepasst sind und daher fast garantiert von ihnen gestützt werden.
Eine Forscherin untersucht den Effekt eines Medikaments auf 20 Gesundheitsoutcomes. Nur der Effekt auf den Blutdruck ist statistisch signifikant. Die veröffentlichte Arbeit präsentiert eine fokussierte Hypothese zum Blutdruck ohne Erwähnung der anderen 19 getesteten Outcomes, sodass es erscheint, als sei der Blutdruckeffekt des Medikaments von Anfang an das vorhergesagte Ergebnis gewesen.
Ein Marketingforscher analysiert Daten zu 15 verschiedenen Faktoren, die die Kaufentscheidung beeinflussen könnten. Nur der Faktor 'Verpackungsfarbe' zeigt einen signifikanten Effekt. Im eingereichten Artikel wird die Hypothese 'Verpackungsfarbe beeinflusst Kaufentscheidungen' als von Anfang an geplante zentrale Forschungsfrage dargestellt – ohne Erwähnung der anderen 14 getesteten Faktoren.
Ein Soziologe durchsucht einen großen Datensatz nach Mustern und entdeckt zufällig, dass Menschen mit Fensterpflanzen im Büro seltener krankgeschrieben werden. Er formuliert daraufhin eine Theorie über Natur und Wohlbefinden und veröffentlicht die Analyse so, als sei diese spezifische Hypothese der Ausgangspunkt der Studie gewesen.
Binäre (Ja/Nein) Fragen, die ein LLM beantworten muss, um diesen Aspekt zu identifizieren:
Präsentiert die Studie eine Hypothese, die verdächtig gut zu den beobachteten Ergebnissen passt?
Typ: binaryWurde die Hypothese plausiblerweise nach Sichtung der Daten formuliert statt vorher?
Typ: binaryGibt es einen registrierten Vorab-Analyseplan oder eine Präregistrierung, die bestätigt, dass die Hypothese a priori formuliert wurde?
Typ: binaryWerden explorative Befunde so präsentiert, als seien sie konfirmatorisch?
Typ: binaryHARKing ist die Praxis, eine Hypothese, die nach der Datenanalyse entwickelt oder verfeinert wurde, so zu präsentieren, als sei sie vor der Datenerhebung formuliert worden. Dies verwandelt explorative Analyse in scheinbar konfirmatorische Forschung und erzeugt den falschen Eindruck, dass eine spezifische Vorhersage bestätigt wurde. HARKing bläht den scheinbaren Evidenzwert von Befunden auf, da post-hoc formulierte Hypothesen an die Daten angepasst sind und daher fast garantiert von ihnen gestützt werden.
Lesende können einer veröffentlichten Arbeit nicht entnehmen, ob eine Hypothese vor oder nach der Datenanalyse formuliert wurde. Das narrative Format akademischer Arbeiten eignet sich natürlich für kohärentes Storytelling, und eine saubere Vorhersage-Bestätigungs-Geschichte ist überzeugender und publizierbarer als die Darstellung explorativer Befunde.
Präregistrieren Sie Hypothesen und Analysepläne vor der Datenerhebung. Unterscheiden Sie in Publikationen klar zwischen konfirmatorischen und explorativen Analysen. Fordern Sie Zugang zu Präregistrierungsunterlagen während des Peer-Reviews. Wertschätzen und publizieren Sie explorative Forschung als solche, statt sie als konfirmatorisch zu tarnen.
Weit verbreitet in der Psychologie, biomedizinischen Forschung und Ökonomie. Die Replikationskrise zeigte, dass viele veröffentlichte Befunde wahrscheinlich geHARKt waren, was zu aufgeblähten Effektstärken und Replikationsversagen beitrug.
Running multiple analyses until p<0.05 and only reporting significant results.
Searching through large datasets for any statistically significant pattern without a prior hypothesis. Found patterns are presented as confirmatory when they are actually exploratory and likely to be spurious.
Finding a pattern in data and testing significance on the same subset (circular analysis).
Studies with statistically significant or positive results are more likely to be published, while null results remain unpublished. This distorts the published literature and inflates apparent effect sizes in meta-analyses.
Using information that was not available at the point in time being analyzed.
Research funded by parties with financial interests tends to produce favorable results.
Splitting a single study into multiple publications to inflate publication count.
Nutze diese Tools, um diesen Aspekt zu erkennen, zu analysieren oder zu trainieren.