Publikationsbias: Das Schubladenproblem der Wissenschaft

Stellen Sie sich vor, zwanzig Forschergruppen testen unabhängig voneinander dasselbe Medikament. Neunzehn finden: Es wirkt nicht. Eine findet zufällig einen positiven Effekt — reine Statistik, pures Rauschen. Die neunzehn negativen Studien landen in der Schublade, niemand will sie veröffentlichen. Die eine positive erscheint in einer renommierten Fachzeitschrift. Medien berichten: "Neue Studie zeigt: Medikament wirkt." Das ist Publikationsbias — und es ist kein hypothetisches Szenario.

Was ist Publikationsbias?

Publikationsbias (englisch: publication bias) bezeichnet die systematische Verzerrung der veröffentlichten Forschungsliteratur dadurch, dass Studien mit positiven, statistisch signifikanten Ergebnissen häufiger eingereicht, angenommen und publiziert werden als Studien mit negativen oder nicht-signifikanten Ergebnissen.

Das Phänomen ist auch bekannt als Schubladenproblem oder file drawer problem — ein Begriff, der 1979 vom Psychologen Robert Rosenthal geprägt wurde. Rosenthal beschrieb, wie Studien, die keine signifikanten Ergebnisse finden, buchstäblich in Schubladen verschwinden, während die erfolgreichen publiziert werden. Das erzeugt ein systematisch verzerrtes Bild der Wirklichkeit.

Wie entsteht Publikationsbias?

Die Verzerrung entsteht an mehreren Punkten gleichzeitig:

Bei den Forschern selbst: Wer keine Wirkung findet, glaubt oft, die Studie sei methodisch unzulänglich gewesen — statt zu akzeptieren, dass kein Effekt vorhanden ist. Negative Ergebnisse werden seltener zur Publikation eingereicht.

Bei den Zeitschriften: Fachzeitschriften bevorzugen "interessante" Ergebnisse. Ein Befund, der eine neue Wirkung demonstriert, ist publikationswürdiger als "wir haben keinen Effekt gefunden". Gutachter empfehlen positive Studien häufiger zur Annahme. Die Anreizstruktur des akademischen Publizierens belohnt positive Resultate.

Bei der Finanzierung: Pharmaunternehmen und andere Auftraggeber haben ein Interesse daran, welche Ergebnisse die Öffentlichkeit erreichen. Studien, die ein Produkt in schlechtem Licht zeigen, verschwinden häufiger in Schubladen — oder werden gar nicht erst eingereicht.

Beim statistischen Signifikanzschwellenwert: Der p-Wert < 0,05 als magische Grenze erzeugt einen Anreiz, Studien zu "p-hacken" — also Analysen so lange anzupassen, bis das gewünschte Signifikanzniveau erreicht wird. Auch das ist eine Form von Publikationsbias: Nicht welche Studien publiziert werden, sondern wie Ergebnisse in bestehenden Studien berechnet werden.

Das Ausmaß des Problems

Die empirische Forschung zum Ausmaß von Publikationsbias ist ernüchternd:

Eine Meta-Analyse von Fanelli (2010) untersuchte über 4.600 Studien aus verschiedenen Disziplinen. Sie fand, dass 85 Prozent aller publizierten Studien die Hypothese der Autoren bestätigten. Für Zufall oder faire Darstellung wäre eine deutlich niedrigere Quote zu erwarten. Über die Jahrzehnte stieg der Anteil positiver Ergebnisse in der Literatur außerdem an — ein Zeichen dafür, dass der Druck, positive Resultate zu produzieren, größer geworden ist.

Im medizinischen Bereich ist das Problem besonders gut dokumentiert. Turner et al. analysierten 2008 in der New England Journal of Medicine alle bei der FDA registrierten Antidepressivastudien: 31 von 38 positiven Studien wurden publiziert (82 Prozent), aber nur 14 von 36 negativen oder fragwürdigen Studien (38 Prozent). Das Bild in der wissenschaftlichen Literatur war damit deutlich rosiger als die Gesamtheit der Evidenz.

Die Replikationskrise: Wenn der Bias sichtbar wird

Publikationsbias ist einer der Haupttreiber der sogenannten Replikationskrise, die seit etwa 2010 die Psychologie, Medizin, Ökonomie und andere empirische Wissenschaften erschüttert. Das Open Science Collaboration Project versuchte 2015, 100 publizierte psychologische Studien zu replizieren. Nur 36 bis 39 Prozent erzielten signifikante Ergebnisse in der gleichen Richtung wie die Originalstudien.

Das bedeutet nicht, dass Psychologie als Wissenschaft wertlos ist. Es bedeutet, dass die veröffentlichte Literatur zu einem erheblichen Teil aus Befunden besteht, die im Rauschen der Statistik entstanden sind — und nur deshalb publiziert wurden, weil sie das Signifikanzniveau gerade noch knapp erreichten.

Die Verbindung zur Störvariablen-Vernachlässigung ist eng: Studien mit unzureichender Confounder-Kontrolle produzieren eher zufällig positive Ergebnisse — und diese werden bevorzugt publiziert. Das verdoppelt die Verzerrung.

Mechanismen der Bekämpfung

Die Wissenschaftsgemeinde hat verschiedene Ansätze entwickelt, um Publikationsbias zu reduzieren:

Studienregistrierung: Forscher registrieren ihre Hypothesen und Methoden vor Beginn einer Studie in öffentlichen Registern wie ClinicalTrials.gov oder der OSF (Open Science Framework). Wenn später klar ist, welche Studien begonnen wurden, ist das Verschwinden von Ergebnissen sichtbar.

Registered Reports: Einige Zeitschriften nehmen Studien zur Publikation an, bevor die Ergebnisse bekannt sind — basierend allein auf Qualität der Fragestellung und Methodik. Das entkoppelt die Publikationsentscheidung vom Ergebnis.

Pre-Registrierung: Ähnlich der Studienregistrierung, aber spezifischer: Analyseplan, Stichprobengröße und Hypothesen werden vorab festgelegt. "P-Hacking" wird dadurch sichtbar gemacht.

Meta-Analysen mit Funnel-Plot-Analyse: Statistische Methoden wie der Funnel Plot können retrospektiv Hinweise auf Publikationsbias in einer Gruppe von Studien liefern: Wenn kleine Studien mit negativen Ergebnissen in einem Trichterdiagramm fehlen, deutet das auf Schubladenproblem hin.

Was bedeutet das für den Leser?

Für jeden, der Studienergebnisse interpretiert — ob als Patient, Politiker, Journalist oder einfach informierter Bürger — hat Publikationsbias konkrete Konsequenzen:

• Eine einzelne Studie ist keine ausreichende Grundlage für Handlungsentscheidungen.
• Meta-Analysen sind besser als Einzelstudien — aber nur, wenn sie Publikationsbias berücksichtigen.
• Die Abwesenheit von Gegenbeweisen in der Literatur ist kein Beweis für einen Effekt.
• Studien, die von interessierten Parteien finanziert werden, sollten mit erhöhter Skepsis betrachtet werden.
• Replizierte Befunde aus unabhängigen Laboren verdienen mehr Vertrauen als Einzelergebnisse.

Zusammenfassung

Publikationsbias ist strukturell im wissenschaftlichen Betrieb verankert — in Anreizsystemen, Karrieredruck, Verlagsökonomie und dem menschlichen Wunsch nach positiven Ergebnissen. Die Wissenschaft kennt das Problem, und eine neue Generation von Forschern arbeitet aktiv daran, es zu reduzieren. Aber es bleibt eine der zentralen Herausforderungen für das Vertrauen in empirische Forschung: Zwischen dem, was geforscht wurde, und dem, was wir lesen können, liegt eine Schublade voller unerzählter Geschichten.

Quellen & Weiterführendes

• Rosenthal, Robert. "The 'File Drawer Problem' and Tolerance for Null Results." Psychological Bulletin, 86(3), 1979, S. 638–641.
• Turner, Erick H. et al. "Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy." New England Journal of Medicine, 358, 2008, S. 252–260.
• Fanelli, Daniele. "Do Pressures to Publish Increase Scientists' Bias? An Empirical Support from US States Data." PLOS ONE, 5(4), 2010, e10271.
• Open Science Collaboration. "Estimating the Reproducibility of Psychological Science." Science, 349(6251), 2015, aac4716.
• Ioannidis, John P. A. "Why Most Published Research Findings Are False." PLOS Medicine, 2(8), 2005, e124.
• Simonsohn, Uri, Leif D. Nelson & Joseph P. Simmons. "P-Curve: A Key to the File-Drawer." Journal of Experimental Psychology: General, 143(2), 2014, S. 534–547.
• Wikipedia: Publikationsbias