Texas-Scharfschützen-Fehlschluss: Erst schießen, dann zielen

Im Jahr 1997 beobachtete eine Gruppe texanischer Epidemiologen etwas Merkwürdiges: In einer Gemeinde nahe einer chemischen Fabrik traten Krebserkrankungen gehäuft auf. Oder doch nicht? Tatsächlich hatten sie aus umfangreichen Datensätzen eine geografische Region ausgewählt, in der die Häufung auffiel — und dann geprüft, ob diese Region besonders viele Fälle hat. Die Antwort war natürlich ja. Aber das beweist nichts: In genügend großen Datensätzen finden sich immer lokale Cluster. Wer die Zielscheibe nach dem Schuss malt, trifft immer.

Die Herkunft des Namens

Das Bild ist einprägsam: Ein Texaner feuert mit einem Gewehr wahllos in eine Scheunenwand. Dann tritt er näher, schaut, wo die Treffer liegen, malt dort einen Kreis drum — und behauptet, er sei ein Präzisionsschütze. Der Witz ist auch eine Warnung: Wer die Hypothese nach der Datenerhebung formuliert, garantiert sich buchstäblich Erfolg — und beweist dabei nichts.

Der Fehlschluss wurde in den 1990er-Jahren in der epidemiologischen Literatur formalisiert, nachdem zahlreiche Krebscluster-Studien genau diesem Muster folgten: Datensätze wurden auf auffällige Häufungen hin untersucht, diese wurden als Cluster identifiziert, und die gefundenen Cluster wurden als Beweis für Umwelteinflüsse präsentiert — ohne zu berücksichtigen, dass statistische Cluster in zufälligen Daten unvermeidlich sind.

Das statistische Fundament

Dem Fehlschluss liegt ein Missverständnis von Zufallsverteilungen zugrunde. Wenn Ereignisse zufällig verteilt sind — wie Krebsfälle in einer Bevölkerung, Börsenkurse, Trefferverteilungen — dann bilden sie keine gleichmäßigen, homogenen Muster. Zufällige Daten haben immer lokale Häufungen. Punkte, die zufällig auf eine Fläche gestreut werden, clustern sich — nicht weil eine Kraft sie zusammenzieht, sondern weil gleichmäßige Verteilung statistisch unwahrscheinlicher ist als das Auftreten von Lücken und Verdichtungen.

Ein formales Konzept dazu ist das Multiple Testing Problem oder der Data-Dredging-Effekt (auch "P-Hacking"): Wenn man genügend viele Tests in denselben Daten durchführt, findet man statistisch signifikante Ergebnisse — rein zufällig. Bei einem Signifikanzniveau von 5 % erwartet man, dass einer von zwanzig Tests ein falsch-positives Ergebnis liefert. Wer hundert Tests durchführt und das einzige "positive" Ergebnis präsentiert, ohne die anderen neunundneunzig zu erwähnen, hat den Texas-Scharfschützen-Fehlschluss begangen.

Beispiele aus der Wissenschaft

Medizinische Studien und P-Hacking

In den 2010er-Jahren erschütterte eine Replikationskrise weite Teile der Psychologie und Medizin. Zahlreiche publizierte Studien konnten nicht reproduziert werden — nicht weil Wissenschaftler bewusst betrogen, sondern weil sie unbewusst Texas-Scharfschützen betrieben hatten: Sie sammelten große Datensätze, probierten viele verschiedene Analysen aus, und publizierten die Analysen, die ein signifikantes Ergebnis lieferten. Das nennt sich "Hypothesizing After Results are Known" — oder HARK.

Die Lösung: Präregistrierung. Wissenschaftler registrieren Hypothesen, Methoden und Stichprobengrößen vor der Datenerhebung in öffentlichen Datenbanken. Wer die Hypothese vorab festlegt, kann keine Zielscheibe mehr nachträglich malen.

Astrologie und Biorhythmus

Astrologische Persönlichkeitsprofile und Biorhythmus-Modelle werden regelmäßig dadurch "bestätigt", dass Anwender aus dem Profil das heraussuchen, was auf sie zutrifft — und den Rest ignorieren. Der sogenannte Barnum-Effekt beschreibt, wie Menschen in vagen, allgemeinen Aussagen persönliche Bedeutung finden. Kombiniert mit dem Texas-Scharfschützen-Fehlschluss ergibt sich ein stabiles System scheinbarer Bestätigung.

Beispiele aus der Wirtschaft

Finanzmarkt-Strategien

Quantitative Finanzanalysten nennen das Phänomen "Curve Fitting" oder "Overfitting": Eine Handelsstrategie wird so lange an historischen Daten optimiert, bis sie perfekt funktioniert hätte. Das Ergebnis ist eine Strategie, die Zufallsmuster der Vergangenheit erklärt, aber die Zukunft nicht vorhersagt. Die "Entdeckung" dieser Strategie ist rein texanisch: Die Zielscheibe wurde um die Treffer gemalt.

In der Investmentbranche gibt es eine einfache Faustregel: "If you torture the data long enough, it will confess to anything." — Irgendein Muster lässt sich immer finden, wenn man genügend Variablen, Zeiträume und Filterkriterien ausprobiert.

Unternehmensberatung und Best-Practice-Mythen

Bestseller wie "In Search of Excellence" oder "Good to Great" identifizieren Eigenschaften erfolgreicher Unternehmen — aber retrospektiv. Die untersuchten Unternehmen wurden nach ihrem Erfolg ausgewählt, dann auf gemeinsame Eigenschaften hin analysiert. Das Problem: Viele dieser "Erfolgsgeheimnisse" hatten auch Unternehmen, die scheiterten. Ohne eine Kontrollgruppe von Misserfolgen ist die Analyse Texas-Scharfschützen-Statistik.

Beispiele aus Politik und Medien

Verschwörungstheorien

Verschwörungstheorien sind besonders anfällig für den Texas-Scharfschützen-Fehlschluss. Aus einem komplexen Ereignis — Anschlag, Unfall, Epidemie — werden bestimmte Details herausgegriffen, die auffällig erscheinen, und um diese Details wird eine Zielscheibe gezogen: ein Muster, das auf eine geheime Steuerung hindeutet. Die vielen Details, die nicht ins Muster passen, werden ignoriert oder umgedeutet.

Wahlkampf-Narrative

Nach jeder Wahl werden Cluster-Daten analysiert: "In Städten über 100.000 Einwohnern hat Kandidat X gewonnen" — aber war das eine Vorhersage oder eine Beobachtung? In politischen Lageanalysen ist der Unterschied oft entscheidend, wird aber selten kenntlich gemacht.

Das Gegenmittel: Die Hypothese zuerst

Der einzige wirksame Schutz gegen den Texas-Scharfschützen-Fehlschluss ist das Prinzip der Vorab-Hypothese: Die Hypothese muss vor der Datenerhebung oder -analyse feststehen. "Wir erwarten, dass X und Y korrelieren, und prüfen das." Nicht: "Wir haben X und Y korreliert gefunden — also liegt ein Zusammenhang vor."

In der Wissenschaft: Präregistrierung. In der Praxis: Honest Broker Denkweise — alle Tests offenlegen, nicht nur die signifikanten. Bei der Lektüre von Studien fragen: Wurde die Hypothese vor oder nach der Datenerhebung formuliert?

Verwandte Fehlschlüsse

Eng verwandt ist die Apophänie: die Tendenz, in zufälligen Daten bedeutungsvolle Muster zu erkennen. Apophänie ist der kognitive Grundmechanismus; der Texas-Scharfschützen-Fehlschluss ist die methodische Ausprägung in Analyse und Argumentation. Wer apophänisch nach Mustern sucht und diese dann als Belege präsentiert, begeht den Texas-Scharfschützen-Fehlschluss.

Zusammenfassung

Der Texas-Scharfschützen-Fehlschluss entsteht, wenn Muster in Daten erst nach der Analyse als Hypothesen formuliert werden — und damit als "bestätigt" gelten. In Wirklichkeit findet sich in genügend großen Datensätzen immer ein Muster, das man im Nachhinein als "auffällig" bezeichnen kann. Echte Wissenschaft formuliert Hypothesen zuerst, sammelt dann Daten — und nicht umgekehrt. Die Zielscheibe muss vor dem Schuss gemalt werden.

Weiterführend: Apophänie, Korrelation als Kausalität, Bestätigungsfehler

Quellen & Weiterführendes

• Gould, Stephen Jay. The Mismeasure of Man. Norton, 1981.
• Ioannidis, John P. A. "Why Most Published Research Findings Are False." PLOS Medicine 2(8), 2005.
• Simmons, Joseph P. et al. "False-Positive Psychology." Psychological Science 22(11), 2011.
• Open Science Collaboration. "Estimating the Reproducibility of Psychological Science." Science 349(6251), 2015.
• Wikipedia: Texas-Scharfschütze-Fehlschluss