Double-Dipping (Circular Analysis) — Wenn Logik sich verkleidet

Double-Dipping (zirkuläre Analyse) tritt auf, wenn dieselben Daten sowohl zur Generierung einer Hypothese als auch zu deren Überprüfung verwendet werden. Wenn Merkmale oder Variablen basierend auf den Daten ausgewählt und dann an denselben Daten getestet werden, wird die Analyse zirkulär. Dies garantiert künstlich aufgeblähte Effektstärken und signifikante p-Werte, da der Test darauf getrimmt ist, bereits identifizierte Muster zu bestätigen.

Auch bekannt als: Circular Analysis, Non-independence error, Kriegeskorte circularity, Zirkuläre Analyse

Wie es funktioniert

Die Zirkularität ist im Abschlussbericht oft unsichtbar, da die Auswahl und der Test wie separate Analyseschritte wirken. Leser nehmen an, die Hypothese sei unabhängig von den Testdaten entstanden.

Ein klassisches Beispiel

Ein Neurowissenschaftler scannt die Gehirnaktivität, identifiziert die 10 aktivsten Voxel während einer Aufgabe und berichtet dann (anhand derselben Daten), dass diese Regionen eine signifikante Aktivierung zeigen. Die Signifikanz ist durch den Auswahlprozess bereits vorprogrammiert.

Wo man das in der Praxis findet

Double-Dipping wurde als weit verbreitetes Problem in der fMRI-Forschung identifiziert (Kriegeskorte et al., 2009). Es tritt auch beim Backtesting von Handelsstrategien im Finanzwesen auf.

Wie man es erkennt und kontert

Teile Daten in einen Entdeckungs- und einen Validierungssatz auf oder nutze Kreuzvalidierung. Sei misstrauisch, wenn derselbe Datensatz sowohl für die Merkmalsauswahl als auch für den Hypothesentest genutzt wurde.

Das Fazit

Double-Dipping (Circular Analysis) gehört zu den Denkfehlern, die auf den ersten Blick völlig logisch klingen. Genau das macht sie gefährlich — sie tragen das Kostüm valider Argumentation, während sie eine fehlerhafte Schlussfolgerung einschmuggeln. Die beste Verteidigung? Langsamer werden und fragen: Folgt diese Schlussfolgerung tatsächlich aus diesen Prämissen?