Garten der sich verzweigenden Pfade (Garden of Forking Paths)

Auch bekannt als: Forscher-Freiheitsgrade Analytische Flexibilität

Statistical Error ID: garden_of_forking_paths

Definition

Der ‚Garten der sich verzweigenden Pfade' beschreibt, wie Forscher — auch ohne böse Absicht — zahlreiche kleine Analyseentscheidungen treffen, die gemeinsam die Falsch-Positiv-Rate aufblähen. Anders als P-Hacking (bewusstes Fischen nach Signifikanz) geschieht dies unbewusst. Benannt von Andrew Gelman und Eric Loken (2013) nach einer Borges-Kurzgeschichte.

Beispiel

Eine Psychologiestudie findet, dass Schokoladenesser kreativer sind. Aber die Forscher trafen Dutzende Entscheidungen: welcher Kreativitätstest, ob Alterskontrolle, wie ‚regelmäßiger Schokoladenkonsum' definiert wird. Mit anderen, ebenso vertretbaren Entscheidungen könnte das Ergebnis verschwinden.

Prüfschritte

Prüfschritte

Binäre Ja/Nein-Fragen, die eine KI beantworten muss, um ein Argumentationsmuster in einem Text zu erkennen.

Jeder der 452 Aspekte hat Prüfschritte — einfache Ja/Nein-Fragen, die systematisch erkennen sollen, ob ein Muster in einem Text vorkommt. Für Ad Hominem: "Greift das Argument eine Person statt ihre Behauptung an?" Für falsche Dichotomie: "Werden nur zwei Optionen präsentiert, obwohl mehr existieren?"

Im Glossar ansehen →

Binäre (Ja/Nein) Fragen, die ein LLM beantworten muss, um diesen Aspekt zu identifizieren: