🧪 Diese Plattform befindet sich in der Beta-Phase. Funktionen können sich ändern und es können Fehler auftreten. Danke für dein Feedback!
goodharts_law
Goodharts Gesetz besagt: „Wenn ein Maß zum Ziel wird, hört es auf, ein gutes Maß zu sein.“ Sobald Akteure wissen, dass sie nach einer bestimmten Kennzahl bewertet werden, optimieren sie diese Kennzahl, oft auf Kosten des eigentlichen Ziels, das sie repräsentieren sollte. Dies führt zu perversen Anreizen.
Ein Callcenter setzt die „durchschnittliche Gesprächsdauer“ als Zielwert, um effizienter zu werden. Die Agenten fangen an, Kunden abzuwürgen, schwierige Anrufe weiterzuleiten oder einfach aufzulegen. Die Gesprächsdauer sinkt (Ziel erreicht), aber die Kundenzufriedenheit bricht ein.
Eine Schule führt standardisierte Tests als zentrale Kennzahl für Bildungsqualität ein und knüpft die Lehrerbeurteilung daran. Lehrer beginnen, gezielt 'auf den Test hin' zu unterrichten, kreatives Denken und Diskussionen fallen weg. Die Testergebnisse steigen, doch das tatsächliche Verständnis der Schüler stagniert.
Ein Krankenhaus wird nach der Anzahl entlassener Patienten pro Tag bewertet, um die Effizienz zu steigern. Das Personal beginnt, Patienten früher zu entlassen, als es medizinisch sinnvoll wäre. Die Kennzahl verbessert sich, die Wiedereinweisungsrate steigt jedoch deutlich an.
Binäre (Ja/Nein) Fragen, die ein LLM beantworten muss, um diesen Aspekt zu identifizieren:
Wurde ein statistisches Maß als explizites Ziel oder Anreiz eingeführt?
Typ: binaryOptimieren Personen rein für die Metrik statt für das eigentliche Ziel?
Typ: binaryHat sich die Aussagekraft des Maßes verschlechtert, seit es zum Zielwert wurde?
Typ: binaryGibt es Anzeichen für Metrik-Manipulation statt echter Verbesserung?
Typ: binaryGoodharts Gesetz besagt: „Wenn ein Maß zum Ziel wird, hört es auf, ein gutes Maß zu sein.“ Sobald Akteure wissen, dass sie nach einer bestimmten Kennzahl bewertet werden, optimieren sie diese Kennzahl, oft auf Kosten des eigentlichen Ziels, das sie repräsentieren sollte. Dies führt zu perversen Anreizen.
Metriken sind Vereinfachungen komplexer Realitäten. Es ist fast immer einfacher, den Proxy (die Kennzahl) zu manipulieren als das komplexe Ziel dahinter zu erreichen.
Nutze mehrere komplementäre Metriken, die schwer gleichzeitig zu manipulieren sind. Wechsel Metriken regelmäßig und ergänze quantitative Daten durch qualitative Bewertungen.
Goodharts Gesetz findet sich bei Standardtests in Schulen, in der Kriminalstatistik, bei wissenschaftlichen Zitierraten und im Engagement-Marketing in sozialen Medien.
Nutze diese Tools, um diesen Aspekt zu erkennen, zu analysieren oder zu trainieren.