• Urteile
• Fehler: Bias und Noise
• Bias und Noise messen
• Noise ist ein Problem
• Beispiele
• Analyse & Arten von Noise
• Zerlegungen von Noise
• Die Psychologie von Urteilen und Noise
• Noise ist verborgen aber nicht unsichtbar
• Wie sich Noise (und auch Bias) verringern lassen - Noise Audit - Grundsätze der Entscheidungshygiene
• Wie viel Noise sollte es sein?

• Urteilen ≠ Denken

• Urteile sind Messungen mit unserem Verstand als Messinstrument

• Arten von Urteilen

  • prädiktiv vs. evaluativ (z. B. fiktive Bewertung, Gemälde, …) – kein Unterschied im Urteilsverhalten
  • überprüfbar vs. nicht überprüfbar
  • Qualität nicht überprüfbarer Urteile lässt sich nur anhand der Qualität des Denkprozesses beurteilen, der sie hervorbringt.
  • Ermessensentscheidungen: zwischen Geschmacksfragen – berechenbaren Probleme; begrenzte Uneinigkeit

• Beziehung zu Entscheidungen: Jede Entscheidung hat Urteilsanteile

• Wessen Urteile haben Einfluss?

  • Richter:in
  • Ärzt:in
  • TÜV-Gutachter:in
  • …

Bias:

• = Abweichung des Mittelwerts von Urteilen vom wahren Wert
• Bestimmung unmöglich, wenn der wahre Wert nicht bekannt ist (nicht überprüfbare Urteile)
• Bsp: Festlegen eines Strafmaßes
• Annahme: Mittelwerte vieler Urteilender liefert guten Schätzer für wahren Wert

Noise:

• Messbar über Noise Audit
• Noise ohne Kenntnis des wahren Wertes messbar
• Urteilende begutachten dieselben Fälle
• Wenn Mittelwert(Fehler) = SD(Fehler) liefern Bias und Noise denselben Beitrag für den MSE
• Bias ≙ Noise, wenn 84% der Urteile über/unter dem wahren Wert liegen (vgl. nächste Folie)
• Wenn Bias < 1 SD, dann Noise > Bias (“dann ist Noise die größere Quelle für den Gesamtfehler MSE”)

Noise tritt überall auf, wo geurteilt wird und ist größer als angenommen (Bsp. Justiz, Versicherungen).

Zufallsabhängige Fehler (Noise) heben sich nicht gegenseitig auf (vgl. Metapher Zielscheibe).

Wenn Urteile schwanken, sind sie fehlerbehaftet; auch ohne Kenntnis des wahren Werts.

Biases lassen sich leicht in der Rückschau finden; haben eine “charismatische Erklärungskraft”.

Zur Erkennung von Noise ist statistische Sicht erforderlich, die uns schwer fällt.

Fachkräfte haben Vertrauen in die eigenen Urteile und erwarten, dass Kolleg:innen mit ihnen übereinstimmen. Diese Annahme bleibt meist ungeprüft.

Tatsächlich widersprechen unsere Urteile häufig denen anderer und auch unseren eigenen.

1970er USA: Richter Marvin Frankel (1973) prangert ungerechtfertigte Variabilität (= Noise) in Urteilssprüchen an.

“Zwei Männer, bislang beide nicht straffällig, wurden wegen Einlösung gefälschter Schecks über 58,40 beziehungsweise 35,20 Dollar verurteilt: der erste zu 15 Jahren, der zweite zu 30 Tagen.” – S. 20

Systematische Untersuchung anhand konkreter, realistisch detaillierter Fallbeschreibungen

Beispiele:

• Heroindealer: 1 bis 10 Jahre Freiheitsstrafe
• Bankräuber: 5 bis 18 Jahre Freiheitsstrafe
• Erpressung: 3 Jahre Haft bis 20 Jahre Haft + 65.000 Dollar Geldstrafe

Weitere Untersuchungen kommen zum selben Ergebnis: Ausmaß an Noise “schockierend”

Strafzumessung als eine Art Glücksspiel

Ausmaß an Noise wird – auch in diesen Studien – unterschätzt. Reale Urteile erfolgen unter deutlich weniger kontrollierten Bedingungen.

• Bezug zum 2. Semester Statistik

• Design mit Messwiederholung

• Messwiederholungsfaktor Fälle

• Personenfaktor

• Interaktion Personen x Fälle

Entwicklung und Verabschiedung von Leitlinien (Online verfügbar)

Breite Basis: 10.000 Strafverfahren

Festlegung eines Strafrahmens (6 Monate bzw. 25 % Spielraum)

Ergebnis:

- Richtlinien sind wirksam; sie reduzieren Noise 
- 1986/87: 17 % bzw. 4,9 Monate 
- 1988-93: 11 % bzw. 3,9 Monate

Aber: massive Kritik

- Richtlinien wurden 2005 für ungültig erklärt 
- Argument: Richtlinien werden Komplexität des Einzelfalls nicht gerecht

Folge: Durchschnittlicher Unterschied zwischen strengen und durchschnittlichen Richtern steigt von 2,8 auf 5,6 Monate

Methodischer Ansatz: Noise Audit

Stellen wir uns diese Frage: »Wenn Sie in einer gut geführten Versicherungsgesellschaft zwei sachkundige Underwriter oder Schadensregulierer nach dem Zufallsprinzip auswählen würden, wie weit lägen deren Schätzungen für denselben Fall Ihres Erachtens wohl auseinander?«

Noch konkreter: »Wie groß wäre die Differenz zwischen beiden Schätzungen in Prozent ihres Durchschnittswerts?«

Befragung der Führungsebene (n=828 CEOs und Topmanager:innen)

Homogenes Ergebnis der Befragung: 10 %

Ergebnisse des Noise Audits (Mediane):

• Underwriter: 55 %
• Schadensregulierer: 43 %

Eine typische Abweichung liegt also nicht bei 9.500 und 10.500 sondern bei 9.500 und 16.700 Dollar.

Wichtig: Fehler heben sich nicht gegenseitig auf; sie addieren sich

Anmerkung: Die folgenden Definitionen basieren vorwiegend auf dem Glossar von Kahneman et al. (2021).

Pattern-Noise > Level-Noise (meist)

• Versicherungsgesellschaft: 80 % Pattern-Noise, 20 % Level-Noise
• Studie zu Strafschadenersatz: ca. 60 % Pattern-Noise
• aber: Asylrichter etwas mehr Level-Noise

Level-Noise ist überraschend groß – aber meist kleiner als der Rest

Pattern-Noise wird nicht gemessen – bleibt also unerkannt

Um genauer zu quantifizieren, wie viel Pattern-Noise stabil ist und wie viel davon Occasion-Noise ist, brauchen wir Studien, in denen dieselben [Urteiler:innen] zwei unabhängige Beurteilungen jedes Falls vornehmen. – S. 237; Hervorhebung von mir

→ Stichwörter: Intra-Rater-Reliabilität; Konsistenz

Studienergebnisse:

• Beurteilung von Gesichtern zu (u. a.) Vertrauenswürdigkeit: Stabiles Pattern-Noise > Level-Noise > Occasion Noise (→ “Konsistenz ohne Konsens”)
• Kautionsrichter: Stabiles Pattern-Noise ≈ 4 x Level-Noise [26 % : 7 %]

Stabiles Pattern-Noise ist die wichtigste Komponente von System-Noise

“Noise ist überwiegend ein Produkt nicht von Unterschieden in der individuellen Urteilsgrundeinstellung (Level), sondern von Interaktionen: davon, wie verschiedene Richter mit bestimmten Beschuldigten umgehen, wie verschiedene Lehrer mit bestimmten Schülern umgehen, wie verschiedene Sozialarbeiter mit bestimmten Familien umgehen und wie verschiedene Führungskräfte mit bestimmten Zukunftsvisionen umgehen. Noise ist überwiegend ein Nebenprodukt unserer Einzigartigkeit, unserer »Urteilspersönlichkeit«.” – S. 240; Hervorhebungen von mir

“Die Unsichtbarkeit von Noise ist eine direkte Folge des kausalen Denkens. Noise ist grundsätzlich ein statistisches Phänomen: Es wird nur dann sichtbar, wenn wir eine Gesamtheit ähnlicher Urteile statistisch betrachten. Tatsächlich lässt es sich dann kaum übersehen: Es ist die Variabilität in den zurückblickenden Statistiken über Strafurteile und Versicherungsprämien. Es ist die Ungewissheit in der vorausblickenden Vorhersage, die wir über ein bestimmtes Ergebnis machen. Es ist die Streuung der Treffer auf der Zielscheibe. Kausal betrachtet, ist Noise nirgendwo; statistisch gesehen, ist es überall.” – S. 242-244; Hervorhebungen von mir

Objektive Unwissenheit wird unterschätzt.

Wir sind mit unseren Urteilen i. A. zufrieden: internes Signal zur Belohnung, sobald Fakten und Urteil zusammen passen

Übungen:

• Wie viele Einwohner:innen hat Deggendorf? Versuchen Sie, einen möglichst genauen Zahlenwert anzugeben.
• Wie gut geht es Ihnen gerade? Versuchen Sie, einen möglichst genauen Zahlenwert zwischen 1 und 100 anzugeben.
• CEO-Beurteilung
• Julie

Dieses interne Signal hängt nur schwach mit objektiver Genauigkeit zusammen.

Bei prädiktiven Urteilen sind einfache Formeln (z. B. lineare Modelle) meist genauer als individuelle Urteile. Hauptgrund: Sie sind frei von Noise.

Psychologische/kognitive Verzerrungen (Biases) sind die Quelle statistischer Biases UND von Noise,

• wenn äußere Umstände die Wirkung beeinflussen (z. B. durch Reihenfolgeneffekte),
• wenn der kog. Bias nicht für alle in die gleiche Richtung wirkt und
• wenn das Ausmaß der Wirkung variiert.

Kleine individuelle Unterschiede treten auf, wenn die Zahl der Hinweise klein ist und in dieselbe Richtung weisen. (Julie las flüssig, als sie vier Jahre alt war. Welche Abiturnote hat sie?)

Große individuelle Unterschiede treten auf, wenn ein Urteil die Gewichtung mehrerer, sich widersprechender Hinweise erfordert. Das erzeugt Pattern Noise

(vgl. Kahneman et al., 2021, Anhang A)

Zur Sicherung der Qualität von Entscheidungen einer Organisation

Ableiten von Maßnahmen: Schulung, Werkzeuge, Kontrolle/Evaluation

Kritik voraussehen – Ergebnisse werden angezweifelt werden; daher potenzielle Kritiker:innen einbinden

Akteure:

• Projektteam:
  • Kern sollte intern sein (“to own the project”)
  • Entscheidungsexperetise und Fachexpertise auf hohem Reputationsniveau
• Kunde = Führungsspitze der Organisation
• Beurteilende: zu auditierende Einheiten, Abteilungen; einzelne Personen sollten austauschbar sein
• Projektmanager:in; hoch in der Leiter, um administrative Hüden zu überwinden und Signal für Commitment

Für ein Noise Audit wählt man am besten eine Urteilsaufgabe aus, die (1) auf der Grundlage schriftlicher Informationen bearbeitet und (2) numerisch formuliert werden kann (z. B. in Dollar, Wahrscheinlichkeiten oder Ratings).

[…]

Das Team muss die folgende Frage beantworten: Wenn die Ergebnisse unserer Simulation auf ein hohes Ausmaß an Noise hindeuten, werden Mitarbeiter der Organisation akzeptieren, dass die Urteilsbildung in der auditierten Einheit tatsächlich verrauscht ist? Es lohnt sich nur dann, ein Noise Audit durchzuführen, wenn die Antwort ein klares Ja ist.

— Kahneman et al. (2021), S. 419-420

Fragebogen nach den Urteilen, um die folgenden Punkte zu ermitteln:

• Schlüsselfaktoren für die Antwort
• Gewichtung der Fakten des Falles
• Referenzkategorie an ähnlichen Fällen; Positionierung in dieser Kategorie
• Kosten von Urteilsfehlern (in beide Richtungen) um einen fixen Prozentsatz (z. B. 15 %)

Pre-Launch Meeting mit der Organisationsleitung; deren Commitment absichern

Fragen:

• Welches Maß an Uneinigkeit wird erwartet?
• Welches Maß an Uneinigkeit wird noch toleriert?
• Kosten von Urteilsfehlern (in beide Richtungen) um einen fixen Prozentsatz (z. B. 15 %)

Durchführung:

• Begriffe wie “Noise”, “Rauschen” etc. vermeiden – besser: “Studie zum Entscheidungsverhalten”
• Information für Urteilende allgemein halten: “Die Organisation ist daran interessiert, wie Sie Ihre Entscheidungen treffen”
• Glaubwürdig Anonymität zusichern (und gewährleisen)
• Keine Konsequenzen für Abteilung
• Zeitlich parallele aber räumlich getrennte Durchführung