11.11.2024

Einführung

Intuitive Urteile: Vor- und Nachteile (Kahneman, 2012)

Prognosen als Spezialfall von Urteilen (Tetlock & Gardner, 2015)

Urteilsleistung durch Bias und Noise beeinträchtigt

Vergleich von menschlichen und algorithmischen Urteilen (Stichworte: statistische Modellierung, KI, lernende Verfahren, neuronale Netze, …)

Modellierung von Expertenwissen (Knowledge Engineering)

Beispiele für Urteile und Prognosen:

  • Absatzzahlen
  • Kredite: Ausfallwahrscheinlichkeiten
  • Kundenzufriedenheit
  • Pferde/Formel 1/…-Rennen: Platzierung
  • Partnerwahl

Einführung (2)

Historische Scharmützel: Klinische vs. statistische Vorhersagen

Vorreiter: Paul Meehl (Meehl, 1954), Robyn Dawes (Dawes, 1979)

Beispiele:

  • Erkennen psychischer Krankheiten aufgrund von Testergebnissen
  • Auswahlgespräche zum Studium
  • Beurteilung der Kreditwürdigkeit

Beobachtung: statistische Modelle sind fast immer besser als menschliche Urteiler – insbesondere besser als klinische Psychologen

Menschliche Urteiler:innen sind gut darin, die richtigen Cues zu finden.

Menschliche Urteiler:innen sind nicht gut darin,

  • mehrere Informationsquellen geeignet zu integrieren
  • konsistent zu urteilen

Egon Brunswik & Kenneth R. Hammond

Egon Brunswik

  • 1903–1955
  • geboren in Österreich; 1936: Ruf nach Berkeley
  • Probabilistischer Funktionalismus:
    • Wahrnehmung probabilistisch von proximalen Cues abhängig
    • Cues probabilistisch von distalem Reiz/Kriterium abhängig
  • Darstellung im Linsen-Modell (engl. Lens Model)

Kenneth R. Hammond

  • 1917–2015
  • Student von Brunswik
  • Übertrag des Lens Model auf die Analyse von Urteilen

Idiographischer (i.v.z. nomothetischer) statistischer Ansatz

Repräsentatives Design – i.v.z. experimenteller Kontrolle

Literatur zum Lens Model: Cooksey (1996)

…Statistik?!

Darstellung des Lens Model

Lens Model: Eigene Darstellung

Lens Model: Eigene Darstellung

Parameter des Lens Model

  • \(Y_e\): tatsächliche Werte der Kriteriumsvariablen
  • \(\hat{Y_e}\): Lineare Regression von Cues auf \(Y_e\) – Modellierung der ökologischen Seite
  • \(Y_s\): Urteilswerte
  • \(\hat{Y_s}\): Lineare Regression von Cues auf \(Y_s\) – Modellierung der subjektiven Seite
  • \(r_a\): Korrelation zwischen \(Y_e\) und \(Y_s\) – Index der Leistung, Genauigkeit, klinische Validität
  • \(R_e\): Multiple Korrelation zwischen Cues und \(Y_e\) – Lineare, ökologische Vorhersagbarkeit
  • \(R_s\): Multiple Korrelation zwischen Cues und \(Y_s\) – Kognitive Kontrolle
  • \(G\): Korrelation zwischen \(\hat{Y_e}\) und \(\hat{Y_s}\) – Modelliertes Wissen, Cue-Sensitivität
  • \(C\): Korrelation zwischen den Residuen \(Y_e - \hat{Y_e}\) und \(Y_s - \hat{Y_s}\) – Unmodelliertes Wissen
  • \(w_e, w_s\): ecological validity, cue utilization – geschätzt über Regressionsgewichte

Alternative Darstellung des Lens Model

Lens Model: Schematische Darstellung nach  @yu2018viewing

Lens Model: Schematische Darstellung nach Yu (2018)

Anwendung: Coronary Heart Disease (CHD)

Diagramm entnommen aus @stamp2006advanced

Diagramm entnommen aus Stamp (2006)

Wichtigste Cues für Urteilende?
Rauchen – Diabetes – HDL

Wichtigste Cues tatsächlich?
Alter – HDL – LVH

LVH = linksventrikuläre Hypertrophie

HDL = high density lipoproteine

Mögliche Fragen

Sind lineare Modelle (auf beiden Seiten) geeignete Werkzeuge?

Wer/was ist besser: Lineares (ökologisches) Modell oder Urteilende?

Nutzen die Urteiler die Cues geeignet? Werden die richtigen Cues genutzt?

Werden alle Informationen/Cues oder nur wenige Variablen verwendet?

Nutzen Urteilende nicht-lineares Wissen?

Ist das Bootstrap-Modell (s. u.) besser als die Urteilenden (für den aktuellen bzw. einen neuen Datensatz)?

Lineare Modelle & menschliche Urteile

Lineare Modelle als eine Annäherung an die Struktur der Welt (Dawes, 1979; Hastie & Dawes, 2009):

  • viele eigentlich nichtlineare Zusammenhänge sind gut linear approximierbar
  • kurvilineare Zusammenhänge sind abschnittsweise linear approximierbar
  • disordinale Interaktionen sind selten

Lineare Modelle als eine Annäherung an menschliches Urteilsverhalten (Dawes, 1979; Hastie & Dawes, 2009):

  • menschliches Urteilsverhalten ist linear gut approximierbar
  • Urteilende beschränken sich auf wenige Cues
  • kein komplexeres Urteilsverhalten

Qualität von Urteilen und Modellen

Ökologische Modelle sind besser als die Urteilenden (Grove & Meehl, 1996; Meehl, 1954)

Lineare Modelle von Urteilenden sind besser als die Urteilenden selber (Goldberg, 1968; Hastie & Dawes, 2009)Bootstrapping funktioniert!

Robyn Dawes setzt noch einen drauf: Modelle, die Zufallsgewichte (random weights) bzw. gleich große Gewichte (unit weights) verwenden, sind besser als die Urteilenden (Dawes, 1979).

Datenerhebung: Größe = f(Gewicht, Schuhgröße)?

Literatur

Cooksey, R. W. (1996). Judgment analysis: Theory, methods, and applications. Academic press.

Dawes, R. M. (1979). The robust beauty of improper linear models in decision making. American Psychologist, 34(7), 571. https://www.cmu.edu/dietrich/sds/docs/dawes/the-robust-beauty-of-improper-linear-models-in-decision-making.pdf

Goldberg, L. R. (1968). Simple models or simple processes? Some research on clinical judgments. American Psychologist, 23(7), 483.

Grove, W. M., & Meehl, P. E. (1996). Comparative efficiency of informal (subjective, impressionistic) and formal (mechanical, algorithmic) prediction procedures: The clinical–statistical controversy. Psychology, Public Policy, and Law, 2(2), 293.

Hastie, R., & Dawes, R. M. (2009). Rational choice in an uncertain world: The psychology of judgment and decision making. Sage Publications.

Kahneman, D. (2012). Schnelles Denken, langsames Denken. Siedler.

Meehl, P. E. (1954). Clinical versus statistical prediction: A theoretical analysis and a review of the evidence. University of Minnesota Press.

Stamp, K. D. (2006). Advanced registered nurse practitioners’ judgments of coronary heart disease risk [Dissertation, University of South Florida]. https://digitalcommons.usf.edu/cgi/viewcontent.cgi?article=3710&context=etd

Tetlock, P. E., & Gardner, D. (2015). Superforecasting: The art and science of prediction. Random House.

Yu, M. C. (2018). Viewing expert judgment in individual assessments through the lens model: Testing the limits of expert information processing [PhD thesis]. University of Minnesota.