smallie
resistent!?
Anmeldungsdatum: 02.04.2010
Beiträge: 3726
|
 (#1829284) Verfasst am: 01.04.2013, 18:09 Titel: |
 |
|
Hab' mich ein bisschen umgesehen, was es dazu gibt. Allseits akzeptiert ist IAT nicht.
Im Folgenden wird behauptet, die Daten der Leute aus Harvard passten nicht zu ihren Folgerungen. Man hatte Ärzten das Bild eines fünfzigjährigen Mannes gezeigt, manchmal ein Weißer, manchmal ein Schwarzer. Dann wurde der Arzt gefragt, wie er den Mann bei Verdacht auf Herzinfarkt behandeln würde. Danach wurde mit dem Arzt ein IA-Test gemacht. Resultat: die Vorurteile des Arztes hatten Auswirkungen auf seine Behandlungsmethode. Dawson und Arkes wiesen darauf hin, daß sich dies nicht durch die Daten belegen ließe.
| Zitat: | In Bias Test, Shades of Gray
Last year, a team of researchers at Harvard made headlines with an experiment testing unconscious bias at hospitals. Doctors were shown the picture of a 50-year-old man — sometimes black, sometimes white — and asked how they would treat him if he arrived at the emergency room with chest pains indicating a possible heart attack. Then the doctors took a computer test intended to reveal unconscious racial bias.
The doctors who scored higher on the bias test were less likely than the other doctors to give clot-busting drugs to the black patients, according to the researchers, who suggested addressing the problem by encouraging doctors to test themselves for unconscious bias. The results were hailed by other psychologists as some of the strongest evidence that unconscious bias leads to harmful discrimination.
But then two other researchers, Neal Dawson and Hal Arkes, pointed out a curious pattern in the data. Even though most of the doctors registered some antiblack bias, as defined by the researchers, on the whole doctors ended up prescribing the clot-busting drugs to blacks just as often as to whites. The doctors scoring low on bias had a pronounced preference for giving the drugs to blacks, while high-scoring doctors had a relatively small preference for giving the drugs to whites — meaning that the more “biased” doctors actually treated blacks and whites more equally.
http://www.nytimes.com/2008/11/18/science/18tier.html?_r=0 |
Hier wundert sich ein Schwuler, warum er angeblich Heteros bevorzugt. Und woher die Autoren wissen wollen, welches Bild bei ihm mit schwul/lesbisch belegt sei.
| Zitat: | I Don’t Actually Hate Myself: Why Harvard Is Wrong About Bias
piece we posted Monday on how an online test developed at Harvard can help uncover hidden biases in how you treat people. There are currently 14 of these Implicit Association Tests (IATs) purporting to measure internal biases in the way we see race, sexuality, body weight — even Presidents (current vs. former). I have been an out-of-the-closet gay writer for 15 years (here’s an early article), so I was surprised to see my result: “Your data suggest a slight automatic preference for Straight People compared to Gay People.” As Maia wrote, 48% of African Americans who take the test also show a bias against themselves.
My results might mean I’m self-hating, although I’m not exactly sure what I could do to be gayer. A tiara to work? Even more house music playing on my office computer?
[...]
The researchers want highly reductive, split-second responses (“good,” “bad”) to images that come onto the screen. If you take longer on your response, you get a score — sorry, “result” —indicating you are more biased. But the images can be a little odd: to represent “gay,” for instance, one image is two female figures from a women’s bathroom sign standing together. Aside from being a little gross, I didn’t see it as gay. I saw it as two figures on a bathroom sign.
http://healthland.time.com/2010/10/12/i-dont-actually-hate-myself-why-harvard-is-wrong-about-bias/ |
Und beschwert sich anschließend über das tiefenpsychologische Fundament des Tests. Weiter oben habe ich das auch schon angesprochen.
| Zitat: | | More broadly, the test relies on an outdated concept — one essentially Freudian in its conception — that there are huge mysterious landscapes in our brains that we can’t access directly. The Harvard researchers seem to like the word “automatic” because it sounds more scientific than the word Freud used — “unconscious” — but the basic idea is no different. As IAT critic Hart Blanton of the University of Connecticut has written, the idea of unconscious racism is a concept in pursuit of a measure, not a scientific measure that has resulted in an idea. |
Mit meiner Skepsis stehe ich nicht alleine da.
Auszugsweise Übersetzungen liefere ich auf Wunsch nach.
_________________
"There are two hard things in computer science: cache invalidation, naming things, and off-by-one errors."
|
|
Dissonanz
Zeuge ANOVAs
Anmeldungsdatum: 24.03.2008
Beiträge: 3541
|
| (#1830701) Verfasst am: 06.04.2013, 23:19 Titel: |
|
|
| smallie hat folgendes geschrieben: | | Hab' mich ein bisschen umgesehen, was es dazu gibt. Allseits akzeptiert ist IAT nicht. |
Vor allem sind nicht alle Interpretationen der Ergebnisse allgemein akzeptiert. Und das zurecht. Es gibt auch hier Leute, die von einem Verfahren mehr erwarten, als es leisten kann. (Was ja prinzipiell nichts Schlechtes ist, für den Fall dass ein Verfahren eben doch mehr kann als bisher angenommen wurde. Doof nur für die Leute, die sich dabei irren und ihre Karriere aufs Spiel setzen um zu zeigen, dass es ein Wundermittel gibt.  )
| Zitat: | | Im Folgenden wird behauptet, die Daten der Leute aus Harvard passten nicht zu ihren Folgerungen. Man hatte Ärzten das Bild eines fünfzigjährigen Mannes gezeigt, manchmal ein Weißer, manchmal ein Schwarzer. Dann wurde der Arzt gefragt, wie er den Mann bei Verdacht auf Herzinfarkt behandeln würde. Danach wurde mit dem Arzt ein IA-Test gemacht. Resultat: die Vorurteile des Arztes hatten Auswirkungen auf seine Behandlungsmethode. Dawson und Arkes wiesen darauf hin, daß sich dies nicht durch die Daten belegen ließe. |
Du zitierst unter anderem dieses:
The doctors scoring low on bias had a pronounced preference for giving the drugs to blacks, while high-scoring doctors had a relatively small preference for giving the drugs to whites — meaning that the more “biased” doctors actually treated blacks and whites more equally.
Die Aussage "Die unterschiedliche automatische Assoziation zwischen den Kriterien hatten Auswirkungen auf seine Behandlungsmethode." (Ich kenne die Kategorien in dem spezifischen IAT der dort verwendet wurde nicht, daher bleib ich dort vage.) lässt sich damit durchaus belegen. Es scheint nur, dass, glaubt man Dawson und Arkes, die Autoren der Studie ihre Daten falsch interpretiert haben und ihre Aussagen nicht aus ihren Daten folgten.
Wie gesagt: Das Verfahren macht irgendwas, aber was genau es macht ist etwas unklar. Völlig auf die Daten reduziert lässt sich im Kontext dieser Studie zum Beispiel die Behandlungsmethode die ein Arzt Hautfarbenabhängig wählt zu einem gewissen Grad (Eine Effektgröße hätte mich interessiert. Pack genug Leute in deine Studie und der Effekt wird signifikant, aber du brauchst eine Effektgröße um sagen zu können, ob der Effekt auch interessant ("meaningful".. Bedeutungsvoll?) ist. Wenn du nur 0,1% Varianzaufklärung mit einem superkleinen Standardfehler weil n=10000 hinbekommst ist das ziemlich wertlos, in den meisten Situationen.) voraussagen.
| Zitat: | | Hier wundert sich ein Schwuler, warum er angeblich Heteros bevorzugt. Und woher die Autoren wissen wollen, welches Bild bei ihm mit schwul/lesbisch belegt sei. |
Ebenfalls eine valide Kritik am IAT. Man muss dafür sorgen, dass das Stimulusmaterial überhaupt repräsentativ für die Kategorien ist, um die es geht. Das muss vorher etabliert werden, sonst sind die Ergebnisse (in meinen Augen) wertlos.
Dazu kommt, dass offensichtlich diesem Probanden nicht richtig erklärt wurde, wie so eine Präferenz im IAT-Rahmen zu interpretieren ist. Entweder es wurde falsch erklärt und die Forscher haben selbst keine Ahnung was man mit den Daten machen kann oder es wurde unzulänglich erklärt und der Proband hat es sich selbst zusammengereimt.
(Hab mich länger nicht damit beschäftigt, daher bitte ich eventuelle Fehler in der Beschreibung zu verzeihen.) IAT misst (nach eigener Logik) relative Assoziationen zwischen den Stimuli und den Kategorien. Die Stimuli gehören optimalerweise eindeutig sinnvollen Kategorien an.
Wichtig ist hier:
1. Was man misst ist keine absolute Assoziation, es ist eine Relative. Man assoziiert etwas stärker als etwas Anderes mit den Kategorien. Das sagt nichts darüber aus, ob man etwas stark oder schwach assoziiert. Gar nichts.
2. Man misst die relative Assoziationsstärke, die die Person zwischen dem Stimulusmaterial und den Kategorien hat. Wenn man das Stimulusmaterial schlecht wählt, lernt man nichts daraus, siehe eben zum Beispiel die Idee, dass es gay sei, wenn zwei Strichfiguren-Frauen auf einem Bild nahe beieinander zu sehen sind. Das ist natürlich eine riesige Kiste von Problemen, was die Möglichkeiten, damit sinnvoll zu testen doch arg einschränkt. Aber eben auch nicht völlig verschwinden lässt.
| Zitat: | | Und beschwert sich anschließend über das tiefenpsychologische Fundament des Tests. Weiter oben habe ich das auch schon angesprochen. |
Whatever, kognitive Assoziationen die schnell und automatisch Funktionieren gibt es in vielen theoretischen Frameworks. Die Herkunft ist mir egal, solange man diese ignorieren kann und die Interpretation der Daten sich weiterhin auf die Daten stützen lässt. Aber auch nur so lange.
Achja, eine weitere Sache die man bloß nie aus einem IAT mitnehmen darf: Dass die relativen Assoziationen irgendwie die "wahre" Meinung einer Person seien oder gar "entlarven". Das sind sie nicht und das können sie nicht sein. Explizite Einstellungen und implizite Einstellungen korrelieren zwar untereinander, aber nicht allzu stark. Man kann sowohl explizit sehr antirassistisch sein und andererseits innerlich immer Herzklabaster kriegen wenn man auf eine Gruppe schwarzer Menschen trifft. Es gibt keine "wahre" Einstellung in dem Sinne, für mich, da man immer nur die Aussagen und die Reaktionen zur Beurteilung hat, die beobachtbar sind. Und die müssen nicht immer alle konform gehen. Wäre sogar eher seltsam, wenn sie das täten, sind es doch völlig unterschiedliche kognitive Subsysteme die dafür bemüht werden.
Nachtrag: Ich find den IAT super um daran sorgfältiges und datenorientiertes Denken zu trainieren. Da gibt's alles: Interpretationen, die sich mit Daten stützen lassen, Interpretationen, die sich nicht mit Daten stützen lassen, die aber augenscheinvalide sind, unintuitive Testlogik..
_________________
-Brother Broadsword of Warm Humanitarianism
"In other words, the cultures have been subjected to as careless handling as if in the hands of a somewhat below par student assistant, but they have survived."
-H. W. Chalkley in Science, Vol. LXXI, No. 1843
You can't spell Discord without Disco.
-frypoddie
|
|
FAQ 
Suchen 
Mitgliederliste 
Nutzungsbedingungen 
Benutzergruppen 
Links
Registrieren
Profil 
Einloggen, um private Nachrichten zu lesen 
Login 
