Estereótipos são precisos: um dos maiores e mais replicados resultados da psicologia social

Por Lee Jussim, psicólogo social

Perspectivas psicológicas costumavam definir estereótipos como imprecisos, descrevendo-os como rígidos,¹ como racionalizações do preconceito,²³ desconectados da realidade,⁴ e exageros baseados em pequenos "fundos de verdade".⁵ Essas definições comuns são insustentáveis. Quase qualquer crença sobre quase qualquer grupo tem sido considerada como um "estereótipo" em estudos empíricos. No entanto, é logicamente impossível que todas as crenças de grupo sejam imprecisas. Isso tornaria "impreciso" acreditar que dois grupos diferem ou que não diferem.

Alternativamente, talvez os estereótipos sejam apenas crenças de grupo imprecisas, e assim, portanto, as crenças precisas não sejam estereótipos. Se isso fosse verdade, deveria-se primeiro estabelecer empiricamente que a crença é imprecisa — de outra forma, ela não seria um estereótipo. A raridade de demonstrações assim significaria que há poucos estereótipos conhecidos. O reconhecimento crescente desses problemas lógicos levou muitas revisões modernas a abandonar a "imprecisão" como um elemento definidor no cerne dos estereótipos.⁶

Todavia, uma ênfase na imprecisão, que é largamente inconsistente com a pesquisa empírica, permanece. Meu livro Percepção Social e Realidade Social: Por que a Precisão domina o Viés e a Profecia Auto-cumprida [trad. livre] (daqui adiante referido como SPSR) revisou 80 anos da literatura acadêmica em psicologia social e mostrou que havia nela uma ênfase comum na imprecisão. Alguns psicólogos sociais defenderam que a noção do "fundo de verdade" significa que a psicologia social reconhece há tempos a precisão dos estereótipos, mas eu não aceito essa desculpa. Ela a cria a impressão de que, em meio a uma espiga quase toda podre, há um único cerne decente, que é o "fundo de verdade". E se você duvida que é assim, considere um teste que põe as coisas em outra perspectiva: o que você acharia se alguém descrevesse a psicologia social como algo que tem um "fundo de verdade"? Isso seria elogioso?

A Evidência Empírica

Este blog não é o lugar para revisar as evidências abundantes pela precisão dos estereótipos, embora leitores interessados sejam direcionados a consultar o SPSR e nossas revisões atualizadas que apareceram em Current Directions in Psychological Science⁷ e no Handbook of Stereotypes, Prejudice and Discrimination.⁸ Resumindo essas revisões:

1. Mais de 50 estudos já foram feitos para avaliar a precisão de estereótipos demográficos, nacionais, políticos e outros.

2. A precisão dos estereótipos é um dos maiores e mais replicados efeitos de toda a psicologia social. Richard et al. (2003) descobriram que menos de 5% de todos os efeitos na psicologia social passaram r's [coeficientes de correlação] de 50%.⁹

3. As evidências tanto de estudos experimentais quanto de estudos observacionais indicam que as pessoas aplicam seus estereótipos ao julgar outras pessoas de forma aproximadamente racional. Quando informações individuais estão ausentes ou são ambíguas, os estereótipos muitas vezes influenciam a percepção sobre a pessoa. Quando informações individuais são claras e relevantes, seus efeitos são "enormes",¹⁰ e os efeitos de estereótipos tendem a ser fracos ou inexistentes. Isso põe abaixo as antigas alegações de que "os estereótipos levam as pessoas a ignorar diferenças individuais".

4. Há só alguns poucos estudos que examinaram se as situações em que as pessoas tomam estereótipos como base ao julgar indivíduos aumentam ou diminuem a precisão da percepção sobre a pessoa. Embora esses estudos tipicamente mostrem que fazê-lo aumenta a precisão da percepção da pessoa, há poucos demais para chegar a qualquer conclusão geral. No entanto, esse corpo de pesquisa não fornece qualquer apoio à presunção comum de que os modos e condições sob os quais as pessoas se baseiam em estereótipos reduzem a precisão da percepção sobre a pessoa.

A Crítica "Genérica" de Bian e Cimpian

Bian e Cimpian adentram essa agora vasta literatura e simplesmente declaram-na errada. Não revisaram as evidências. Não sugeriram que as evidências têm falhas ou são mal interpretadas. Bian & Cimpian simplesmente ignoram os dados. Isso soa como uma acusação forte, mas, se você pensa que é forte demais, peço que releia sua crítica. A forma mais fácil de manter qualquer crença de estimação é apenas ignorar dados contrários — algo que é preocupantemente comum, não apenas na psicologia social,¹¹ mas na medicina,¹² na astronomia,¹³ na engenharia ambiental,¹⁴ e ciências sociais afora.¹⁵

Como, então, Bian e Cimpian aspiram a chegar a qualquer conclusão sobre a precisão dos estereótipos sem lidar com os dados? Sua crítica se assenta primariamente sobre a declaração (sem evidências empíricas) de que a maior parte dos estereótipos são crenças "genéricas", o que os torna inerentemente imprecisos, então nenhuma evidência empírica de imprecisão de estereótipos é sequer necessária. Essa é a primeira falha dessa crítica. Eles não relatam nenhum dado avaliando a prevalência de estereótipos como crenças genéricas. Uma pergunta empírica ("que proporção dos estereótipos das pessoas são crenças genéricas?") jamais pode ser respondida por meras declarações.

Essa falha é suficiente para fazer de sua análise irrelevante para entender o estado das evidências sobre a precisão dos estereótipos. No entanto, também falha em outras bases, que são instrutivas de se considerar porque são sintomáticas do erro comum cometido por psicólogos sociais. Eles são vítimas da falácia dos processos, que foi tratada no SPSR. Dessa forma, minha resposta a essas críticas começa com a citação desse texto (p. 394):

Para avaliar a precisão, a pesquisa deve de alguma forma avaliar o quão bem os estereótipos das pessoas (ou a percepção dos indivíduos) correspondem à realidade. As evidências que os psicólogos sociais tipicamente revisam ao enfatizar a imprecisão dos estereótipos não tratam disso. Em vez disso, essas evidências tipicamente demonstram algum tipo de processo cognitivo, que então presume-se - sem testar a precisão - que leva à imprecisão...

Os  psicólogos sociais têm muitos "fenômenos básicos" que presumem (sem evidência) que causam a imprecisão: a categorização supostamente exagera as diferenças reais entre os grupos, o viés pelo próprio grupo, as correlações ilusórias, a ativação automática de estereótipos, o erro da responsabilização última, e muito mais. Nenhum, no entanto, jamais foi ligado à (im)precisão factual dos estereótipos das pessoas leigas. Confundir processos que se alega especulativamente que causam a imprecisão dos estereótipos com evidências da imprecisão dos estereótipos é o exemplo prototípico da falácia dos processos.

Seus casos exemplares de crenças genéricas supostamente inerentemente errôneas são aquelas tais como "mosquitos carregam o vírus do Nilo ocidental" e "patos botam ovos".¹⁶ Eles citam evidências de que as pessoas julgam tais crenças como verdadeiras. Defendem que isso faz das pessoas imprecisas porque poucos mosquitos carregam o vírus do Nilo ocidental e nem todos os patos botam ovos. Ipso facto, de acordo com seu argumento, estereótipos que são crenças genéricas também não pode ser precisos.

Mesmo se as crenças das pessoas sobre patos botarem ovos fossem genéricas e erradas, ainda não teríamos nenhuma informação direta sobre a precisão de suas crenças sobre outras pessoas. Então, como é que isso se traduz para estereótipos? Bian e Cimpian citam outro artigo de Leslie¹⁷ em apoio à alegação de que [há] "mais pessoas que têm a crença genérica de que os muçulmanos são terroristas do que pessoas que têm a crença genérica de que muçulmanos são mulheres". Qual foi a "evidência" de Leslie?¹⁸ Citações de políticos que buscam as manchetes e uma alta nos crimes de ódio após o 11 de setembro. Em resumo, isso não é evidência nenhuma para a alegação de que "mais pessoas acreditam que muçulmanos são terroristas do que muçulmanos são mulheres". Obviamente, mesmo se isso fosse válido, como isso seria relevante para a precisão de estereótipos é algo totalmente obscuro, porque isso dependeria não das presunções do pesquisador sobre o que as pessoas querem dizer quando concordam com frases como "muçulmanos são terroristas", mas das evidências sobre o que as pessoas querem dizer de fato. A literatura sobre a estereotipagem é tão fortemente eivada de suposições inválidas de pesquisadores sobre as crenças das pessoas leigas que, tirando evidências empíricas sólidas sobre no que as pessoas de fato acreditam, as presunções dos pesquisadores que não têm bases em evidências não permitem credibilidade.

Se, como parece ser amplamente presumido em discussões como a de Bian e Cimpian, concordar com "muçulmanos são terroristas" significa "todos os muçulmanos são terroristas", então tais estereótipos claramente são imprecisos (de fato, o SPSR aponta especificamente que todos ou quase todos os estereótipos absolutos da forma TODOS ELES são X são inerentemente imprecisos, pois a variabilidade humana é tipicamente suficiente para invalidar quase toda alegação absolutista desse tipo). No entanto, o problema aqui é a suposição de que concordar com "muçulmanos são terroristas" é equivalente à crença de que "todos os muçulmanos são terroristas". Talvez é, mas, se for, a suposição não pode ser apoiada empiricamente só porque pesquisadores a afirmam. Suspeito que muitos concordariam que "o Alasca é frio" (incluindo eu) - mas fazê-lo não implica necessariamente em presumir que todo dia em todo lugar no Alasca é sempre gelado. [A cidade de] Juneau rotineiramente atinge a marca dos 21 graus Celsius, que eu não considero particularmente fria. Ainda assim, eu ainda concordaria que "o Alasca é frio". A alegação de que qualquer crença genérica é de fato absolutista requer evidências. Na ausência de tais evidências, os pesquisadores podem apresentar suas previsões como especulações sobre o conteúdo supostamente absoluto ou impreciso dos estereótipos, mas não deveriam apresentar seus próprios pressupostos como fatos.

Biam e Cimpian reconhecem que crenças estatísticas são bem mais capazes de serem precisas, mas então alegam que a maioria dos estereótipos não são crenças estatísticas, ou, ao menos, que estereótipos de bases genéricas são influências mais potentes sobre as percepções sociais. Eles não apresentam qualquer avaliação, entretanto, das frequências relativas com as quais as crenças das pessoas sobre grupos são genéricas versus estatísticas. Novamente, há aqui uma pressuposição sem evidência.

Mas consideremos as implicações de sua alegação de que a maior parte dos estereótipos das pessoas incluem pouco ou nenhum entendimento estatístico das distribuição de características entre grupos. De acordo com essa opinião, as pessoas leigas não saberiam muito sobre diferenças raciais/étnicas nas taxas de formatura do ensino médio ou da universidade, ou sobre as diferenças de habilidades não-verbais entre homens e mulheres, e são ignorantes a respeito das diferenças das posições políticas defendidas por democratas e republicanos. Isso leva a uma previsão bem simples - que os julgamentos que as pessoas fazem dessas distribuições seriam quase totalmente não relacionados às distribuições reais; as correlações de estereótipos com critérios seria próxima a zero e a discrepância entre os valores seria grande. Não se pode ter ambas as coisas. Se as pessoas são estatisticamente ineptas, então suas crenças não deveriam ser relacionadas às distribuições estatísticas de características entre os grupos.  Se as crenças das pessoas mostram relações fortes a realidades estatísticas, então elas não são estatisticamente ineptas.

Nós já sabemos que as previsões geradas pela alegação de que "a maioria dos estereótipos são genéricos e são portanto estatisticamente ineptos" não são confirmadas pelos dados resumidos no SPSR, e em Jussim et al.¹⁹²⁰ Bian e Cimpian desenvolveram descrições persuasivas dos processos que acreditam que devem levar as pessoas a serem imprecisas. No ponto do fato empírico, no entanto, descobriu-se majoritariamente que as pessoas são bem precisas. A desconfirmação de tais previsões pode ocorrer por diversas razões:

1. Os processos identificados como "causa" da imprecisão não ocorrem com a frequência que seus defensores presumem (talvez a maioria dos estereótipos não são genéricos).

2. Os processos são bem comuns e causam a imprecisão, mas são mitigados por outros processos contrários que aumentam a precisão (por exemplo, talvez as pessoas amiúde ajustem suas crenças em resposta a informações corretivas).

3. Os processos são comuns, mas, na vida real, levam a níveis bem mais altos de precisão do que presumem aqueles que enfatizam a imprecisão (ver o SPSR para mais detalhes). De qualquer forma, fazer declarações sobre os níveis da imprecisão de estereótipos com base numa previsão especulativa de que alguns processos causam imprecisão de estereótipos, em vez de com base em evidências que diretamente dão base à precisão, é uma demonstração clássica da falácia dos processos.

O buraco negro sob a maioria das declarações de que "estereótipos são imprecisos"

Na ciência, a convenção é apoiar alegações empíricas com evidências, tipicamente por meio de uma citação. Isso deveria ser um ponto óbvio, mas muitas vezes artigos científicos declararam que os estereótipos são imprecisos sem nem uma única citação, ou citando um artigo que em si não fornece evidência empírica nenhuma para a imprecisão de estereótipos. Meus colaboradores e eu²¹ passamos a nos referir a isso como "o buraco negro no fundo das declarações de imprecisão de estereótipos". Por exemplo:

...os estereótipos são formas mal-adaptativas de categorias porque seu conteúdo não corresponde ao que está se passando no ambiente (Bargh & Chartrand, 1999, p. 467)²²

Não há nenhuma citação aqui. É uma declaração sem qualquer apoio evidencial dado.

Ou considere isso:

"O termo estereótipo se refere àquelas crenças e expectativas interpessoais que são tão amplamente compartilhadas quanto geralmente inválidas (Ashmore & Del Boca, 1981).²³" (Miller & Turnbull, 1986, p. 233).²⁴

Há uma citação aqui - Ashmore & Del Boca (1981).²⁵ Embora Ashmore e Del Boca (1981) tenham revisado como pesquisadores mais antigos definiram os estereótipos, eles não revisaram ou deram evidência empírica relevante à precisão de estereótipos. Assim, a citação em Miller e Turnbull (1986)²⁶ também termina num buraco negro de evidências. O argumento de Bian e Cimpian de que "estereótipos são imprecisos", baseado em estudos que não avaliaram a precisão de estereótipos, é uma versão moderna e sofisticada desse argumento a partir de um buraco negro.

Sua crença na imprecisão dos estereótipos é falseável?

Essa pergunta é dirigida a todos os leitores desse texto que ainda mantêm a alegação de que "estereótipos são imprecisos". Crenças científicas deveriam ao menos ser capazes de refutação e correção; de outra forma, são mais como crenças religiosas.

Bian e Cimpian seguem uma tradição sócio-psicológica longa e venerável de declarar que estereótipos são imprecisos sem: (1) Lidar com as abundantes evidências da precisão dos estereótipos; e (2) sem fornecer novas evidências que avaliem diretamente a precisão. Isso levanta a questão: se 50 estudos de alta qualidade demonstrando a precisão de estereótipos ao longo de muitos grupos, muitas crenças, muitos laboratórios e muitas décadas não são suficientes para fazer com que você mude de ideia, o que poderia fazer isso?

Posso dizer o que mudaria a minha crença de que as evidências mostram que a maioria dos estereótipos são geralmente ao menos razoavelmente precisos. Se a maior parte dos próximos 50 estudos nesse assunto derem pouca ou nenhuma evidência da precisão, eu mudaria minha opinião. De fato, nas nossas revisões mais recentes²⁷²⁸ nós apontamos duas áreas em que o peso das evidências mostra imprecisão. Estereótipos de caráter nacional são frequentemente imprecisos quando comparados contra às Big Five medidas de personalidade (interessantemente, no entanto, eles são muitas vezes mais precisos quando medidas de outros critérios são usadas); e estereótipos políticos (por exemplo, as crenças das pessoas sobre democratas versus republicanos, ou liberais versus conservadores) geralmente exageram diferenças reais. Mostrem-me os dados, que eu mudarei de opinião.

Se nenhum dado poderia levar à mudança da sua opinião, então a sua posição não é científica. É completamente apropriado que os códigos morais das pessoas informem ou até determinem suas atitudes e posições políticas. O que não é apropriado, entretanto, é que esse seja o caso mas que se finja que a posição de alguém é baseada em ciência.

Conclusões

A precisão dos estereótipos é um dos maiores efeitos de toda a psicologia social. Dada a atual crise de replicação da psicologia social, e amplas preocupações sobre práticas de pesquisa questionáveis,²⁹³⁰ poder-se-ia esperar que os psicólogos sociais estariam gritando para o mundo que encontramos fenômenos válidos, replicáveis independentemente e poderosos.

Mas seria uma expectativa errônea. Testemunhos pela imprecisão dos estereótipos ainda dominam os manuais e amplas revisões da literatura sobre estereotipagem que aparecem em livros acadêmicos. A nova geração de acadêmicos ainda está aprendendo que "estereótipos são imprecisos", uma alegação que muitos sem dúvida aceitarão como verdadeira, e promoverão em sua própria produção. Às vezes, esses erros se manifestam como definições de estereótipos como imprecisos; e mesmo quando estereótipos não são definidos como imprecisos, manifestam-se como declarações de que os estereótipos são imprecisos, exagerados ou que generalizam demais. Os psicólogos sociais são incrivelmente bons em dar razões pelas quais os estereótipos "deveriam" ser imprecisos, tipicamente apresentadas como afirmações de que eles "são" imprecisos. Os psicólogos sociais são, no entanto, muitas vezes não tão bons em corrigir suas crenças de estimação frente a dados contrários do que muitos de nós esperaríamos.³¹

A auto-correção é, supostamente, uma das características das verdadeiras ciências. A falha em se auto-corrigir em face a dados abundantes é, para mim, uma ameaça à integridade científica da nossa área. Talvez, portanto, a maioria de nós possa concordar que, no que diz respeito à alegação de longa data de que "estereótipos são imprecisos", já está na hora de um pouco de auto-correção científica.

Publicado originalmente no site da Sociedade de Personalidade e Psicologia Social, 16 de fevereiro de 2016. O artigo é uma resposta ao artigo de Lin Bian e Andrei Cimpian no mesmo site.

Tradução: Eli Vieira.

Com adaptações para fluidez de leitura.

1. Lippmann, W. (1922/1991).  Public opinion.  New Brunswick, NJ: Transaction Publishers.

2. Jost, J. T., & Banaji, M. R. (1994).  The role of stereotyping in system‑justification and the production of false consciousness.  British Journal of Social Psychology, 33, 1‑27.

3. LaPiere, R. T. (1936).  Type-rationalizations of group antipathy. Social Forces, 15, 232-237.

4. Bargh, J. A., & Chartrand, T. L. (1999).  The unbearable automaticity of being.  American Psychologist, 54, 462-479.

5. Allport, G. W.  (1954/1979).  The nature of prejudice (2nd edition).  Cambridge, MA : Perseus Books.

6. Jussim, L., Crawford, J.T., Anglin, S. M., Chambers, J. R., Stevens, S. T., & Cohen, F. (2016). Stereotype accuracy: One of the largest and most replicable effects in all of social psychology. Pp. 31-63, in T. Nelson (ed.), Handbook of prejudice, stereotyping, and discrimination (second edition). New York: Psychology Press.

7. Jussim, L., Crawford, J. T., & Rubinstein, R. S. (2015). Stereotype (In)accuracy in perceptions of groups and individuals. Current Directions in Psychological Science, 24, 490-497.

8. Jussim, L., Crawford, J.T., Anglin, S. M., Chambers, J. R., Stevens, S. T., & Cohen, F. (2016). Stereotype accuracy: One of the largest and most replicable effects in all of social psychology. Pp. 31-63, in T. Nelson (ed.), Handbook of prejudice, stereotyping, and discrimination (second edition). New York: Psychology Press.

9. Estereótipos consensuais se referem a crenças compartilhadas por um grupo e são geralmente avaliados via médias. Por exemplo, você poderia estar ensinando a uma turma de 30 estudantes de psicologia, e pediria a eles que estimassem a taxa de conclusão de cursos de graduação de cinco grupos demográficos. A precisão do estereótipo consensual pode ser avaliada pela correlação da média dessas estimativas da turma com, por exemplo, dados do censo sobre taxas de formatura para os diferentes grupos. A precisão do estereótipo pessoal é avaliada de forma idêntica, mas para cada pessoa, separadamente. Então, pode-se avaliar a precisãod e estereótipo pessoal de Fred ao correlacionar as estimativas de Fred para cada grupo com os dados do censo. Ver o livro SPSR, Capítulo 16, para uma descrição muito mais detalhada dos diferentes aspectos da precisão de estereótipo e como podem ser medidos.

10. Kunda, Z., & Thagard, P. (1996). Forming impressions from stereotypes, traits, and behaviors: A parallel-constraint-satisfaction theory. Psychological Review, 103, 284-308.

11. Jussim, L., Crawford, J. T., Anglin, S. M., Stevens, S. M., & Duarte, J. L. (In press).  Interpretations and methods: Towards a more effectively self-correcting social psychology. Journal of Experimental Social Psychology.

12. Ioannidis, J. P. (2012). Why science is not necessarily self-correcting. Perspectives on Psychological Science, 7, 645-654.

13. Loeb, A. (2014).  Benefits of diversity.  Nature: Physics, 10, 616-617.

14. Kolowich. S. (February 2, 2016). The water next time: Professor who helped expose crisis in Flynt says public science is broken. Chronicle of Higher Education. Acesso em 03/02/16 from: http://chronicle.com/article/The-Water-Next-Time-Professor/235136/

15. Pinker, S. (2002).  The blank slate. New York City: Penguin Books.

16. Leslie, S., Khemlani, S., & Glucksberg, S. (2011). Do all ducks lay eggs? The generic overgeneralization effect.  Journal of Memory and Language, 65, 15–31.

17. Leslie, S.J. (in press). The Original Sin of Cognition: Fear, Prejudice and Generalization. The Journal of Philosophy.

18. Leslie, S.J. (in press). The Original Sin of Cognition: Fear, Prejudice and Generalization. The Journal of Philosophy.

19. Jussim, L., Crawford, J. T., & Rubinstein, R. S. (2015). Stereotype (In)accuracy in perceptions of groups and individuals. Current Directions in Psychological Science, 24, 490-497.

20. Jussim, L., Crawford, J.T., Anglin, S. M., Chambers, J. R., Stevens, S. T., & Cohen, F. (2016). Stereotype accuracy: One of the largest and most replicable effects in all of social psychology. Pp. 31-63, in T. Nelson (ed.), Handbook of prejudice, stereotyping, and discrimination (second edition). New York: Psychology Press.

21. Jussim, L., Crawford, J.T., Anglin, S. M., Chambers, J. R., Stevens, S. T., & Cohen, F. (2016). Stereotype accuracy: One of the largest and most replicable effects in all of social psychology. Pp. 31-63, in T. Nelson (ed.), Handbook of prejudice, stereotyping, and discrimination (second edition). New York: Psychology Press.

22. Bargh, J. A., & Chartrand, T. L. (1999).  The unbearable automaticity of being.  American Psychologist, 54, 462-479

23. Ashmore, R. D., & Del Boca, F. K. (1981).  Conceptual approaches to stereotypes and stereotyping.  In D. L. Hamilton (Ed.), Cognitive processes in stereotyping and intergroup behavior (pp.1-35). Hillsdale, NJ: Erlbaum.

24. Miller, D.T., & Turnbull, W. (1986).  Expectancies and interpersonal processes. Annual Review of Psychology, 37, 233-256.

25. Ashmore, R. D., & Del Boca, F. K. (1981).  Conceptual approaches to stereotypes and stereotyping.  In D. L. Hamilton (Ed.), Cognitive processes in stereotyping and intergroup behavior (pp.1-35). Hillsdale, NJ: Erlbaum.

26. Miller, D.T., & Turnbull, W. (1986).  Expectancies and interpersonal processes. Annual Review of Psychology, 37, 233-256.

27. Jussim, L., Crawford, J. T., & Rubinstein, R. S. (2015). Stereotype (In)accuracy in perceptions of groups and individuals. Current Directions in Psychological Science, 24, 490-497.

28. Jussim, L., Crawford, J.T., Anglin, S. M., Chambers, J. R., Stevens, S. T., & Cohen, F. (2016). Stereotype accuracy: One of the largest and most replicable effects in all of social psychology. Pp. 31-63, in T. Nelson (ed.), Handbook of prejudice, stereotyping, and discrimination (second edition). New York: Psychology Press.

29. Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349, aac4716. doi: 10.1126/science.aac4716

30. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22, 1359-1366.

31. Jussim, L., Crawford, J. T., Anglin, S. M., Stevens, S. M., & Duarte, J. L. (In press).  Interpretations and methods: Towards a more effectively self-correcting social psychology. Journal of Experimental Social Psychology.