O Que Diz Realmente o Efeito Dunning-Kruger (e o Que Não Diz)

Provavelmente já viste o desenho. Uma curva sobe a pique até um pico com um nome qualquer como "Monte da Estupidez", cai num vale de desespero e depois volta a subir devagar em direção ao verdadeiro conhecimento. É partilhada como resumo do efeito Dunning-Kruger, normalmente para dizer alguma coisa sobre outra pessoa.

Essa curva não está no artigo original. O estudo verdadeiro é mais modesto, mais interessante e, como se veio a perceber, mais difícil de interpretar do que o meme sugere.

O que o estudo de 1999 encontrou de facto

Em 1999, Justin Kruger e David Dunning, então na Universidade de Cornell, publicaram quatro estudos com um título difícil de esquecer: "Sem competência e sem saberem disso". Os alunos fizeram testes curtos de humor, gramática inglesa e raciocínio lógico e depois estimaram como se tinham saído em comparação com os colegas.

O resultado principal dizia respeito ao quarto mais fraco. As notas punham-nos, em média, por volta do percentil 12. As estimativas deles próprios punham-nos por volta do percentil 62. Ou seja, quem se saiu pior achava que estava confortavelmente acima da média.

Kruger e Dunning propuseram uma explicação a que chamaram fardo duplo. As competências necessárias para fazer bem uma tarefa são muitas vezes as mesmas de que precisas para reconhecer uma boa resposta. Se não percebes de gramática, também tens dificuldade em ver que a tua frase está errada. Testaram isto diretamente: quando os participantes receberam um pequeno treino na tarefa de lógica, a capacidade de avaliar o próprio desempenho melhorou, e os mais fracos passaram a reconhecer melhor os limites do que tinham feito.

Vale a pena ser claro sobre a amostra. Eram estudantes de licenciatura de uma única universidade americana, a fazer testes curtos em laboratório. Isso não torna o resultado errado, mas é uma base estreita para uma lei da natureza humana.

O problema escondido no gráfico

A figura famosa do artigo mostra quatro grupos, dos piores aos melhores, com duas linhas: o percentil real e o percentil estimado. A linha real sobe a pique. A estimada é muito mais plana, por isso a diferença é grande em baixo e muito menor em cima.

Os críticos depressa notaram que esta forma aparece mesmo que ninguém tenha falta de perspicácia especial. Em 2002, Joachim Krueger e Ross Mueller defenderam que duas forças banais podiam produzir a maior parte dela. A primeira é o efeito melhor-do-que-a-média: a maioria das pessoas avalia-se um pouco acima da média em quase tudo. A segunda é a regressão para a média: sempre que duas medidas estão correlacionadas de forma imperfeita, quem fica nos extremos numa tende a ficar mais perto do meio na outra. Põe no fundo quem teve pior nota num teste e as autoestimativas dessas pessoas vão quase inevitavelmente ficar mais acima.

Em 2016, Edward Nuhfer e colegas mostraram isto de forma marcante. Geraram números aleatórios no lugar das notas e das autoavaliações e mostraram que formas habituais de representar este tipo de dados, incluindo o gráfico por quartos, produzem padrões que convidam a más interpretações mesmo quando os números não significam nada. Num estudo seguinte, com dados reais de 1154 pessoas a avaliar a própria literacia científica, concluíram que as autoavaliações refletem em geral uma competência que as pessoas conseguem demonstrar. Os especialistas avaliavam-se com mais rigor do que os principiantes, mas a maioria não andava muito longe.

Testar como deve ser

Se o gráfico clássico não resolve a questão, o que resolve? Em 2020, Gilles Gignac e Marcin Zajenkowski propuseram dois testes estatísticos que os artefactos conhecidos não conseguem imitar com facilidade. Se quem tem pior desempenho é mesmo pior a avaliar-se, as suas autoestimativas devem estar mais dispersas em torno da verdade, e a relação entre capacidade real e estimada deve curvar em vez de seguir em linha reta.

Testaram 929 adultos da população geral, que estimaram a própria inteligência e depois fizeram um teste de raciocínio exigente. Nenhuma das previsões se confirmou. A dispersão não era significativamente maior em baixo e a relação era essencialmente linear. A conclusão foi cautelosa: o efeito pode existir em algumas competências, mas é provavelmente muito mais pequeno do que se tinha dito.

O debate não acabou aí. Em 2021, Rachel Jansen, Anna Rafferty e Thomas Griffiths fizeram uma grande replicação do desenho original, com cerca de 4000 participantes em cada um de dois estudos, e compararam modelos formais de como funciona a autoavaliação. Os resultados apoiaram uma versão da ideia original: em gramática e raciocínio lógico, quem tinha pior desempenho parecia de facto menos capaz de perceber se cada resposta estava certa.

O resumo justo é este. Parte do padrão clássico é um artefacto estatístico. Parte pode ser real. A parte real é mais pequena e mais estreita do que a versão da internet, e aplica-se a competências concretas e não a uma classe de pessoas que seriam simplesmente ignorantes e convencidas.

O que isto significa para ti

A lição mais útil não é sobre os outros. Quase toda a gente se coloca um pouco acima da média, e o debate sobre o Dunning-Kruger é no fundo um debate sobre o quanto esse enviesamento piora quando falta feedback. Isso dá-te algo de prático com que trabalhar.

• Procura feedback de fora nas competências que importam. A tua sensação de como te saíste é menos fiável precisamente nas áreas em que ainda estás a aprender. Um teste com resposta certa, ou alguém com mais experiência, informa mais do que o teu instinto.
• Verifica as respostas uma a uma. O estudo de 2021 sugere que o problema está em avaliar cada resposta individual. Perguntares "como é que eu saberia se isto estivesse errado?" é um hábito pequeno com retorno real.
• Não o uses como insulto. Dizer que alguém é um caso de Dunning-Kruger é, em si mesmo, um juízo confiante com poucas provas, o que tem a sua ironia.
• Repara no teu próprio estilo. O nosso teste de humildade intelectual olha para a tua abertura a estar errado, o teste sobre o que os outros não percebem em ti compara a forma como te vês com a forma como os outros te podem ver, e o teste de necessidade de cognição mede o gosto que tens em pensar os problemas até ao fim.

A confiança não é o inimigo. A confiança sem verificação, em áreas onde raramente recebes feedback, é onde os problemas costumam começar, seja quem for.