Ce Que Dit Vraiment l'Effet Dunning-Kruger (et Ce Qu'il Ne Dit Pas)

Vous avez sans doute vu le dessin. Une courbe grimpe en flèche jusqu'à un pic baptisé quelque chose comme « mont Stupide », plonge dans une vallée du désespoir, puis remonte lentement vers la vraie compétence. On le partage comme résumé de l'effet Dunning-Kruger, généralement pour dire quelque chose de quelqu'un d'autre.

Cette courbe ne figure pas dans l'article d'origine. L'étude réelle est plus modeste, plus intéressante et, on l'a compris ensuite, plus difficile à interpréter que ne le laisse croire le mème.

Ce que l'étude de 1999 a vraiment trouvé

En 1999, Justin Kruger et David Dunning, alors à l'université Cornell, ont publié quatre études sous un titre marquant : « Incompétents et inconscients de l'être ». Des étudiants passaient de courts tests d'humour, de grammaire anglaise et de raisonnement logique, puis estimaient leur réussite par rapport à leurs camarades.

Le résultat phare concernait le quart le plus faible. Leurs notes les plaçaient en moyenne vers le 12e centile. Leurs propres estimations les plaçaient vers le 62e. Autrement dit, ceux qui avaient le moins bien réussi se croyaient confortablement au-dessus de la moyenne.

Kruger et Dunning ont proposé une explication qu'ils ont appelée le double fardeau. Les compétences nécessaires pour bien faire une tâche sont souvent celles qu'il faut pour reconnaître une bonne réponse. Si vous maîtrisez mal la grammaire, vous avez aussi du mal à voir que votre phrase est fautive. Ils l'ont testé directement : quand les participants ont reçu une courte formation à la tâche de logique, leur capacité à juger leur propre performance s'est améliorée, et les plus faibles ont mieux reconnu les limites de ce qu'ils avaient fait.

Il faut être clair sur l'échantillon. Il s'agissait d'étudiants d'une seule université américaine, passant de courts tests en laboratoire. Cela ne rend pas le résultat faux, mais c'est une base étroite pour une loi de la nature humaine.

Le problème caché dans le graphique

La figure célèbre de l'article montre quatre groupes, des plus faibles aux meilleurs, avec deux lignes : le centile réel et le centile estimé. La ligne réelle monte fortement. La ligne estimée est beaucoup plus plate, si bien que l'écart est grand en bas et bien plus faible en haut.

Des critiques ont vite fait remarquer que cette forme apparaît même si personne ne manque d'une lucidité particulière. En 2002, Joachim Krueger et Ross Mueller ont soutenu que deux forces banales pouvaient en produire l'essentiel. La première est l'effet de supériorité à la moyenne : la plupart des gens se jugent un peu au-dessus de la moyenne dans presque tout. La seconde est la régression vers la moyenne : dès que deux mesures sont imparfaitement corrélées, ceux qui sont aux extrêmes sur l'une ont tendance à être plus près du centre sur l'autre. Placez en bas ceux qui ont eu les pires notes, et leurs auto-estimations seront presque forcément plus hautes.

En 2016, Edward Nuhfer et ses collègues l'ont montré de façon frappante. Ils ont généré des nombres aléatoires à la place des notes et des auto-évaluations, et montré que des façons courantes de représenter ces données, dont le graphique par quartiles, produisent des motifs trompeurs même quand les nombres ne veulent rien dire. Dans une étude suivante, avec les données réelles de 1 154 personnes évaluant leur propre culture scientifique, ils ont conclu que les auto-évaluations reflètent en général une compétence que les gens sont capables de démontrer. Les experts se jugeaient plus justement que les novices, mais la plupart n'étaient pas très loin du compte.

Le tester correctement

Si le graphique classique ne tranche pas, qu'est-ce qui tranche ? En 2020, Gilles Gignac et Marcin Zajenkowski ont proposé deux tests statistiques que les artefacts connus imitent difficilement. Si les moins performants se jugent vraiment moins bien, leurs auto-estimations devraient être plus dispersées autour de la réalité, et le lien entre capacité réelle et estimée devrait s'incurver au lieu de suivre une ligne droite.

Ils ont étudié 929 adultes de la population générale, qui ont estimé leur propre intelligence puis passé un test de raisonnement exigeant. Aucune des deux prédictions ne s'est vérifiée. La dispersion n'était pas significativement plus grande en bas, et la relation était essentiellement linéaire. Leur conclusion était prudente : l'effet existe peut-être pour certaines compétences, mais il est probablement bien plus faible qu'annoncé.

Le débat ne s'est pas arrêté là. En 2021, Rachel Jansen, Anna Rafferty et Thomas Griffiths ont mené une vaste réplication du protocole d'origine, avec environ 4 000 participants dans chacune de deux études, et comparé des modèles formels de l'auto-évaluation. Leurs résultats ont soutenu une version de l'idée initiale : en grammaire et en raisonnement logique, les moins performants semblaient réellement moins capables de savoir si chaque réponse était juste.

Le résumé honnête est donc le suivant. Une partie du motif classique est un artefact statistique. Une partie est peut-être réelle. La partie réelle est plus petite et plus étroite que la version d'internet, et elle concerne des compétences précises, pas une catégorie de gens simplement ignorants et trop sûrs d'eux.

Ce que cela signifie pour vous

La leçon la plus utile ne concerne pas les autres. Presque tout le monde se place un peu au-dessus de la moyenne, et le débat sur Dunning-Kruger porte au fond sur l'aggravation de ce biais quand les retours manquent. Cela vous donne quelque chose de concret à travailler.

• Cherchez un avis extérieur sur les compétences qui comptent. Votre sentiment de réussite est le moins fiable justement dans les domaines que vous apprenez encore. Un test avec une bonne réponse, ou une personne plus expérimentée, en dit plus que votre intuition.
• Vérifiez vos réponses une par une. L'étude de 2021 suggère que la difficulté se situe dans le jugement de chaque réponse. Se demander « comment saurais-je si c'était faux ? » est une petite habitude au vrai rendement.
• N'en faites pas une insulte. Traiter quelqu'un de cas de Dunning-Kruger est en soi un jugement assuré fondé sur peu de preuves, ce qui ne manque pas d'ironie.
• Observez votre propre style. Notre test d'humilité intellectuelle mesure votre ouverture à l'erreur, notre test sur ce que les autres comprennent mal de vous compare votre regard sur vous-même à celui des autres, et notre test de besoin de cognition évalue le plaisir que vous prenez à réfléchir à fond.

La confiance n'est pas l'ennemie. La confiance non vérifiée, dans des domaines où vous recevez rarement de retours, est là où les ennuis commencent, qui que vous soyez.