Ce que montre l'étude

L'essai, mené par Qazi, Ali, Khawaja et coll. (Automation Bias in Large Language Model–Assisted Diagnostic Reasoning among Physicians Trained in AI Literacy — A Randomized Clinical Trial, NEJM AI, 2026;3(5)), a porté sur 44 médecins pakistanais ayant préalablement suivi une formation de 20 heures à l'usage critique des LLM. Ces médecins ont été répartis aléatoirement en deux groupes pour résoudre six vignettes cliniques à l'aide, s'ils le souhaitaient, de suggestions diagnostiques générées par ChatGPT-4o. Le groupe contrôle recevait des suggestions exactes ; le groupe traitement recevait, pour la moitié des cas, des suggestions contenant des erreurs cliniquement significatives mais volontairement discrètes. Point essentiel de la méthodologie : consulter l'IA restait, dans les deux groupes, un choix délibéré et non une obligation, ce qui reproduit fidèlement les conditions réelles d'usage volontaire en pratique clinique.

Les résultats sont sans ambiguïté. La précision du raisonnement diagnostique s'établissait à 84,9 % dans le groupe contrôle contre 73,3 % dans le groupe exposé aux erreurs, soit une baisse ajustée de 14,0 points de pourcentage (IC 95 % : −18,9 à −9,1 ; p < 0,0001). L'écart était plus marqué encore sur le diagnostic retenu en première intention : 90,5 % contre 76,1 %. Les deux groupes ayant consulté l'IA à des taux comparables, cette dégradation n'est pas imputable à une différence d'usage, mais bien à l'acceptation, par des médecins formés, de recommandations erronées qu'ils auraient pu, en théorie, détecter.

Plus troublant encore, les analyses en sous-groupes indiquent que ce ne sont pas les médecins les moins expérimentés qui ont le plus dérivé, mais l'inverse : les praticiens ayant dix ans d'expérience ou plus ont vu leur score chuter de 16,6 points, contre 9,1 points chez leurs cadets. Les utilisateurs réguliers de LLM ont également montré une baisse plus significative que les utilisateurs occasionnels. L'ancienneté clinique et la familiarité avec l'outil, loin de protéger, semblent au contraire favoriser une forme de confiance excessive.

Cette étude, comme toute recherche, comporte des limites qu'il convient de rappeler pour ne pas en extrapoler abusivement la portée : un échantillon restreint de 44 participants recrutés dans un seul pays et via un même institut de formation, des vignettes cliniques qui ne restituent pas la pression temporelle et la complexité du terrain, des erreurs introduites par des experts donc potentiellement plus détectables que des erreurs spontanées de LLM, une évaluation en session unique qui ne renseigne pas sur la persistance de l'effet dans le temps, et surtout l'absence de test de stratégies de mitigation : l'étude documente un problème, elle n'en propose pas la solution.

Une formation nécessaire, mais non suffisante

Cette étude ne remet nullement en cause la nécessité de former les professionnels de la santé à l'usage clinique de l'intelligence artificielle : les 44 participants de l'essai avaient précisément bénéficié d'une telle formation, et il est vraisemblable qu'un usage totalement non éclairé aurait produit des résultats plus préoccupants encore. La formation demeure un prérequis. Mais cette étude établit, avec la rigueur d'un essai randomisé, qu'elle ne constitue pas à elle seule un garde-fou suffisant. Savoir, en théorie, qu'un LLM peut se tromper ne protège pas, en pratique, du moment où l'erreur se présente sous une forme narrative fluide, argumentée et d'apparence experte.

La conséquence pratique, aussi paradoxale soit-elle

De ce constat découle un principe d'usage qui peut sembler contre-intuitif, mais que cette étude vient précisément justifier : l'intelligence artificielle ne devrait être mobilisée, en clinique, que dans les domaines où le professionnel dispose déjà d'un niveau de connaissance suffisant pour identifier une erreur si elle se présente. Le paradoxe est réel, on pourrait attendre de l'IA qu'elle comble justement les lacunes de connaissance, mais l'étude démontre que c'est l'inverse qui protège : c'est la compétence préalable du médecin, et non l'outil, qui reste le dernier rempart contre l'erreur. Utiliser un LLM hors de son propre champ de compétence revient à accepter de ne pas pouvoir vérifier ce qu'il affirme.

Pour aller plus loin

Cette étude s'inscrit dans un corpus plus large de recherches sur les performances et les limites des LLM en contexte médical. Pour une synthèse de cette littérature, consultez la page Utilité des LLM, que disent les études ? sur iamedicale.org.