Une équipe de la New York University a opposé deux outils cliniques largement déployés, OpenEvidence et UpToDate Expert AI, à trois modèles généralistes de pointe (GPT-5, Gemini et Claude). L'évaluation reposait sur trois volets : des questions de connaissances médicales (MedQA, de type USMLE), une mesure de l'alignement des réponses avec le jugement des cliniciens (HealthBench), et surtout cent questions cliniques réelles, dé-identifiées, évaluées à l'aveugle par douze médecins.

Le constat est net : dans les trois volets, les modèles généralistes ont surpassé les outils cliniques. L'écart était modeste sur les connaissances pures, mais marqué sur l'alignement clinique — complétude, qualité de communication, prise en compte du contexte. Fait notable, sur les questions cliniques réelles, les outils spécialisés n'ont pas fait mieux que la synthèse automatique de Google Search. Les auteurs avancent une hypothèse : l'approche par recherche documentaire (Retrieval-Augmented Generation), au cœur de ces plateformes, peut dégrader la réponse lorsque le mauvais document est récupéré ou mal intégré.

Cette étude ne disqualifie pas OpenEvidence. Elle mesure la précision et l'alignement clinique, non la traçabilité des sources — atout distinctif de la plateforme, qui conserve toute sa valeur dans une logique de médecine fondée sur les preuves. Elle rappelle surtout deux principes. D'une part, la mention « médicale » d'un outil ne garantit pas, à elle seule, une performance supérieure : elle appelle une évaluation indépendante avant tout usage clinique. D'autre part, qu'il soit spécialisé ou généraliste, aucun de ces outils n'est validé comme système de décision autonome. La vérification critique par le médecin demeure la règle.

¹ General-purpose large language models outperform specialized clinical AI tools on medical benchmarks. Nature Medicine, 2026.

En nous basant sur les études publiées sur ces derniers mois, nous avons mis à jour la page "Utilité des LLM en médecine, que disent les études ?" de notre site.