1. Les LLM répondent-ils avec précision aux questions des médecins ?

Sur les tests standardisés, la réponse est oui, et de façon désormais impressionnante : les meilleurs modèles atteignent des scores quasi parfaits aux examens de licence médicale, égalant ou surpassant des cliniciens sur des cas standardisés (2). Mais cette performance ne se transpose pas mécaniquement à la pratique.

Trois constats plus précis s'imposent. Premièrement, la précision dépend étroitement du type de question. Un travail d'évaluation à grande échelle montre une exactitude élevée face à une recommandation claire et structurée (de l'ordre de 90 %), mais nettement moindre dès que la preuve est incertaine ou issue d'une revue systématique (50 à 60 %) ; tous les modèles échouent face aux preuves ambiguës (3). Là où le clinicien a le plus besoin d'aide, l'outil est donc le moins fiable.

Deuxièmement, un risque d'erreur subsiste. Dès 2023, une étude soumettant plusieurs centaines de questions réelles de médecins à un LLM concluait que l'information était globalement correcte, mais entachée d'erreurs non négligeables imposant une vérification par le clinicien (4). Ces erreurs sont d'autant plus insidieuses lorsqu'elles procèdent d'une omission plutôt que d'une contre-vérité manifeste.

Troisièmement — et c'est sans doute le résultat le plus important pour la pratique — disposer d'un LLM n'améliore pas automatiquement la performance du médecin. Un essai randomisé a montré que l'ajout d'un LLM aux ressources conventionnelles n'améliorait pas le raisonnement diagnostique des médecins, alors même que le modèle utilisé seul obtenait de meilleurs scores que les cliniciens (5). L'effet dépend étroitement de la tâche et de la préparation : sur des questions de raisonnement de prise en charge, une assistance par LLM a, elle, amélioré la performance des médecins (6) ; et lorsque les cliniciens sont spécifiquement formés à l'usage de l'outil, le gain devient considérable, de l'ordre de vingt-cinq points par rapport aux ressources habituelles (7). La formation ne suffit toutefois pas à elle seule : confrontés à des recommandations volontairement erronées, des médecins pourtant formés à la littératie de l'IA ont vu leur précision diagnostique reculer de près de quatorze points, révélant la persistance d'un biais d'automation — la tendance à suivre l'outil même lorsqu'il se trompe (8). Le facteur déterminant n'est donc pas la puissance du modèle, mais la compétence critique de celui qui l'utilise et sa capacité à garder la main.

Ce constat vaut aussi, de façon spectaculaire, hors du champ médical professionnel. Dans un essai randomisé portant sur près de 1 300 participants du grand public, trois LLM identifiaient seuls la bonne condition dans 94,9 % des scénarios ; mais lorsque ces mêmes modèles étaient confiés aux participants, le taux d'identification correcte chutait sous 34,5 %, sans faire mieux qu'un groupe témoin livré à ses propres recherches (2). L'outil est performant ; l'interaction humain-outil est le maillon faible.

2. Y a-t-il des différences importantes entre les LLM ?

On distingue souvent les LLM « médicaux » (entraînés ou optimisés pour la santé, comme OpenEvidence) des LLM généralistes (ChatGPT, Gemini, Claude). L'intuition voudrait que les premiers soient supérieurs pour les questions cliniques. Les données récentes contredisent cette intuition.

Une évaluation indépendante publiée dans Nature Medicine en 2026 a opposé deux outils cliniques largement diffusés, OpenEvidence et UpToDate Expert AI, à trois modèles généralistes de pointe. Dans les trois volets de l'étude — connaissances médicales, alignement avec le jugement clinicien et questions cliniques réelles — les modèles généralistes ont surpassé les outils spécialisés ; sur les questions réelles, ces derniers n'ont pas fait mieux que la synthèse automatique d'un moteur de recherche grand public (9). D'autres travaux de 2026 confirment cette tendance : une évaluation menée dans le cadre du cursus médical national italien conteste l'idée que les bénéfices des modèles spécialisés justifient leur coût de développement (10).

L'explication tient largement à l'échelle. Les grands modèles généralistes ont été entraînés sur des corpus si vastes qu'ils ont vraisemblablement absorbé, au total, davantage de données médicales que des modèles spécialisés plus petits (11). Leur avance en matière d'alignement et de raisonnement transversal fait le reste.

Cela ne signifie pas que la mention « médicale » soit sans valeur, mais qu'elle ne garantit à elle seule ni une performance supérieure, ni une validation indépendante. Le contexte compte : dans un domaine très spécialisé comme la prise en charge de cardiopathies complexes, un modèle spécifiquement conçu a, lui, amélioré la qualité des décisions par rapport aux médecins seuls (12). Surtout, les benchmarks de précision ne mesurent pas tout. Certains outils spécialisés conservent des atouts décisifs : OpenEvidence documente ses réponses par des références vérifiables, un point essentiel en médecine fondée sur les preuves. Et, pour un médecin exerçant en Suisse, le critère déterminant n'est souvent ni la précision ni le label, mais la conformité à la protection des données : seules certaines solutions (Swiss HealthAssist, DOCumenter.ch) permettent un traitement légal de données identifiantes de patients.

En pratique, pour un professionnel de la santé

Les LLM relèvent de l'intelligence augmentée : ils aident à synthétiser, structurer et suggérer, mais ne remplacent ni l'expertise, ni le jugement, ni la responsabilité du médecin. Leur utilité réelle dépend de trois conditions : savoir formuler une requête, vérifier la réponse dans une source fiable, et choisir un outil compatible avec la protection des données. Aucun de ces outils, généraliste ou spécialisé, n'est aujourd'hui validé comme système de décision clinique autonome.

Références