Attention
Les dangers et les limites des LLM
Les outils d’intelligence artificielle générative ont de très nombreuses utilités, il faut aussi cependant connaître leurs limites et leurs dangers. Cet article n’a pas la prétention d’être exhaustif, il donne simplement quelques exemples.
- La qualité des réponses
- Les biais
- Les hallucinations
- L'utilisation malintentionnée
- Les fake news
- La protection des données
- La consommation d'énergie
La qualité des réponses
La qualité des réponses varie bien sûr selon l’outil utilisé, selon la façon dont on formule une question mais aussi en fonction des données utilisées pour entrainer la machine. Les outils d’intelligence artificielle générative ne sont pas des logiciels de connaissances mais des logiciels linguistiques.
L’article Quality and safety of artificial intelligence generated health information publié en mars 2024 dans le British Medical Journal apporte un éclairage intéressant sur cette complexe question de la qualité de l’information santé générée par ces outils. On peut y lire « les progrès rapides de l’IA constituent un défi actuel fondamental. L’une des conséquences de la publication fréquente de nouveaux modèles d’IA ou de mises à jour de modèles d’IA existants est que les performances et les risques associés peuvent changer rapidement. Par exemple, dans notre étude, Copilot de Microsoft a démontré des garanties efficaces pour empêcher la production de désinformation en matière de santé en septembre 2023, mais trois mois plus tard, ces garanties n’étaient plus présentes ».
Les auteurs de cet article citent deux sources d’informations « pour les lecteurs désireux d’approfondir leur compréhension de la sécurité et de l’éthique de l’IA dans le domaine de la santé »: la première les orientations de l’Organisation mondiale de la santé sur l’éthique et la gouvernance de l’IA pour la santé, la deuxième le rapport du Service de recherche du Parlement européen sur les applications, les risques, l’éthique et les impacts sociétaux de l’IA dans les soins de santé.
Le 17 mai 2024, le Comité des Ministres du Conseil de l’Europe a adopté la Convention sur l’intelligence artificielle (IA), une convention élaborée avec la Suisse.
💬 Sur ce thème de la qualité des réponses des LLM pour des questions médicales, vous trouverez des informations complémentaires sur la page Utilité des LLM, que disent les études ? de notre site.
Les biais
Aucune intelligence artificielle n’est neutre, elle ne pense pas par elle-même, elle est programmée par des humains qui y injectent leur mode de pensée. Il existe aussi un biais qui vient de l’origine des données avec lesquels elles ont été entrainées. Le plus souvent les données utilisées proviennent d’Occident, elles reprennent donc les représentations et les croyances de nos sociétés, donc aussi les stéréotypes.
Les hallucinations
Les LLM ne sont pas des systèmes de connaissance mais de langage. C’est pourquoi, lorsqu’ils ne connaissent pas la réponse à une question, ils choisissent la plus probable, donc ils l’inventent…. Ces plateformes ne sont pas des dispositifs médicaux : toutes les réponses doivent être validées par un professionnel. Il faut utiliser ces outils comme une aide mais il faut avoir les connaissances suffisantes pour juger de la pertinence et de l’exactitude des réponses.
- Pour limiter ces inventions et autres approximations, il est possible d’ajouter dans sa requête : Utilise uniquement des sources d'autorité et cite-les dans tous les cas. N’invente rien. Dis-moi "je ne sais pas" si tu ne sais pas. Signale l’incertitude. Ne t’appuie pas sur ce que tu devines de mes préférences. N'essaie pas de me faire plaisir.
L'utilisation malintentionnée
Selon l’avis même d’Open AI, le dernier modèle de ChatGPT lancé à l’automne 2024 a induit une augmentation significative du risque que l’intelligence artificielle soit utilisée à mauvaise escient pour créer des armes chimiques, biologiques, radiologiques et nucléaires.
Les fake news
Vous avez probablement déjà vu les photos du Pape en doudoune ou du président Macron en éboueur. Avec la diffusion de ces contenus sur les réseaux sociaux, les dégâts peuvent être immenses, en particulier à une époque où la modération de ces contenus ne cesse de s’affaiblir. La création d’une fausse image d’une célébrité peut avoir de lourdes conséquences mais c’est certainement beaucoup plus grave lorsqu’on songe à l’utilisation de ces outils à des fins politiques, avec, selon de nombreux experts, des menaces possibles sur les démocraties.
L’article “AI Is Inventing Academic Papers That Don’t Exist — And They’re Being Cited in Real Journals” (Rolling Stone) a été publié dans le journal « Rolling Stones ». Il montre que des systèmes d’intelligence artificielle génèrent de toutes pièces des articles académiques et des références bibliographiques qui n’existent pas, et ces éléments inventés se retrouvent cités dans des publications scientifiques réelles. Les faux travaux paraissent plausibles (titres, auteurs, revues crédibles) et passent parfois sans être détectés par le processus de revue par les pairs. Cela conduit à une pollution progressive de la littérature scientifique par des sources fictives qui s’intègrent dans des chaînes de citations réelles. La science repose sur une chaîne de confiance : chaque article s’appuie sur des résultats antérieurs vérifiables. Si des références sont inventées, la base factuelle de nouvelles recherches devient instable. Cela s’apparente à de la fabrication ou falsification indirecte, une des formes reconnues de mauvaise conduite scientifique.
La protection des données
Les modèles d’IA générative nécessitent souvent de vastes ensembles de données pour apprendre et pour générer du contenu. Cela soulève des préoccupations quant à la confidentialité des données personnelles utilisées. Étant donné les risques potentiels associés à l’utilisation de l’IA générative, il est essentiel de mettre en place des réglementations et des cadres de gouvernance appropriés pour encadrer son utilisation.
De quelles données sont nourries les intelligences artificielles ? Gros plan sur le « web scraping », le modèle d’apprentissage de ChatGPT qui consiste à parcourir le web pour y stocker des données : textes, photos, vidéos… Le problème ? Parmi elles peuvent se trouver des données dites « personnelles ». L’intelligence artificielle et les données personnelles – RTS découverte (3 minutes).
La consommation d'énergie
Face au réchauffement climatique, le lancement de ces nouvelles technologies énergivores est à l'évidence un problème.
Sur cette photo (fake news), Elon Musk en pleine construction d'une centrale nucléaire.
Messages à retenir
Les LLM génèrent du langage, pas des connaissances, et peuvent produire des erreurs ou des hallucinations. Ils sont des outils d’aide, jamais des décideurs médicaux : le médecin reste responsable. Les réponses doivent toujours être vérifiées de manière critique. Les données des patients ne doivent pas être utilisées dans des systèmes non sécurisés. Des biais, de la désinformation et des usages malveillants sont possibles. Une formation et une utilisation prudente sont indispensables.
Audio - Les dangers et les limites des LLM
0:00s