Analyse · mis à jour le

Hallucination IA : 5 tâches à garder dans un dossier santé

Hallucination IA et allégation santé : références inventées, libellés reformulés, données exposées. Cinq tâches d'un dossier à ne pas confier à une IA seule.

Schéma : une liste de références, certaines validées, d'autres refusées

En bref : En 2023, 47 % des références produites par ChatGPT-3.5 pour des textes médicaux étaient inventées, 46 % étaient réelles mais inexactes, et 7 % seulement étaient réelles et exactes [1]. Une autre étude mesurait 55 % de références fabriquées pour GPT-3.5 et 18 % pour GPT-4 [2]. Les modèles ont progressé depuis, mais dans un dossier d’allégation, une seule fausse référence suffit à ruiner la crédibilité de l’ensemble. La question n’est pas d’utiliser ou non l’IA, mais de savoir quelles tâches lui retirer.

Ces deux études portent sur des modèles de 2023 interrogés sans accès à une base documentaire. Les outils actuels, reliés à PubMed ou à vos propres documents, font probablement mieux, mais nous n’avons pas trouvé de mesure récente comparable. Ce qui n’a pas changé : quand un modèle se trompe, il le fait avec la même assurance. Pour un texte de blog, l’erreur coûte une correction. Pour un dossier soumis à l’EFSA ou transmis à un client industriel, elle coûte la confiance.

Pourquoi un modèle invente une référence

Un modèle de langage ne consulte pas une bibliothèque. Il produit la suite de mots la plus plausible. Or une référence bibliographique a une forme très régulière : des auteurs, un titre, une revue, une année, des pages. Elle est donc facile à imiter. Le résultat a toutes les apparences d’une citation et aucun lien garanti avec un article réel. C’est ce qu’on appelle une hallucination.

Le problème ne s’arrête pas aux références inventées. Dans l’étude de Scientific Reports, 43 % des références bien réelles de GPT-3.5 et 24 % de celles de GPT-4 comportaient des erreurs de fond [2]. Une référence qui existe mais dont l’année, la revue ou les auteurs sont faux passe un contrôle rapide. Elle ne passe pas celui d’un évaluateur.

Cinq tâches à garder entre des mains humaines

1. Choisir et lire les études pivots. Une IA peut proposer une liste. Elle ne peut pas garantir que chaque référence existe, qu’elle dit ce qu’on lui fait dire, ni qu’elle porte sur votre souche, votre dose et votre population. Chaque étude citée doit avoir été ouverte et lue par une personne qui signe.

2. Rédiger le libellé d’une allégation. Le règlement (CE) n° 1924/2006 encadre strictement les allégations [3], et les allégations de santé autorisées sont assorties d’un libellé et de conditions d’utilisation [4]. Un modèle de langage reformule par nature. Demandez-lui d’« améliorer » un libellé autorisé et il produira une allégation non autorisée, plus fluide.

3. Extrapoler d’une souche à l’autre, d’une dose à l’autre. C’est le raccourci le plus tentant et le plus dangereux. Un modèle relie spontanément des résultats proches. Le dossier, lui, exige la correspondance exacte entre l’ingrédient, la dose et l’effet démontré.

4. Traiter des données d’essai non publiées. Les données de santé des participants à un essai relèvent des catégories particulières du RGPD [5], et des données pseudonymisées restent des données personnelles. Les coller dans un assistant grand public, c’est les transmettre à un tiers. Vérifiez où vont les données avant d’ouvrir l’outil.

5. Porter la responsabilité. L’exploitant doit pouvoir justifier ses allégations [3]. Aucun outil ne signe à sa place. Si personne ne peut expliquer d’où vient une phrase, elle n’a rien à faire dans le dossier.

Ce que l’IA fait bien (et plus vite que vous)

TâcheÀ déléguer ?Condition
Mise en forme de la bibliographieOuiLes références viennent d’une liste vérifiée, pas du modèle
Contrôle de cohérence entre documentsOuiLe contrôle signale, un humain tranche
Premier tri d’une recherche bibliographiqueOuiLes études écartées restent consultables
Brouillon de traductionOuiRelecture par un locuteur qui connaît le vocabulaire réglementaire
Vérification de la structure par rapport au guide EFSA [6]OuiLe guide est fourni à l’outil, pas résumé de mémoire
Choix des études pivotsNon
Libellé d’allégationNon
Données d’essai brutes dans un outil grand publicNon

La règle commune : l’IA travaille sur des matériaux que vous lui fournissez et que vous avez vérifiés. Elle ne fournit pas les matériaux.

Vérifier une référence : quatre gestes

La vérification n’a rien de sophistiqué. Elle demande de la discipline, référence par référence.

  1. Ouvrir la référence par son identifiant (DOI ou numéro PubMed), jamais par une recherche sur le titre. Un titre plausible ramène toujours quelque chose.
  2. Comparer la phrase du dossier à l’article : ingrédient ou souche, dose, population, critère principal. Les quatre doivent correspondre.
  3. Contrôler le statut de la publication : corrigée, rétractée, ou suivie d’un commentaire qui en limite la portée.
  4. Noter qui a vérifié, et quand. Sans cette trace, la vérification devra être refaite au prochain doute.

C’est du temps. C’est aussi le seul contrôle qu’aucun outil ne peut certifier à votre place.

La règle d’une page, rubrique par rubrique

La règle interne n’a pas besoin d’être longue. Six rubriques suffisent.

  • Outils autorisés, nommés, avec leurs réglages de confidentialité.
  • Données interdites : données d’essai non publiées, données personnelles, documents de clients couverts par un accord de confidentialité.
  • Tâches autorisées : celles du tableau ci-dessus, pas d’autres sans accord.
  • Tâches interdites : choix des études, libellés, extrapolations.
  • Relecture nommée : qui signe chaque section du dossier.
  • Traçabilité : les passages préparés avec un outil sont repérés dans le document de travail.

Le cadre qui arrive de toute façon

Depuis le 2 août 2026, l’article 50 du règlement européen sur l’IA [7] impose des obligations de transparence pour certains textes générés par IA. Une exception existe quand le contenu a fait l’objet d’un examen humain et qu’une personne en assume la responsabilité éditoriale. Nous l’avons détaillé dans AI Act et contenu santé : l’exception qui sauve votre ligne éditoriale. Pour un dossier d’allégation, cet examen humain n’est pas une formalité : c’est la condition de validité du travail.

Ce que ça change pour vos équipes

Pour votre réglementaire, l’enjeu est d’écrire la règle avant que chacun invente la sienne. Une page suffit : outils autorisés, données interdites, étapes qui exigent une relecture nommée.

Pour votre marketing, c’est une ligne de partage claire. L’IA accélère tout ce qui touche à la forme. Le fond (l’étude, le libellé, la dose) reste une décision humaine documentée.

Votre équipe dispose-t-elle aujourd’hui d’une règle écrite sur ce qui peut être collé dans un assistant IA ?

Sources

  1. Bhattacharyya M, Miller VM, Bhattacharyya D, Miller LE. High rates of fabricated and inaccurate references in ChatGPT-generated medical content. Cureus. 2023;15(5):e39238. doi:10.7759/cureus.39238.
  2. Walters WH, Wilder EI. Fabrication and errors in the bibliographic citations generated by ChatGPT. Sci Rep. 2023;13(1):14045. doi:10.1038/s41598-023-41032-5.
  3. Règlement (CE) n° 1924/2006 du Parlement européen et du Conseil du 20 décembre 2006 concernant les allégations nutritionnelles et de santé portant sur les denrées alimentaires. JO L 404 du 30.12.2006.
  4. Règlement (UE) n° 432/2012 de la Commission du 16 mai 2012 établissant une liste des allégations de santé autorisées. JO L 136 du 25.5.2012.
  5. Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 (règlement général sur la protection des données), article 9 et considérant 26. JO L 119 du 4.5.2016.
  6. EFSA Panel on Nutrition, Novel Foods and Food Allergens (NDA). Scientific and technical guidance for the preparation and presentation of a health claim application (Revision 3). EFSA Journal. 2021;19(3):6554.
  7. Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle, article 50. JO L du 12.7.2024.

FAQ

Les modèles récents inventent-ils encore des références ?

Probablement moins souvent que ceux de 2023, en particulier quand ils sont reliés à une base documentaire. Le risque n’est pas nul, et un modèle ne signale pas de lui-même qu’une référence est inventée. Chaque référence doit être ouverte et vérifiée.

Peut-on utiliser un assistant IA connecté à nos propres documents ?

Oui, c’est la configuration la plus sûre : l’assistant répond à partir de vos sources et cite le passage utilisé. Vérifiez où sont hébergées les données et si elles servent à entraîner le modèle.

Faut-il déclarer l’usage de l’IA dans un dossier soumis à l’EFSA ?

Vérifiez les exigences en vigueur au moment du dépôt. Ce qui ne change pas : chaque donnée doit être traçable jusqu’à sa source et chaque affirmation justifiable par le demandeur.

Une IA peut-elle vérifier qu’une allégation respecte le libellé autorisé ?

Elle peut comparer un texte au libellé exact que vous lui fournissez et signaler les écarts. Elle ne doit pas proposer de reformulation à la place du libellé autorisé.

Sur la fiabilité des moteurs d’IA comme source, voir quand l’IA brouille les pistes. Et pour rendre un contenu scientifique citable par ces moteurs, notre approche de la visibilité IA (GEO).