En bref : En 2023, 47 % des références produites par ChatGPT-3.5 pour des textes médicaux étaient inventées, 46 % étaient réelles mais inexactes, et 7 % seulement étaient réelles et exactes [1]. Une autre étude mesurait 55 % de références fabriquées pour GPT-3.5 et 18 % pour GPT-4 [2]. Les modèles ont progressé depuis, mais dans un dossier d’allégation, une seule fausse référence suffit à ruiner la crédibilité de l’ensemble. La question n’est pas d’utiliser ou non l’IA, mais de savoir quelles tâches lui retirer.
Ces deux études portent sur des modèles de 2023 interrogés sans accès à une base documentaire. Les outils actuels, reliés à PubMed ou à vos propres documents, font probablement mieux, mais nous n’avons pas trouvé de mesure récente comparable. Ce qui n’a pas changé : quand un modèle se trompe, il le fait avec la même assurance. Pour un texte de blog, l’erreur coûte une correction. Pour un dossier soumis à l’EFSA ou transmis à un client industriel, elle coûte la confiance.
Pourquoi un modèle invente une référence
Un modèle de langage ne consulte pas une bibliothèque. Il produit la suite de mots la plus plausible. Or une référence bibliographique a une forme très régulière : des auteurs, un titre, une revue, une année, des pages. Elle est donc facile à imiter. Le résultat a toutes les apparences d’une citation et aucun lien garanti avec un article réel. C’est ce qu’on appelle une hallucination.
Le problème ne s’arrête pas aux références inventées. Dans l’étude de Scientific Reports, 43 % des références bien réelles de GPT-3.5 et 24 % de celles de GPT-4 comportaient des erreurs de fond [2]. Une référence qui existe mais dont l’année, la revue ou les auteurs sont faux passe un contrôle rapide. Elle ne passe pas celui d’un évaluateur.
Cinq tâches à garder entre des mains humaines
1. Choisir et lire les études pivots. Une IA peut proposer une liste. Elle ne peut pas garantir que chaque référence existe, qu’elle dit ce qu’on lui fait dire, ni qu’elle porte sur votre souche, votre dose et votre population. Chaque étude citée doit avoir été ouverte et lue par une personne qui signe.
2. Rédiger le libellé d’une allégation. Le règlement (CE) n° 1924/2006 encadre strictement les allégations [3], et les allégations de santé autorisées sont assorties d’un libellé et de conditions d’utilisation [4]. Un modèle de langage reformule par nature. Demandez-lui d’« améliorer » un libellé autorisé et il produira une allégation non autorisée, plus fluide.
3. Extrapoler d’une souche à l’autre, d’une dose à l’autre. C’est le raccourci le plus tentant et le plus dangereux. Un modèle relie spontanément des résultats proches. Le dossier, lui, exige la correspondance exacte entre l’ingrédient, la dose et l’effet démontré.
4. Traiter des données d’essai non publiées. Les données de santé des participants à un essai relèvent des catégories particulières du RGPD [5], et des données pseudonymisées restent des données personnelles. Les coller dans un assistant grand public, c’est les transmettre à un tiers. Vérifiez où vont les données avant d’ouvrir l’outil.
5. Porter la responsabilité. L’exploitant doit pouvoir justifier ses allégations [3]. Aucun outil ne signe à sa place. Si personne ne peut expliquer d’où vient une phrase, elle n’a rien à faire dans le dossier.
Ce que l’IA fait bien (et plus vite que vous)
| Tâche | À déléguer ? | Condition |
|---|---|---|
| Mise en forme de la bibliographie | Oui | Les références viennent d’une liste vérifiée, pas du modèle |
| Contrôle de cohérence entre documents | Oui | Le contrôle signale, un humain tranche |
| Premier tri d’une recherche bibliographique | Oui | Les études écartées restent consultables |
| Brouillon de traduction | Oui | Relecture par un locuteur qui connaît le vocabulaire réglementaire |
| Vérification de la structure par rapport au guide EFSA [6] | Oui | Le guide est fourni à l’outil, pas résumé de mémoire |
| Choix des études pivots | Non | |
| Libellé d’allégation | Non | |
| Données d’essai brutes dans un outil grand public | Non |
La règle commune : l’IA travaille sur des matériaux que vous lui fournissez et que vous avez vérifiés. Elle ne fournit pas les matériaux.
Vérifier une référence : quatre gestes
La vérification n’a rien de sophistiqué. Elle demande de la discipline, référence par référence.
- Ouvrir la référence par son identifiant (DOI ou numéro PubMed), jamais par une recherche sur le titre. Un titre plausible ramène toujours quelque chose.
- Comparer la phrase du dossier à l’article : ingrédient ou souche, dose, population, critère principal. Les quatre doivent correspondre.
- Contrôler le statut de la publication : corrigée, rétractée, ou suivie d’un commentaire qui en limite la portée.
- Noter qui a vérifié, et quand. Sans cette trace, la vérification devra être refaite au prochain doute.
C’est du temps. C’est aussi le seul contrôle qu’aucun outil ne peut certifier à votre place.
La règle d’une page, rubrique par rubrique
La règle interne n’a pas besoin d’être longue. Six rubriques suffisent.
- Outils autorisés, nommés, avec leurs réglages de confidentialité.
- Données interdites : données d’essai non publiées, données personnelles, documents de clients couverts par un accord de confidentialité.
- Tâches autorisées : celles du tableau ci-dessus, pas d’autres sans accord.
- Tâches interdites : choix des études, libellés, extrapolations.
- Relecture nommée : qui signe chaque section du dossier.
- Traçabilité : les passages préparés avec un outil sont repérés dans le document de travail.
Le cadre qui arrive de toute façon
Depuis le 2 août 2026, l’article 50 du règlement européen sur l’IA [7] impose des obligations de transparence pour certains textes générés par IA. Une exception existe quand le contenu a fait l’objet d’un examen humain et qu’une personne en assume la responsabilité éditoriale. Nous l’avons détaillé dans AI Act et contenu santé : l’exception qui sauve votre ligne éditoriale. Pour un dossier d’allégation, cet examen humain n’est pas une formalité : c’est la condition de validité du travail.
Ce que ça change pour vos équipes
Pour votre réglementaire, l’enjeu est d’écrire la règle avant que chacun invente la sienne. Une page suffit : outils autorisés, données interdites, étapes qui exigent une relecture nommée.
Pour votre marketing, c’est une ligne de partage claire. L’IA accélère tout ce qui touche à la forme. Le fond (l’étude, le libellé, la dose) reste une décision humaine documentée.
Votre équipe dispose-t-elle aujourd’hui d’une règle écrite sur ce qui peut être collé dans un assistant IA ?
Sources
- Bhattacharyya M, Miller VM, Bhattacharyya D, Miller LE. High rates of fabricated and inaccurate references in ChatGPT-generated medical content. Cureus. 2023;15(5):e39238. doi:10.7759/cureus.39238.
- Walters WH, Wilder EI. Fabrication and errors in the bibliographic citations generated by ChatGPT. Sci Rep. 2023;13(1):14045. doi:10.1038/s41598-023-41032-5.
- Règlement (CE) n° 1924/2006 du Parlement européen et du Conseil du 20 décembre 2006 concernant les allégations nutritionnelles et de santé portant sur les denrées alimentaires. JO L 404 du 30.12.2006.
- Règlement (UE) n° 432/2012 de la Commission du 16 mai 2012 établissant une liste des allégations de santé autorisées. JO L 136 du 25.5.2012.
- Règlement (UE) 2016/679 du Parlement européen et du Conseil du 27 avril 2016 (règlement général sur la protection des données), article 9 et considérant 26. JO L 119 du 4.5.2016.
- EFSA Panel on Nutrition, Novel Foods and Food Allergens (NDA). Scientific and technical guidance for the preparation and presentation of a health claim application (Revision 3). EFSA Journal. 2021;19(3):6554.
- Règlement (UE) 2024/1689 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle, article 50. JO L du 12.7.2024.
FAQ
Les modèles récents inventent-ils encore des références ?
Probablement moins souvent que ceux de 2023, en particulier quand ils sont reliés à une base documentaire. Le risque n’est pas nul, et un modèle ne signale pas de lui-même qu’une référence est inventée. Chaque référence doit être ouverte et vérifiée.
Peut-on utiliser un assistant IA connecté à nos propres documents ?
Oui, c’est la configuration la plus sûre : l’assistant répond à partir de vos sources et cite le passage utilisé. Vérifiez où sont hébergées les données et si elles servent à entraîner le modèle.
Faut-il déclarer l’usage de l’IA dans un dossier soumis à l’EFSA ?
Vérifiez les exigences en vigueur au moment du dépôt. Ce qui ne change pas : chaque donnée doit être traçable jusqu’à sa source et chaque affirmation justifiable par le demandeur.
Une IA peut-elle vérifier qu’une allégation respecte le libellé autorisé ?
Elle peut comparer un texte au libellé exact que vous lui fournissez et signaler les écarts. Elle ne doit pas proposer de reformulation à la place du libellé autorisé.
Sur la fiabilité des moteurs d’IA comme source, voir quand l’IA brouille les pistes. Et pour rendre un contenu scientifique citable par ces moteurs, notre approche de la visibilité IA (GEO).