Combien de fois votre équipe a-t-elle collé dans un rapport client un chiffre sorti de ChatGPT sans vérifier d’où il venait ? Le seul réflexe qui protège vraiment avant publication consiste à forcer le modèle à citer sa source primaire exacte (organisme, année, lien) puis à ouvrir ce lien soi-même. Le geste prend 30 secondes. Il suffit à intercepter la majorité des chiffres fabriqués, bien avant les checklists en 10 points que personne ne suit au quotidien. Sur les tâches de résumé ancré, les modèles à raisonnement les plus récents dépassent pourtant 10% d’hallucination (Vectara, 2025) : le problème ne se règle pas en changeant d’outil.
Pourquoi ChatGPT, Claude ou Gemini inventent des chiffres avec assurance
Un LLM prédit le mot statistiquement le plus probable. Il ne vérifie aucun fait. Quand une question porte sur un chiffre précis (un CPC, un taux de conversion moyen, un budget marketing par secteur) et que le modèle n’a pas cette donnée en mémoire, il complète par une valeur plausible plutôt que d’admettre l’absence de réponse. Le taux d’erreur varie énormément selon la tâche. Sur un résumé ancré dans un document fourni (grounded summarization), les meilleurs modèles descendent sous 2% d’hallucination d’après le HHEM Leaderboard de Vectara. Sur une question ouverte sans document source, le même modèle peut se tromper entre 33% et 51% du temps. La différence tient à une seule chose : la présence ou l’absence d’un texte de référence dans le context window au moment de la génération.
Le HHEM Leaderboard de Vectara évalue la fidélité aux documents sources sur plus de 7 700 articles, avec un modèle dédié à la détection d’hallucination (Vectara, mise à jour 2025).
Autre nuance que peu d’articles mentionnent : les modèles à raisonnement, souvent présentés comme les plus fiables, font pire sur ce point précis. Sur la mise à jour 2025 du même leaderboard, GPT-5 et Claude Sonnet 4.5 dépassent 10% d’hallucination en résumé ancré. Grok-4 et Gemini-3-Pro font le même score, contre 2% pour des modèles plus simples de la génération précédente. Le chain-of-thought améliore le raisonnement affiché, sans réduire le taux d’hallucination mesuré.
Le seul réflexe qui protège avant de publier un chiffre généré par IA
Ajoutez cette consigne à votre system prompt permanent plutôt qu’au prompt du jour, celui que chacun retape à sa façon : pour chaque chiffre ou statistique cité, indiquer l’organisme qui l’a publié. Préciser aussi l’année et l’URL exacte de la source. Si aucune source vérifiable n’existe, le modèle doit écrire donnée non vérifiée au lieu d’inventer un chiffre.
3 vérifications suivent, dans cet ordre.
- Demandez la source si le modèle ne l’a pas donnée spontanément.
- Ouvrez le lien fourni : une erreur 404 ou une page sans rapport est déjà une réponse.
- Cherchez le chiffre exact dans la page avec Ctrl+F : un rapport qui existe vraiment mais ne contient pas la statistique citée reste une hallucination habillée d’une source réelle.
Une étude MedRxiv menée en 2025 sur des résumés cliniques a mesuré une baisse du taux d’hallucination de 64,1% à 43,1% en ajoutant simplement une consigne de prompt dédiée à la vérifiabilité. La même mécanique fonctionne hors du contexte médical. C’est tout. Une seule consigne dans le prompt suffit, complétée par 3 clics de vérification, largement plus rapide qu’une grille de 10 critères ou une formation d’une demi-journée.
Le RAG limite le risque sans l’annuler
Brancher un système sur une base documentaire via RAG (retrieval-augmented generation) réduit le risque, ça n’élimine rien du tout. Le modèle retrouve un passage pertinent avant de répondre, ce qui limite l’improvisation. Mais la récupération peut elle-même rater sa cible : chercher le mauvais passage, mélanger 2 documents ou, pire, retrouver un chiffre daté de l’année précédente. Une étude de Stanford RegLab (2024) a mesuré un taux d’hallucination allant jusqu’à 33% sur des outils juridiques pourtant équipés de retrieval, contre 58% à 88% pour des modèles génériques interrogés sans aucune base documentaire sur les mêmes questions de droit.
Le mécanisme compte plus que l’outil. Un agent doté d’un tool use pour aller chercher la page source en direct, via un serveur MCP de recherche web par exemple, vérifie mieux qu’un RAG statique construit sur une base qui n’a pas été mise à jour depuis six mois.
Ancrer ce réflexe dans les outils de toute l’équipe
« Mon équipe utilise ChatGPT au feeling, on a aucune cohérence de sortie » : la douleur la plus citée par les responsables marketing qui pilotent plusieurs comptes IA en parallèle. Une nouvelle checklist Notion, un 15e prompt qui rejoindra les 14 autres sans être relu, ne change rien à ça. La consigne de sourçage doit vivre à l’endroit que toute l’équipe consulte déjà, un system prompt partagé ou un fichier de config lu à chaque session.
Sur ChatGPT, la consigne se pose dans les instructions permanentes d’un Custom GPT dédié à la rédaction de contenu, partagé par toute l’équipe. Sur Claude Code, la même consigne se pose dans le CLAUDE.md du projet, lu automatiquement à chaque session par tous les membres de l’équipe. Un hook Claude Code peut même bloquer la publication tant qu’aucune URL de source n’apparaît dans la réponse générée. Le réflexe individuel finit par disparaître avec les départs et les urgences ; la règle posée dans la configuration, elle, s’applique à chaque nouvelle recrue sans qu’on ait à la rappeler.
Les pièges qui passent sous le radar de ce réflexe
Le réflexe attrape la majorité des chiffres inventés de toutes pièces. Il rate 3 cas plus subtils, plus difficiles à repérer que l’invention brute d’un chiffre.
Le mélange de tableaux est l’exemple d’hallucination IA le plus fréquent. La source est réelle et le lien fonctionne. Le chiffre cité vient pourtant d’un autre tableau du même rapport : parfois une année différente, parfois un pays différent. Un guide publié par Bloom AI en 2026 relève ce mélange comme l’erreur la plus fréquente sur les hallucinations chiffrées, davantage que l’invention pure.
Le picorage silencieux touche les documents longs : collé dans le context window, le modèle prend la bonne ligne dans le mauvais tableau, la source citée reste correcte mais l’extraction interne ne l’est pas.
Le plus rare et le plus coûteux reste la contradiction interne : 2 chiffres cités dans la même réponse, l’un vrai, l’autre halluciné, sans que le ton du modèle ne les distingue.
Le prochain chiffre que votre outil IA vous propose mérite les mêmes 30 secondes : la source, l’année, la ligne exacte du rapport, avant publication.
