Qu’est-ce que l’hallucination de l’IA ? Causes des réponses erronées et solutions

Articles
Qu’est-ce que l’hallucination de l’IA ? Causes des réponses erronées et solutions

Introduction

Destiné aux équipes opérationnelles, DSI, juristes et responsables de la transformation numérique qui débutent avec l'IA générative, cet article explique ce qu'est l'hallucination : son mécanisme, des exemples concrets en entreprise, et les bonnes pratiques de vérification des sources et de relecture humaine.

Tatsuya Ito

Tatsuya Ito

Consultant en intelligence artificielle

company-icon

Third Scope Inc.

Né en 1985 et originaire de la préfecture de Mie, au Japon. En 2012, il rejoint une start-up spécialisée dans la réalité augmentée (AR) à Hong Kong en tant qu’ingénieur. Depuis, il a participé au développement de nouvelles activités ainsi qu’au lancement de services basés sur l’intelligence artificielle au sein de plusieurs start-up du secteur de l’IA. En 2018, il fonde l’actuelle société Third Scope Inc. en reprenant un service d’IA ainsi que son équipe de développement. Aujourd’hui, il accompagne les entreprises dans l’adoption et l’utilisation de l’intelligence artificielle, avec un accent particulier sur le développement de nouvelles activités fondées sur l’IA, la transformation des opérations et le développement de produits. Il a également contribué à la recherche en intelligence artificielle en tant que chercheur de projet à l’Université de Tokyo. Il continue aujourd’hui à travailler au premier plan du développement de projets liés à l’IA, en proposant un accompagnement concret qui associe expertise technologique et vision business.

Les réponses de l’IA paraissaient tellement naturelles que je ne savais pas par où commencer pour les remettre en question.

Dans le cadre de missions d’accompagnement au déploiement de l’IA générative, l’auteur entend régulièrement ce type de remarque. C’est le problème auquel ont été confrontés, dans une entreprise ayant commencé à utiliser l’IA générative, un responsable de la planification commerciale ainsi que les équipes des systèmes d’information, des affaires juridiques et de la transformation numérique. Auparavant, confier à l’IA la rédaction d’e-mails, la synthèse de comptes rendus ou une première ébauche de recherche permettait de gagner du temps. Mais elle produisait parfois, de manière très plausible, des noms de dispositifs inexistants ou des chiffres non vérifiés. Les équipes opérationnelles jugeaient l’outil « utile, mais inquiétant », les systèmes d’information estimaient difficile de déterminer jusqu’où en autoriser l’usage, et le service juridique voyait un risque que des informations erronées se retrouvent dans des documents externes.

L’auteur a lui-même observé ces situations dans des domaines variés, du développement de produits à la vente, au marketing, au management et à l’amélioration des processus. Une conclusion s’impose : les réponses erronées de l’IA ne concernent pas uniquement les spécialistes techniques. Elles deviennent au contraire particulièrement importantes lorsque les équipes métier commencent à utiliser l’IA dans leur travail quotidien.

De plus en plus d’entreprises cessent de considérer les réponses de l’IA comme exactes par défaut. Elles s’en servent pour préparer un brouillon, résumer ou structurer les points à examiner, puis demandent à une personne de vérifier les sources, les chiffres et les noms propres. Cet article explique ce qu’est une hallucination de l’IA, pourquoi l’IA produit des réponses erronées, dans quelles situations professionnelles ce phénomène survient facilement et comment y faire face. L’objectif n’est pas de renoncer à l’IA, mais de l’utiliser de manière maîtrisée en partant du principe qu’elle peut se tromper. Une liste de contrôle ne suffit toutefois pas à éliminer les risques. Il faut également réfléchir aux règles internes, à la formation et à leur révision régulière.

Qu’est-ce qu’une hallucination de l’IA ?

Une hallucination désigne le phénomène par lequel une IA produit des informations erronées qui paraissent plausibles

Une hallucination désigne le phénomène par lequel une IA générative produit un contenu contraire aux faits en le présentant comme s’il était exact.

Il peut notamment s’agir des cas suivants :

  • décrire un dispositif interne inexistant comme s’il existait ;
  • présenter comme sources le nom d’un document non consulté ou une URL non vérifiée ;
  • donner un chiffre non vérifié comme s’il s’agissait d’un résultat précis ;
  • compléter le contenu d’un contrat ou d’un règlement à partir de considérations générales ;
  • inclure dans un compte rendu des décisions qui n’ont pas été prises pendant la réunion.

La difficulté tient au fait qu’une hallucination ne prend pas toujours la forme d’une réponse manifestement incohérente. Elle peut au contraire être formulée de manière fluide, soignée et apparemment logique. Dans les situations observées par l’auteur, une première lecture ne suffisait parfois pas à repérer le problème. Il fallait revenir au document d’origine pour constater que « ce dispositif n’existe pas » ou que « ce chiffre ne figure pas dans le document ».

Une réponse d’IA générative n’est pas une citation directe de résultats de recherche ou d’une base de données interne. L’IA génère une réponse qui paraît naturelle à partir des instructions et du contexte fournis. Même lorsque les informations sont insuffisantes, elle peut donc compléter les éléments manquants au lieu de répondre qu’elle ne sait pas.

Pour utiliser l’IA générative au travail, il faut commencer par admettre qu’elle peut se tromper. Il ne s’agit pas de rejeter l’IA, mais de mettre en place des garde-fous permettant de l’utiliser durablement dans l’entreprise.

Pourquoi l’IA produit-elle des réponses erronées ?

Pourquoi l’IA produit-elle des réponses erronées ?

Les réponses erronées de l’IA ont plusieurs causes. Les comprendre permet d’éviter une méfiance excessive tout en identifiant plus précisément les points qui exigent de la vigilance.

Elle tente de répondre même sur des informations qu’elle n’a pas apprises

L’IA peut produire une réponse même lorsqu’elle ne dispose pas d’informations suffisantes sur le sujet.

Supposons qu’on lui demande : « Pouvez-vous m’expliquer le dispositif de congé parental de notre entreprise ? » Même si aucun règlement interne n’est consulté, elle peut répondre à partir d’une présentation générale du dispositif. La réponse semblera naturelle, mais elle ne correspondra pas nécessairement aux règles de l’entreprise.

Pour ce type de question, il faut distinguer clairement une demande de renseignements généraux d’une demande de réponse fondée sur le règlement interne. Au début d’un déploiement de l’IA, cette distinction reste souvent floue. L’auteur l’aborde systématiquement dès la première formation, car les utilisateurs ont tendance à faire davantage confiance aux réponses de l’IA juste après en avoir découvert l’utilité.

Lorsque la question est vague, elle peut compléter les prémisses

« Résumez ce contenu de manière convaincante », « Indiquez-moi les risques » ou « Rédigez un texte utilisable pour nos clients » : ces demandes sont pratiques, mais laissent une grande marge d’interprétation à l’IA. Comme elles ne précisent ni le destinataire, ni les documents de référence, ni le degré de certitude attendu, l’IA dispose d’une grande latitude pour compléter elle-même les éléments manquants.

La rédaction du prompt joue donc un rôle important dans la prévention des hallucinations. Préciser l’objectif, le public visé, les informations de référence, le format de sortie et les contraintes aide à réduire les compléments inutiles.

D’après l’expérience de l’auteur, les entreprises qui réussissent le mieux à intégrer l’IA traitent les prompts comme une composante de la conception des processus, et non comme une astuce individuelle. Elles définissent et partagent des méthodes de formulation au sein de l’équipe afin d’obtenir des résultats plus cohérents, quel que soit l’utilisateur.

Elle peut être moins fiable sur les informations récentes ou propres à l’entreprise

L’IA peut être moins fiable lorsqu’il s’agit de modifications législatives récentes, de données de marché actualisées, de dispositifs propres à l’entreprise ou de règles opérationnelles spécifiques à un service.

Les informations suivantes exigent une vigilance particulière :

  • les lois et réglementations les plus récentes ;
  • les dernières évolutions des concurrents ;
  • la tarification propre à l’entreprise ;
  • les règlements internes et circuits d’approbation ;
  • les conditions contractuelles de chaque client ;
  • les informations relatives à des campagnes non publiques.

Il ne faut pas s’en remettre entièrement à l’IA pour ces informations : elles doivent être vérifiées à partir d’une source primaire.

Dans certaines situations, l’IA rédige beaucoup plus vite qu’une personne. Mais savoir quelle règle est actuellement en vigueur dans l’entreprise, comprendre un contrat particulier avec un client ou respecter le dernier circuit d’approbation constitue un autre enjeu. C’est précisément parce que l’IA est rapide qu’il faut prévoir explicitement des points de contrôle.

Elle peut créer des références qui ressemblent à des sources

Lorsqu’on demande à l’IA d’ajouter ses sources, elle peut présenter une réponse sous la forme d’une référence. Cela ne signifie pas que cette référence existe réellement.

Elle peut par exemple indiquer le titre d’un document inexistant, un numéro de page qui n’existe pas ou une URL impossible à vérifier. La présence d’une source ne rend pas une information exacte : il faut vérifier que la source existe et que son contenu correspond à l’affirmation.

Ce point est facile à négliger dans un contexte professionnel, car un titre de document ou une URL suffit parfois à donner une impression de fiabilité. Face à une source fournie par l’IA, l’auteur recommande donc de vérifier systématiquement qu’elle existe et qu’elle étaye réellement l’affirmation.

Situations professionnelles propices aux hallucinations

Situations professionnelles propices aux hallucinations

Les hallucinations ne posent pas le même problème dans toutes les activités. Une attention particulière s’impose lorsque des informations erronées peuvent influencer une décision interne ou externe, ou la relation avec un client.

Questions sur les règlements et dispositifs internes

Les ressources humaines, les services généraux, la comptabilité et les systèmes d’information peuvent souhaiter utiliser l’IA pour répondre aux questions des salariés.

Il peut par exemple s’agir des questions suivantes :

  • Puis-je me faire rembourser ces frais de transport ?
  • À quel service dois-je adresser ma demande d’activité secondaire ?
  • Quelle est la date limite pour demander un congé parental ?
  • Quel matériel dois-je restituer à mon départ ?

À première vue, l’IA semble bien adaptée à ces usages. Organiser les règlements internes et les FAQ afin que les salariés puissent trouver eux-mêmes les informations constitue effectivement un sujet pertinent pour l’IA.

Une réponse qui ne repose pas sur le règlement interne peut toutefois inciter un salarié à agir de manière incorrecte. Si une procédure exige une demande préalable et que l’IA affirme qu’une régularisation ultérieure est possible, elle risque de semer la confusion.

Pour les questions relatives aux règlements internes, il est essentiel d’empêcher l’IA de répondre à partir de principes généraux. Il faut lui imposer des contraintes telles que « répondre que l’information est inconnue si le règlement ne fournit aucun fondement » ou « indiquer le nom du règlement et l’article concerné ».

Première analyse des contrats et questions juridiques

L’IA commence également à être utilisée pour une première analyse des contrats. Elle peut aider à repérer des clauses manquantes ou à structurer les points à examiner.

Il serait toutefois dangereux de considérer son résultat comme un avis juridique.

Dans un contrat, une partie de la formulation ou son contexte peut modifier le sens. L’historique des négociations avec le partenaire et le niveau de risque accepté par l’entreprise entrent aussi en ligne de compte. Même si l’IA conclut qu’il n’y a « aucun problème », il ne s’agit pas d’une décision définitive.

Pour les contrats et règlements, l’auteur veille à positionner l’IA comme un assistant chargé de repérer les points à examiner, et non comme un décideur. Toute production juridique doit être vérifiée par une personne, notamment un service spécialisé ou un conseil.

Études de marché, veille concurrentielle et citations de chiffres

Les équipes marketing ou de planification commerciale utilisent parfois l’IA pour préparer une première étude de marché ou comparaison de concurrents.

Dans ce contexte, les hallucinations sont particulièrement difficiles à repérer, car les réponses contiennent facilement une taille de marché, un taux de croissance ou une comparaison qui semblent plausibles.

Voici un exemple fictif :

En 2025, le marché de XX représente environ 600 millions d’euros et progresse de 10 % par an.

Cette phrase paraît crédible. Mais sans source, année de l’étude, définition du marché ni périmètre de calcul, elle ne doit pas être utilisée professionnellement.

Pour une étude de marché, il est plus sûr d’utiliser l’IA afin d’organiser les points à étudier, les sources à vérifier et les axes de comparaison, plutôt que de croire les chiffres qu’elle fournit. Lorsqu’il commence une recherche, l’auteur demande lui aussi souvent à l’IA d’établir un plan de recherche plutôt que de fournir directement une réponse.

Synthèse de comptes rendus et organisation des notes commerciales

La synthèse par IA facilite l’organisation du contenu d’une réunion ou d’un entretien commercial. Si un enregistrement, des notes et des documents peuvent être résumés dans un format défini, la préparation des comptes rendus et le partage d’informations demandent moins de travail.

Il faut néanmoins surveiller les erreurs suivantes :

  • présenter comme une décision un point qui ne l’est pas ;
  • attribuer un nom à une tâche dont le responsable n’est pas encore désigné ;
  • résumer une hypothèse débattue comme s’il s’agissait d’une orientation arrêtée ;
  • reformuler excessivement les propos du client selon l’interprétation de l’entreprise.

La synthèse par IA peut réduire le temps de vérification après une réunion. Avant de diffuser le compte rendu définitif, une personne doit toutefois le comparer à l’enregistrement, aux notes et à la compréhension des participants.

Une réunion ne consiste pas simplement à aligner des interventions. Il faut comprendre le ton de chaque personne, le niveau réel d’accord et les points restés en suspens. Dans ce domaine, l’intervention humaine reste essentielle.

E-mails, propositions et réponses de FAQ destinés aux clients

Dans un document destiné à un client, une réponse erronée de l’IA peut directement entamer la confiance.

Les formulations suivantes exigent une attention particulière :

  • Nous pouvons garantir une amélioration.
  • Nous pouvons répondre à toutes les demandes.
  • Notre solution est meilleure que celles de nos concurrents.
  • Nous terminerons dans un délai de X jours.
  • Il n’existe aucun problème juridique.

De telles affirmations ne doivent pas être utilisées sans vérification des faits ni approbation interne.

Un texte produit par l’IA est pratique comme brouillon. Avant de l’envoyer à un client, il faut vérifier les chiffres, les conditions, le contenu du contrat et la portée des engagements autorisés.

Lorsqu’il accompagne des équipes commerciales ou marketing, l’auteur veille également à ce que l’IA ne formule pas d’affirmations trop catégoriques. La frontière entre un texte attrayant et une promesse excessive est mince. Dans le B2B en particulier, préserver la confiance compte davantage qu’un argument commercial à court terme.

Ne pas chercher à supprimer toutes les réponses erronées de l’IA

Ne pas chercher à supprimer toutes les réponses erronées de l’IA

Pour lutter contre les hallucinations, l’essentiel n’est pas de chercher à éliminer complètement les réponses erronées de l’IA.

Il faut bien entendu essayer d’en réduire le nombre. Mais dès lors que l’IA est utilisée au travail, il est plus réaliste de concevoir les processus en partant du principe qu’elle peut se tromper.

Lorsqu’il accompagne un déploiement, l’auteur ne cherche pas à déterminer comment empêcher l’IA de se tromper dans tous les cas, mais comment éviter qu’une erreur ne provoque un incident opérationnel. Cette approche rappelle celle de la conception des systèmes : plutôt que de supposer qu’un système sera exempt de défauts, on prévoit des mécanismes de détection, de revue, d’autorisation, de journalisation et de reprise. L’usage professionnel de l’IA générative exige une démarche comparable.

Ne pas traiter l’IA comme un outil qui fournit la bonne réponse

L’IA ne garantit pas une réponse exacte. Elle n’est notamment pas adaptée à la vérification des faits, aux décisions juridiques, à la décision finale ni aux engagements pris envers les clients.

Elle convient en revanche aux usages suivants :

  • rédaction d’un brouillon ;
  • synthèse de comptes rendus ou de documents ;
  • organisation des points à examiner ;
  • recherche d’idées ;
  • première version d’un tableau comparatif ;
  • recensement des points de contrôle ;
  • création de prompts ou de modèles.

L’IA est donc particulièrement utile pour préparer une première base de travail avant l’analyse humaine.

Les personnes restent responsables de la vérification des faits, des décisions finales et des échanges qui reposent sur une relation de confiance. L’IA peut préparer les brouillons, les synthèses, la mise en forme et le point de départ d’une recherche. Clarifier cette répartition des rôles aide à concilier rapidité et sécurité.

Distinguer les activités à faible risque des activités à haut risque

Soumettre tous les usages de l’IA aux mêmes règles rend l’outil difficile à utiliser. Tout autoriser librement augmente en revanche les risques.

Il est donc utile de commencer par classer les activités selon leur niveau de risque.

Exemple de classification des risques professionnels liés à l’utilisation de l’IA
Catégorie Exemples d’activités Approche de l’utilisation de l’IA
Risque faible Notes personnelles, projets de textes internes, recherche d’idées Utilisation relativement simple, en restant vigilant sur les informations confidentielles
Risque moyen Comptes rendus, FAQ internes, brouillons de documents commerciaux Utilisation sous réserve d’une vérification humaine
Risque élevé Contrats, questions juridiques, données personnelles, réponses officielles aux clients Vérification obligatoire par un service spécialisé
Usage interdit ou sensible Informations sensibles, données financières non publiques, informations hautement confidentielles de clients Ne pas les saisir en principe

Grâce à cette distinction, les équipes ne se demandent plus si tout est interdit, mais dans quelles limites elles peuvent utiliser l’IA.

Dans les entreprises où le déploiement se bloque, le choix se résume souvent à « ne pas l’utiliser parce que c’est dangereux » ou « l’utiliser librement parce que c’est pratique ». L’auteur estime qu’il faut définir un cadre d’utilisation réaliste entre ces deux extrêmes.

Intégrer la vérification humaine au processus

Un dispositif de vérification des productions de l’IA ne peut pas reposer durablement sur la seule vigilance des collaborateurs.

Il faut intégrer les points de contrôle au processus de travail.

Pour un document destiné à un client, le processus peut par exemple être le suivant :

  1. le collaborateur prépare une structure avec l’IA ;
  2. il vérifie les chiffres, les noms propres et les exemples ;
  3. son responsable vérifie les formulations et la portée des engagements ;
  4. si nécessaire, le service juridique ou les systèmes d’information procèdent à une vérification ;
  5. le document est remis au client.

En intégrant l’usage de l’IA au processus de validation existant, il devient plus facile de réduire les risques sans ralentir excessivement les équipes.

Dire simplement qu’une personne doit vérifier ne constitue pas une procédure. Il faut préciser qui vérifie quoi et à quel moment. C’est à cette condition que l’usage de l’IA peut s’ancrer durablement dans les pratiques.

Principes de base pour prévenir les hallucinations

Principes de base pour prévenir les hallucinations

Voici les mesures applicables dans la pratique.

Indiquer clairement l’objectif, les prémisses et le format de sortie

Des instructions vagues laissent davantage de place aux réponses erronées.

Voici un mauvais exemple :

Code
Résumez ce document de manière convaincante.

Une meilleure formulation serait :

Code
Résumez le document ci-dessous afin de le présenter lors d’une réunion commerciale interne.

# Objectif
Permettre aux commerciaux de décider des prochaines actions

# Format de sortie
- Points essentiels : 5 au maximum
- Décisions : liste à puces
- Points non tranchés : indiquer « À vérifier »
- Chiffres, dates et noms propres : utiliser uniquement ceux du texte d’origine

# Attention
N’ajoutez aucune information qui ne figure pas dans le document.

Il est important d’indiquer à l’IA non seulement ce qu’elle doit faire, mais aussi ce qu’elle ne doit pas faire.

L’auteur recommande de considérer un prompt d’IA générative moins comme une simple demande que comme une instruction de travail. Une bonne instruction précise l’objectif, les prémisses, le livrable, les contraintes et les points de contrôle. Il en va de même pour les instructions adressées à l’IA.

Demander d’indiquer « À vérifier » en cas d’incertitude

L’IA peut tenter de répondre même lorsqu’elle ne sait pas. Il faut donc préciser dès le départ qu’elle doit écrire « À vérifier » lorsqu’une information est inconnue.

Exemple :

Code
Si le règlement interne ne mentionne pas l’information, ne faites aucune supposition et écrivez : « À vérifier, car le règlement ne fournit aucun fondement. »

Cette seule consigne peut déjà réduire le risque que l’IA formule une affirmation sans fondement suffisant.

Pour une FAQ interne, la vérification d’un règlement ou une réponse destinée à un client, il est particulièrement important que l’IA puisse dire qu’elle ne sait pas. Cette instruction ne réduit pas l’utilité de l’IA : elle rend son usage plus fiable dans un contexte professionnel.

Revenir aux sources primaires pour les chiffres, les dates et les noms propres

Les hallucinations sont particulièrement problématiques au travail lorsqu’elles portent sur des chiffres, des dates ou des noms propres.

Les éléments à vérifier sont les suivants :

  • montants ;
  • pourcentages ;
  • effectifs ;
  • dates ;
  • noms d’entreprise ;
  • noms de service ;
  • noms des responsables ;
  • noms de produits ;
  • conditions contractuelles ;
  • noms de textes législatifs ;
  • titres de documents.

Les chiffres et noms propres produits par l’IA doivent toujours être vérifiés dans une source primaire. Si le document d’origine ne peut pas être contrôlé, supprimez l’information ou indiquez « À vérifier ».

Les chiffres renforcent la crédibilité apparente d’un texte, ce qui rend les erreurs d’autant plus difficiles à repérer. Un chiffre sans fondement peut parfois être moins utile que l’absence de chiffre. Lorsqu’il examine un document, l’auteur commence par demander d’où vient chaque chiffre.

Vérifier l’existence des sources primaires

Demander des sources primaires à l’IA est utile, mais leur simple présence ne suffit pas.

Il faut vérifier trois points :

  1. la source primaire existe-t-elle réellement ?
  2. le résumé de l’IA correspond-il au contenu de cette source ?
  3. la source est-elle toujours valable ?

Pour les documents internes, il faut également vérifier qu’il s’agit de la dernière version. Une réponse fondée sur un ancien règlement ou une proposition passée peut ne plus correspondre aux pratiques actuelles.

Demander à l’IA d’indiquer ses sources constitue le début du contrôle, mais non sa fin. La vérification humaine commence précisément à ce moment-là.

Faire relire par une personne avant toute diffusion externe

Tout document destiné à l’extérieur doit être relu par une personne.

Même s’il s’agit d’un brouillon produit par l’IA, une personne doit en assumer la vérification avant sa remise à un client ou à un partenaire. La revue porte notamment sur les points suivants :

  • les faits et les suppositions sont-ils mélangés ?
  • les chiffres et les noms propres sont-ils exacts ?
  • le contenu peut-il être promis au client ?
  • certaines affirmations sont-elles excessivement catégoriques ?
  • le ton correspond-il à celui de l’entreprise ?
  • le texte contient-il des éléments à faire vérifier par le service juridique, les systèmes d’information ou un responsable ?

Même lorsque le texte a été rédigé avec l’aide de l’IA, sa validation avant diffusion doit rester sous responsabilité humaine.

Faire vérifier les domaines à haut risque par les services spécialisés

Dans les domaines suivants, les productions de l’IA ne doivent pas être utilisées telles quelles :

  • droit ;
  • contrats ;
  • fiscalité ;
  • droit du travail ;
  • sécurité ;
  • données personnelles ;
  • médecine et santé ;
  • décisions financières ;
  • réponses officielles aux clients.

L’IA peut aider à structurer les points à examiner ou à recenser les éléments de contrôle. La décision finale doit toutefois revenir à un service spécialisé ou à un responsable.

Pour les entreprises qui développent leurs usages, l’auteur accorde autant d’importance à l’élargissement des domaines dans lesquels l’IA peut être utilisée qu’à la définition de ceux où l’IA ne doit pas décider seule. Fixer cette limite ne traduit pas une réticence envers l’IA, mais constitue au contraire une condition de son utilisation sérieuse dans l’organisation.

Liste de contrôle des productions de l’IA

Liste de contrôle des productions de l’IA

À réception d’une réponse de l’IA, vérifiez-la à l’aide de la liste suivante.

Vérification des faits

  • Les chiffres précisent-ils leur source, leur période, leur unité et leur population de référence ?
  • Les noms propres sont-ils exacts ?
  • Les dates sont-elles exactes ?
  • La source citée existe-t-elle ?
  • Le document de référence est-il à jour ?
  • L’IA a-t-elle ajouté des informations absentes du document ?

Vérification des formulations

  • Le texte est-il trop catégorique ?
  • Contient-il des expressions telles que « toujours », « absolument » ou « complètement » ?
  • Les formulations correspondent-elles à des engagements autorisés envers les clients ?
  • Le ton correspond-il à celui de l’entreprise ?
  • Le texte risque-t-il d’induire le lecteur en erreur ?

Vérification des risques

  • Le contenu comprend-il des données personnelles ou confidentielles ?
  • Comporte-t-il des éléments nécessitant une validation juridique ?
  • Existe-t-il un risque de sécurité ?
  • Le contenu contredit-il les conditions contractuelles ?
  • Risque-t-il de porter préjudice à un client ou à un salarié ?

Vérification de la décision

  • La conclusion de l’IA a-t-elle été adoptée telle quelle ?
  • Des décisions qui devraient revenir à une personne ont-elles été confiées à l’IA ?
  • Les parties prenantes nécessaires ont-elles été consultées ?
  • Reste-t-il des passages marqués « À vérifier » ?

Adaptez cette liste au service et à l’activité concernés. L’essentiel est de ne pas repartir de zéro à chaque fois, mais de partager des critères de contrôle communs dans l’entreprise.

D’après l’expérience de l’auteur, les entreprises où l’IA s’installe durablement considèrent cette liste non comme un document d’audit, mais comme un outil de protection des équipes. Elle ne vise pas à restreindre les utilisateurs, mais à élargir le périmètre dans lequel ils peuvent travailler sereinement. Cette approche est essentielle.

Règles internes à définir pour l’utilisation de l’IA générative

Règles internes à définir pour l’utilisation de l’IA générative

La vigilance individuelle ne suffit pas à maîtriser le risque d’hallucination. Toute organisation qui utilise l’IA doit définir un socle minimal de règles.

Distinguer les informations qui peuvent être saisies de celles qui ne le peuvent pas

Il faut d’abord définir le périmètre des informations pouvant être saisies dans l’IA.

La classification peut par exemple être la suivante :

Exemple de catégories d’informations saisies dans une IA générative et de règles de traitement
Catégorie d’information Exemples Traitement
Informations publiques Site officiel, documents publics, communiqués de presse Utilisation relativement simple
Informations internes générales Manuels, FAQ internes, supports de formation Utilisation conforme aux règles internes
Informations clients Notes d’entretien, conditions contractuelles, propositions Vérifier le contrat, les autorisations et le masquage
Données personnelles Nom, adresse, coordonnées, matricule Les masquer en principe
Informations sensibles Données de santé, coordonnées bancaires, données financières non publiques, etc. Ne pas les saisir en principe

Les données personnelles, les informations sensibles et les données financières non publiques exigent notamment une gestion prudente. La CNIL rappelle, dans ses questions-réponses sur l’IA générative, que ces systèmes peuvent produire des résultats inexacts mais plausibles et recommande de sensibiliser les utilisateurs à leurs limites, de vérifier la qualité des sorties et de ne transmettre que les informations qu’ils sont autorisés à partager.

Désigner les responsables de la revue

Il faut également déterminer qui vérifiera les productions de l’IA.

La répartition peut par exemple être la suivante :

Exemple de principaux réviseurs selon le type de production de l’IA
Production Principaux réviseurs
Texte à usage interne Auteur, responsable hiérarchique
E-mail destiné à un client Auteur, responsable hiérarchique et, si nécessaire, responsable commercial
Texte relatif à un contrat ou à un règlement Services spécialisés tels que les affaires juridiques, les ressources humaines ou les services généraux
Texte relatif à la sécurité Systèmes d’information, responsable de la sécurité
Article web ou texte publicitaire Responsable marketing et, si nécessaire, service juridique

Sans responsable désigné, une production risque d’être diffusée à l’extérieur sans que personne ne l’ait vérifiée.

Supposer que quelqu’un vérifiera revient, dans la pratique, à ne confier la vérification à personne. L’objectif n’est pas de déplacer la responsabilité, mais de désigner à l’avance la personne ou l’équipe chargée de la validation.

Ne pas recopier directement les réponses de l’IA

Il peut être utile d’inscrire explicitement dans les règles internes qu’une réponse de l’IA ne doit pas être recopiée telle quelle.

Les productions suivantes, notamment, ne devraient pas être utilisées directement :

  • réponses destinées aux clients ;
  • commentaires sur des contrats ;
  • explications juridiques ou relatives au droit du travail ;
  • études de marché contenant des chiffres ;
  • documents destinés à la direction ;
  • messages adressés à des candidats ;
  • communiqués de presse et formulations publicitaires.

La production de l’IA doit être considérée comme un brouillon. Une personne en vérifie le contenu et le reformule dans les termes de l’entreprise avant utilisation.

L’auteur compare ce processus à la cuisine : l’IA accélère la préparation, mais une personne reste chargée d’ajuster le résultat et de décider s’il peut être utilisé. Supprimer cette étape transforme directement le gain de temps en risque.

Réviser régulièrement les règles

Les usages de l’IA évoluent progressivement dans l’entreprise. Une règle définie au départ ne sera pas nécessairement optimale six mois plus tard.

Une fois par mois ou par trimestre, il est utile de réexaminer les points suivants :

  • les usages fréquents de l’IA ;
  • les cas de réponses erronées ;
  • les inquiétudes et questions des équipes ;
  • le périmètre des informations pouvant être saisies ;
  • les procédures de revue ;
  • les prompts et modèles ;
  • le contenu des formations.

La prévention des hallucinations n’est pas une mesure ponctuelle, mais une démarche à améliorer en continu au fil des usages. Comme dans le développement de produits ou l’amélioration des processus, il est souvent plus facile d’obtenir une adoption durable en commençant modestement puis en ajustant le dispositif à l’usage réel des équipes, plutôt qu’en cherchant à tout rendre parfait dès le départ.

Points à garder à l’esprit lors de l’utilisation de Kanata

Points à garder à l’esprit lors de l’utilisation de Kanata

Pour utiliser l’IA générative au travail, plusieurs solutions sont possibles : outils de conversation généralistes, plateformes d’IA internes, intégrations aux logiciels collaboratifs ou outils de recherche dans les connaissances. Quel que soit le choix, il faut d’abord déterminer pour quelles activités l’outil sera utilisé, quelles informations il traitera et qui vérifiera les résultats.

Kanata est une plateforme d’assistance professionnelle qui réunit au même endroit des fonctions telles que le chat IA, la synthèse par IA et l’e-learning, et permet d’organiser les utilisateurs, les données et les applications par projet. Elle peut être utilisée pour poser des questions à l’IA, demander conseil, rédiger, rechercher des idées, effectuer des recherches, résumer des enregistrements de réunions ou des notes, et diffuser des contenus de formation à partir de vidéos.

En séparant par exemple les projets de chaque service, en enregistrant les instructions courantes sous forme de prompts et en organisant les documents internes comme sources de référence, il devient plus facile de développer des usages qui dépendent moins des pratiques individuelles. Les caractéristiques de Kanata sont particulièrement adaptées lorsqu’il faut concevoir ensemble le processus et le circuit de vérification, notamment pour la synthèse de comptes rendus, les FAQ internes, les contenus de formation ou la préparation de documents commerciaux.

Cela ne signifie toutefois pas que l’utilisation de Kanata élimine complètement les hallucinations.

Le chat IA et la synthèse par IA sont utiles pour rédiger un brouillon, organiser les informations et structurer les points à examiner. Une personne doit néanmoins décider si la production peut être utilisée professionnellement. Il est particulièrement important de ne pas reprendre directement les résultats de l’IA lorsqu’ils concernent des documents externes, des chiffres, des citations, des règlements, des contrats, le droit ou la sécurité.

Lorsqu’il accompagne le déploiement de l’IA dans une entreprise, l’auteur ne s’arrête pas au choix de l’outil. Il faut également concevoir les activités concernées, les responsables de la vérification, les informations qui peuvent être saisies et les modalités de réutilisation des résultats. C’est à cette condition que l’usage de l’IA peut s’inscrire durablement dans les pratiques quotidiennes.

Prompts immédiatement utilisables pour prévenir les hallucinations

Prompts immédiatement utilisables pour prévenir les hallucinations

Voici des exemples de prompts faciles à utiliser dans un cadre professionnel. Adaptez-les aux règlements et au circuit de vérification de votre entreprise.

Pour éviter les réponses erronées

Code
Répondez à la question ci-dessous.

# Règles importantes
- Si vous ne savez pas, ne faites aucune supposition et écrivez « Inconnu » ou « À vérifier »
- N’ajoutez aucune information absente du document
- Utilisez uniquement les chiffres, dates et noms propres présents dans le texte fourni
- Distinguez les faits des suppositions

# Question
{Contenu de la question}

Pour obtenir une réponse fondée sur le règlement interne

Code
Vous êtes un assistant qui répond en se fondant sur le règlement interne.

# Règles de réponse
- Répondez uniquement à partir des éléments explicitement mentionnés dans le règlement
- Indiquez le nom, le chapitre et l’article du règlement qui servent de fondement
- En l’absence de fondement dans le règlement, écrivez : « Le règlement ne fournit aucun fondement vérifiable ; il faut consulter le service compétent »
- Ne complétez pas la réponse par des considérations générales

# Question
{Question du salarié}

Pour préparer une première étude de marché

Code
Préparez une première trame de recherche sur le thème ci-dessous.

# Thème
{Thème de la recherche}

# Éléments à produire
1. Points à vérifier
2. Sources potentielles à consulter comme informations primaires
3. Définitions auxquelles prêter attention pendant la recherche
4. Prémisses nécessaires pour vérifier les chiffres
5. Éléments qui ne doivent pas encore être affirmés

# Attention
N’affirmez aucune taille de marché ni aucun taux de croissance précis.
Indiquez « Source requise » à chaque endroit où un chiffre est nécessaire.

Pour réduire les erreurs dans la synthèse d’un compte rendu

Code
Organisez les notes de réunion ci-dessous sous la forme d’un compte rendu à partager en interne.

# Format de sortie
- Objectif de la réunion
- Décisions
- Points non tranchés
- Actions à mener
- Points à vérifier lors de la prochaine réunion

# Attention
- N’ajoutez aucune décision absente des notes
- Si le responsable d’une action n’est pas connu, écrivez « Responsable non désigné »
- Signalez toute information incertaine par la mention « À vérifier »
- Ne préjugez pas de l’intention des intervenants

# Notes de réunion
{Notes de réunion}

Pour examiner un document destiné à l’extérieur

Code
Examinez le texte ci-dessous avant sa diffusion externe selon les critères suivants.

# Critères de contrôle
1. Les faits et les suppositions sont-ils mélangés ?
2. Certains chiffres, dates ou noms propres doivent-ils être vérifiés ?
3. Certaines affirmations sont-elles excessivement catégoriques ?
4. Certaines formulations semblent-elles constituer un engagement envers un client ?
5. Certains passages doivent-ils être vérifiés par le service juridique, les systèmes d’information ou un responsable ?

# Format de sortie
Classez les résultats dans un tableau en trois catégories :
- Aucun problème
- À corriger
- À vérifier

# Texte
{Texte à examiner}

Conclusion : concevoir les usages en partant du principe que l’IA peut se tromper

Conclusion : concevoir les usages en partant du principe que l’IA peut se tromper

Une hallucination désigne le phénomène par lequel une IA générative produit un contenu factuellement erroné sous une forme plausible.

Dans le cadre professionnel, le problème ne tient pas seulement au fait que l’IA se trompe. Il apparaît surtout lorsque l’erreur n’est pas repérée et se retrouve dans un document externe, un règlement interne, un contrat, un document chiffré ou une réponse à un client.

Pour utiliser l’IA générative en toute sécurité, les principes suivants sont indispensables :

  • ne pas traiter l’IA comme un outil qui fournit la bonne réponse ;
  • l’utiliser pour les brouillons, les synthèses et l’organisation des points à examiner ;
  • vérifier les chiffres, les dates et les noms propres dans le document d’origine ;
  • vérifier que les sources existent ;
  • faire relire tout document avant sa diffusion externe ;
  • faire vérifier les domaines à haut risque par les services spécialisés ;
  • réviser régulièrement les règles internes et la formation.

L’utilisation de l’IA ne se résume pas à choisir entre l’interdire et laisser chacun s’en servir librement. En partant du principe qu’elle peut se tromper et en déterminant où une personne doit intervenir, il devient plus facile de concilier rapidité et sécurité.

L’auteur estime que les entreprises ont davantage intérêt à considérer l’IA comme un assistant performant dont les résultats doivent être vérifiés que comme une source universelle de réponses. Confier certaines tâches à l’IA allège le travail, mais les personnes ne doivent pas abandonner les décisions dont elles restent responsables. Savoir définir cette limite constituera une compétence opérationnelle essentielle à mesure que les usages de l’IA se développeront.

FAQ : questions fréquentes sur les hallucinations et les réponses erronées de l’IA

Qu’est-ce qu’une hallucination de l’IA ?

Une hallucination désigne le phénomène par lequel une IA générative produit un contenu factuellement erroné sous une forme plausible. Elle peut présenter naturellement un dispositif inexistant, un chiffre non vérifié ou une source qui n’existe pas.

Peut-on empêcher complètement les réponses erronées de l’IA ?

Il n’est pas réaliste de concevoir les processus en supposant que les réponses erronées peuvent être complètement évitées. Il faut partir du principe qu’une réponse erronée est possible et prévoir la vérification des sources, la revue, les règles de saisie et le circuit de consultation des services spécialisés.

Quels éléments faut-il particulièrement vérifier lorsque l’IA est utilisée au travail ?

Vérifiez systématiquement les chiffres, les dates, les noms propres, les sources, les conditions contractuelles, les règlements internes et les formulations qui engagent l’entreprise envers un client. Une erreur sur ces éléments peut facilement affecter les décisions internes ou externes et la confiance.

Est-il sûr de demander à l’IA d’ajouter ses sources ?

Demander des sources est utile, mais ne suffit pas à garantir la sécurité. Une personne doit vérifier que chaque source existe, qu’elle correspond au contenu et qu’elle est à jour.

L’utilisation de Kanata élimine-t-elle les hallucinations ?

Kanata est une plateforme professionnelle qui facilite notamment le chat IA, la synthèse par IA, l’e-learning et l’organisation des informations par projet. Comme ses fonctionnalités reposent sur l’IA, les contenus qu’elle produit doivent néanmoins être vérifiés. Pour prévenir les hallucinations, il faut associer les fonctionnalités de l’outil à une revue humaine et à des règles internes.

Partager cet article