Quels sont les risques de l’IA générative pour une entreprise française ?
- il y a 5 jours
- 6 min de lecture
L’intelligence artificielle générative peut améliorer la productivité, accélérer l’accès à l’information et faciliter la création de contenus. Elle introduit aussi des risques nouveaux. Ceux-ci ne proviennent pas uniquement du modèle. Ils naissent souvent de la combinaison entre un outil imparfait, des données sensibles, un processus mal défini et une confiance excessive de l’utilisateur. Dans le détail ...
Synthèse : Les principaux risques concernent la confidentialité, les erreurs convaincantes (hallucinations), les biais, la propriété intellectuelle, le RGPD, la cybersécurité, les instructions malveillantes, les actions autonomes, l’absence de traçabilité et la dépendance à un fournisseur. Ils peuvent être réduits par une politique sur les outils utilisés, une supervision humaine, des tests et une gouvernance proportionnée. |
Un risque qui dépend toujours du contexte d’usage
La même erreur n’a pas les mêmes conséquences selon la situation. Une approximation dans un brouillon interne peut être corrigée sans problème pour la suite. La même approximation dans un contrat, une recommandation financière, une réponse médicale ou une décision de recrutement peut produire un préjudice important.
L’évaluation doit prendre en compte 4 facteurs : la sensibilité des données, la gravité (potentielle) d’une erreur, le nombre de personnes concernées et le degré d’autonomie du système. Un outil qui suggère une réponse présente moins de risques qu’un agent autorisé à l’envoyer ou à modifier un dossier.
1. La fuite de données confidentielles
Un collaborateur peut copier (et je suis convaincu que c'est fréquemment le cas) dans un service d’IA un contrat, une base clients, un document stratégique, un code source ou des données personnelles. Selon la solution et le contrat avec le prestataire d'IA, ces informations peuvent être conservées, utilisées pour améliorer le service ou même toujours accessibles pour des raisons techniques internes. La prévention repose donc sur des outils approuvés, une configuration adaptée, une authentification d’entreprise, une classification des données et des règles simples : ne pas transmettre de secrets d’affaires, de données personnelles non nécessaires ou de documents soumis à une obligation de confidentialité.
2. Les hallucinations et les erreurs (très) convaincantes
Une IA générative produit une réponse plausible à partir de régularités statistiques. Elle peut inventer une source, confondre deux notions, effectuer un calcul erroné (ce qui arrive encore régulièrement) ou présenter comme certain un élément qui est en réalité incertain. La qualité de la rédaction d'une réponse peut masquer la faiblesse du contenu.
La CNIL souligne qu’une confiance excessive sans vérification appropriée peut conduire à des décisions ou à des conclusions incorrectes. Consulter les questions-réponses de la CNIL
La mesure essentielle consiste à définir ce qui doit être vérifié, par qui et à partir de quelles sources. Pour les usages sensibles, la réponse doit être confrontée aux documents d’origine et non simplement relue.
3. Les biais et les discriminations
Les modèles peuvent reproduire des biais présents dans les données d’entraînement, dans les consignes ou dans les choix de conception. Le risque est particulièrement élevé lorsque l’outil classe des candidats, recommande une décision ou produit des appréciations concernant des personnes.
Les contrôles doivent systématiquement inclure des tests sur des cas diversifiés, une analyse des écarts de traitement. Le recours à une validation humaine ne suffit pas si la personne se contente d’approuver la recommandation de la machine.
4. L’atteinte à la propriété intellectuelle
Un contenu généré peut reprendre des éléments protégés, imiter une création ou intégrer des informations dont l’entreprise ne détient pas les droits. Inversement, les données fournies au modèle peuvent contenir des œuvres, des logiciels ou des documents appartenant à d'autres.
L’entreprise doit préciser les usages permis (c'est une question de responsabilité!), conserver les éléments ayant servi à la création, vérifier les licences et éviter de demander la reproduction d’un style, d’une marque ou d’un contenu identifiable. Les documents à forte valeur doivent faire l’objet d’une validation juridique
5. Le non-respect du RGPD
Dès qu’un système traite des données personnelles, l’entreprise doit examiner la finalité, la base juridique, la minimisation des données, l’information des personnes, la durée de conservation, les transferts et les droits d’accès ou d’opposition. Les difficultés sont plus fortes lorsque le modèle a été entraîné sur de très grands volumes de données ou lorsque son fonctionnement reste peu explicable.
La CNIL a publié plusieurs recommandations sur l’application du RGPD au développement et au déploiement des systèmes d’IA. Accéder au dossier de la CNIL
6. Les risques de cybersécurité
Un système d’IA peut devenir un nouveau point d’accès au système d’information. Les risques concernent notamment les clés d’API, les connecteurs, les droits excessifs, les données utilisées pour enrichir les réponses, les dépendances logicielles et les interfaces exposées. L’ANSSI recommande de sécuriser l’ensemble de l’architecture, depuis la conception et l’entraînement jusqu’au déploiement en production. Guide de l’ANSSI sur les systèmes d’IA générative
7. La prompt injection et les "instructions cachées"
Une "prompt injection" consiste à faire suivre au système une instruction malveillante contenue dans une question, une page Web, un courriel ou un document analysé. L’outil peut être incité à ignorer ses règles, à révéler des informations, à appeler un service ou à produire une action indésirable. Ce risque devient critique lorsque l’IA consulte des sources externes ou dispose d’outils. Il faut séparer les données et les instructions, limiter les accès, filtrer les contenus, historiser les actions et exiger une validation avant toute opération sensible.
8. Les actions non autorisées des agents d’IA
Les agents promettent d’automatiser des chaînes complètes : rechercher une information, rédiger une réponse, mettre à jour un logiciel et informer un client. Cette autonomie augmente le risque d’erreur en cascade. Une mauvaise donnée ou une instruction ambiguë peut entraîner plusieurs actions cohérentes entre elles, mais, au final, incorrectes.
Un agent ne doit donc accéder qu’aux ressources nécessaires. Les actions irréversibles, financières, juridiques ou destinées à l’extérieur doivent être soumises à une approbation humaine explicite.
9. L’absence de traçabilité
Lorsqu’un résultat est contesté, Il faut pouvoir reconstituer le contexte : version du modèle, documents utilisés, consigne, réponse, modifications humaines et décision finale. Sans cette traçabilité, il devient difficile (impossible) de corriger une erreur, de traiter un incident ou de démontrer que les contrôles ont été réalisés. L'historisation doit cependant rester proportionné et respecter elle aussi la protection des données. Elle ne consiste pas à conserver indéfiniment toutes les conversations, mais à documenter les usages importants.
10. La dépendance à un fournisseur
Les prix, les modèles, les conditions de service ou les politiques de confidentialité évoluent. Un outil doit pouvoir être retiré car il peut devenir incompatible avec les exigences de l’entreprise. Les performances peuvent aussi varier (c'est ce qui se passe en permanence) après des mises à jour.
La prévention passe par des contrats adaptés, des formats exportables, une architecture limitant l’enfermement technologique, (autant que possible) des tests comparatifs et un scénario de remplacement. Pour les processus essentiels, l’entreprise doit connaître le coût et le délai de sortie.
Synthèse : risques de l’IA générative pour une entreprise française et contrôles adaptés
Risque | Contrôle prioritaire |
Données confidentielles | Outils approuvés, règles de données et limitation des accès. |
Hallucinations | Vérification à partir de sources de référence. |
Biais | Tests, suivi des écarts et possibilité de contestation. |
Propriété intellectuelle | Vérification des licences et validation des contenus sensibles. |
RGPD | Finalité, minimisation, information et analyse d’impact si nécessaire. |
Cybersécurité | Architecture sécurisée, secrets protégés et historisation. |
Prompt injection | Séparation instructions/données et validation des actions. |
Agents autonomes | Moindre privilège et approbation des opérations sensibles. |
Traçabilité | Documentation du contexte, des sources et de la décision. |
Dépendance fournisseur | Réversibilité, tests et solution de remplacement. |
Une méthode simple pour décider du niveau de contrôle
Pour chaque cas d’usage, trois questions qu'on doit se poser :
1. Que se passe-t-il si la réponse est fausse ?
2. Quelles données l’outil peut-il voir ou modifier ?
3. Une personne compétente peut-elle détecter et arrêter l’erreur ?
Lorsque les conséquences sont faibles, une vérification par l’utilisateur peut suffire. Lorsque l’impact est élevé ou difficilement réversible, l’entreprise doit ajouter des tests, une validation indépendante, un suivi quotidien et parfois renoncer à l’automatisation.
En savoir plus sur le sujet : https://www.omestra.com/post/gouvernance-ia-entreprise
En définitive :
L’IA générative n’est pas dangereuse par nature. Le risque de l’IA générative pour une entreprise française apparaît lorsque l’organisation lui confie une tâche sans préciser les données autorisées, le niveau de qualité attendu, le responsable du contrôle et la conduite à tenir en cas d’incident.
La bonne réponse n’est donc ni l’interdiction générale ni l’adoption sans réserve. Elle consiste à adapter les protections aux conséquences possibles de l’erreur.
Omestra — Omestra aide les entreprises à cartographier leurs risques, définir les usages autorisés, former les équipes et intégrer les contrôles nécessaires dans les processus métiers. |
