Que se passe-t-il lorsque des chatbots basés sur l'IA divulguent des données internes à l'entreprise ?
par
Dernière mise à jour :
6 Temps de lecture : 2 min
Points clés à retenir
- Les chatbots peuvent exposer des identifiants, des informations personnelles, du code source, des données financières et de la propriété intellectuelle.
- Les assistants connectés présentent davantage de risques, car ils peuvent extraire des données d'autres systèmes d'entreprise.
- Le fait de supprimer la conversation visible ne prouve pas que les journaux, les copies ou les actions en aval aient disparu.
- Votre première réaction doit porter sur le confinement, la préservation des preuves, la rotation des identifiants et l'évaluation de l'exposition.
- Les politiques seules ne suffisent pas. Il faut également mettre en place un accès restreint, des mesures de prévention contre la perte de données et une gouvernance claire en matière d'IA.
Une fuite de données provenant d’un chatbot basé sur l’IA se limite rarement à la conversation d’origine. Vous pourriez être amené à changer les mots de passe, à informer les clients conformément à la législation sur la protection des données, à détruire les documents confidentiels ou à faire face à des tentatives d’hameçonnage et à des fraudes aux paiements tirant parti du contexte divulgué.
Le fait que des employés copient-collent du texte confidentiel dans un chatbot public n'est qu'un point d'entrée parmi d'autres. Les assistants IA connectés peuvent effectuer des recherches dans votre boîte de réception, votre espace de stockage dans le cloud, votre CRM et vos messages internes. Si vous accordez à l'un de ces assistants des autorisations trop étendues, ou si vous le laissez suivre des instructions malveillantes dissimulées dans un document, une simple interaction peut se transformer en une fuite de données à grande échelle.
Comment un chatbot peut-il divulguer des données internes ?
Une fuite de données provenant d'un chatbot peut se produire de trois manières différentes :
1. Un salarié divulgue des informations confidentielles
Un employé peut par exemple télécharger du code source pour le déboguer, copier-coller des informations sur un client dans un assistant de rédaction ou envoyer des notes de réunion pour qu’elles soient synthétisées. La plupart cherchent simplement à travailler plus vite.
Un outil d'IA public ou non approuvé ne fait pas partie de votre environnement professionnel habituel. Dès qu'un collaborateur soumet des informations, vous risquez de perdre le contrôle sur la manière dont celles-ci sont enregistrées, conservées ou traitées.
Il s'agit là d'un aspect parmi d'autres des risques plus généraux liés à la cybersécurité que présente l'IA générative, parmi lesquels figurent le hameçonnage, l'usurpation d'identité, la fraude et le vol de propriété intellectuelle.
2. Un assistant connecté fournit plus d'informations que prévu
Un chatbot basique peut n'avoir accès qu'à la conversation en cours. Un assistant connecté peut quant à lui effectuer des recherches dans les e-mails, les espaces de stockage partagés, les agendas, le chat interne, les dossiers clients et les référentiels de code.
Cela pose un problème d'autorisations. L'assistant n'a peut-être pas besoin d'accéder à un dossier protégé. Il peut faciliter l'utilisation d'autorisations trop générales, obsolètes ou mal configurées.
Imaginons qu'un salarié demande un résumé des discussions concernant une restructuration à venir. L'assistant pourrait retrouver les projets de documents des RH et les e-mails de la direction auxquels le salarié avait accès sur papier, mais qu'il n'aurait jamais pu trouver en cherchant manuellement.
3. Un contenu malveillant manipule l'assistant
Un pirate peut dissimuler des instructions dans un e-mail, une page Web, un document ou un ticket d'assistance. S'il lit ce contenu, l'assistant risque de confondre les mots du pirate avec une commande autorisée.
Il s'agit d'une injection indirecte de commande. Un pirate peut utiliser un document piégé pour pousser l'assistant à rechercher des fichiers confidentiels, à révéler des informations de compte ou à contacter un service externe. L'employé a peut-être simplement demandé à l'assistant de résumer un fichier d'apparence tout à fait banale.
Que se passe-t-il après une fuite de données d'un chatbot ?
Les conséquences dépendent de la nature des données exposées, des systèmes auxquels le chatbot a pu accéder et du fait que ces informations aient ou non quitté l'environnement autorisé.
Les identifiants ne sont plus sécurisés
Si les données divulguées contiennent des mots de passe, des clés API, des jetons d'authentification ou des identifiants de base de données, partez du principe qu'ils ont pu être copiés.
Il ne suffit pas de supprimer la conversation. Révoquez et remplacez les identifiants, vérifiez s'ils ont été utilisés et supprimez-les des fichiers et dépôts concernés.
La divulgation d'informations confidentielles peut favoriser la fraude
Les documents internes peuvent révéler qui approuve les paiements, le style rédactionnel des dirigeants et les fournisseurs auxquels vous faites appel. Ils peuvent également donner un aperçu de la présentation des factures et indiquer quand les décideurs sont en déplacement.
Un pirate peut exploiter ce contexte pour mettre en place des attaques convaincantes de type « Business Email Compromise » (BEC), d’usurpation d’identité de fournisseur ou de fraude visant les dirigeants.
Le protocole DMARC n’empêchera pas un employé de publier un document confidentiel, mais il peut empêcher les pirates d’usurper votre domaine afin d’exploiter ce contexte divulgué dans des e-mails frauduleux.
La propriété intellectuelle pourrait perdre de la valeur
Le code source, les plans de produit, les modèles tarifaires et les informations relatives aux appels d'offres peuvent perdre toute leur valeur commerciale dès lors qu'ils tombent entre de mauvaises mains.
Une fuite peut entraîner des problèmes contractuels si des informations relatives aux clients ou des documents appartenant à des partenaires ont transité par un outil non autorisé. En fonction des données concernées et de la juridiction applicable, vous devrez peut-être vous pencher sur la législation en matière de protection de la vie privée, les clauses de confidentialité et les accords de traitement des données. Vérifiez également les conditions de votre assurance cyber et vos obligations de déclaration.
« La plus grande erreur consiste à considérer les fuites de données liées à l'IA comme un simple problème de traitement des requêtes. Dès lors qu'un chatbot est capable d'effectuer des recherches dans les e-mails, les fichiers et les enregistrements du CRM, cela devient un problème d'identité, d'accès et de gestion des incidents. »
Brad Russell, fondateur de Digital Hitmen
Début des frais d'enquête et de recouvrement
Vous pourriez avoir besoin de conseils juridiques, d'une expertise en criminalistique numérique et d'un remplacement de vos identifiants. Des communications avec les clients, une surveillance des systèmes et des restrictions temporaires concernant l'IA peuvent s'ensuivre.
Le rapport 2026 d’IBM sur le coût des fuites de données estime le coût moyen mondial d’une fuite de données à 4,99 millions de dollars, un niveau record, avec une hausse de 56 % des attaques basées sur l’IA par rapport à l’année précédente. Parmi les organisations ayant signalé un incident de sécurité lié à l’IA, 92 % ne disposaient pas de contrôles d’accès adéquats à l’IA, et seules 40 % d’entre elles utilisaient des contrôles d’accès aux modèles et aux données d’IA. Ces chiffres indiquent que les failles de sécurité liées à l’IA relèvent davantage de défaillances en matière d’accès et de gouvernance que de défaillances des modèles eux-mêmes.
Que faut-il faire au cours des 24 premières heures ?
Votre priorité est de maîtriser l'incident sans détruire les éléments de preuve nécessaires à sa compréhension.
1. Débranchez l'outil concerné
Désactivez ou restreignez l'accès au compte, et supprimez son accès aux services associés : messagerie électronique, stockage, CRM, navigateur et messagerie instantanée. Suspendre les actions externes automatisées, mais ne pas effacer le compte avant d'avoir sauvegardé les journaux pertinents.
2. Préserver les éléments de preuve
Collecte :
- Questions et réponses
- Noms des fichiers téléchargés
- Journaux des connecteurs et d'identité
- Appels d'outils
- Demandes réseau sortantes
- Historique du navigateur
- Changements administratifs
- Activité pertinente liée aux e-mails
Vous devez déterminer ce que l'assistant a vu, récupéré et fait.
3. Identifier les informations exposées
Déterminez :
- Quels dossiers étaient concernés ?
- Que des informations personnelles ou des identifiants aient été inclus ou non
- Quels étaient les systèmes connectés accessibles ?
- Que des informations aient été transmises à l'extérieur de l'entreprise
- Qui a pu le recevoir ?
Ne partez pas du principe que la réaction visible reflète toute l'ampleur de l'incident.
4. Révocation des identifiants compromis
Remplacez dès maintenant les mots de passe, clés, jetons et liens partagés concernés. Vérifiez les historiques de connexion et d'accès afin de détecter toute activité suspecte survenue après la fuite présumée.
5. Évaluer les obligations de notification
Passez en revue vos obligations légales, réglementaires, contractuelles et en matière d'assurance. Demandez un avis juridique lorsque l'incident concerne des informations à caractère personnel, des documents protégés par le secret professionnel, des données importantes relatives à la clientèle ou des éléments sensibles relevant de la propriété intellectuelle.
6. Communiquez avec prudence
Indiquez aux personnes concernées ce qui a été confirmé, ce qui fait encore l'objet d'une enquête et ce qu'elles doivent faire ensuite. Évitez d'affirmer que personne n'a accédé aux données tant que vous ne disposez pas de preuves à l'appui.
Comment éviter une nouvelle fuite de données liée à un chatbot ?
Il faut mettre en place plusieurs niveaux de contrôle. La formation des employés est utile, mais elle ne peut pas à elle seule assurer l'ensemble de la protection.
Mettre en place un environnement d'IA homologué
Une interdiction générale peut pousser les employés à se tourner vers des comptes personnels et à utiliser des IA parallèles. Fournissez à votre personnel un outil professionnel approuvé, doté d'une administration centralisée et d'un journal d'audit. Ajoutez-y des contrôles de conservation des données, des connecteurs gérés et une authentification unique.
Définir les données interdites
Précisez les informations que le personnel ne doit pas saisir dans des outils publics ou non approuvés, notamment :
- Mots de passe et jetons d'accès
- Bases de données clients
- Informations d'identité ou informations médicales
- Conseils juridiques
- Code source confidentiel
- Informations financières non publiées
- Projets d'acquisition ou de restructuration
« Ne partagez pas de données sensibles » est une consigne trop vague pour orienter les comportements.
Mettre en œuvre la prévention des pertes de données
Les contrôles de prévention des pertes de données peuvent analyser les invites, les fichiers téléchargés et le texte copié afin d'y détecter des identifiants, des informations personnelles et des données de paiement. Ils peuvent également signaler le code source et les mentions de confidentialité. En fonction du risque, le contrôle peut émettre un avertissement, masquer certaines informations, bloquer l'opération ou exiger une validation.
Limiter les autorisations des chatbots et des agents
Chaque assistant connecté ne devrait avoir accès qu'aux systèmes et aux dossiers nécessaires à l'accomplissement de sa mission.
Dans les environnements Microsoft, les équipes de sécurité peuvent bloquer les agents IA à haut risque dans Microsoft Entra à l'aide de l'accès conditionnel. PowerDMARC précise que cela s'applique aux identités d'agents, tandis que les agents utilisant les autorisations déléguées d'une personne nécessitent des contrôles distincts axés sur l'utilisateur.
Limiter les actions externes
Exiger une validation humaine avant qu'un assistant n'envoie un e-mail externe, n'exporte des données ou ne partage des documents. Il en va de même pour la modification des autorisations, la création de demandes de paiement, la prise de contact avec un domaine inconnu ou l'exécution de code.
Protéger le canal de messagerie électronique
Les fuites liées à l'IA et la fraude par e-mail peuvent se renforcer mutuellement. Utilisez les protocoles SPF, DKIM et DMARC, ainsi que l'authentification multifactorielle et le filtrage des e-mails. Ajoutez à cela une vérification indépendante pour les paiements ou les modifications de compte.
L'authentification par e-mail n'empêchera pas toutes les fuites liées aux chatbots, mais elle rendra votre domaine plus difficile à usurper dès lors qu'un pirate dispose d'informations internes utiles pour mener son attaque.
Considérer les assistants IA comme des utilisateurs privilégiés du système
Ne considérez pas une fuite de données liée à un chatbot comme une simple erreur isolée d'un employé, ni comme une conversation que vous pouvez supprimer et oublier.
Un assistant IA ayant accès aux e-mails, aux fichiers professionnels et aux systèmes clients fait monter les enjeux. Une fuite peut exposer des identifiants, favoriser la fraude, déclencher des obligations contractuelles ou nécessiter une intervention officielle en cas d'incident.
Il n'est pas nécessaire de se méfier de l'IA. Considérez chaque assistant connecté comme un utilisateur privilégié du système. Limitez ce que chaque assistant peut lire et envoyer, consignez ses actions et assurez-vous de pouvoir le désactiver rapidement en cas de problème.
Expert en sécurité des domaines et des e-mails chez PowerDMARC
Ahona est la responsable du marketing chez PowerDMARC, avec plus de 5 ans d'expérience dans l'écriture sur des sujets de cybersécurité, spécialisée dans la sécurité des domaines et des courriels. Ahona est titulaire d'un diplôme de troisième cycle en journalisme et communication, solidifiant sa carrière dans le secteur de la sécurité depuis 2019.
Derniers messages de Ahona Rudra (voir tous)
