L’« IA fantôme » est le nouvel incident de sécurité auquel vous devez faire face en première ligne
Tout outil d’IA gratuit utilisé au sein de votre organisation constitue un risque d’incident de sécurité. Ces plateformes collectent des informations issues des invites, les stockent et les utilisent pour entraîner des modèles publics, sans que vous ayez la moindre visibilité sur ce qui est utilisé ou non. Un collaborateur qui télécharge un document confidentiel sur un outil d’IA gratuit fait sortir ces données de votre périmètre de sécurité, où vous ne pouvez plus en contrôler l’accès.
L’ampleur du phénomène est plus importante que ne le supposent la plupart des équipes informatiques. Des chercheurs du projet NANDA du MIT, dans « The GenAI Divide : State of AI in Business 2025 », décrivent « une « économie parallèle de l’IA » florissante, dans laquelle les employés utilisent des comptes ChatGPT personnels, des abonnements à Claude et d’autres outils grand public pour automatiser une part importante de leurs tâches, souvent sans connaissances informatiques ni autorisation de la part du service informatique ». Le rapport chiffre ce phénomène : « Alors que seules 40 % des entreprises déclarent avoir souscrit un abonnement officiel à un modèle de langage (LLM), les employés de plus de 90 % des entreprises que nous avons interrogées ont indiqué utiliser régulièrement des outils d’IA personnels pour leurs tâches professionnelles. » Les chercheurs y ont vu un signe de ce que les employés jugent utile. Du point de vue de la sécurité, cela constitue également une illustration de la circulation des données d’entreprise sans contrôle.
Pourquoi l’« IA fantôme » échappe aux contrôles de l’« informatique fantôme »
Les responsables informatiques ont passé la dernière décennie à tenter de contenir l’informatique parallèle. Les équipes ont verrouillé les réseaux, imposé la gestion des appareils mobiles, bloqué les applications SaaS non approuvées et vérifié les fournisseurs tiers avant la signature des contrats. Ces contrôles reposent sur le respect des procédures par tous, mais lorsqu’un outil gratuit permet d’accélérer le travail, les motivations changent. Les responsables de magasin et le personnel de vente se tournent vers des outils LLM gratuits pour rédiger les annonces de service et examiner les rapports d’incidents clients. Outre le risque classique de fuite de données, cette pratique d’IA « fantôme » soulève de nouveaux défis : des réponses inexactes, un code source non sécurisé et des intégrations que personne n’a approuvées.
L’utilisation décentralisée de l’IA engendre également des risques de non-conformité au regard de la loi européenne sur l’IA, du Top 10 de l’OWASP, du cadre de gestion des risques liés à l’IA (AI RMF) du NIST et de la norme ISO 42001. Pour les organisations gérant des centaines, voire des milliers de sites, la réponse est la même que celle que le service informatique applique à tout autre élément d’infrastructure. Vous n’utiliseriez pas un routeur domestique pour sécuriser les réseaux d’entreprise ; alors pourquoi utiliseriez-vous un chatbot grand public dans un processus opérationnel de première ligne ? L’alternative consiste à recourir à une IA conçue pour un usage professionnel et contrôlée par votre service informatique, qui peut être déployée avec précision là où l’équipe de première ligne travaille déjà.
IA grand public ou IA d’entreprise : qui contrôle les données ?
Un collaborateur qui s’inscrit de son propre chef sur une plateforme d’IA commerciale achète un service tout prêt. Ce faisant, l’entreprise perd toute visibilité sur la manière dont ses données sont conservées, sans parler du contrôle du modèle sous-jacent.
Un LLM grand public est livré avec ses propres restrictions, fonctionnalités, garde-fous, etc., déjà intégrés. Vous n’avez aucun contrôle là-dessus. En revanche, lorsque vous achetez directement via une API sécurisée, le client professionnel peut définir des garde-fous conformément à ses propres normes.
Le dilemme se résume à savoir qui contrôle les données :
- Consommateur / IA « fantôme » : forme des modèles publics à partir de données d’entreprise et ne fournit aucun journal d’audit à l’entreprise. Elle repose sur des invites ouvertes, sans aucune contrainte organisationnelle.
- IA d’entreprise réglementée : elle fournit des instances de données isolées dans lesquelles les données internes ne sont jamais utilisées pour entraîner des modèles externes. Elle utilise des requêtes filtrées par rôle afin de faire respecter les contraintes internes et les autorisations des utilisateurs.
Tout se résume finalement à savoir qui contrôle les données.
Un dirigeant interrogé dans le cadre d’une étude du MIT a décrit une exigence fondamentale pour tout fournisseur d’IA : « Je ne peux pas prendre le risque que les données de mes clients soient mélangées avec celles d’un autre modèle, même si le fournisseur affirme que cela ne pose aucun problème. »
Le déploiement d’une API dédiée comble cette lacune, car il permet à l’entreprise de configurer sa propre politique de conservation des données et son propre périmètre de sécurité.
Comment WorkJam utilise Gemini via une API sécurisée
Chez WorkJam, notre partenariat avec Google nous donne accès à Gemini au niveau de base. Nous nous connectons via une interface API contrôlable, ce qui nous permet de mettre en place nos propres mesures de protection en complément de la sécurité fournie par Google. L’agent IA fonctionne dans le respect des contraintes propres à chaque utilisateur, notamment les plannings de travail, les règles en matière d’emploi et les conventions collectives. Il respecte également les politiques de l’entreprise, même en cas de volumes de transactions élevés.
La protection des données grâce à une architecture en « boîte fermée »
Lorsque les responsables de première ligne copient-collent des données de performance des magasins ou des procédures opérationnelles standard propriétaires dans des modèles de langage grand public (LLM), ces informations sortent du périmètre de l’entreprise. La résolution du problème de l’« IA fantôme » nécessite davantage qu’une simple restriction réglementaire. Les employés ont recours à ces outils parce qu’ils leur sont utiles, et les chercheurs du MIT ont constaté que « cette utilisation parallèle crée une boucle de rétroaction : les employés savent ce qu’est une IA performante, ce qui les rend moins tolérants envers les outils d’entreprise figés ».
Cet outil est une solution sécurisée, spécialement conçue pour s’intégrer aux flux de travail que les équipes de première ligne utilisent déjà.
Fonctionnement de l’agent IA en « boîte fermée »
Nous avons conçu l’agent IA de WorkJam comme un système fermé qui s’appuie sur les données et les systèmes d’entreprise validés par le client. Ainsi, chacune de ses recommandations est traçable et un intervenant humain est chargé de l’examiner et de la valider avant que toute action ne soit mise en œuvre sur site ou en atelier.
Cette conception s’appuie sur le cadre « Insights to Execution ». La plateforme génère des informations à partir des données opérationnelles et des systèmes d’entreprise. L’architecture s’appuie sur le « Task Priority Engine », qui recalcule en continu les priorités à partir de six catégories de signaux : opérations en magasin, main-d’œuvre, signaux clients, signaux commerciaux, IA d’entreprise et données de tâches WorkJam. Ce moteur génère des codes de justification explicables afin de démontrer que l’IA agit selon une logique et non sur la base de suppositions. Ainsi, les améliorations au fil du temps découlent toujours de résultats concrets et les suggestions ne sont jamais conservées. De plus, aucune saisie effectuée par un collaborateur dans l’interface ne sert de données d’entraînement pour des modèles externes.
Ce système fonctionne uniquement à partir de vos données validées, et chaque recommandation est validée par une personne avant que quoi que ce soit ne se passe sur le terrain.
Les conversations en plusieurs étapes guident les collaborateurs à travers des questions complexes et des procédures étape par étape, directement depuis l’interface.
Pour les équipes de première ligne, l’agent IA exécute des flux de travail. Il gère les conversations à plusieurs échanges afin de guider les collaborateurs dans le traitement de demandes complexes ou de procédures étape par étape. Un collaborateur peut échanger un service ou suivre une étape de formation directement depuis l’interface, sans avoir à ouvrir une nouvelle application.
L’architecture garantit une conservation nulle des données saisies. Lorsqu’un personnel de terrain interagit avec l’agent IA, le système ne conserve pas les données confidentielles saisies pour entraîner des modèles externes.
Des barrières visant à empêcher le travail en dehors des horaires de travail
Nous limitons également l’accès à l’agent IA en fonction des horaires, du lieu et du réseau, de sorte qu’un salarié qui n’est pas en service ou qui se trouve hors site ne puisse pas accéder aux fonctionnalités donnant droit à une rémunération. L’agent est ainsi en mesure d’empêcher que les interactions ne donnent lieu à une activité rémunérable en dehors des horaires de travail, conformément à la loi sur les normes du travail équitables (Fair Labor Standards Act, FLSA) et aux lois relatives à la planification prévisionnelle des horaires. Une piste d’audit complète et la recherche de données à des fins de conservation préventive en cas de litige fournissent au directeur juridique et aux responsables des ressources humaines les éléments dont ils ont besoin.
Conformité mondiale et modèles de base certifiés
Nous développons notre agent IA sur la plateforme Gemini de Google, car Google détient la certification ISO 42001, qui offre un cadre vérifié garantissant le respect de la législation en matière d’IA, notamment la loi européenne sur l’IA. Cette certification nous apporte un niveau de sécurité de base sur lequel nous pouvons compter, et c’est à partir de là que commence notre propre travail.
La valeur ajoutée de WorkJam réside dans la couche d’exécution qui vient se superposer au modèle de base. Cette couche prend une décision et la met en œuvre sur le terrain grâce aux outils que le Personnel de terrain utilise déjà. En associant un modèle de base certifié à nos contrôles d’exécution, vous obtenez des flux de travail autonomes qui vous permettent de respecter vos obligations de conformité.
Comment nous testons nos mécanismes de contrôle de l’IA
Dès le début, nous avons nous-mêmes procédé à des tests d’intrusion sur les mécanismes de contrôle du fournisseur, identifié des moyens de les renforcer et sommes allés au-delà des recommandations du fournisseur. Nous continuons à tester chaque année notre technologie d’IA, y compris ses mécanismes de contrôle, dans le cadre de nos tests d’intrusion.
Intégration avec le protocole MCP (Model Context Protocol)
Les DSI d’entreprise s’attendent à ce que les nouvelles plateformes s’intègrent de manière transparente aux investissements qu’ils ont déjà réalisés en matière d’IA. WorkJam utilise le Model Context Protocol (MCP) comme interface standard pour relier directement les opérations de terrain aux outils d’IA existants de l’entreprise et aux sources de données tierces.
C’est précisément cette connectivité qui constitue le prochain risque de sécurité. Les serveurs MCP et les connexions entre agents permettent à un agent IA d’en appeler un autre, et si ce dernier dispose d’autorisations plus étendues, le premier peut en hériter. Une personne qui met en place un serveur MCP à l’insu du service informatique représente la forme la plus récente d’IA « fantôme », et les équipes de sécurité ont besoin d’outils capables de la détecter et de la désactiver. Chez WorkJam, nous avons développé des outils internes qui permettent à notre équipe d’assurer une surveillance humaine de ces interactions, avec la possibilité de bloquer une connexion et de limiter la portée d’une interaction donnée, ce que les équipes de sécurité appellent son « rayon d’action ».
Autonomie encadrée
Tout outil d’IA grand public non surveillé utilisé en première ligne constitue un risque de non-conformité. Le remplacement de ces outils non autorisés par une alternative sécurisée protège vos données et réduit les risques.
C’est ce que nous entendons par « autonomie encadrée » : une IA qui fonctionne dans le respect des contraintes de l’entreprise et qui respecte toutes les autorisations des utilisateurs, tous les rôles et toutes les règles de délimitation des équipes.
Cette architecture empêche toute activité compensable hors cadence tout en laissant aux opérateurs humains le contrôle à tous les niveaux.
Foire aux questions sur Shadow AI
Qu’est-ce que l’IA « fantôme » ?
L’« IA fantôme » désigne l’utilisation par les employés d’outils d’IA non approuvés, généralement gratuits, pour accomplir leur travail, hors de la portée et du contrôle des services informatiques et de sécurité. Il s’agit de la version « IA » de l’« informatique fantôme », qui transfère les données de l’entreprise vers des systèmes que l’organisation ne peut ni voir ni contrôler.
Dans quelle mesure l’IA fantôme est-elle répandue ?
Le projet NANDA du MIT a révélé que les employés de plus de 90 % des entreprises interrogées déclaraient utiliser régulièrement des outils d’IA personnels dans le cadre de leur travail, tandis que seules 40 % des entreprises affirment avoir souscrit un abonnement officiel à un modèle de langage de grande envergure (LLM).
L’utilisation d’un outil d’IA gratuit au travail constitue-t-elle un incident de sécurité ?
Considérez-le comme tel. Les LLM grand public gratuits conservent généralement ce que les utilisateurs saisissent et peuvent s’en servir pour entraîner des modèles publics ; ainsi, un employé qui copier-colle un document confidentiel dans l’un d’entre eux peut faire sortir ces données hors du contrôle de l’entreprise avant même que quiconque ne s’en rende compte.
Quelle est la différence entre l’« IA fantôme » et l’« informatique fantôme » ?
Le « Shadow IT » désigne tout logiciel ou service non approuvé. Le « Shadow AI » est le sous-ensemble consacré aux outils d’IA non approuvés ; il comporte des risques allant au-delà de la fuite de données, notamment des résultats inexacts, un code non sécurisé et des intégrations entre agents non sécurisées.
Comment les entreprises peuvent-elles prévenir l’utilisation clandestine de l’IA sur le terrain ?
Offrez à vos collaborateurs une solution sécurisée, spécialement conçue pour les tâches qu’ils souhaitent accomplir et gérée par le service informatique, puis associez-y un système de surveillance capable de détecter et d’empêcher toute utilisation non autorisée de l’IA.
Qu’est-ce que la norme ISO 42001, et en quoi est-elle importante pour l’IA ?
La norme ISO/IEC 42001 est une norme internationale relative aux systèmes de gestion dans le domaine de l’intelligence artificielle. Elle définit un cadre de référence pour la mise au point d’une IA sécurisée, responsable et régie par des principes éthiques, et s’aligne sur les obligations prévues par des textes législatifs tels que la loi européenne sur l’IA.
La loi européenne sur l’IA s’applique-t-elle aux outils d’IA destinés au grand public ?
Oui, lorsque ces outils concernent des travailleurs ou des activités au sein de l’UE. À l’instar du RGPD, cette réglementation prévoit des sanctions en cas de non-respect et impose des mesures de protection, notamment l’intervention d’un être humain.
About the author:
Anthony English
Vice-président chargé de la sécurité et responsable de la sécurité des systèmes d'information (RSSI)
Cadre expérimenté en sécurité et RSSI (Responsable de la sécurité des systèmes d’information) doté d’une vaste expérience internationale, ayant accompagné des organisations mondiales dans les secteurs de la finance, de la santé, des administrations publiques, des services publics, du commerce de détail, des forces de l’ordre, de l’industrie manufacturière et des jeux d’argent. Reconnu pour sa capacité à assimiler, mettre en œuvre et communiquer rapidement des concepts techniques complexes à la haute direction et aux conseils d’administration. Conférencier et chercheur expérimenté, ayant pris la parole lors des sommets sur la sécurité organisés par European Lotteries et la World Lottery Association, lors d’événements du PECB, à Infosec World, lors des sommets sur les jeux d’argent tribaux, de sommets sur la réglementation et de conférences sectorielles. Maîtrise approfondie d’un large éventail de référentiels et de normes, notamment FedRAMP, NIST, MITRE, SANS, COBIT, RGPD, HIPAA, LPRPDE, ITIL, ISO 27701, ISO 27017, ISO 42001, PCI-DSS, SOC 2, ISO/IEC 27001, ISO/IEC 22301, ITSG-33, SOX, OSFI, CMMC et WLA-SCS. Compétences en matière d’audits, de processus d’appel d’offres et de cahiers des charges, de gouvernance, de sécurité de l’IA, de mise en œuvre de systèmes de gestion de la sécurité de l’information (SGSI), de gestion des risques et de stratégie de sécurité d’entreprise. Je siège et ai siégé au sein de plusieurs comités internationaux, notamment la Cloud Security Alliance, le Conseil canadien des normes (sécurité informatique) et divers groupes de travail consacrés à la recherche en matière de sécurité. Découvrez quelques-uns des webinaires que j'ai animés : https://www.youtube.com/@PECBGroup/search?query=anthony%20english
