IA et cybersécurité : opportunité ou menace ?

Lors d’une étude de 2024, 66% des organisations interrogées ont déclaré que l’utilisation de l’Intelligence Artificielle dans la cybersécurité était pour eux d’une haute priorité. Cette technologie est à double tranchant, représentant tant une opportunité pour les cybercriminels que pour les défenseurs.

L’intelligence artificielle dans la cybersécurité

Depuis le boom de l’IA générative en 2022 avec la sortie de GPT-3.5, l’intelligence artificielle prend une place de plus en plus importante dans la cybersécurité. Depuis les années 1990 et 2000, le Machine Learning est utilisé dans la sécurisation des systèmes, avec des entreprises comme ESET l’utilisant depuis 2005. Plus tard, les premiers réseaux neuronaux et le deep learning sont adoptés pour l’identification des menaces dans les années 2010.

Les logiciels aidant à surveiller et à gérer la sécurité informatique s’appuient historiquement sur des règles de détection strictes et la reconnaissance de signatures de menaces numériques connues (signature de virus, adresses IP). Ils sont efficaces pour repérer des scénarios d’attaque classiques et déjà catalogués. Cependant, le paysage des cybermenaces évolue à une vitesse sans précédent, avec des techniques d’attaque toujours sophistiquées (30% d’augmentation du nombre de vulnérabilités CVE entre mi-2024 et 2023, 56% depuis 2022).

Le Machine Learning, qui fait partie du domaine de l’intelligence artificielle, est au cœur des nouvelles méthodes d’analyse du comportement des utilisateurs et des entités (UEBA). Cette technologie de cybersécurité peut analyser de nombreuses informations : l’adresse IP de l’utilisateur ou de la machine, l’heure de la tentative de connexion, l’historique et les lieux des connexions. Pour déterminer si une tentative de connexion est suspecte, comme une horaire de connexion inhabituelle, ou des tentatives de connexions échouées répétées, elle fera elle-même les connexions logiques nécessaires pour détecter avant l’attaque les déviations d’une « utilisation normale ».

L’IA catégorise, optimise et automatise certaines tâches des analystes. L’intérêt est donc de libérer les équipes de sécurité des tâches répétitives et chronophages auxquelles elles sont parfois soumises, comme l’identification des faux positifs. Ce gain de temps permet aux analystes de se consacrer à des tâches plus stratégiques et à plus forte valeur ajoutée. Le temps étant en cybersécurité une variable critique, l’IA offre une possibilité de réduire le délai de réponse des analystes. Un rapport de Capgemini de 2024 affirme ainsi que plus de 60% des organisations utilisant l’IA dans leurs SOC (Security Operations Center) constatent une réduction d’au moins 5% des temps de détection des incidents. De plus, en optimisant l’allocation du temps de travail, l’IA participe aussi à la réduction des coûts pour les entreprises.

Elle est aussi en passe d’être mobilisée pour détecter des vulnérabilités directement dans les systèmes. Par exemple, l’IA Big Sleep a pour la première fois découvert une vulnérabilité en situation réelle en novembre 2024, grâce aux efforts des équipes Project Zero et Deep Mind de Google. L’intelligence artificielle représente donc une avancée quantitative et qualitative pour sécuriser les systèmes d’information. Elle permet de traiter un volume de données beaucoup plus important qu’auparavant, ce qui est essentiel au vu du nombre de menaces que doivent traiter ces systèmes (augmentation de 15% du nombre d’évènements de sécurité en 2024, comparé à 2023 selon l’ANSSI).

Dans le marché de l’IA appliquée à la cybersécurité, les acteurs français sont présents comme Gatewatcher, Sekioa.IO ou Tehtris. Ces derniers proposent des solutions spécialisées mobilisant l’intelligence artificielle dans un domaine précis (détection comportementale, gestion des vulnérabilités). La croissance de l’IA dans la cybersécurité en France (21,9 % par an estimé entre 2024 et 2030) est l’une des plus élevées d’Europe. Cela est aussi à remettre dans le contexte d’un marché français de la cybersécurité en tête dans les levées de fonds européennes. Les entreprises américaines dominent cependant à l’international avec une part de marché de 38%, face à 4% pour la France. Aussi, contrairement aux géants américains de la cybersécurité comme Crowdstrike ou Palo Alto, qui proposent des plateformes unifiées intégrant l’IA, les entreprises françaises se concentrent sur des solutions spécialisées. Seules quelques entreprises françaises comme Thales ou Devoteam proposent des solutions d’IA globale.

Des limitations surmontables

L’intelligence artificielle possède un point faible : sa propension aux biais et aux hallucinations. Les LLM, (Large Language Model, intelligence artificielle capable de comprendre et de générer du texte en imitant le langage humain) peuvent parfois générer des réponses qui semblent crédibles, mais sont en réalité erronées ou inventées de toutes pièces, soit parce que leur entraînement s’est fait sur des données erronées ou de mauvaise qualité, ou à cause d’une erreur du modèle. Par exemple, dans le contexte de la programmation, les LLM sont parfois victimes d’hallucination de package. Un package est un ensemble de codes pré-écrit que les développeurs peuvent ajouter à leurs projets pour obtenir des fonctionnalités supplémentaires. Les LLM peuvent y introduire des vulnérabilités en suggérant des packages n’existant pas. Des acteurs malveillants pourraient enregistrer ces noms de packages fictifs et les associer à un code malveillant, qui sera téléchargé et exécuté par l’utilisateur faisant confiance au modèle.

Ce genre d’hallucinations, dans le cadre de la cybersécurité, expose au risque de manquer des menaces qui passeraient inaperçues ou seraient mal interprétées par le modèle. Cela peut être le cas parce que le modèle n’a pas été entraîné sur des données assez récentes. De même, une mauvaise interprétation peut venir, à l’inverse, d’un jeu de donné de mauvaise qualité voire erroné. Ces erreurs gaspillent du temps et des ressources pour les corriger. L’IA n’est pas non plus toujours transparente quant aux sources ou aux méthodes qu’elle utilise pour tirer ses conclusions. Cette problématique est appelée la “black box” : les fonctionnements internes des algorithmes de deep learning utilisés pour entraîner les modèles restent parfois opaques, même pour ses créateurs. Bien que les données d’entrées et de sorties soient connues, le processus de transformation de la donnée demeure obscur.

Le déploiement de l’intelligence artificielle dans le but de sécuriser les systèmes d’information ne doit pas présenter un risque additionnel à considérer à cause de ses limitations. Cependant, il existe des solutions qui permettent d’atténuer significativement ces imperfections. La méthode RAG (Retrieval Augmented Generation) permet à un modèle de générer des réponses en s’appuyant sur une recherche préalable dans des sources vérifiables, limitant ainsi les risques d’hallucinations. Pour lutter contre les biais que peuvent avoir les modèles, la constitution de jeux de données d’entraînement de qualité et diversifiées est aussi reconnue comme une solution efficace. Ces méthodes permettent d’atteindre un niveau de fiabilité suffisant pour que les LLM représentent une option crédible dans la sécurisation des systèmes d’information.

L’intelligence artificielle au service des cybercriminels

L’IA est aussi utilisée par les cybercriminels dans la génération de code malveillant. En 2023, l’outil WormGPT était, par exemple, utilisé par les cybercriminels pour créer de nouveaux malwares. Certains utilisateurs tentent de contourner les garde-fous mis en place par les créateurs des modèles d’IA pour les utiliser à des fins détournées, ce qu’on appelle le Jailbreak. OpenAI ont ainsi bloqué en octobre 2024 plus de vingt campagnes utilisant leur IA à des fins malveillantes. Deux groupes iraniens, Cyber Av3ngers et Storm-0817, avaient respectivement utilisé l’IA pour rechercher des informations sur des automates programmables industriels pour des cyberattaques contre des infrastructures critiques et pour déboguer un virus Android capable de voler des informations sensibles sur Instagram et LinkedIn. Le groupe SweetSpecter, basé en Chine, avait utilisé des modèles d’IA pour effectuer des des recherches de vulnérabilités et pour la création de virus.

L’IA est aussi mobilisée par les acteurs malveillants dans les campagnes d’hameçonnage (technique frauduleuse qui consiste à usurper l’identité d’un organisme ou d’un proche pour récupérer des informations). Cette technique représente déjà une part significative de la cybercriminalité (16% des violations de données). À la différence du hameçonnage traditionnel, qui se concentre sur des courriels faiblement personnalisés envoyés en masse, l’IA permettrait la mise en place des campagnes de Spear Phishing en masse et personnalisées. pour chaque victime. L’IA peut générer des sites web entiers, des profils sur les réseaux sociaux, voire utiliser des voix clonées réalistes pour tromper la victime. En novembre 2024, des hackers nord-coréens ont ainsi volé plus de 10 millions de dollars grâce à l’IA pour mettre en œuvre des arnaques sur des entreprises américaines, notamment en créant de faux profils LinkedIn à l’aide de deepfakes. Cette capacité de l’IA pose trois problèmes : une transformation dangereuse des stratégies d’ingénierie sociale, de grandes difficultés dans la détection des faux sites, profils ou encore voix humaines, ainsi qu’une multiplication des méthodes de cyberattaques.

L’IA pour contrer l’IA en cybersécurité ?

En cybersécurité, l’IA devient progressivement un outil nécessaire pour contrecarrer les attaques qui utilisent elles-mêmes l’IA. Cela face au volume des attaques futures l’utilisant, mais aussi contre les menaces plus complexes évoquées précédemment. Par exemple, les virus polymorphes (virus changeant leur signature numérique pour échapper aux antivirus) peuvent passer à travers les systèmes de détection traditionnels. L’IA permet ici de les identifier à partir de leur comportement et non leur seule signature.

Dans le domaine de l’ingénierie sociale, l’IA apporte également des solutions. Les deepfakes et messages de phishing réalistes générés par IA peuvent être détectés grâce à des modèles spécialisés capables d’identifier les anomalies techniques invisibles à l’œil humain. Thales avait dévoilé en novembre 2024 un de ces modèles. Pour contrer les tentatives d’usurpation d’identité comme l’arnaque au président, des systèmes d’IA peuvent analyser le contexte d’une communication (comme une chaîne de mail) et repérer les comportements suspects.

Si l’intelligence artificielle crée de nouvelle menaces ou amplifie des anciennes, c’est donc aussi cette dernière qui permettra de se prémunir face à elles. L’IA étant une technologie en évolution très rapide, on peut donc prévoir dans le futur une véritable course à l’armement autours des outils d’IA. Aussitôt que les avancées de dans le domaine seront exploitées par les cybercriminels, des contre mesures seront mises en place en utilisant la même technologie.

Une démocratisation des outils d’Intelligence Artificielle

Grâce à l’intelligence artificielle, les compétences techniques nécessaires pour mettre en place des opérations malveillantes ne font que baisser, et les outils se démocratisent, permettant à des utilisateurs non-experts de mettre en place des opérations complexes en mobilisant les capacités de l’IA. Un risque majeur dans la démocratisation des modèles d’IA, particulièrement lorsqu’elles sont accessibles par le public, est l’attaque par injection d’invites, ou Prompt Injection. Elle consiste à donner à une IA des instructions malveillantes déguisées en entrées d’utilisateurs légitimes. Elle exploite les difficultés qu’ont les modèles d’IA à distinguer les instructions des développeurs de celles de simples utilisateurs, et à modérer le contenu qu’ils produisent.

Ces instructions peuvent forcer le modèle à, par exemple, révéler ses instructions originales (prompt leaking) ou à exécuter du code à distance si le modèle est lui-même connecté aux outils appropriés. En 2023, le chatbot destiné à traiter les questions de client d’un concessionnaire automobile avait notamment accepté de vendre une voiture pour un dollar après une discussion avec un utilisateur. Similairement, les IA Grok et Bing Chat avaient révélé leurs instructions originales à des utilisateurs. La multiplication probable à l’avenir des agents conversationnels pour le service client pourrait ainsi exposer de nombreuses organisations à ce risque.

Un enjeu géopolitique ?

Ces risques inhérents à l’IA sont aussi accentués par des facteurs politiques et juridiques. En début d’année, le modèle chinois DeepSeek R-1 a fait parler de lui en battant les meilleures alternatives de grandes entreprises comme OpenAI ou Anthropic pour un coût moindre. Ces performances ont attiré de nombreux utilisateurs. Les serveurs de l’entreprise se trouvant en Chine, se pose ici la question de la confidentialité des données. Cela vaut aussi pour les autres modèles d’origine américaine (ChatGPT, Claude, Gemini et Grok) soumis au Cloud Act des États-Unis, donnant accès aux données des utilisateurs même en dehors du territoire américain. Seul Mistral, modèle français, assure respecter un certain niveau de protection des données, notamment à travers l’application du RGPD (Règlement européen sur la protection des données). Une alternative plus sécurisée pour les entreprises est de faire tourner sur site des modèles d’IA en local, ne communiquant pas avec le cloud.

Le manque de souveraineté sur le développement des modèles d’IA induit un autre risque cyber, celui de l’exploitation de ces derniers par les États. Certains pays entretiennent des relations étroites avec des groupes de cybercriminels, comme la Chine, la Russie ou l’Iran. D’autres utilisent la cybercriminalité comme source de revenu, comme la Corée du Nord qui finance en partie son programme d’armement grâce au cybercrime. Ainsi, il est essentiel que les entreprises puissent avoir accès à des modèles souverains, ainsi qu’à une transparence sur l’innocuité des données d’entraînement et le développement du modèle. Le risque en cybersécurité est réel : on peut penser à un modèle entraîné à ne pas reconnaître des vulnérabilités utilisées par certains groupes liés à un État qui ciblerait les entreprises étrangères l’utilisant dans leur cybersécurité. Encore une fois, dans ce domaine, la France a la chance de compter Mistral AI, une entreprise française qui propose le seul modèle d’IA européen en compétition avec les géants américains.

Yunès-Louis Amadid pour le club Cyber AEGE

Pour aller plus loin :