Boîte à outils sur l'IA et la cybersécurité
Ressources pour les enseignants en cybersécurité
Introduction
L'intelligence artificielle (AI) remodèle rapidement le paysage de la cybersécurité, à la fois comme outil de défense et comme arme d'attaque. Pour les éducateurs, ce double rôle crée un besoin urgent de préparer les étudiants non seulement à exploiter la AI pour se protéger, mais aussi à comprendre comment les adversaires peuvent l'exploiter dans leurs attaques.
Sur le plan défensif, le AI est déjà intégré dans les environnements de sécurité professionnels et a un impact sur les différentes phases du cycle de vie des cyberincidents (prévention, préparation, réponse et récupération). Il permet l'analyse des journaux, la détection des anomalies, la recherche de logiciels malveillants et même la formation à la sensibilisation, offrant aux défenseurs plus de rapidité, de précision et d'évolutivité. En classe, AI ouvre également de nouvelles possibilités d'enseignement en automatisant les évaluations, en générant des études de cas, en simulant des incidents réels et en concevant des exercices interactifs qui aident les étudiants à appréhender plus efficacement des concepts de cybersécurité complexes.
Parallèlement, la AI est à l'origine d'une nouvelle génération d'opérations cybernétiques offensives. Les acteurs malveillants utilisent les AI génératives pour automatiser la reconnaissance, personnaliser les campagnes de phishing, accélérer la découverte de vulnérabilités ou déployer des logiciels malveillants adaptatifs. Cette transformation de la chaîne d'exécution cybernétique a intensifié l'ampleur et la sophistication des attaques dans le monde entier, qu'il s'agisse de ransomware, de deepfakes ou de swarm malware. Le AI est donc à la fois un catalyseur de cyberattaques et une cible de l'exploitation adverse, avec des vulnérabilités telles que l'empoisonnement des données et des exemples d'adversaires qui posent de nouveaux risques.
Cette boîte à outils a été élaborée par Virtual Routes dans le cadre de la Programme de séminaires sur la cybersécurité soutenu par Google.orgIl s'agit de fournir aux enseignants et aux étudiants des ressources dans un domaine en constante évolution. Il s'appuie sur une enquête menée auprès des universités participantes et fournit des éléments permettant de comprendre l'impact du AI sur la cybersécurité, en présentant son double rôle d'outil défensif et offensif.
Impacts de AI sur les compétences en matière de cybersécurité
Le Cadre européen des compétences en matière de cybersécurité (ECSF) définit douze rôles professionnels clés en matière de cybersécurité, ainsi que les tâches, les aptitudes, les connaissances et les compétences requises dans l'ensemble du secteur. Ces rôles vont de fonctions techniques telles que le renseignement sur les menaces et les tests de pénétration à des tâches plus larges telles que la gestion des risques et l'éducation. Nous avons identifié cinq principaux moyens par lesquels AI influe sur les aptitudes et les compétences requises pour ces rôles :
Analyse des données et renseignements sur les menaces
Les LLM peuvent accélérer la collecte, la corrélation et la synthèse de grands volumes de rapports sur les menaces, de journaux et d'indicateurs de compromission. Les analystes sont toujours tenus de valider les résultats, mais ils ne se concentrent plus sur l'analyse répétitive, mais sur l'interprétation critique.
Détection et réponse aux incidents
AI peut contribuer à la détection des anomalies, au triage et au signalement initial. Les compétences en matière de validation des alertes, de contextualisation des incidents et de décision sur les réponses proportionnelles deviennent de plus en plus importantes.
Évaluation des risques et conformité
Le AI peut prendre en charge la classification automatique des données sensibles et l'évaluation préliminaire des risques. Les praticiens doivent faire preuve de discernement pour déterminer si les résultats obtenus grâce à AI sont conformes aux exigences réglementaires et organisationnelles.
Développement sécurisé et examen du code
L'analyse du code par AI met en évidence les modèles peu sûrs et propose des corrections. Les professionnels restent responsables de la mise en place de pratiques de codage sécurisées et de l'atténuation du risque d'hallucinations ou de faux positifs liés à AI, qui peut également créer des codes non sécurisés.
Éducation et sensibilisation
Les LLM permettent de générer des scénarios de formation adaptatifs, des ensembles de données synthétiques et un retour d'information automatisé. L'ensemble des compétences de l'éducateur évolue vers la conservation, la validation et l'intégration responsable des ressources AI dans les programmes d'études.
Compétences de base AI pour la cybersécurité
L'adoption généralisée du AI exige de tous les professionnels de la cybersécurité, quel que soit leur rôle, qu'ils acquièrent de nouvelles compétences qui contribuent à l'utilisation responsable, adaptative et efficace des outils du AI. Ces compétences fondamentales en matière de AI vont au-delà de la familiarisation avec des outils spécifiques et se concentrent plutôt sur les capacités sous-jacentes requises pour travailler efficacement dans cet environnement en évolution rapide :
- AI alphabétisation comprendre les capacités et les limites de AI et l'intégrer en toute sécurité dans les flux de travail, sans dépendance excessive ni confiance mal placée.
- Sensibilisation à l'éthique identifier les risques liés à la partialité, au respect de la vie privée, à la responsabilité et à la sécurité, en veillant à ce que les systèmes AI soient déployés de manière à respecter les normes professionnelles et sociétales.
- Évaluation critique évaluer les résultats générés par AI par rapport à des sources fiables et à l'expertise contextuelle, en reconnaissant quand une validation supplémentaire ou un jugement humain est nécessaire.
- Explicabilité et transparence d'interpréter les résultats de AI, d'interroger les modèles de la "boîte noire" et de communiquer clairement les résultats aux parties prenantes techniques et non techniques, renforçant ainsi la confiance dans les décisions assistées par AI.
- Résilience et contrôle humain concevoir des garde-fous qui empêchent une dépendance excessive à l'égard de l'automatisation, en garantissant des garde-fous solides et en préservant la responsabilité humaine pour les décisions critiques.
- Gouvernance des données garantir la qualité, la diversité et la sécurité des données utilisées dans les systèmes AI, sachant qu'une mauvaise gestion des données peut entraîner des vulnérabilités systémiques.
- AI gestion des risques anticiper et atténuer les risques spécifiques à AI tels que les hallucinations, les manipulations adverses, la génération de codes non sécurisés et l'empoisonnement des données, en intégrant ces considérations dans des cadres plus larges de risques cybernétiques.
- Apprentissage continu pour mettre à jour leurs compétences, surveiller les menaces émergentes et s'intéresser aux nouveaux développements des applications AI pour la cybersécurité.
- Réflexion sur les scénarios et anticipation anticiper la manière dont les progrès de la AI peuvent remodeler les niveaux techniques, organisationnels et stratégiques de la cybersécurité, et préparer les professionnels à relever les défis futurs de manière proactive.
- Collaboration interdisciplinaire travailler efficacement avec des experts en droit, en politique, en psychologie et en éthique, en reconnaissant que l'utilisation responsable de AI nécessite des perspectives qui vont au-delà des domaines purement techniques.
- Communication et instauration d'un climat de confiance d'expliquer avec clarté et nuance les décisions prises grâce à AI, ce qui permet de maintenir la confiance entre tous les acteurs concernés.
L'automatisation des tâches répétitives ou de moindre valeur, induite par les AI, a soulevé des questions urgentes sur la transformation de la main-d'œuvre et le déplacement potentiel d'emplois. Toutefois, si certaines tâches des analystes peuvent diminuer, de nouvelles demandes apparaissent concernant la supervision des résultats de la AI, la validation des conclusions et le traitement des risques spécifiques à la AI, tels que les hallucinations, la génération de codes non sécurisés ou la manipulation par des adversaires. Plutôt que d'éliminer les rôles en matière de cybersécurité, le AI modifie le profil de compétences en faveur de la surveillance, de la gouvernance et de la collaboration entre l'homme et le AI.
Utilisation éthique et responsable de AI dans la cyberdéfense
En optimisant le temps, l'efficacité et les ressources, AI permet aux défenseurs de faire plus avec moins, en abaissant les barrières à l'entrée et en renforçant la capacité à détecter et à répondre à des cybermenaces de plus en plus complexes. À mesure que les cyberincidents gagnent en ampleur et en sophistication, la capacité de AI à traiter de grandes quantités de données le rend indispensable. Cependant, une dépendance excessive à l'égard des résultats de AI introduit de nouvelles vulnérabilités, en particulier lorsque ces résultats sont inexacts ou manquent de compréhension du contexte, ce qui soulève plusieurs questions en matière d'éthique et d'utilisation responsable :
Principales préoccupations éthiques
- Principes clés : L'équité
- Principes clés : Vie privée et protection des données
- Principes clés : Transparence et explicabilité
- Principes clés : Transparence et explicabilité
Mesures réglementaires
Solutions techniques
Méthodes d'enquête et données
Virtual Routes a mené une enquête en ligne auprès de 27 enseignants d'universités européennes. Le questionnaire visait à déterminer s'ils utilisent actuellement AI dans leur enseignement de la cybersécurité, comment ils l'utilisent, les raisons qui les poussent à le faire, les outils et tâches spécifiques impliqués, et s'ils appliquent AI dans le contexte du soutien à la cybersécurité fourni aux organisations communautaires locales (OCL). Bien qu'elles ne soient pas statistiquement significatives, les réponses donnent un aperçu des pratiques et des attentes actuelles, et mettent en évidence les possibilités et les difficultés liées à l'intégration de AI dans l'enseignement de la cybersécurité. L'enquête a été complétée par des entretiens de suivi afin de mieux comprendre les cas d'utilisation pratiques.
Quelques éléments clés peuvent être mis en évidence :
Sur les 27 personnes interrogées, la plupart (22) ont déclaré qu'elles expérimentaient déjà les outils AI dans leur enseignement, notamment dans le cadre de séminaires sur la cybersécurité organisés par Google.org. Toutefois, l'adoption de ces outils en est encore à ses débuts et se limite souvent à des tâches spécifiques plutôt qu'à une intégration systématique. Cinq répondants ont indiqué qu'ils n'utilisaient pas encore AI.
Les applications les plus courantes concernent des tâches générales de rédaction et de collecte/analyse de données (à l'aide de LLM courants), la synthèse de données et des tâches spécialisées dans la cybersécurité telles que la détection d'anomalies, la cartographie de la surface d'attaque, l'analyse de logiciels malveillants et les laboratoires pratiques.
Les formateurs en cybersécurité utilisent principalement AI pour aider les étudiants à se préparer au monde du travail, pour favoriser l'apprentissage autonome et l'auto-évaluation, et pour gagner du temps sur les tâches pédagogiques telles que la création d'exercices, la notation et la génération de contenu. Nombre d'entre eux considèrent également qu'il est utile d'utiliser AI pour illustrer des concepts et des scénarios clés en matière de cybersécurité.
Environ la moitié des répondants (15 sur 27) ont déclaré qu'ils utilisaient déjà ou prévoyaient d'utiliser AI pour apporter un soutien en matière de cybersécurité aux organisations communautaires locales (LCO), un aspect essentiel des séminaires Google.org sur la cybersécurité. Cela démontre un lien croissant entre l'exploration des outils AI en classe et leur application dans des contextes communautaires réels.
Plusieurs répondants ont exprimé le souhait de recevoir des conseils et des exemples sur la manière d'intégrer efficacement la technologie AI dans l'enseignement de la cybersécurité. Ils ont souligné la nécessité de disposer de meilleures pratiques, de ressources partagées et d'études de cas pour passer de l'expérimentation à une utilisation plus structurée et plus efficace de AI dans l'enseignement et la prestation de services.
Comment naviguer dans la boîte à outils
Cette boîte à outils est organisée en deux parties, reflétant le double rôle de AI dans la cybersécurité.
L'IA dans la cyberdéfense
Comment AI modifie la cyberdéfense tout au long du cycle de vie d'un cyberincident :
La première partie examine l'impact de AI sur la cyberdéfense, en soulignant comment les outils de AI soutiennent la cyberdéfense tout au long du cycle de vie de l'incident : prévention, préparation, réponse et récupération. Elle met en évidence des applications concrètes telles que la cartographie de la surface d'attaque, la détection des anomalies et le développement de codes sécurisés, et les illustre par des études de cas et des références pour une étude plus approfondie.
AI en cybercriminalité
Comment AI modifie la chaîne de la mort cybernétique :
La deuxième partie traite de l'impact de la AI sur la cyber-offensive, en se concentrant sur la manière dont la AI remodèle la chaîne de la mort cybernétique. Elle examine comment le AI permet aux attaquants d'automatiser et d'améliorer des étapes telles que la reconnaissance, l'armement et la diffusion, tout en introduisant de nouvelles formes d'attaque. Des exemples de cas et des lectures complémentaires permettent de mieux comprendre ces évolutions.
Glossaire
- Adversaire AI : un ensemble de techniques par lesquelles les attaquants manipulent les modèles AI (par exemple, en contournant les systèmes de détection, en empoisonnant les données d'entraînement).
- Attaques adverses : données modifiées pour tromper les systèmes AI (par exemple, logiciels malveillants légèrement modifiés pour échapper aux logiciels antivirus basés sur AI).
- Exemples contradictoires : les données malveillantes destinées à induire en erreur les modèles AI (par exemple, images ou textes déformés).
- Alignement : veiller à ce que les objectifs des systèmes AI soient cohérents avec les intentions humaines.
- Intelligence artificielle (AI) : domaine de l'informatique qui vise à créer des systèmes capables d'effectuer des tâches nécessitant une intelligence humaine, telles que la détection des menaces, l'analyse des comportements anormaux ou la réponse automatisée aux incidents de cybersécurité.
- l'explicabilité AI (XAI) : des méthodes qui rendent les décisions de AI compréhensibles pour les humains.
- AI sécurité : veiller à ce que les systèmes AI se comportent comme prévu et n'introduisent pas de nouvelles vulnérabilités.
- Biais dans AI : des erreurs systémiques dans les résultats du AI causées par des données de formation déséquilibrées ou biaisées.
- Empoisonnement des données : un type d'attaque contradictoire où des données malveillantes ou corrompues sont insérées dans des ensembles de données d'apprentissage afin de dégrader les performances du modèle ou d'introduire des vulnérabilités.
- Apprentissage en profondeur (DL) :un type d'apprentissage automatique qui utilise des réseaux neuronaux multicouches pour analyser des données complexes (par exemple, des images, des journaux de réseau), souvent utilisé pour la classification des logiciels malveillants ou la détection des intrusions. Les réseaux neuronaux aident à traiter les données brutes au cœur des algorithmes d'apprentissage automatique, en aidant à identifier, classer et améliorer les corrélations et les modèles cachés dans les données brutes (les réseaux neuronaux comprennent les réseaux neuronaux artificiels, les réseaux neuronaux convolutifs et les réseaux neuronaux récurrents en fonction des applications).
- Changement de distribution : le risque que les modèles AI deviennent inefficaces si les données réelles diffèrent des données de formation.
- Ethique AI : des principes garantissant que le AI est utilisé de manière équitable, responsable et transparente dans le domaine de la cybersécurité.
- Ajustement minutieux : le processus d'adaptation d'un modèle pré-entraîné à une tâche ou à un ensemble de données spécifique, nécessitant souvent moins de données et de ressources informatiques que l'entraînement à partir de zéro.
- Apprentissage machine (ML) : un sous-ensemble de AI dans lequel les systèmes apprennent à partir de données pour identifier des modèles (par exemple, signatures de logiciels malveillants, trafic réseau suspect) et prendre des décisions ou faire des prédictions.
- Modèle : représentation mathématique d'un système formé sur des données pour effectuer des tâches telles que la classification, la prédiction ou la génération dans AI et l'apprentissage automatique.
- Poids du modèle : paramètres numériques appris au cours de la formation qui déterminent la manière dont un modèle AI traite les entrées pour produire des sorties. L'ajustement des poids permet au modèle de reconnaître des modèles et de faire des prédictions précises.
- Injection rapide : Technique utilisée pour manipuler des modèles de langage de grande taille en insérant des instructions artisanales dans les entrées, ce qui amène le modèle à ignorer ou à outrepasser sa tâche initiale et à produire des résultats inattendus.
- Apprentissage par renforcement : une méthode dans laquelle AI apprend à prendre des décisions optimales par essais et erreurs dans des environnements simulés.
- Robustesse : la capacité de la AI à fonctionner de manière fiable dans des conditions changeantes (par exemple lorsqu'elle est confrontée à de nouveaux adversaires).
- Apprentissage supervisé : une méthode qui consiste à former des modèles en utilisant des données étiquetées pour la classification.
- Données synthétiques : données générées artificiellement et utilisées pour former les modèles AI lorsque les données réelles sont rares ou sensibles.
- Apprentissage non supervisé : une méthode d'identification de modèles cachés dans des données non étiquetées.
Comment vous pouvez contribuer
Utilisez-vous une solution AI en libre accès pour former les étudiants à la cybersécurité, ou avez-vous d'autres ressources accessibles au public à partager pour l'enseignement du AI et de la cybersécurité (qu'elles soient basées sur le AI ou non) ?
Nous aimerions avoir de vos nouvelles. Envoyez-nous un courriel à l'adresse suivante
co*****@vi************.org
Nous partagerons vos contributions avec l'ensemble de la communauté et veillerons à ce que cette boîte à outils soit tenue à jour.
