Toolkit für KI in der Cybersicherheit
Ressourcen für Ausbilder im Bereich Cybersicherheit
Einführung
Künstliche Intelligenz (KI) verändert die Cybersicherheitslandschaft rapide, sowohl als Werkzeug zur Verteidigung als auch als Waffe zum Angriff. Für die Lehrkräfte ergibt sich aus dieser Doppelrolle die dringende Notwendigkeit, die Studierenden nicht nur darauf vorzubereiten, KI für den Schutz zu nutzen, sondern auch zu verstehen, wie Gegner sie bei Angriffen ausnutzen können.
Auf der defensiven Seite ist KI bereits in professionelle Sicherheitsumgebungen eingebettet und wirkt sich auf alle Phasen des Lebenszyklus von Cybervorfällen aus (z. B. Prävention, Vorbereitung, Reaktion und Wiederherstellung). Sie unterstützt die Protokollanalyse, die Erkennung von Anomalien, die Untersuchung von Malware und sogar Awareness-Schulungen und bietet Verteidigern mehr Geschwindigkeit, Genauigkeit und Skalierbarkeit. Auch im Unterricht eröffnet KI neue Möglichkeiten, indem sie Bewertungen automatisiert, Fallstudien erstellt, reale Vorfälle simuliert und interaktive Übungen entwickelt, die den Schülern helfen, komplexe Cybersicherheitskonzepte besser zu verstehen.
Gleichzeitig treibt die KI eine neue Generation offensiver Cyberoperationen voran. Böswillige Akteure setzen generative KI als Waffe ein, um die Aufklärung zu automatisieren, Phishing-Kampagnen zu personalisieren, die Entdeckung von Schwachstellen zu beschleunigen oder adaptive Malware einzusetzen. Diese Umgestaltung der Cyber-Kill-Chain hat das Ausmaß und die Raffinesse von Angriffen weltweit erhöht, von Ransomware bis hin zu Deepfakes und Schwarm-Malware. KI ist somit sowohl ein Ermöglicher von Cyberangriffen als auch selbst ein Ziel von Angreifern, wobei Schwachstellen wie Datenvergiftung und gegnerische Beispiele neue Risiken darstellen.
Dieses Toolkit wurde entwickelt von Virtual Routes als Teil der Programm für Cybersicherheitsseminare mit Unterstützung von Google.orgum Lehrkräfte und Studierende mit Ressourcen in einem sich ständig weiterentwickelnden Bereich zu versorgen. Es basiert auf einer Umfrage unter den teilnehmenden Universitäten und bietet Materialien zum Verständnis der Auswirkungen von KI auf die Cybersicherheit, wobei ihre doppelte Rolle als defensives und offensives Instrument dargestellt wird.
Auswirkungen der KI auf die Cybersicherheitsfähigkeiten
Die Europäischer Rahmen für Cybersicherheitskompetenzen (ECSF) werden zwölf Schlüsselrollen im Bereich der Cybersicherheit sowie die in diesem Sektor erforderlichen Aufgaben, Fähigkeiten, Kenntnisse und Kompetenzen definiert. Diese Rollen reichen von technischen Funktionen wie Threat Intelligence und Penetrationstests bis hin zu umfassenderen Aufgaben wie Risikomanagement und Bildung. Wir haben fünf Hauptaspekte identifiziert, in denen sich KI auf die für diese Rollen erforderlichen Fähigkeiten und Kompetenzen auswirkt:
Datenanalyse und Bedrohungsanalyse
LLMs können die Erfassung, Korrelation und Zusammenfassung großer Mengen von Bedrohungsberichten, Protokollen und Kompromissindikatoren beschleunigen. Die Analysten müssen die Ergebnisse immer noch validieren, aber ihr Schwerpunkt verlagert sich von der wiederholten Analyse zur kritischen Interpretation.
Erkennung von und Reaktion auf Vorfälle
KI kann bei der Erkennung von Anomalien, der Triage und der Erstmeldung helfen. Fähigkeiten zur Validierung von Warnungen, zur Kontextualisierung von Vorfällen und zur Entscheidung über verhältnismäßige Reaktionen werden immer wichtiger.
Risikobewertung und Einhaltung der Vorschriften
KI kann die automatische Klassifizierung sensibler Daten und eine vorläufige Risikobewertung unterstützen. Praktiker müssen beurteilen, ob KI-gesteuerte Ergebnisse mit den gesetzlichen und organisatorischen Anforderungen übereinstimmen.
Sichere Entwicklung und Codeüberprüfung
KI-gestütztes Code-Scanning hebt unsichere Muster hervor und schlägt Korrekturen vor. Fachleute sind weiterhin dafür verantwortlich, sichere Kodierungspraktiken zu gewährleisten und das Risiko von KI-Halluzinationen oder Fehlalarmen zu mindern, da KI auch unsicheren Code erzeugen kann.
Bildung und Bewusstsein
LLMs ermöglichen die Erstellung adaptiver Trainingsszenarien, synthetischer Datensätze und automatisierter Rückmeldungen. Die Fähigkeiten der Lehrkräfte entwickeln sich in Richtung Kuratierung, Validierung und verantwortungsvolle Einbindung von KI-Ressourcen in Lehrpläne.
KI-Kernkompetenzen für Cybersicherheit
Der allgegenwärtige Einsatz von KI erfordert von allen Cybersicherheitsexperten, unabhängig von ihrer Funktion, die Entwicklung neuer Fähigkeiten, die zu einem verantwortungsvollen, anpassungsfähigen und effektiven Einsatz von KI-Tools beitragen. Diese KI-Kernkompetenzen gehen über die Vertrautheit mit spezifischen Tools hinaus und konzentrieren sich stattdessen auf die grundlegenden Fähigkeiten, die für eine effektive Arbeit in diesem sich schnell entwickelnden Umfeld erforderlich sind:
- KI-Kenntnisse die Fähigkeiten und Grenzen der KI zu verstehen und sie sicher in Arbeitsabläufe zu integrieren, ohne sich zu sehr darauf zu verlassen oder falsches Vertrauen zu haben.
- Ethisches Bewusstsein Ermittlung von Risiken in Bezug auf Voreingenommenheit, Datenschutz, Rechenschaftspflicht und Sicherheit, um sicherzustellen, dass KI-Systeme so eingesetzt werden, dass die beruflichen und gesellschaftlichen Standards gewahrt bleiben.
- Kritische Bewertung KI-generierte Ergebnisse anhand von vertrauenswürdigen Quellen und kontextbezogenem Fachwissen zu bewerten und zu erkennen, wann eine weitere Validierung oder menschliche Beurteilung erforderlich ist.
- Erklärbarkeit und Transparenz KI-Ergebnisse zu interpretieren, "Black-Box"-Modelle zu hinterfragen und die Ergebnisse sowohl technischen als auch nicht-technischen Stakeholdern klar zu vermitteln und so das Vertrauen in KI-gestützte Entscheidungen zu stärken.
- Resilienz und menschliche Aufsicht Sicherheitsvorkehrungen zu treffen, die ein übermäßiges Vertrauen in die Automatisierung verhindern, robuste Sicherheitsvorkehrungen gewährleisten und die menschliche Verantwortung für kritische Entscheidungen bewahren.
- Datenverwaltung die Qualität, Vielfalt und Sicherheit der in KI-Systemen verwendeten Daten zu gewährleisten, da eine schlechte Datenverwaltung zu systemischen Schwachstellen führen kann.
- AI-Risikomanagement KI-spezifische Risiken wie Halluzinationen, gegnerische Manipulationen, unsichere Codegenerierung und Datenvergiftung zu antizipieren und abzuschwächen, indem diese Überlegungen in einen breiteren Rahmen für Cyberrisiken eingebettet werden.
- Kontinuierliches Lernen um ihre Kenntnisse zu aktualisieren, neue Bedrohungen zu beobachten und sich mit neuen Entwicklungen bei KI-Anwendungen für die Cybersicherheit zu befassen.
- Denken in Szenarien und Vorausschau zu antizipieren, wie Fortschritte in der KI die technischen, organisatorischen und strategischen Ebenen der Cybersicherheit verändern können, und Fachleute darauf vorzubereiten, proaktiv auf künftige Herausforderungen zu reagieren.
- Interdisziplinäre Zusammenarbeit wirksame Zusammenarbeit mit Experten aus den Bereichen Recht, Politik, Psychologie und Ethik, in der Erkenntnis, dass der verantwortungsvolle Einsatz von KI Perspektiven erfordert, die über rein technische Bereiche hinausgehen.
- Kommunikation und vertrauensbildende Maßnahmen KI-gestützte Entscheidungen klar und nuanciert zu erläutern und so das Vertrauen aller Beteiligten zu erhalten.
Die KI-getriebene Automatisierung von sich wiederholenden oder geringwertigen Aufgaben hat dringende Fragen über die Veränderung der Belegschaft und die mögliche Verdrängung von Arbeitsplätzen aufgeworfen. Während jedoch einige Aufgaben von Analysten abnehmen könnten, entstehen neue Anforderungen in Bezug auf die Überwachung von KI-Ergebnissen, die Validierung von Ergebnissen und den Umgang mit KI-spezifischen Risiken wie Halluzinationen, unsichere Codegenerierung oder feindliche Manipulation. Anstatt Cybersecurity-Rollen zu eliminieren, verschiebt KI das Qualifikationsprofil in Richtung Aufsicht, Steuerung und Zusammenarbeit zwischen Mensch und KI.
Ethischer und verantwortungsvoller Einsatz von KI in der Cyberabwehr
Durch die Optimierung von Zeit, Effizienz und Ressourcen ermöglicht es KI den Verteidigern, mit weniger Mitteln mehr zu erreichen, die Einstiegshürden zu senken und die Fähigkeit zu verbessern, immer komplexere Cyber-Bedrohungen zu erkennen und auf sie zu reagieren. Da Cybervorfälle immer umfangreicher und raffinierter werden, ist KI aufgrund ihrer Fähigkeit, große Datenmengen zu verarbeiten, unverzichtbar. Eine übermäßige Abhängigkeit von KI-Ergebnissen führt jedoch zu neuen Schwachstellen, insbesondere wenn diese Ergebnisse ungenau sind oder das Verständnis für den Kontext fehlt:
Wichtige ethische Bedenken
- Wichtige Grundsätze: Fairness
- Wichtige Grundsätze: Privatsphäre und Datenschutz
- Schlüsselprinzipien: Transparenz und Erklärbarkeit
- Schlüsselprinzipien: Transparenz und Erklärbarkeit
Regulatorische Maßnahmen
Technische Lösungen
Erhebungsmethoden und Daten
Virtual Routes führte eine Online-Umfrage unter 27 teilnehmenden Lehrkräften von Universitäten in ganz Europa durch. Mit dem Fragebogen sollte ermittelt werden, ob sie derzeit KI in ihrer Cybersecurity-Lehre einsetzen, wie sie sie einsetzen, welche Gründe sie dafür haben, welche spezifischen Tools und Aufgaben damit verbunden sind und ob sie KI im Zusammenhang mit der Cybersecurity-Unterstützung für lokale Gemeinschaftsorganisationen (LCOs) einsetzen. Obwohl die Antworten statistisch nicht signifikant sind, geben sie einen Einblick in die aktuellen Praktiken und Erwartungen und zeigen sowohl die Chancen als auch die Herausforderungen auf, die mit der Integration von KI in die Cybersicherheitsausbildung verbunden sind. Die Umfrage wurde durch Folgegespräche ergänzt, um ein besseres Verständnis der praktischen Anwendungsfälle zu erreichen.
Einige wichtige Erkenntnisse können hervorgehoben werden:
Von den 27 Befragten gaben die meisten (22) an, dass sie in ihrem Unterricht bereits mit KI-Tools experimentieren, insbesondere in von Google.org organisierten Cybersicherheitsseminaren. Die Einführung befindet sich jedoch noch in der Anfangsphase und ist oft auf spezifische Aufgaben und nicht auf eine systematische Integration beschränkt. Fünf der Befragten gaben an, dass sie KI noch nicht einsetzen.
Die häufigsten Anwendungen umfassen allgemeine Schreib- und Datenerfassungs-/Analyseaufgaben (unter Verwendung gängiger LLMs), Datensynthese und spezielle Cybersicherheitsaufgaben wie die Erkennung von Anomalien, die Kartierung von Angriffsflächen, die Analyse von Malware und praktische Übungen.
Ausbilder im Bereich Cybersicherheit nutzen KI in erster Linie, um Studenten bei der Vorbereitung auf den Arbeitsplatz zu helfen, das selbstgesteuerte Lernen und die Selbsteinschätzung zu unterstützen und Zeit bei pädagogischen Aufgaben wie der Erstellung von Übungen, der Benotung und der Erstellung von Inhalten zu sparen. Viele sehen auch den Wert des Einsatzes von KI zur Veranschaulichung wichtiger Cybersicherheitskonzepte und -szenarien.
Etwa die Hälfte der Befragten (15 von 27) gab an, dass sie bereits KI einsetzen oder dies planen, um lokalen Gemeinschaftsorganisationen (LCOs) Unterstützung in Sachen Cybersicherheit zu bieten, was ein wichtiger Aspekt der Google.org-Cybersicherheitsseminare ist. Dies zeigt eine wachsende Verbindung zwischen der Erforschung von KI-Tools im Klassenzimmer und ihrer Anwendung in realen Gemeinschaftskontexten.
Mehrere Befragte äußerten ihr Interesse an Leitlinien und Beispielen für die effektive Integration von KI in die Cybersicherheitsausbildung. Sie betonten den Bedarf an bewährten Verfahren, gemeinsamen Ressourcen und Fallstudien, um vom Experimentieren zu einer strukturierteren und effektiveren Nutzung von KI in der Lehre und bei der Erbringung von Dienstleistungen zu gelangen.
Navigieren im Toolkit
Dieses Toolkit ist in zwei Teile gegliedert, die die doppelte Rolle der KI im Bereich der Cybersicherheit widerspiegeln.
KI in der Cyberabwehr
Wie KI die Cyberabwehr über den gesamten Lebenszyklus von Cybervorfällen hinweg verändert:
Im ersten Teil werden die Auswirkungen von KI auf die Cyberverteidigung untersucht und es wird dargelegt, wie KI-Tools die Cyberverteidigung über den gesamten Lebenszyklus eines Vorfalls - Prävention, Vorbereitung, Reaktion und Wiederherstellung - unterstützen. Er hebt konkrete Anwendungen wie die Kartierung von Angriffsflächen, die Erkennung von Anomalien und die Entwicklung von sicherem Code hervor und veranschaulicht diese mit Fallstudien und Verweisen für weitere Studien.
KI in der Cyberkriminalität
Wie KI die Cyber Kill Chain verändert:
Der zweite Teil befasst sich mit den Auswirkungen der KI auf Cyberangriffe, wobei der Schwerpunkt darauf liegt, wie KI die Cyber Kill Chain umgestaltet. Es wird untersucht, wie KI es Angreifern ermöglicht, Phasen wie Aufklärung, Bewaffnung und Auslieferung zu automatisieren und zu verbessern und gleichzeitig neue Angriffsformen einzuführen. Fallbeispiele und weiterführende Lektüre liefern den Kontext für das Verständnis dieser Entwicklungen.
Glossar der Begriffe
- Gegnerische KI: eine Reihe von Techniken, bei denen Angreifer KI-Modelle manipulieren (z. B. Umgehung von Erkennungssystemen, Vergiftung von Trainingsdaten).
- Angriffe des Gegners: Daten, die verändert wurden, um KI-Systeme zu täuschen (z. B. leicht veränderte Malware, um KI-basierte Antivirensoftware zu umgehen).
- Gegensätzliche Beispiele: bösartige Daten, die KI-Modelle in die Irre führen sollen (z. B. verzerrte Bilder oder Texte).
- Ausrichtung: sicherzustellen, dass die Ziele von KI-Systemen mit den menschlichen Absichten übereinstimmen.
- Künstliche Intelligenz (KI): ein Bereich der Informatik, der darauf abzielt, Systeme zu schaffen, die in der Lage sind, Aufgaben auszuführen, die menschliche Intelligenz erfordern, wie z. B. die Erkennung von Bedrohungen, die Analyse anormalen Verhaltens oder die automatische Reaktion auf Cybersicherheitsvorfälle.
- KI-Erklärbarkeit (XAI): Methoden, die KI-Entscheidungen für den Menschen verständlich machen.
- KI-Sicherheit: sicherzustellen, dass sich KI-Systeme wie erwartet verhalten und keine neuen Schwachstellen einführen.
- Voreingenommenheit in der KI: Systematische Fehler in KI-Ergebnissen, die durch unausgewogene oder verzerrte Trainingsdaten verursacht werden.
- Datenvergiftung: eine Art feindlicher Angriff, bei dem böswillige oder verfälschte Daten in Trainingsdatensätze eingefügt werden, um die Modellleistung zu verschlechtern oder Schwachstellen einzuführen.
- Tiefes Lernen (DL):eine Art des maschinellen Lernens, bei dem mehrschichtige neuronale Netze zur Analyse komplexer Daten (z. B. Bilder, Netzwerkprotokolle) verwendet werden, die häufig zur Klassifizierung von Malware oder zur Erkennung von Eindringlingen eingesetzt werden. Neuronale Netze helfen bei der Verarbeitung von Rohdaten, die im Mittelpunkt von DL-Algorithmen stehen, und tragen dazu bei, verborgene Korrelationen und Muster in Rohdaten zu erkennen, zu klassifizieren und zu verbessern (je nach Anwendung gibt es künstliche neuronale Netze, neuronale Faltungsnetze und rekurrente neuronale Netze).
- Verteilungsverschiebung: das Risiko, dass KI-Modelle unwirksam werden, wenn sich die Daten der realen Welt von den Trainingsdaten unterscheiden.
- Ethische KI: Grundsätze, die einen fairen, verantwortungsvollen und transparenten Einsatz von KI im Bereich der Cybersicherheit gewährleisten.
- Feinabstimmung: der Prozess der Anpassung eines vortrainierten Modells an eine bestimmte Aufgabe oder einen bestimmten Datensatz, der oft weniger Daten und Rechenressourcen erfordert als ein Training von Grund auf.
- Maschinelles Lernen (ML): ein Teilbereich der KI, bei dem Systeme aus Daten lernen, um Muster zu erkennen (z. B. Malware-Signaturen, verdächtiger Netzwerkverkehr) und Entscheidungen oder Vorhersagen zu treffen.
- Modell: eine mathematische Darstellung eines Systems, das auf Daten trainiert wurde, um Aufgaben wie Klassifizierung, Vorhersage oder Generierung in der KI und im maschinellen Lernen durchzuführen.
- Modellgewichte: numerische Parameter, die während des Trainings erlernt werden und bestimmen, wie ein KI-Modell Eingaben verarbeitet, um Ausgaben zu erzeugen. Die Anpassung der Gewichte ermöglicht es dem Modell, Muster zu erkennen und genaue Vorhersagen zu treffen.
- Sofortige Injektion: eine Technik zur Manipulation großer Sprachmodelle durch Einfügen manipulierter Anweisungen in die Eingaben, die das Modell veranlassen, seine ursprüngliche Aufgabe zu ignorieren oder außer Kraft zu setzen und unbeabsichtigte Ergebnisse zu produzieren.
- Verstärkungslernen: eine Methode, bei der KI durch Versuch und Irrtum in simulierten Umgebungen lernt, optimale Entscheidungen zu treffen.
- Robustheit: die Fähigkeit der KI, unter sich ändernden Bedingungen zuverlässig zu funktionieren (z. B. wenn sie mit neuen Gegnern konfrontiert wird).
- Überwachtes Lernen: eine Methode, bei der Modelle anhand von gekennzeichneten Daten für die Klassifizierung trainiert werden.
- Synthetische Daten: künstlich erzeugte Daten, die zum Trainieren von KI-Modellen verwendet werden, wenn reale Daten knapp oder sensibel sind.
- Unüberwachtes Lernen: eine Methode zur Erkennung verborgener Muster in unmarkierten Daten.
Wie Sie einen Beitrag leisten können
Verwenden Sie eine Open-Source-KI-Lösung, um Studenten in Cybersicherheit zu schulen, oder haben Sie andere öffentlich zugängliche Ressourcen, die Sie für den Unterricht über KI und Cybersicherheit zur Verfügung stellen können (ob KI-basiert oder nicht)?
Wir würden uns freuen, von Ihnen zu hören. Bitte mailen Sie uns an
co*****@vi************.org
Wir werden Ihre Beiträge mit der gesamten Gemeinschaft teilen und dafür sorgen, dass dieses Toolkit auf dem neuesten Stand bleibt.
