Zestaw narzędzi AI w cyberbezpieczeństwie

Zasoby dla nauczycieli cyberbezpieczeństwa

Wprowadzenie

Sztuczna inteligencja (AI) szybko zmienia krajobraz cyberbezpieczeństwa, zarówno jako narzędzie do obrony, jak i broń do ataku. Dla nauczycieli ta podwójna rola stwarza pilną potrzebę przygotowania uczniów nie tylko do wykorzystania AI do ochrony, ale także do zrozumienia, w jaki sposób przeciwnicy mogą ją wykorzystać w atakach.

Po stronie obronnej AI jest już osadzony w profesjonalnych środowiskach bezpieczeństwa, wpływając na wszystkie różne fazy cyklu życia incydentów cybernetycznych (np. zapobieganie, gotowość, reagowanie i odzyskiwanie). Umożliwia analizę dzienników, wykrywanie anomalii, badanie złośliwego oprogramowania, a nawet szkolenie świadomości, zapewniając obrońcom większą szybkość, dokładność i skalowalność. W klasie AI otwiera również nowe możliwości nauczania poprzez automatyzację ocen, generowanie studiów przypadków, symulowanie rzeczywistych incydentów i projektowanie interaktywnych ćwiczeń, które pomagają uczniom skuteczniej zrozumieć złożone koncepcje cyberbezpieczeństwa.

Jednocześnie AI napędza nową generację ofensywnych operacji cybernetycznych. Złośliwe podmioty wykorzystują generatywny AI do automatyzacji rozpoznania, personalizacji kampanii phishingowych, przyspieszenia wykrywania luk w zabezpieczeniach lub wdrażania adaptacyjnego złośliwego oprogramowania. Ta transformacja cybernetycznego łańcucha zabijania zintensyfikowała skalę i wyrafinowanie ataków na całym świecie, od ransomware po deepfake i swarm malware. AI jest zatem zarówno czynnikiem umożliwiającym cyberataki, jak i celem wrogiego wykorzystania, z lukami w zabezpieczeniach, takimi jak zatruwanie danych i wrogie przykłady stwarzające nowe zagrożenia.

Ten zestaw narzędzi został opracowany przez Virtual Routes jako część Program seminariów na temat cyberbezpieczeństwa wspierany przez Google.orgaby zapewnić nauczycielom i studentom zasoby w stale rozwijającej się dziedzinie. Opiera się na ankiecie przeprowadzonej wśród uczestniczących uniwersytetów i zawiera materiały pomagające zrozumieć wpływ AI na cyberbezpieczeństwo, przedstawiając jego podwójną rolę zarówno jako narzędzia defensywnego, jak i ofensywnego.

Wpływ AI na umiejętności w zakresie cyberbezpieczeństwa

The Europejskie ramy umiejętności w zakresie cyberbezpieczeństwa (ECSF) definiuje dwanaście kluczowych ról zawodowych w zakresie cyberbezpieczeństwa, wraz z zadaniami, umiejętnościami, wiedzą i kompetencjami potrzebnymi w całym sektorze. Role te obejmują zarówno funkcje techniczne, takie jak analiza zagrożeń i testy penetracyjne, jak i szersze zadania, takie jak zarządzanie ryzykiem i edukacja. Zidentyfikowaliśmy pięć głównych sposobów, w jakie AI wpływa na umiejętności i kompetencje wymagane dla tych ról:

Analiza danych i analiza zagrożeń

ECSF: specjalista ds. analizy cyberzagrożeń; śledczy ds. informatyki śledczej

LLM mogą przyspieszyć gromadzenie, korelację i podsumowywanie dużych ilości raportów o zagrożeniach, logów i wskaźników naruszenia bezpieczeństwa. Analitycy nadal muszą weryfikować ustalenia, ale ich uwaga przenosi się z powtarzalnego analizowania na krytyczną interpretację.

Wykrywanie i reagowanie na incydenty

ECSF: Osoba reagująca na incydenty cybernetyczne

AI może pomóc w wykrywaniu anomalii, selekcji i wstępnym raportowaniu. Umiejętności w zakresie walidacji alertów, kontekstualizacji incydentów i podejmowania decyzji o proporcjonalnych reakcjach stają się coraz ważniejsze.

Ocena ryzyka i zgodność z przepisami

ECSF: Specjalista ds. prawnych, polityki i zgodności w zakresie cyberbezpieczeństwa; Menedżer ds. ryzyka cyberbezpieczeństwa; Audytor ds. cyberbezpieczeństwa

AI może wspierać automatyczną klasyfikację danych wrażliwych i wstępną ocenę ryzyka. Praktycy muszą zastosować osąd, aby ocenić, czy wyniki oparte na AI są zgodne z wymogami regulacyjnymi i organizacyjnymi.

Bezpieczny rozwój i przegląd kodu

ECSF: Wdrożenie cyberbezpieczeństwa; Architekt cyberbezpieczeństwa; Tester penetracji

Skanowanie kodu z obsługą AI podkreśla niebezpieczne wzorce i proponuje poprawki. Specjaliści pozostają odpowiedzialni za zapewnienie bezpiecznych praktyk kodowania i zmniejszenie ryzyka halucynacji AI lub fałszywych alarmów, ponieważ AI może również tworzyć niezabezpieczony kod.

Edukacja i świadomość

ECSF: edukator ds. cyberbezpieczeństwa; badacz ds. cyberbezpieczeństwa

LLM umożliwiają generowanie adaptacyjnych scenariuszy szkoleniowych, syntetycznych zestawów danych i zautomatyzowanych informacji zwrotnych. Umiejętności nauczycieli ewoluują w kierunku kuratorowania, walidacji i odpowiedzialnego osadzania zasobów AI w programach nauczania.

Podstawowe kompetencje AI w zakresie cyberbezpieczeństwa

Wszechobecne przyjęcie AI wymaga od wszystkich specjalistów ds. cyberbezpieczeństwa, niezależnie od ich roli, rozwijania nowych umiejętności, które przyczyniają się do odpowiedzialnego, adaptacyjnego i skutecznego korzystania z narzędzi AI. Te podstawowe kompetencje AI wykraczają poza znajomość konkretnych narzędzi i zamiast tego koncentrują się na podstawowych zdolnościach wymaganych do skutecznej pracy w tym szybko ewoluującym środowisku:

1. Fundamentalne zrozumienie
  • Umiejętność czytania i pisania AI zrozumieć możliwości i ograniczenia AI oraz bezpiecznie zintegrować go z przepływami pracy bez nadmiernego polegania lub niewłaściwego zaufania.
  • Świadomość etyczna identyfikacja ryzyka związanego z uprzedzeniami, prywatnością, odpowiedzialnością i bezpieczeństwem, zapewniając, że systemy AI są wdrażane w sposób zgodny ze standardami zawodowymi i społecznymi.
2. Ocena i nadzór
  • Krytyczna ocena do oceny wyników generowanych przez AI w odniesieniu do zaufanych źródeł i wiedzy kontekstowej, rozpoznając, kiedy wymagana jest dalsza walidacja lub ludzka ocena.
  • Wyjaśnialność i przejrzystość interpretować wyniki AI, analizować modele "czarnych skrzynek" i jasno przekazywać wyniki zarówno interesariuszom technicznym, jak i nietechnicznym, zwiększając w ten sposób zaufanie do decyzji wspomaganych przez AI.
  • Odporność i nadzór ludzki zaprojektowanie zabezpieczeń, które zapobiegną nadmiernemu poleganiu na automatyzacji, zapewniając solidne zabezpieczenia i zachowując ludzką odpowiedzialność za krytyczne decyzje.
3. Zarządzanie ryzykiem i danymi
  • Zarządzanie danymi zapewnienie jakości, różnorodności i bezpieczeństwa danych wykorzystywanych w systemach AI, rozumiejąc, że niewłaściwe zarządzanie danymi może wprowadzić systemowe luki w zabezpieczeniach.
  • Zarządzanie ryzykiem AI przewidywanie i łagodzenie zagrożeń specyficznych dla AI, takich jak halucynacje, manipulacja przeciwnika, generowanie niezabezpieczonego kodu i zatruwanie danych, osadzając te rozważania w szerszych ramach ryzyka cybernetycznego.
4. Przyszłościowa zdolność adaptacji
  • Ciągłe uczenie się aktualizować umiejętności, monitorować pojawiające się zagrożenia i angażować się w nowe osiągnięcia w aplikacjach AI dla cyberbezpieczeństwa.
  • Myślenie scenariuszowe i przewidywanie przewidywanie, w jaki sposób postępy w dziedzinie AI mogą zmienić techniczne, organizacyjne i strategiczne poziomy cyberbezpieczeństwa oraz przygotowanie specjalistów do proaktywnego reagowania na przyszłe wyzwania.
5. Współpraca i komunikacja
  • Współpraca interdyscyplinarna skutecznej współpracy z ekspertami w dziedzinie prawa, polityki, psychologii i etyki, uznając, że odpowiedzialne korzystanie z AI wymaga perspektyw wykraczających poza dziedziny czysto techniczne.
  • Komunikacja i budowanie zaufania wyjaśnianie decyzji podejmowanych w oparciu o AI z jasnością i niuansami, podtrzymując zaufanie wśród wszystkich zaangażowanych stron.

Oparta na AI automatyzacja powtarzalnych lub mniej wartościowych zadań wywołała pilne pytania dotyczące transformacji siły roboczej i potencjalnej redukcji zatrudnienia. Jednakże, podczas gdy niektóre zadania analityków mogą ulec zmniejszeniu, pojawiają się nowe wymagania dotyczące nadzorowania wyników AI, walidacji ustaleń i radzenia sobie z zagrożeniami specyficznymi dla AI, takimi jak halucynacje, generowanie niepewnego kodu lub manipulacja przeciwnika. Zamiast eliminować role związane z cyberbezpieczeństwem, AI przesuwa profil umiejętności w kierunku nadzoru, zarządzania i współpracy człowiek-AI.

Etyczne i odpowiedzialne wykorzystanie AI w cyberobronie

Optymalizując czas, wydajność i zasoby, AI pozwala obrońcom robić więcej za mniej, obniżając bariery wejścia i wzmacniając zdolność wykrywania i reagowania na coraz bardziej złożone zagrożenia cybernetyczne. Wraz ze wzrostem skali i wyrafinowania incydentów cybernetycznych, zdolność AI do przetwarzania dużych ilości danych czyni go niezbędnym. Jednak nadmierne poleganie na wynikach AI wprowadza nowe luki w zabezpieczeniach, zwłaszcza gdy wyniki te są niedokładne lub brakuje im zrozumienia kontekstu, co rodzi szereg pytań dotyczących etyki i odpowiedzialnego użytkowania:

Kluczowe kwestie etyczne

Uprzedzenia i dyskryminacja
Modele AI wyszkolone na tendencyjnych lub niezrównoważonych zestawach danych mogą niesprawiedliwie oznaczać niektóre grupy użytkowników lub regiony jako złośliwe. Na przykład, Naukowcy zajmujący się cyberbezpieczeństwem przeszkolili system wykrywania włamań na podstawie historycznych danych dotyczących ataków. i okazało się, że generuje 30% więcej fałszywych alarmów dla użytkowników w niedostatecznie reprezentowanych regionach, podczas gdy zrównoważone szkolenie prowadzi do bardziej sprawiedliwych wyników. Podobnie, AI może nadmiernie priorytetowo traktować znane typy ataków, jednocześnie nie doceniając pojawiających się zagrożeń, tworząc luki w obronie.
Zapewnienie niedyskryminujących wyników poprzez wyeliminowanie błędów algorytmów i danych.
Monitorowanie i nadzór
Bezpieczeństwo oparte na AI wymaga monitorowania na dużą skalę ruchu sieciowego, prób logowania i zachowań użytkowników, Tworzenie szczegółowych śladów cyfrowych. Ten ciągły nadzór grozi podważanie zaufania użytkowników i podnoszenie kwestii zgody. Ponadto, Długotrwałe przechowywanie danych zwiększa ryzyko naruszeńi przetwarzanie w chmurze pytania dotyczące transgranicznego zarządzania danymi.
Ochrona danych osobowych i organizacyjnych, poszanowanie zgody i minimalizowanie niepotrzebnego gromadzenia danych.
Autonomiczne podejmowanie decyzji i niezamierzone konsekwencje
Zautomatyzowane środki, takie jak blokady kont, blokowanie adresów IP lub wyłączanie sieci, mogą mieć niedopuszczalne wskaźniki fałszywie dodatnie lub fałszywie ujemne, zwłaszcza gdy zautomatyzowane decyzje nie są w wystarczającym stopniu oparte na odpowiednim kontekście. W eksperymencie przeprowadzonym przez badaczy cyberbezpieczeństwaSystemy oparte na AI skutecznie zablokowały 92% zagrożeń, ale błędnie oznaczyły 8% legalnych działań jako złośliwe. Takie błędy grożą zakłóceniem krytycznych usług, na przykład w finansach lub opiece zdrowotnej, i komplikują odpowiedzialność za wyrządzone szkody.
Utrzymanie mechanizmów "człowiek w pętli" i wyraźne przypisanie odpowiedzialności za wyniki AI.
Nieprzezroczystość modeli AI
Wiele systemów AI działa jak "czarne skrzynki", zapewniając niewielki wgląd w to, w jaki sposób wyciągają wnioski. W cyberbezpieczeństwieTen brak możliwości wyjaśnienia może utrudniać analitykom zrozumienie, dlaczego legalny ruch jest oznaczany lub dlaczego niektóre zagrożenia są traktowane priorytetowo, co może prowadzić do podważyć zaufanie i opóźniają skuteczne reakcje.
Uczynienie procesów decyzyjnych AI jasnymi i czytelnymi dla interesariuszy.
Aby wprowadzić te zasady w życie, organizacje mogą korzystać z kombinacji narzędzi regulacyjnych i technicznych w celu zwiększenia wiarygodności systemów AI:
Środki regulacyjne obejmują ramy zgodności, takie jak Ustawa UE o sztucznej inteligencji (ustawa AI)który wprowadza obowiązki oparte na ryzyku, oceny wpływu na prawa podstawowe i mechanizmy rozliczalności dla systemów AI wysokiego ryzyka. Inne środki regulacyjne obejmują algorytmiczne oceny wpływu w celu oceny ryzyka przed wdrożeniem, zgodność z przepisami o ochronie danych, takimi jak RODO. RODO oraz CCPAoraz ramy odpowiedzialności które przypisują odpowiedzialność za błędy związane z AI. Opracowanie i przyjęcie uznawanych na całym świecie standardów i certyfikatów zapewnia dodatkowe narzędzia zgodności, które pomagają w operacjonalizacji zobowiązań prawnych, promują zaufanie i, do pewnego stopnia, napędzają innowacje, dając organizacjom możliwość eksperymentowania z rozwojem produktów w ramach wcześniej określonych barier.
Rozwiązania techniczne obejmują metody uczenia maszynowego uwzględniające sprawiedliwość, techniki wykrywania i łagodzenia uprzedzeń, technologie zwiększające prywatność, takie jak szyfrowanie i anonimizacja, a także możliwe do wyjaśnienia podejścia AI, które sprawiają, że procesy decyzyjne są bardziej przejrzyste. Nadzór człowieka w pętli i ciągłe monitorowanie modeli zapewnić, że zautomatyzowane systemy pozostaną dokładne, etyczne i zgodne z wartościami organizacyjnymi i społecznymi.

Metody badania i dane

Virtual Routes przeprowadził ankietę online wśród 27 uczestniczących nauczycieli z uniwersytetów w całej Europie. Kwestionariusz miał na celu ustalenie, czy obecnie używają AI w nauczaniu cyberbezpieczeństwa, w jaki sposób go używają, jakie są tego powody, jakie konkretne narzędzia i zadania są z tym związane oraz czy stosują AI w kontekście wsparcia cyberbezpieczeństwa udzielanego lokalnym organizacjom społecznym (LCO). Chociaż odpowiedzi nie są istotne statystycznie, zapewniają wgląd w obecne praktyki i oczekiwania, podkreślając zarówno możliwości, jak i wyzwania związane z integracją AI z edukacją w zakresie cyberbezpieczeństwa. Ankietę uzupełniono wywiadami uzupełniającymi, aby lepiej zrozumieć praktyczne przypadki użycia.

Można wyróżnić kilka kluczowych wniosków:

Wczesne, ale rosnące wykorzystanie AI

Spośród 27 respondentów większość (22) stwierdziła, że już eksperymentuje z narzędziami AI w swoim nauczaniu, szczególnie podczas seminariów na temat cyberbezpieczeństwa organizowanych przez Google.org. Jednak ich wdrażanie jest wciąż na wczesnym etapie i często ogranicza się do konkretnych zadań, a nie do systematycznej integracji. Pięciu respondentów wskazało, że nie korzysta jeszcze z AI.

Zróżnicowane przypadki użycia

Najczęstsze zastosowania obejmują ogólne zadania związane z pisaniem i gromadzeniem/analizą danych (przy użyciu wspólnych LLM), syntezę danych i specjalistyczne zadania związane z cyberbezpieczeństwem, takie jak wykrywanie anomalii, mapowanie powierzchni ataku, analiza złośliwego oprogramowania i praktyczne laboratoria.

Motywacje do adopcji

Nauczyciele cyberbezpieczeństwa używają AI przede wszystkim, aby pomóc uczniom przygotować się do pracy, wspierać samodzielne uczenie się i samoocenę oraz oszczędzać czas na zadaniach pedagogicznych, takich jak tworzenie ćwiczeń, ocenianie i generowanie treści. Wielu z nich dostrzega również wartość wykorzystania AI do zilustrowania kluczowych koncepcji i scenariuszy cyberbezpieczeństwa.

Zastosowanie w usługach społecznościowych

Około połowa respondentów (15 z 27) stwierdziła, że już używa lub planuje używać AI do zapewniania wsparcia w zakresie cyberbezpieczeństwa lokalnym organizacjom społecznym (LCO), co jest kluczowym aspektem seminariów Google.org Cybersecurity. Wskazuje to na rosnące powiązanie między eksploracją narzędzi AI w klasie a ich zastosowaniem w rzeczywistych kontekstach społecznościowych.

Potrzeby i oczekiwania nauczycieli

Kilku respondentów wyraziło zainteresowanie otrzymaniem wskazówek i przykładów, jak skutecznie zintegrować AI z edukacją w zakresie cyberbezpieczeństwa. Podkreślili potrzebę najlepszych praktyk, wspólnych zasobów i studiów przypadków, aby przejść od eksperymentów do bardziej ustrukturyzowanego i skutecznego wykorzystania AI w nauczaniu i świadczeniu usług.

Jak poruszać się po zestawie narzędzi

Niniejszy zestaw narzędzi składa się z dwóch części, co odzwierciedla podwójną rolę AI w cyberbezpieczeństwie.

AI w cyberobronie

Jak AI zmienia cyberobronę w całym cyklu życia incydentu cybernetycznego:

Pierwsza część analizuje wpływ AI na cyberobronę, przedstawiając, w jaki sposób narzędzia AI wspierają cyberobronę w całym cyklu życia incydentu, obejmującym zapobieganie, gotowość, reagowanie i odzyskiwanie. Podkreślono konkretne zastosowania, takie jak mapowanie powierzchni ataku, wykrywanie anomalii i bezpieczne tworzenie kodu, a także zilustrowano je studiami przypadków i odniesieniami do dalszych badań.

AI w cyberprzestępstwie

Jak AI zmienia łańcuch cyberzabójców:

Druga część dotyczy wpływu AI na cyberprzestępczość, koncentrując się na tym, jak AI przekształca cybernetyczny łańcuch zabójstw. Rozważa, w jaki sposób AI umożliwia atakującym automatyzację i usprawnienie etapów takich jak rozpoznanie, uzbrojenie i dostarczanie, jednocześnie wprowadzając nowe formy ataku. Przykłady przypadków i dalsze lektury zapewniają kontekst dla zrozumienia tych zmian.

Słowniczek terminów

Jak możesz się przyczynić

Czy korzystasz z rozwiązania AI typu open-source do szkolenia studentów w zakresie cyberbezpieczeństwa lub czy masz inne publicznie dostępne zasoby do nauczania o AI i cyberbezpieczeństwie (oparte na AI lub nie)?

Chętnie się z Tobą skontaktujemy. Napisz do nas na adres co*****@vi************.org podzielimy się Twoimi uwagami z szerszą społecznością i zapewnimy, że ten zestaw narzędzi będzie aktualizowany.

Dziękujemy za zapisanie się do naszego newslettera!

Dziękujemy! Otrzymano RSVP dla AI w zestawie narzędzi cyberbezpieczeństwa

Zestaw narzędzi AI w cyberbezpieczeństwie

Ładowanie...

Ładowanie...