Kibernetinio saugumo priemonių rinkinys
Kibernetinio saugumo mokytojams skirti ištekliai
Įvadas
Dirbtinis intelektas (AI) sparčiai keičia kibernetinio saugumo sritį - ir kaip gynybos priemonė, ir kaip puolimo ginklas. Švietėjams dėl šio dvigubo vaidmens kyla neatidėliotinas poreikis parengti mokinius ne tik panaudoti AI apsaugai, bet ir suprasti, kaip priešininkai gali jį panaudoti atakoms.
Kalbant apie gynybinę pusę, AI jau yra įdiegta profesionalioje saugumo aplinkoje ir daro įtaką visiems skirtingiems kibernetinių incidentų gyvavimo ciklo etapams (pvz., prevencijai, pasirengimui, reagavimui ir atkūrimui). Ji leidžia atlikti žurnalų analizę, anomalijų aptikimą, kenkėjiškų programų tyrimą ir net informuotumo mokymą, suteikdama gynėjams didesnį greitį, tikslumą ir mastelį. Klasėje AI taip pat atveria naujas mokymo galimybes, nes automatizuoja vertinimus, generuoja atvejų analizes, imituoja realius incidentus ir kuria interaktyvias užduotis, padedančias studentams veiksmingiau suvokti sudėtingas kibernetinio saugumo sąvokas.
Tuo pat metu AI skatina naujos kartos puolamąsias kibernetines operacijas. Piktavaliai naudoja generatyvinį AI ginklą, kad automatizuotų žvalgybą, individualizuotų "phishing" kampanijas, pagreitintų pažeidžiamumų aptikimą arba įdiegtų adaptyvią kenkėjišką programinę įrangą. Ši kibernetinių atakų grandinės transformacija sustiprino atakų visame pasaulyje mastą ir sudėtingumą, pradedant išpirkos reikalaujančiomis programomis ir baigiant giluminėmis klastotėmis bei kenkėjiškomis programomis "swarm". Taigi AI yra ir kibernetinių atakų skatintojas, ir pats tampa priešininkų išnaudojimo taikiniu, o tokie pažeidžiamumai kaip duomenų užnuodijimas ir priešininkų pavyzdžiai kelia naujų pavojų.
Šį priemonių rinkinį parengė Virtual Routes kaip dalį Kibernetinio saugumo seminarų programą remia "Google.org, kad mokytojams ir mokiniams būtų suteikta nuolat besikeičiančios srities išteklių. Ji parengta remiantis dalyvaujančių universitetų apklausa ir joje pateikiama medžiaga, padedanti suprasti AI poveikį kibernetiniam saugumui, pristatant dvejopą jo, kaip gynybinės ir puolamosios priemonės, vaidmenį.
AI poveikis kibernetinio saugumo įgūdžiams
Svetainė Europos kibernetinio saugumo įgūdžių sistema (ECSF) apibrėžiama dvylika pagrindinių kibernetinio saugumo specialistų pareigybių, taip pat užduotys, įgūdžiai, žinios ir kompetencijos, reikalingos šiame sektoriuje. Šie vaidmenys apima įvairias technines funkcijas, pavyzdžiui, grėsmių žvalgybą ir įsiskverbimo testavimą, ir platesnio pobūdžio užduotis, pavyzdžiui, rizikos valdymą ir švietimą. Nustatėme penkis pagrindinius būdus, kuriais AI daro įtaką šiems vaidmenims reikalingiems įgūdžiams ir kompetencijoms:
Duomenų analizė ir grėsmių žvalgyba
LLM gali pagreitinti didelių grėsmių ataskaitų, žurnalų ir kompromitavimo rodiklių kiekių rinkimą, koreliavimą ir apibendrinimą. Analitikai vis dar turi patvirtinti išvadas, tačiau jų dėmesys perkeliamas nuo pasikartojančio analizavimo prie kritiško interpretavimo.
Incidentų aptikimas ir reagavimas į juos
"AI" gali padėti aptikti anomalijas, jas ištirti ir pateikti pirmines ataskaitas. Vis svarbesni tampa perspėjimų patvirtinimo, incidentų konteksto analizės ir proporcingo reagavimo įgūdžiai.
Rizikos vertinimas ir atitiktis
AI gali palaikyti automatinį neskelbtinų duomenų klasifikavimą ir preliminarų rizikos įvertinimą. Praktikai turi įvertinti, ar AI valdomi rezultatai atitinka reguliavimo ir organizacinius reikalavimus.
Saugus kūrimas ir kodo peržiūra
AI įgalintas kodo nuskaitymas išryškina nesaugius modelius ir siūlo pataisymus. Specialistai išlieka atsakingi už saugios kodavimo praktikos užtikrinimą ir už AI haliucinacijų ar klaidingai teigiamų rezultatų rizikos sumažinimą, nes AI taip pat gali sukurti nesaugų kodą.
Švietimas ir informuotumas
LLM leidžia kurti adaptyvius mokymo scenarijus, sintetinius duomenų rinkinius ir automatinį grįžtamąjį ryšį. Pedagogo įgūdžių rinkinys vystomas siekiant kuruoti, patvirtinti ir atsakingai įtraukti AI išteklius į mokymo programas.
Pagrindinės AI kibernetinio saugumo kompetencijos
Visuotinis AI diegimas reikalauja, kad visi kibernetinio saugumo specialistai, nepriklausomai nuo jų vaidmens, ugdytų naujus įgūdžius, kurie padėtų atsakingai, adaptyviai ir veiksmingai naudoti AI priemones. Šie pagrindiniai AI gebėjimai apima ne tik konkrečių priemonių išmanymą, bet ir pagrindinius gebėjimus, reikalingus efektyviam darbui šioje sparčiai besikeičiančioje aplinkoje:
- AI raštingumas suprasti AI galimybes ir apribojimus bei saugiai integruoti jį į darbo eigą be perdėto pasitikėjimo ar klaidingo pasitikėjimo.
- Etinis sąmoningumas nustatyti riziką, susijusią su šališkumu, privatumu, atskaitomybe ir saugumu, užtikrinant, kad AI sistemos būtų diegiamos taip, kad būtų laikomasi profesinių ir visuomeninių standartų.
- Kritinis vertinimas įvertinti AI sukurtus rezultatus pagal patikimus šaltinius ir kontekstines žinias, atpažįstant, kada reikia papildomo patvirtinimo ar žmogaus vertinimo.
- Paaiškinamumas ir skaidrumas aiškinti AI rezultatus, analizuoti "juodosios dėžės" modelius ir aiškiai perduoti rezultatus techninėms ir ne techninėms suinteresuotosioms šalims, taip stiprinant pasitikėjimą AI remiamais sprendimais.
- Atsparumas ir žmogaus priežiūra sukurti apsaugos priemones, kurios neleistų pernelyg pasikliauti automatizavimu, užtikrintų patikimas apsaugos priemones ir išsaugotų žmogaus atsakomybę už svarbiausius sprendimus.
- Duomenų valdymas užtikrinti AI sistemose naudojamų duomenų kokybę, įvairovę ir saugumą, suprantant, kad dėl prasto duomenų valdymo gali atsirasti sisteminių pažeidžiamumų.
- AI rizikos valdymas numatyti ir sumažinti AI būdingą riziką, pavyzdžiui, haliucinacijas, priešiškas manipuliacijas, nesaugaus kodo generavimą ir duomenų užkrėtimą, įtraukiant šiuos aspektus į platesnes kibernetinės rizikos sistemas.
- Nuolatinis mokymasis atnaujinti įgūdžius, stebėti kylančias grėsmes ir susipažinti su naujovėmis, susijusiomis su AI kibernetinio saugumo taikomosiomis programomis.
- Mąstymas scenarijais ir prognozavimas numatyti, kaip AI pažanga gali pakeisti techninį, organizacinį ir strateginį kibernetinio saugumo lygmenis, ir parengti specialistus aktyviai reaguoti į būsimus iššūkius.
- Tarpdisciplininis bendradarbiavimas veiksmingai bendradarbiauti su teisės, politikos, psichologijos ir etikos ekspertais, pripažįstant, kad atsakingam AI naudojimui reikalingos ne tik techninės, bet ir kitos perspektyvos.
- Bendravimas ir pasitikėjimo stiprinimas aiškiau ir suprantamiau paaiškinti AI įgalintus sprendimus, taip išlaikant visų suinteresuotų šalių pasitikėjimą.
AI skatinamas pasikartojančių ar mažesnės vertės užduočių automatizavimas iškėlė neatidėliotinų klausimų dėl darbo jėgos transformacijos ir galimo darbo vietų perkėlimo. Tačiau nors kai kurių analitikų užduočių gali sumažėti, atsiranda naujų reikalavimų, susijusių su AI rezultatų priežiūra, išvadų patvirtinimu ir AI būdingos rizikos, pavyzdžiui, haliucinacijų, nesaugaus kodo generavimo ar priešiškų manipuliacijų, šalinimu. AI ne panaikina kibernetinio saugumo vaidmenis, o keičia įgūdžių profilį, nukreiptą į priežiūrą, valdymą ir bendradarbiavimą tarp žmonių ir AI.
Etiškas ir atsakingas AI naudojimas kibernetinėje gynyboje
Optimizuodama laiką, veiksmingumą ir išteklius, AI leidžia gynėjams padaryti daugiau su mažiau, mažina kliūtis patekti į rinką ir stiprina gebėjimą aptikti vis sudėtingesnes kibernetines grėsmes ir į jas reaguoti. Kibernetinių incidentų mastui ir sudėtingumui didėjant, AI gebėjimas apdoroti didelius duomenų kiekius daro ją nepakeičiamą. Tačiau pernelyg didelis pasikliovimas AI rezultatais sukelia naujų pažeidžiamumų, ypač kai šie rezultatai yra netikslūs arba stokoja kontekstinio supratimo, todėl kyla keletas klausimų dėl etikos ir atsakingo naudojimo:
Pagrindiniai etiniai klausimai
- Pagrindiniai principai: Sąžiningumas
- Pagrindiniai principai: Privatumas ir duomenų apsauga
- Pagrindiniai principai: Skaidrumas ir paaiškinamumas
- Pagrindiniai principai: Skaidrumas ir paaiškinamumas
Reguliavimo priemonės
Techniniai sprendimai
Apklausos metodai ir duomenys
Virtual Routes atliko internetinę apklausą, kurioje dalyvavo 27 pedagogai iš Europos universitetų. Apklausos metu buvo siekiama nustatyti, ar šiuo metu jie naudoja AI dėstydami kibernetinį saugumą, kaip jie jį naudoja, kokios yra to priežastys, kokios konkrečios priemonės ir užduotys yra naudojamos ir ar jie taiko AI teikdami kibernetinio saugumo paramą vietos bendruomenių organizacijoms (LKO). Nors šie atsakymai nėra statistiškai reikšmingi, jie leidžia suprasti dabartinę praktiką ir lūkesčius, išryškina tiek galimybes, tiek iššūkius, susijusius su AI integravimu į kibernetinio saugumo mokymą. Siekiant geriau suprasti praktinio naudojimo atvejus, apklausa buvo papildyta papildomais pokalbiais.
Galima išskirti keletą svarbiausių aspektų:
Iš 27 respondentų dauguma (22) teigė, kad jie jau eksperimentuoja su AI priemonėmis savo mokymo procese, ypač Google.org organizuojamuose kibernetinio saugumo seminaruose. Vis dėlto diegimas dar tik pradedamas ir dažnai apsiriboja tik konkrečiomis užduotimis, o ne sistemingu integravimu. Penki respondentai nurodė, kad jie dar nenaudoja AI.
Dažniausiai taikomos bendrosios rašymo ir duomenų rinkimo ir analizės užduotys (naudojant bendrus LLM), duomenų sintezė ir specializuotos kibernetinio saugumo užduotys, pavyzdžiui, anomalijų aptikimas, atakos paviršiaus kartografavimas, kenkėjiškų programų analizė ir praktinės laboratorijos.
Kibernetinio saugumo mokytojai pirmiausia naudoja AI, kad padėtų mokiniams pasirengti darbui, padėtų savarankiškai mokytis ir savarankiškai vertinti bei sutaupyti laiko pedagoginėms užduotims, pavyzdžiui, pratybų kūrimui, vertinimui ir turinio kūrimui. Daugelis jų taip pat mano, kad AI naudinga naudoti pagrindinėms kibernetinio saugumo sąvokoms ir scenarijams iliustruoti.
Maždaug pusė respondentų (15 iš 27) nurodė, kad jau naudojasi arba planuoja naudotis AI, kad vietos bendruomenių organizacijoms (LKO) teiktų kibernetinio saugumo paramą, kuri yra pagrindinis "Google.org" kibernetinio saugumo seminarų aspektas. Tai rodo, kad vis labiau ryškėja ryšys tarp AI priemonių tyrinėjimo klasėje ir jų taikymo realioje bendruomenėje.
Keli respondentai išreiškė susidomėjimą gauti rekomendacijų ir pavyzdžių, kaip veiksmingai integruoti AI į kibernetinio saugumo mokymą. Jie pabrėžė, kad reikia geriausios praktikos, bendrų išteklių ir pavyzdžių, kad nuo eksperimentų būtų pereita prie labiau struktūruoto ir efektyvaus AI naudojimo mokant ir teikiant paslaugas.
Kaip naršyti priemonių rinkinį
Šį priemonių rinkinį sudaro dvi dalys, atspindinčios dvejopą AI vaidmenį kibernetinio saugumo srityje.
AI kibernetinės gynybos srityje
Kaip AI keičia kibernetinę gynybą per visą kibernetinių incidentų gyvavimo ciklą:
Pirmoje dalyje nagrinėjamas AI poveikis kibernetinei gynybai ir aprašoma, kaip AI įrankiai padeda kibernetinei gynybai per visą incidentų gyvavimo ciklą - prevenciją, pasirengimą, reagavimą ir atkūrimą. Joje išryškinamos konkrečios taikymo sritys, pavyzdžiui, atakos paviršiaus kartografavimas, anomalijų aptikimas ir saugaus kodo kūrimas, ir jos iliustruojamos atvejo tyrimais bei nuorodomis tolesnėms studijoms.
AI kibernetinių nusikaltimų srityje
Kaip AI keičia kibernetinę žudymo grandinę:
Antroje dalyje aptariamas AI poveikis kibernetiniams nusikaltimams, daugiausia dėmesio skiriant tam, kaip AI keičia kibernetinių nusikaltimų grandinę. Nagrinėjama, kaip AI leidžia užpuolikams automatizuoti ir patobulinti tokius etapus, kaip žvalgyba, ginklavimasis ir pristatymas, ir kartu įvesti naujas atakų formas. Atvejų pavyzdžiai ir papildoma literatūra padeda suprasti šiuos pokyčius.
Terminų žodynėlis
- Priešiškas AI: metodų rinkinys, kai įsilaužėliai manipuliuoja AI modeliais (pvz., apeina aptikimo sistemas, užnuodija mokymo duomenis).
- Priešiškos atakos: šiek tiek pakeistus duomenis, kad apgautų AI sistemas (pvz., šiek tiek pakeistą kenkėjišką programinę įrangą, kad būtų išvengta AI pagrįstos antivirusinės programinės įrangos).
- Priešiški pavyzdžiai: kenkėjiški duomenys, kuriais siekiama suklaidinti AI modelius (pvz., iškraipyti vaizdai ar tekstas).
- Suderinimas: užtikrinti, kad AI sistemų tikslai atitiktų žmonių ketinimus.
- Dirbtinis intelektas (AI): kompiuterių mokslo sritis, kuria siekiama sukurti sistemas, galinčias atlikti užduotis, kurioms reikia žmogaus intelekto, pavyzdžiui, aptikti grėsmes, analizuoti neįprastą elgseną ar automatizuotai reaguoti į kibernetinio saugumo incidentus.
- AI paaiškinamumas (XAI): metodus, kurie leidžia AI sprendimus padaryti suprantamus žmonėms.
- AI sauga: užtikrinti, kad AI sistemos veiktų taip, kaip tikimasi, ir kad jose nebūtų naujų pažeidžiamumų.
- AI šališkumas: sisteminės klaidos AI rezultatuose, atsiradusios dėl nesubalansuotų arba šališkų mokymo duomenų.
- Duomenų apsinuodijimas: priešiškos atakos rūšis, kai į mokymo duomenų rinkinius įterpiami kenkėjiški arba sugadinti duomenys, siekiant pabloginti modelio veikimą arba nustatyti pažeidžiamumą.
- Gilusis mokymasis (DL):mašininio mokymosi rūšis, kai sudėtingiems duomenims (pvz., vaizdams, tinklo žurnalams) analizuoti naudojami daugiasluoksniai neuroniniai tinklai, dažnai naudojami kenkėjiškoms programoms klasifikuoti arba įsilaužimams aptikti. Neuroniniai tinklai padeda apdoroti neapdorotus duomenis, kurie yra DL algoritmų pagrindas, padedantis nustatyti, klasifikuoti ir pagerinti neapdorotuose duomenyse paslėptas koreliacijas ir modelius (priklausomai nuo taikomųjų programų neuroniniai tinklai apima dirbtinius neuroninius tinklus, konvoliucinius neuroninius tinklus ir pasikartojančius neuroninius tinklus).
- Pasiskirstymo pokytis: rizika, kad AI modeliai taps neveiksmingi, jei realaus pasaulio duomenys skirsis nuo mokymo duomenų.
- Etinis AI: principai, kuriais užtikrinama, kad AI kibernetinio saugumo srityje būtų naudojamas sąžiningai, atsakingai ir skaidriai.
- Tikslus derinimas: iš anksto parengto modelio pritaikymo konkrečiai užduočiai ar duomenų rinkiniui procesas, kuriam dažnai reikia mažiau duomenų ir skaičiavimo išteklių nei mokymui iš naujo.
- mašininis mokymasis (ML): AI pogrupis, kuriame sistemos mokosi iš duomenų, kad nustatytų modelius (pvz., kenkėjiškų programų požymius, įtartiną tinklo srautą) ir priimtų sprendimus ar prognozes.
- Modelis: matematinis sistemos, apmokytos pagal duomenis atlikti tokias užduotis kaip klasifikavimas, prognozavimas ar generavimas AI ir mašininis mokymasis, atvaizdavimas.
- Modelio svoris: mokymo metu išmoktus skaitinius parametrus, kurie lemia, kaip AI modelis apdoroja įvestis, kad gautų rezultatus. Koreguojant svorius, modelis gali atpažinti modelius ir atlikti tikslias prognozes.
- Greita injekcija: metodas, naudojamas manipuliuoti dideliais kalbos modeliais, į įvestis įterpiant suklastotas instrukcijas, dėl kurių modelis ignoruoja arba pakeičia savo pradinę užduotį ir pateikia nenumatytus rezultatus.
- Mokymasis naudojant pastiprinimą: metodas, pagal kurį AI mokosi priimti optimalius sprendimus bandymų ir klaidų būdu imituojamoje aplinkoje.
- Patvarumas: AI gebėjimas patikimai veikti kintančiomis sąlygomis (pavyzdžiui, susidūrus su naujais priešininkais).
- Prižiūrimas mokymasis: tai metodas, kurį taikant modeliai mokomi naudojant pažymėtus duomenis klasifikavimui.
- Sintetiniai duomenys: dirbtinai sukurtus duomenis, naudojamus AI modeliams mokyti, kai realių duomenų trūksta arba jie yra jautrūs.
- Neprižiūrimas mokymasis: paslėptų modelių nustatymo neženklintuose duomenyse metodas.
Kaip galite prisidėti
Ar naudojate atvirojo kodo AI sprendimą, kad mokinius mokytumėte kibernetinio saugumo, ar turite kitų viešai prieinamų išteklių, kuriais galėtumėte pasidalyti mokydami apie AI ir kibernetinį saugumą (nepriklausomai nuo to, ar jie pagrįsti AI, ar ne)?
Norėtume išgirsti jūsų nuomonę. Rašykite mums el. paštu
co*****@vi************.org
, mes pasidalinsime jūsų įnašu su platesne bendruomene ir užtikrinsime, kad šis priemonių rinkinys būtų nuolat atnaujinamas.
