Mākslīgais intelekts kiberdrošības rīku komplektā
Resursi kiberdrošības izglītotājiem
Ievads
Mākslīgais intelekts (AI) strauji maina kiberdrošības ainavu - gan kā aizsardzības rīks, gan kā ierocis uzbrukumam. Pedagogiem šī dubultā loma rada steidzamu nepieciešamību sagatavot studentus ne tikai izmantot AI aizsardzībai, bet arī saprast, kā pretinieki to var izmantot uzbrukumos.
Aizsardzības jomā AI jau ir iestrādāts profesionālās drošības vidēs, ietekmējot visus dažādos kiberincidentu dzīves cikla posmus (piemēram, novēršanu, gatavību, reaģēšanu un atjaunošanu). Tas nodrošina žurnālu analīzi, anomāliju atklāšanu, ļaunprātīgas programmatūras izmeklēšanu un pat informētības apmācību, nodrošinot aizstāvjiem lielāku ātrumu, precizitāti un mērogojamību. AI paver arī jaunas mācību iespējas, automatizējot novērtējumus, ģenerējot gadījumu izpēti, simulējot reālus incidentus un izstrādājot interaktīvus uzdevumus, kas palīdz studentiem efektīvāk izprast sarežģītus kiberdrošības jēdzienus.
Vienlaikus AI ir jaunās paaudzes kiberoperāciju dzinējspēks. Ļaunprātīgie dalībnieki izmanto ģeneratīvo AI, lai automatizētu izlūkošanu, personalizētu pikšķerēšanas kampaņas, paātrinātu ievainojamību atklāšanu vai izvērstu adaptīvu ļaunprogrammatūru. Šī kiberuzbrukumu ķēdes transformācija ir pastiprinājusi uzbrukumu mērogu un sarežģītību visā pasaulē, sākot ar izpirkuma maksu, beidzot ar "deepfakes" un "swarm" ļaunprogrammatūru. Tādējādi AI ir gan kiberuzbrukumu veicinātājs, gan arī pats kļūst par pretinieku izmantošanas mērķi, un tādi ievainojamības veidi kā datu saindēšana un pretinieku piemēri rada jaunus riskus.
Šo rīku kopumu izstrādāja Virtual Routes kā daļu no Kiberdrošības semināru programmu atbalsta Google.org, lai skolotājiem un skolēniem nodrošinātu resursus pastāvīgi augošajā jomā. Tā ir balstīta uz iesaistīto universitāšu aptauju un sniedz materiālus, kas palīdz izprast AI ietekmi uz kiberdrošību, iepazīstinot ar tās divējādo lomu gan kā aizsardzības, gan kā uzbrukuma līdzekli.
AI ietekme uz kiberdrošības prasmēm
Portāls Eiropas kiberdrošības prasmju ietvarstruktūra (ECSF) definētas divpadsmit galvenās kiberdrošības profesionāļu lomas, kā arī uzdevumi, prasmes, zināšanas un kompetences, kas nepieciešamas šajā nozarē. Šīs lomas aptver gan tehniskās funkcijas, piemēram, draudu izlūkošana un iekļūšanas testēšana, gan plašākus uzdevumus, piemēram, riska pārvaldība un izglītošana. Mēs identificējām piecus galvenos veidus, kā AI ietekmē šīm funkcijām nepieciešamās prasmes un kompetences:
Datu analīze un draudu izlūkošana
LLM var paātrināt liela apjoma ziņojumu par apdraudējumiem, žurnālu un kompromitējošu indikatoru vākšanu, korelāciju un apkopošanu. Analītiķiem joprojām ir jāapstiprina konstatējumi, bet viņu uzmanības centrā ir nevis atkārtota analīze, bet kritiska interpretācija.
Incidentu atklāšana un reaģēšana
AI var palīdzēt anomāliju atklāšanā, šķirošanā un sākotnējā ziņošanā. Arvien svarīgākas kļūst prasmes apstiprināt brīdinājumus, kontekstualizēt incidentus un pieņemt lēmumus par proporcionālu reakciju.
Riska novērtējums un atbilstība
AI var atbalstīt sensitīvu datu automātisku klasifikāciju un iepriekšēju riska novērtēšanu. Praktiķiem ir jāizmanto spriedums, lai novērtētu, vai AI vadītie rezultāti atbilst normatīvajām un organizatoriskajām prasībām.
Droša izstrāde un koda pārskatīšana
AI iespējota kodu skenēšana izceļ nedrošus modeļus un ierosina labojumus. Profesionāļi joprojām ir atbildīgi par drošas kodēšanas prakses nodrošināšanu un AI halucināciju vai viltus pozitīvu rezultātu riska mazināšanu, jo AI var radīt arī nedrošu kodu.
Izglītība un informētība
LLM ļauj ģenerēt adaptīvus mācību scenārijus, sintētiskas datu kopas un automatizētu atgriezenisko saiti. Pedagoga prasmju kopums attīstās tā, lai AI resursi tiktu atbildīgi kurēti, validēti un iestrādāti mācību programmās.
AI pamatprasmes kiberdrošības jomā
AI vispārēja ieviešana prasa, lai visi kiberdrošības profesionāļi neatkarīgi no viņu amata attīstītu jaunas prasmes, kas veicina AI rīku atbildīgu, adaptīvu un efektīvu izmantošanu. Šīs AI pamatprasmes sniedzas tālāk par konkrēto rīku pārzināšanu, bet koncentrējas uz pamatspējām, kas nepieciešamas, lai efektīvi strādātu šajā strauji mainīgajā vidē:
- AI rakstpratība izprast AI iespējas un ierobežojumus, kā arī droši integrēt to darba plūsmās bez pārmērīgas paļaušanās vai nepareizas uzticēšanās.
- Ētikas izpratne identificēt riskus, kas saistīti ar neobjektivitāti, privātumu, atbildību un drošību, nodrošinot, ka AI sistēmas tiek izmantotas tā, lai tiktu ievēroti profesionālie un sabiedriskie standarti.
- Kritisks novērtējums novērtēt AI ģenerētos rezultātus, salīdzinot tos ar uzticamiem avotiem un kontekstuālajām zināšanām, lai atpazītu, kad ir nepieciešama papildu validācija vai cilvēka vērtējums.
- Paskaidrojamība un pārredzamība interpretēt AI rezultātus, analizēt "melnās kastes" modeļus un skaidri paziņot rezultātus gan tehniskajām, gan netehniskajām ieinteresētajām personām, tādējādi stiprinot uzticību AI atbalstītajiem lēmumiem.
- Izturība un cilvēku pārraudzība izstrādāt aizsargpasākumus, kas novērš pārmērīgu paļaušanos uz automatizāciju, nodrošinot stingrus drošības pasākumus un saglabājot cilvēka atbildību par svarīgiem lēmumiem.
- Datu pārvaldība nodrošināt AI sistēmās izmantoto datu kvalitāti, daudzveidību un drošību, saprotot, ka slikta datu pārvaldība var radīt sistēmiskas ievainojamības.
- AI riska pārvaldība paredzēt un mazināt AI specifiskos riskus, piemēram, halucinācijas, pretēju manipulācijas, nedroša koda ģenerēšanu un datu saindēšanu, iekļaujot šos apsvērumus plašākās kiberdrošības sistēmās.
- Nepārtraukta mācīšanās atjaunināt prasmes, uzraudzīt jaunos draudus un iepazīties ar jaunumiem AI kiberdrošības lietojumprogrammu jomā.
- Scenāriju domāšana un prognozēšana paredzēt, kā AI sasniegumi var mainīt kiberdrošības tehnisko, organizatorisko un stratēģisko līmeni, un sagatavot speciālistus, lai proaktīvi reaģētu uz nākotnes izaicinājumiem.
- Starpdisciplinārā sadarbība efektīvi sadarboties ar tiesību, politikas, psiholoģijas un ētikas ekspertiem, atzīstot, ka atbildīgai AI izmantošanai ir nepieciešama perspektīva, kas sniedzas tālāk par tīri tehniskām jomām.
- Saziņa un uzticības veidošana skaidrāk un niansētāk izskaidrot AI balstītus lēmumus, saglabājot uzticību starp visām iesaistītajām ieinteresētajām personām.
AI izraisīta atkārtotu vai mazvērtīgu uzdevumu automatizācija ir radījusi steidzamus jautājumus par darbaspēka pārveidošanu un potenciālo darba vietu pārvietošanu. Tomēr, lai gan daži analītiķu uzdevumi var samazināties, rodas jaunas prasības attiecībā uz AI rezultātu uzraudzību, konstatējumu apstiprināšanu un tādu AI specifisku risku novēršanu kā halucinācijas, nedroša koda ģenerēšana vai ļaunprātīgas manipulācijas. Tā vietā, lai likvidētu kiberdrošības funkcijas, AI maina prasmju profilu uz pārraudzību, pārvaldību un cilvēku un AI sadarbību.
Ētiska un atbildīga AI izmantošana kiberaizsardzībā
Optimizējot laiku, efektivitāti un resursus, AI ļauj aizstāvjiem paveikt vairāk ar mazākiem resursiem, samazinot šķēršļus un stiprinot spēju atklāt un reaģēt uz arvien sarežģītākiem kiberapdraudējumiem. Tā kā kiberincidentu apjoms un sarežģītība pieaug, AI spēja apstrādāt lielus datu apjomus padara to neaizstājamu. Tomēr pārmērīga paļaušanās uz AI rezultātiem rada jaunas ievainojamības, jo īpaši, ja šie rezultāti ir neprecīzi vai tiem trūkst kontekstuālas izpratnes, radot vairākus jautājumus par ētiku un atbildīgu izmantošanu:
Galvenie ētikas jautājumi
- Galvenie principi: Godīgums
- Galvenie principi: Privātums un datu aizsardzība
- Galvenie principi: Pārredzamība un izskaidrojamība
- Galvenie principi: Pārredzamība un izskaidrojamība
Regulatīvie pasākumi
Tehniskie risinājumi
Apsekojuma metodes un dati
Virtual Routes veica tiešsaistes aptauju, kurā piedalījās 27 pedagogi no universitātēm visā Eiropā. Aptaujas mērķis bija noskaidrot, vai viņi pašlaik izmanto AI kiberdrošības mācībās, kā viņi to izmanto, kādēļ viņi to dara, kādus konkrētus rīkus un uzdevumus izmanto un vai viņi izmanto AI saistībā ar kiberdrošības atbalstu, ko sniedz vietējām kopienas organizācijām (LKO). Lai gan atbildes nav statistiski nozīmīgas, tās sniedz ieskatu pašreizējā praksē un gaidās, uzsverot gan iespējas, gan problēmas, kas saistītas ar AI integrēšanu kiberdrošības izglītībā. Aptauja tika papildināta ar papildu intervijām, lai labāk izprastu praktiskos izmantošanas gadījumus.
Var izcelt dažus galvenos secinājumus:
No 27 respondentiem lielākā daļa (22) norādīja, ka viņi jau eksperimentē ar AI rīkiem savā mācību procesā, jo īpaši Google.org organizētajos kiberdrošības semināros. Tomēr pieņemšana vēl ir tikai sākumposmā un bieži vien aprobežojas ar konkrētiem uzdevumiem, nevis sistemātisku integrāciju. Pieci respondenti norādīja, ka viņi vēl neizmanto AI.
Visbiežāk lietojumi ietver vispārīgus rakstīšanas un datu vākšanas/analīzes uzdevumus (izmantojot kopējos LLM), datu sintēzi un specializētus kiberdrošības uzdevumus, piemēram, anomāliju atklāšanu, uzbrukuma virsmas kartēšanu, ļaunprogrammatūras analīzi un praktiskas laboratorijas.
Kiberdrošības pasniedzēji galvenokārt izmanto AI, lai palīdzētu studentiem sagatavoties darbam, atbalstītu pašvadītu mācīšanos un pašnovērtēšanu un ietaupītu laiku, kas nepieciešams pedagoģisko uzdevumu veikšanai, piemēram, uzdevumu izveidei, vērtēšanai un satura ģenerēšanai. Daudzi uzskata, ka AI ir lietderīgi izmantot arī, lai ilustrētu galvenos kiberdrošības jēdzienus un scenārijus.
Aptuveni puse respondentu (15 no 27) norādīja, ka jau izmanto vai plāno izmantot AI, lai sniegtu kiberdrošības atbalstu vietējām kopienu organizācijām (LCO), kas ir galvenais Google.org kiberdrošības semināru aspekts. Tas liecina par pieaugošo saikni starp AI rīku izpēti klasē un to izmantošanu reālos kopienas kontekstos.
Vairāki respondenti pauda interesi saņemt norādījumus un piemērus par to, kā efektīvi integrēt AI kiberdrošības izglītībā. Viņi uzsvēra, ka ir nepieciešama paraugprakse, kopīgi resursi un gadījumu izpēte, lai no eksperimentiem pārietu uz strukturētāku un efektīvāku AI izmantošanu mācībās un pakalpojumu sniegšanā.
Kā pārlūkot rīku komplektu
Šis rīku komplekts ir sadalīts divās daļās, atspoguļojot AI divējādo lomu kiberdrošības jomā.
AI kiberaizsardzībā
Kā AI maina kiberaizsardzību visā kiberincidentu dzīves ciklā:
Pirmajā daļā ir aplūkota AI ietekme uz kiberaizsardzību, izklāstot, kā AI rīki atbalsta kiberaizsardzību incidentu novēršanas, gatavības, reaģēšanas un atjaunošanas dzīves ciklā. Tajā izcelti konkrēti lietojumi, piemēram, uzbrukuma virsmas kartēšana, anomāliju atklāšana un droša koda izstrāde, un tie ilustrēti ar gadījumu izpēti un atsaucēm turpmākai izpētei.
AI kibernoziegumos
Kā AI maina kibernoziegumu ķēdi:
Otrajā daļā aplūkota AI ietekme uz kibernoziegumiem, pievēršot uzmanību tam, kā AI pārveido kibernoziegumu ķēdi. Tajā aplūkots, kā AI ļauj uzbrucējiem automatizēt un uzlabot tādus posmus kā izlūkošana, ieroču izmantošana un piegāde, vienlaikus ieviešot jaunus uzbrukuma veidus. Gadījumu piemēri un papildu literatūra sniedz kontekstu, lai izprastu šīs norises.
Terminu glosārijs
- Pretinieku AI: metožu kopums, ar kuru palīdzību uzbrucēji manipulē ar AI modeļiem (piemēram, apejot atklāšanas sistēmas, saindējot mācību datus).
- Pretinieku uzbrukumi: dati, kas modificēti, lai maldinātu AI sistēmas (piemēram, nedaudz pārveidota ļaunprātīga programmatūra, lai izvairītos no AI balstītas antivīrusu programmatūras).
- Pretrunu piemēri: ļaunprātīgi dati, kas paredzēti, lai maldinātu AI modeļus (piemēram, izkropļoti attēli vai teksts).
- Saskaņošana: nodrošināt, lai AI sistēmu mērķi atbilstu cilvēku nodomiem.
- Mākslīgais intelekts (AI): datorzinātnes joma, kuras mērķis ir radīt sistēmas, kas spēj veikt uzdevumus, kuru veikšanai nepieciešams cilvēka intelekts, piemēram, draudu atklāšana, anomālas uzvedības analīze vai automatizēta reaģēšana uz kiberdrošības incidentiem.
- AI izskaidrojamība (XAI): metodes, kas AI lēmumus padara saprotamus cilvēkiem.
- AI drošība: nodrošināt, ka AI sistēmas darbojas, kā paredzēts, un nerada jaunas ievainojamības.
- Novirze AI: sistēmiskas kļūdas AI rezultātos, ko izraisa nesabalansēti vai neobjektīvi mācību dati.
- Datu saindēšana: ļaunprātīga uzbrukuma veids, kad mācību datu kopās tiek ievietoti ļaunprātīgi vai bojāti dati, lai pasliktinātu modeļa veiktspēju vai ieviestu ievainojamību.
- Dziļā mācīšanās (DL):mašīnmācīšanās veids, kurā izmanto daudzslāņu neironu tīklus, lai analizētu sarežģītus datus (piemēram, attēlus, tīkla žurnālus), ko bieži izmanto ļaunprātīgas programmatūras klasifikācijai vai ielaušanās atklāšanai. Neironu tīkli palīdz apstrādāt neapstrādātus datus, kas ir DL algoritmu pamatā, palīdzot identificēt, klasificēt un uzlabot slēptās sakarības un modeļus neapstrādātajos datos (atkarībā no lietojumiem neironu tīkli ietver mākslīgos neironu tīklus, konvolūcijas neironu tīklus un rekurentu neironu tīklus).
- Izplatīšanas maiņa: risks, ka AI modeļi kļūs neefektīvi, ja reālās pasaules dati atšķiras no mācību datiem.
- Ētiskais AI: principi, kas nodrošina, ka AI kiberdrošības jomā tiek izmantots godīgi, atbildīgi un pārredzami.
- Precīza regulēšana: iepriekš apmācīta modeļa pielāgošana konkrētam uzdevumam vai datu kopai, kam bieži vien ir nepieciešams mazāk datu un skaitļošanas resursu nekā apmācībai no nulles.
- Mašīnmācīšanās (ML): AI apakškopa, kurā sistēmas mācās no datiem, lai identificētu modeļus (piemēram, ļaunprātīgas programmatūras pazīmes, aizdomīgu tīkla datplūsmu) un pieņemtu lēmumus vai prognozes.
- Modelis: sistēmas matemātisks attēlojums, kas apmācīta datu apstrādei, lai veiktu tādus uzdevumus kā klasifikācija, prognozēšana vai ģenerēšana AI un mašīnmācīšanās.
- Modeļa svars: apmācības laikā apgūtie skaitliskie parametri, kas nosaka, kā AI modelis apstrādā ievades datus, lai iegūtu rezultātus. Svaru pielāgošana ļauj modelim atpazīt modeļus un veikt precīzas prognozes.
- Steidzama injekcija: metode, ko izmanto, lai manipulētu ar lieliem valodas modeļiem, ievades ievados ievietojot viltotas instrukcijas, kas liek modelim ignorēt vai pārspēt sākotnējo uzdevumu un radīt neparedzētus rezultātus.
- Pastiprināšanas mācīšanās: metode, ar kuru AI mācās pieņemt optimālus lēmumus, izmantojot izmēģinājumus un kļūdas simulētā vidē.
- Izturība: AI spēja droši darboties mainīgos apstākļos (piemēram, saskaroties ar jauniem pretiniekiem).
- Uzraudzīta mācīšanās: metode, kas ietver modeļu apmācību, izmantojot marķētus datus klasifikācijai.
- Sintētiskie dati: mākslīgi radīti dati, ko izmanto AI modeļu apmācībai, ja reālās pasaules dati ir nepietiekami vai jutīgi.
- Mācīšanās bez uzraudzības: metode slēpto modeļu identificēšanai nemarķētos datos.
Kā jūs varat dot savu ieguldījumu
Vai jūs izmantojat atvērtā koda AI risinājumu, lai apmācītu skolēnus par kiberdrošību, vai arī jums ir citi publiski pieejami resursi, ar kuriem dalīties, lai mācītu par AI un kiberdrošību (neatkarīgi no tā, vai tie ir vai nav balstīti uz AI)?
Mēs labprāt uzklausītu jūs. Lūdzu, rakstiet mums uz e-pasta adresi
co*****@vi************.org
, mēs dalīsimies ar jūsu ieguldījumu plašākā sabiedrībā un nodrošināsim, ka šis rīku komplekts tiek regulāri atjaunināts.
