Інструментарій штучного інтелекту в кібербезпеці
Ресурси для викладачів кібербезпеки
Вступ
Штучний інтелект (AI) швидко змінює ландшафт кібербезпеки, виступаючи як інструмент захисту і як зброя для нападу. Для освітян ця подвійна роль створює нагальну потребу підготувати учнів не лише до використання AI для захисту, але й до розуміння того, як супротивники можуть використовувати його в атаках.
З точки зору захисту, AI вже вбудований в професійні середовища безпеки, впливаючи на всі етапи життєвого циклу кіберінциденту (наприклад, запобігання, готовність, реагування та відновлення). Він забезпечує аналіз журналів, виявлення аномалій, розслідування шкідливого програмного забезпечення і навіть тренінги з підвищення обізнаності, надаючи захисникам більшу швидкість, точність і масштабованість. У навчальному процесі AI також відкриває нові можливості для викладання, автоматизуючи оцінювання, створюючи тематичні дослідження, імітуючи реальні інциденти і розробляючи інтерактивні вправи, які допомагають студентам ефективніше засвоювати складні концепції кібербезпеки.
Водночас, AI є рушійною силою нового покоління наступальних кібероперацій. Зловмисники використовують покоління AI для автоматизації розвідки, персоналізації фішингових кампаній, прискорення виявлення вразливостей або розгортання адаптивного шкідливого програмного забезпечення. Така трансформація кібер-ланцюга вбивств збільшила масштаб і витонченість атак по всьому світу - від програм-вимагачів до глибоких підробок і ройового шкідливого програмного забезпечення. Таким чином, AI є одночасно і засобом для кібератак, і мішенню для використання зловмисниками, а такі вразливості, як отруєння даних і приклади зловмисників, створюють нові ризики.
Цей інструментарій був розроблений Virtual Routes в рамках проекту Програма семінарів з кібербезпеки за підтримки Google.orgщоб забезпечити викладачів і студентів ресурсами в галузі, яка постійно розвивається. Він базується на опитуванні університетів-учасників і містить матеріали, які допомагають зрозуміти вплив AI на кібербезпеку, представляючи її подвійну роль як оборонного, так і наступального інструменту.
Вплив AI на навички кібербезпеки
У "The Європейська рамка навичок з кібербезпеки (ECSF) визначає дванадцять ключових професійних ролей у сфері кібербезпеки, а також завдання, навички, знання та компетенції, необхідні в цьому секторі. Ці ролі варіюються від технічних функцій, таких як розвідка загроз і тестування на проникнення, до ширших завдань, таких як управління ризиками та освіта. Ми визначили п'ять основних способів, за допомогою яких AI впливає на навички та компетенції, необхідні для виконання цих ролей:
Аналіз даних та розвідка загроз
LLM можуть прискорити збір, кореляцію та узагальнення великих обсягів звітів про загрози, журналів та індикаторів компрометації. Аналітики, як і раніше, повинні перевіряти отримані дані, але їхній фокус зміщується з повторюваного синтаксичного аналізу на критичну інтерпретацію.
Виявлення та реагування на інциденти
AI може допомогти у виявленні аномалій, сортуванні та первинному повідомленні. Навички перевірки сповіщень, контекстуалізації інцидентів та прийняття рішень щодо пропорційного реагування стають все більш важливими.
Оцінка ризиків та комплаєнс
AI може підтримувати автоматичну класифікацію конфіденційних даних і попередню оцінку ризиків. Фахівці-практики повинні застосовувати судження, щоб оцінити, чи відповідають результати, отримані за допомогою AI, нормативним та організаційним вимогам.
Безпечна розробка та перевірка коду
Сканування коду з підтримкою AI виявляє небезпечні шаблони і пропонує виправлення. Професіонали залишаються відповідальними за забезпечення безпечного кодування та зменшення ризику галюцинацій або хибних спрацьовувань AI, оскільки AI також може створювати незахищений код.
Освіта та обізнаність
Магістерські програми дозволяють створювати адаптивні навчальні сценарії, синтетичні набори даних та автоматизований зворотній зв'язок. Набір навичок викладача розвивається в напрямку кураторства, валідації та відповідальної інтеграції ресурсів AI в навчальні програми.
Основні компетенції AI для кібербезпеки
Повсюдне впровадження AI вимагає від усіх фахівців з кібербезпеки, незалежно від їхньої ролі, розвивати нові навички, які сприятимуть відповідальному, адаптивному і ефективному використанню інструментів AI. Ці основні компетенції AI виходять за рамки знайомства з конкретними інструментами, а натомість зосереджуються на базових можливостях, необхідних для ефективної роботи в цьому середовищі, що швидко розвивається:
- AI грамотність зрозуміти можливості та обмеження AI, а також безпечно інтегрувати його в робочі процеси без надмірної довіри до нього.
- Етична обізнаність виявляти ризики, пов'язані з упередженістю, конфіденційністю, підзвітністю та безпекою, гарантуючи, що системи AI розгортаються таким чином, щоб підтримувати професійні та суспільні стандарти.
- Критична оцінка оцінювати результати, отримані в рамках AI, на основі перевірених джерел та контекстуальної експертизи, визначаючи, коли необхідна подальша перевірка або людське судження.
- Пояснюваність і прозорість інтерпретувати результати AI, ставити під сумнів моделі "чорних скриньок" і чітко повідомляти про результати як технічним, так і нетехнічним зацікавленим сторонам, тим самим зміцнюючи довіру до рішень, прийнятих за допомогою AI.
- Стійкість і людський контроль розробити засоби захисту, які запобігають надмірному покладанню на автоматизацію, забезпечуючи надійний захист і зберігаючи людську відповідальність за прийняття критично важливих рішень.
- Управління даними забезпечити якість, різноманітність і безпеку даних, що використовуються в системах AI, розуміючи, що погане управління даними може призвести до системних вразливостей.
- AI управління ризиками передбачити та пом'якшити специфічні для AI ризики, такі як галюцинації, ворожі маніпуляції, небезпечна генерація коду та отруєння даних, вбудовуючи ці міркування в більш широкі рамки кіберризиків.
- Безперервне навчання оновити навички, відстежувати нові загрози та брати участь у нових розробках AI у сфері кібербезпеки.
- Сценарне мислення та форсайт передбачити, як досягнення AI можуть змінити технічний, організаційний і стратегічний рівні кібербезпеки, і підготувати фахівців до проактивного реагування на майбутні виклики.
- Міждисциплінарна співпраця ефективно співпрацювати з експертами в галузі права, політики, психології та етики, визнаючи, що відповідальне використання AI вимагає поглядів, які виходять за межі суто технічної сфери.
- Комунікація та розбудова довіри пояснювати рішення на основі AI чітко і детально, підтримуючи довіру між усіма зацікавленими сторонами.
Автоматизація повторюваних або малоцінних завдань на основі AI підняла нагальні питання про трансформацію робочої сили і потенційне витіснення робочих місць. Проте, в той час як деякі аналітичні завдання можуть зменшитися, виникають нові вимоги щодо нагляду за результатами AI, перевірки висновків і подолання специфічних для AI ризиків, таких як галюцинації, небезпечна генерація коду або маніпуляції з боку супротивника. Замість того, щоб ліквідувати функції кібербезпеки, AI зміщує профіль навичок у бік нагляду, управління і співпраці між людьми і AI.
Етичне та відповідальне використання AI у кіберзахисті
Оптимізуючи час, ефективність і ресурси, AI дозволяє захисникам робити більше з меншими витратами, знижуючи бар'єри для входу і посилюючи здатність виявляти і реагувати на все більш складні кіберзагрози. Оскільки кіберінциденти стають дедалі масштабнішими і складнішими, здатність AI обробляти великі обсяги даних робить його незамінним. Проте надмірне покладання на результати AI створює нові вразливості, особливо коли ці результати є неточними або не мають контекстуального розуміння, що викликає низку запитань щодо етики і відповідального використання:
Ключові етичні проблеми
- Основні принципи: Справедливість
- Основні принципи: Конфіденційність та захист даних
- Ключові принципи: Прозорість та зрозумілість
- Ключові принципи: Прозорість та зрозумілість
Регуляторні заходи
Технічні рішення
Методи дослідження та дані
Virtual Routes провела онлайн-опитування 27 викладачів з університетів Європи, які взяли участь в опитуванні. Опитувальник мав на меті визначити, чи використовують вони наразі AI у викладанні кібербезпеки, як вони це роблять, чому, які конкретні інструменти та завдання, а також чи застосовують вони AI в контексті підтримки кібербезпеки, що надається місцевим громадським організаціям (МГО). Хоча відповіді не є статистично значущими, вони дають уявлення про поточну практику та очікування, висвітлюючи як можливості, так і виклики, пов'язані з інтеграцією AI в освіту з кібербезпеки. Опитування було доповнене подальшими інтерв'ю для кращого розуміння практичних прикладів використання.
Можна виділити кілька ключових висновків:
З 27 респондентів більшість (22) сказали, що вже експериментують з інструментами AI у своєму викладанні, зокрема на семінарах з кібербезпеки, організованих Google.org. Однак впровадження все ще перебуває на початковій стадії і часто обмежується виконанням конкретних завдань, а не систематичною інтеграцією. П'ять респондентів зазначили, що вони ще не використовують AI.
Найпоширеніші програми включають загальні завдання з написання текстів та збору/аналізу даних (з використанням загальних LLM), синтезу даних, а також спеціалізовані завдання з кібербезпеки, такі як виявлення аномалій, мапування поверхні атаки, аналіз шкідливого програмного забезпечення та практичні лабораторні роботи.
Викладачі кібербезпеки в першу чергу використовують AI, щоб допомогти студентам підготуватися до роботи, підтримати самостійне навчання та самооцінку, а також заощадити час на педагогічних завданнях, таких як створення вправ, оцінювання та створення контенту. Багато хто також бачить цінність використання AI для ілюстрації ключових концепцій і сценаріїв кібербезпеки.
Приблизно половина респондентів (15 з 27) заявили, що вони вже використовують або планують використовувати AI для надання підтримки місцевим громадським організаціям (МГО) у сфері кібербезпеки, що є ключовим аспектом семінарів з кібербезпеки Google.org. Це демонструє зростаючий зв'язок між вивченням інструментів AI в аудиторії та їх застосуванням в реальних умовах громади.
Кілька респондентів висловили зацікавленість в отриманні рекомендацій і прикладів того, як ефективно інтегрувати AI в освіту з кібербезпеки. Вони підкреслили потребу в передовому досвіді, спільних ресурсах і тематичних дослідженнях, щоб перейти від експериментів до більш структурованого і ефективного використання AI у навчанні та наданні послуг.
Як орієнтуватися в інструментарії
Цей посібник складається з двох частин, що відображає подвійну роль AI у сфері кібербезпеки.
AI у кіберзахисті
Як AI змінює кіберзахист на всіх етапах життєвого циклу кіберінциденту:
У першій частині розглядається вплив AI на кіберзахист, описується, як інструменти AI підтримують кіберзахист на всіх етапах життєвого циклу інциденту - запобігання, готовність, реагування та відновлення. Вона висвітлює конкретні застосування, такі як картування поверхні атаки, виявлення аномалій та безпечна розробка коду, і ілюструє їх тематичними дослідженнями та посиланнями для подальшого вивчення.
AI у кібер-злочинах
Як AI змінює кібер-ланцюг вбивств:
У другій частині розглядається вплив AI на кіберзлочинність з акцентом на тому, як AI змінює кіберланцюг вбивств. У ній розглядається, як AI дозволяє зловмисникам автоматизувати і вдосконалити такі етапи, як розвідка, озброєння і доставка, а також запровадити нові форми атак. Конкретні приклади і додаткова література забезпечують контекст для розуміння цих змін.
Глосарій термінів
- Супротивник AI: набір методів, за допомогою яких зловмисники маніпулюють моделями AI (наприклад, обхід систем виявлення, отруєння навчальних даних).
- Ворожі атаки: дані, модифіковані з метою обману систем AI (наприклад, злегка змінені шкідливі програми для обходу антивірусного програмного забезпечення на базі AI).
- Суперечливі приклади: шкідливі дані, призначені для введення в оману моделей AI (наприклад, спотворені зображення або текст).
- Вирівнювання: забезпечення відповідності цілей систем AI людським намірам.
- Штучний інтелект (AI): галузь комп'ютерних наук, метою якої є створення систем, здатних виконувати завдання, що вимагають людського інтелекту, такі як виявлення загроз, аналіз аномальної поведінки або автоматизоване реагування на інциденти кібербезпеки.
- AI пояснюваність (XAI): методи, які роблять рішення AI зрозумілими для людей.
- Безпека AI: гарантувати, що системи AI поводяться належним чином і не створюють нових вразливостей.
- Зсув в AI: системні помилки в результатах AI, спричинені незбалансованими або упередженими навчальними даними.
- Отруєння даних: тип ворожих атак, коли шкідливі або пошкоджені дані вставляються в навчальні набори даних, щоб погіршити продуктивність моделі або створити вразливості.
- Глибоке навчання (ГН):тип машинного навчання, який використовує багатошарові нейронні мережі для аналізу складних даних (наприклад, зображень, мережевих журналів), часто використовується для класифікації шкідливого програмного забезпечення або виявлення вторгнень. Нейронні мережі допомагають обробляти необроблені дані в основі алгоритмів DL, допомагаючи виявляти, класифікувати та покращувати приховані кореляції та закономірності в необроблених даних (нейронні мережі включають штучні нейронні мережі, згорткові нейронні мережі та рекурентні нейронні мережі залежно від застосування).
- Зміна розподілу: ризик того, що моделі AI стануть неефективними, якщо реальні дані відрізняються від навчальних.
- Етичний AI: принципи, що гарантують справедливе, відповідальне та прозоре використання AI у сфері кібербезпеки.
- Точне налаштування: процес адаптації попередньо навченої моделі до конкретного завдання або набору даних, який часто вимагає менше даних і обчислювальних ресурсів, ніж навчання з нуля.
- Машинне навчання (ML): підмножина AI, в якій системи навчаються на основі даних, щоб виявляти закономірності (наприклад, підписи шкідливих програм, підозрілий мережевий трафік) і приймати рішення або прогнози.
- Модель: математичне представлення системи, навченої на даних для виконання таких завдань, як класифікація, прогнозування або генерація в AI і машинному навчанні.
- Модельні ваги: числові параметри, вивчені під час навчання, які визначають, як модель AI обробляє вхідні дані для отримання вихідних. Налаштування ваг дозволяє моделі розпізнавати закономірності та робити точні прогнози.
- Швидка ін'єкція: техніка, що використовується для маніпулювання великими мовними моделями шляхом вставки у вхідні дані сфабрикованих інструкцій, що змушує модель ігнорувати або перевизначати своє початкове завдання і видавати непередбачувані результати.
- Навчання з підкріпленням: метод, за допомогою якого AI вчиться приймати оптимальні рішення шляхом спроб і помилок у змодельованих середовищах.
- Міцність: здатність AI надійно функціонувати в мінливих умовах (наприклад, при зіткненні з новими супротивниками).
- Навчання під наглядом: метод, який передбачає навчання моделей з використанням маркованих даних для класифікації.
- Синтетичні дані: штучно згенеровані дані, що використовуються для навчання моделей AI, коли реальних даних недостатньо або вони є конфіденційними.
- Навчання без нагляду: метод виявлення прихованих шаблонів у немаркованих даних.
Як ви можете зробити свій внесок
Чи використовуєте ви рішення AI з відкритим кодом для навчання студентів з кібербезпеки, чи маєте інші загальнодоступні ресурси для викладання AI та кібербезпеки (незалежно від того, чи базуються вони на AI чи ні)?
Ми будемо раді почути від вас. Будь ласка, напишіть нам на адресу
co*****@vi************.org
ми будемо ділитися вашими внесками з ширшою спільнотою і забезпечуватимемо постійне оновлення цього інструментарію.
