الذكاء الاصطناعي في مجموعة أدوات الأمن السيبراني
موارد لمعلمي الأمن السيبراني
مقدمة
يعمل الذكاء الاصطناعي (AI) على إعادة تشكيل مشهد الأمن السيبراني بسرعة، سواء كأداة للدفاع أو كسلاح للهجوم. بالنسبة للمعلمين، فإن هذا الدور المزدوج يخلق حاجة ملحة لإعداد الطلاب ليس فقط لتسخير AI للحماية ولكن أيضًا لفهم كيف يمكن للخصوم استغلالها في الهجمات.
أما على الجانب الدفاعي، فإن تقنية AI مدمجة بالفعل في البيئات الأمنية الاحترافية، مما يؤثر على جميع المراحل المختلفة لدورة حياة الحوادث الإلكترونية (على سبيل المثال، الوقاية والتأهب والاستجابة والتعافي). فهو يدعم تحليل السجلات، واكتشاف الحالات الشاذة، والتحقيق في البرمجيات الخبيثة، وحتى التدريب التوعوي، مما يمنح المدافعين سرعة ودقة وقابلية أكبر للتوسع. في الفصول الدراسية، تفتح AI أيضًا فرصًا جديدة للتدريس من خلال أتمتة التقييمات وإنشاء دراسات الحالة ومحاكاة الحوادث الواقعية وتصميم تمارين تفاعلية تساعد الطلاب على فهم مفاهيم الأمن السيبراني المعقدة بشكل أكثر فعالية.
وفي الوقت نفسه، تقود تقنية AI جيلاً جديداً من العمليات السيبرانية الهجومية. تقوم الجهات الفاعلة الخبيثة بتسليح AI التوليدية لأتمتة الاستطلاع، أو تخصيص حملات التصيد الاحتيالي، أو تسريع اكتشاف الثغرات، أو نشر البرمجيات الخبيثة المتكيفة. وقد أدى هذا التحول في سلسلة القتل السيبراني إلى تكثيف حجم الهجمات وتعقيدها في جميع أنحاء العالم، من برمجيات الفدية الخبيثة إلى البرمجيات الخبيثة المزيفة العميقة والبرمجيات الخبيثة السرب. وبالتالي، فإن برمجيات AI هي عامل تمكين للهجمات السيبرانية وهدف للاستغلال العدائي في الوقت نفسه، حيث تشكل الثغرات مثل تسميم البيانات والأمثلة العدائية مخاطر جديدة.
تم تطوير مجموعة الأدوات هذه من قبل Virtual Routes كجزء من برنامج ندوات الأمن السيبراني المدعوم من Google.orgلتزويد المعلمين والطلاب بالموارد في مجال يتطور باستمرار. وهو يستند إلى دراسة استقصائية للجامعات المشاركة ويوفر مواد للمساعدة في فهم تأثير AI على الأمن السيبراني، ويقدم دوره المزدوج كأداة دفاعية وهجومية على حد سواء.
تأثيرات AI على مهارات الأمن السيبراني
إن الإطار الأوروبي لمهارات الأمن السيبراني (ECSF) يحدد اثني عشر دورًا مهنيًا رئيسيًا في مجال الأمن السيبراني، إلى جانب المهام والمهارات والمعارف والكفاءات اللازمة في هذا القطاع. وتتراوح هذه الأدوار من الوظائف التقنية مثل استخبارات التهديدات واختبار الاختراق إلى المهام الأوسع نطاقاً مثل إدارة المخاطر والتعليم. لقد حددنا خمس طرق رئيسية تؤثر من خلالها AI على المهارات والكفاءات المطلوبة لهذه الأدوار:
تحليل البيانات ومعلومات التهديدات
يمكن أن تسرّع عمليات جمع وربط وتلخيص الكميات الكبيرة من تقارير التهديدات والسجلات ومؤشرات الاختراق. لا يزال المحللون مطالبين بالتحقق من صحة النتائج، ولكن تركيزهم يتحول من التحليل المتكرر إلى التفسير النقدي.
اكتشاف الحوادث والاستجابة لها
يمكن أن تساعد AI في الكشف عن الحالات الشاذة والفرز والإبلاغ الأولي. تزداد أهمية المهارات في التحقق من صحة التنبيهات ووضع الحوادث في سياقها وتحديد الاستجابات المتناسبة.
تقييم المخاطر والامتثال
يمكن أن يدعم برنامج AI التصنيف التلقائي للبيانات الحساسة والتصنيف الأولي للمخاطر. يجب على الممارسين تطبيق الأحكام لتقييم ما إذا كانت المخرجات المستندة إلى AI تتماشى مع المتطلبات التنظيمية والمؤسسية.
التطوير الآمن ومراجعة التعليمات البرمجية
يسلط مسح التعليمات البرمجية الممكّنة لـ AI الضوء على الأنماط غير الآمنة ويقترح إصلاحات. ويظل المحترفون مسؤولين عن ضمان ممارسات الترميز الآمنة والتخفيف من مخاطر هلوسة AI أو الإيجابيات الخاطئة لأن AI قد يؤدي أيضًا إلى إنشاء تعليمات برمجية غير آمنة.
التثقيف والتوعية
تُمكِّن آليات التعلم الآلي من توليد سيناريوهات التدريب التكيفي ومجموعات البيانات التركيبية والتغذية الراجعة الآلية. تتطور مجموعة مهارات المعلم نحو تنظيم موارد AI والتحقق من صحتها وتضمينها بشكل مسؤول في المناهج الدراسية.
الكفاءات الأساسية AI للأمن السيبراني
يتطلب اعتماد AI في كل مكان من جميع المتخصصين في مجال الأمن السيبراني، بغض النظر عن دورهم، تطوير مهارات جديدة تساهم في الاستخدام المسؤول والفعال لأدوات AI والتكيف معها. وتمتد هذه الكفاءات الأساسية في مجال AI إلى ما هو أبعد من الإلمام بأدوات محددة، وتركز بدلاً من ذلك على القدرات الأساسية المطلوبة للعمل بفعالية في هذه البيئة سريعة التطور:
- AI محو الأمية لفهم إمكانيات وقيود AI، ودمجها بأمان في عمليات سير العمل دون الاعتماد المفرط أو الثقة في غير محلها.
- الوعي الأخلاقي لتحديد المخاطر المتعلقة بالتحيز والخصوصية والمساءلة والأمن، وضمان نشر أنظمة AI بطرق تدعم المعايير المهنية والمجتمعية.
- التقييم النقدي لتقييم المخرجات التي تم إنشاؤها بواسطة AI مقابل المصادر الموثوقة والخبرة السياقية، مع التعرف على الحالات التي تتطلب المزيد من التحقق من الصحة أو الحكم البشري.
- قابلية الشرح والشفافية لتفسير مخرجات AI، واستجواب نماذج "الصندوق الأسود"، وإيصال النتائج بوضوح إلى أصحاب المصلحة التقنيين وغير التقنيين على حد سواء، وبالتالي تعزيز الثقة في القرارات التي تساعدها AI.
- المرونة والرقابة البشرية لتصميم ضمانات تمنع الاعتماد المفرط على الأتمتة، مما يضمن وجود ضمانات قوية والحفاظ على المسؤولية البشرية عن القرارات الحاسمة.
- حوكمة البيانات لضمان جودة البيانات المستخدمة في أنظمة AI وتنوعها وأمنها، مع إدراك أن سوء إدارة البيانات يمكن أن يؤدي إلى ظهور نقاط ضعف منهجية.
- AI إدارة المخاطر AI لتوقع وتخفيف المخاطر الخاصة بـ AI مثل الهلوسة والتلاعب العدائي وتوليد التعليمات البرمجية غير الآمنة وتسميم البيانات، وإدراج هذه الاعتبارات ضمن أطر المخاطر السيبرانية الأوسع نطاقاً.
- التعلّم المستمر لتحديث المهارات، ورصد التهديدات الناشئة، والتعامل مع التطورات الجديدة في تطبيقات AI للأمن السيبراني.
- التفكير في السيناريوهات واستشراف المستقبل لتوقع كيف يمكن للتطورات في AI أن تعيد تشكيل المستويات التقنية والتنظيمية والاستراتيجية للأمن السيبراني، وإعداد المهنيين للاستجابة للتحديات المستقبلية بشكل استباقي.
- التعاون متعدد التخصصات العمل بفعالية مع خبراء في القانون والسياسة وعلم النفس والأخلاق، مع الاعتراف بأن الاستخدام المسؤول ل AI يتطلب وجهات نظر تتجاوز المجالات التقنية البحتة.
- التواصل وبناء الثقة لشرح القرارات التي تدعم تقنية AI بوضوح ودقة، مما يحافظ على الثقة بين جميع أصحاب المصلحة المعنيين.
أثارت أتمتة AI للمهام المتكررة أو ذات القيمة المنخفضة تساؤلات ملحة حول تحول القوى العاملة والإزاحة المحتملة للوظائف. ومع ذلك، في حين أن بعض مهام المحللين قد تتضاءل بعض المهام، تنشأ مطالب جديدة حول الإشراف على مخرجات AI، والتحقق من صحة النتائج، ومعالجة المخاطر الخاصة بـ AI مثل الهلوسة، أو توليد التعليمات البرمجية غير الآمنة، أو التلاعب العدائي. وبدلاً من إلغاء أدوار الأمن السيبراني، فإن AI تحوّل ملف المهارات نحو الإشراف والحوكمة والتعاون بين البشر وAI.
الاستخدام الأخلاقي والمسؤول لتقنية AI في الدفاع السيبراني
من خلال تحسين الوقت والكفاءة والموارد، تمكّن AI المدافعين من القيام بالمزيد بموارد أقل، مما يقلل من الحواجز التي تحول دون الدخول في هذا المجال ويعزز القدرة على اكتشاف التهديدات السيبرانية المتزايدة التعقيد والاستجابة لها. مع تزايد حجم الحوادث السيبرانية وتطورها، فإن قدرة AI على معالجة كميات كبيرة من البيانات تجعلها لا غنى عنها. ومع ذلك، فإن الاعتماد المفرط على مخرجات AI يطرح نقاط ضعف جديدة، لا سيما عندما تكون تلك المخرجات غير دقيقة أو تفتقر إلى فهم السياق، مما يثير العديد من الأسئلة حول الأخلاقيات والاستخدام المسؤول:
الشواغل الأخلاقية الرئيسية
- المبادئ الرئيسية: الإنصاف
- المبادئ الرئيسية: الخصوصية وحماية البيانات
- المبادئ الرئيسية: الشفافية وقابلية الشرح
- المبادئ الرئيسية: الشفافية وقابلية الشرح
التدابير التنظيمية
الحلول التقنية
طرق المسح والبيانات
أجرت Virtual Routes استبيانًا عبر الإنترنت لـ 27 معلمًا مشاركًا من جامعات في جميع أنحاء أوروبا. وهدف الاستبيان إلى تحديد ما إذا كانوا يستخدمون حاليًا AI في تدريسهم للأمن السيبراني، وكيفية استخدامهم لها، وأسباب قيامهم بذلك، والأدوات والمهام المحددة التي ينطوي عليها الأمر، وما إذا كانوا يطبقون AI في سياق دعم الأمن السيبراني المقدم إلى منظمات المجتمع المحلي (LCOs). على الرغم من أن الإجابات لم تكن ذات دلالة إحصائية، إلا أنها توفر نظرة ثاقبة للممارسات والتوقعات الحالية، وتسلط الضوء على كل من الفرص والتحديات المرتبطة بدمج AI في تعليم الأمن السيبراني. تم استكمال الاستبيان بمقابلات متابعة للوصول إلى فهم أفضل لحالات الاستخدام العملي.
يمكن تسليط الضوء على بعض النقاط الرئيسية:
ومن بين الـ 27 مجيبًا، قال معظمهم (22) إنهم يقومون بالفعل بتجربة أدوات AI في تدريسهم، لا سيما في حلقات دراسية حول الأمن السيبراني نظمتها Google.org. ومع ذلك، لا يزال التبني في مراحله الأولى وغالباً ما يقتصر على مهام محددة بدلاً من التكامل المنهجي. وأشار خمسة من المجيبين إلى أنهم لم يستخدموا بعد AI.
وتتضمن التطبيقات الأكثر شيوعًا مهام الكتابة العامة وجمع البيانات/التحليل (باستخدام أدوات LLM الشائعة)، وتوليف البيانات، ومهام الأمن السيبراني المتخصصة مثل اكتشاف الشذوذ، ورسم خرائط سطح الهجوم، وتحليل البرمجيات الخبيثة، والمختبرات العملية.
يستخدم معلمو الأمن السيبراني في المقام الأول AI لمساعدة الطلاب على الاستعداد لمكان العمل، ولدعم التعلم الذاتي والتقييم الذاتي، ولتوفير الوقت في المهام التربوية مثل إنشاء التمارين وتقدير الدرجات وإنشاء المحتوى. يرى الكثيرون أيضًا قيمة استخدام AI لتوضيح مفاهيم وسيناريوهات الأمن السيبراني الرئيسية.
ذكر ما يقرب من نصف المشاركين (15 من أصل 27) أنهم يستخدمون بالفعل أو يخططون لاستخدام AI لتوفير الدعم في مجال الأمن السيبراني لمنظمات المجتمع المحلي (LCOs)، وهو جانب رئيسي من حلقات Google.org الدراسية للأمن السيبراني. وهذا يدل على وجود صلة متنامية بين استكشاف أدوات AI في الفصول الدراسية وتطبيقها في سياقات مجتمعية حقيقية.
أعرب العديد من المجيبين عن اهتمامهم بتلقي إرشادات وأمثلة حول كيفية دمج AI بشكل فعال في تعليم الأمن السيبراني. وسلطوا الضوء على الحاجة إلى أفضل الممارسات، والموارد المشتركة، ودراسات الحالة للانتقال من التجريب إلى استخدام AI بشكل أكثر تنظيماً وفعالية في التدريس وتقديم الخدمات.
كيفية تصفح مجموعة الأدوات
تم تنظيم مجموعة الأدوات هذه في جزأين، مما يعكس الدور المزدوج الذي تلعبه AI في الأمن السيبراني.
AI في الدفاع السيبراني
كيف يغير AI الدفاع السيبراني عبر دورة حياة الحوادث السيبرانية:
يبحث الجزء الأول في تأثير AI على الدفاع السيبراني، ويوضح كيف تدعم أدوات AI الدفاع السيبراني عبر دورة حياة الحادث من الوقاية والتأهب والاستجابة والتعافي. كما يسلط الضوء على تطبيقات ملموسة مثل رسم خرائط سطح الهجوم، والكشف عن الشذوذ، وتطوير التعليمات البرمجية الآمنة، ويوضحها بدراسات حالة ومراجع لمزيد من الدراسة.
AI في الجريمة الإلكترونية
كيف يغير AI سلسلة القتل السيبراني:
أما الجزء الثاني فيتناول تأثير AI على الهجوم السيبراني، مع التركيز على كيفية إعادة تشكيل AI لسلسلة القتل السيبراني. وينظر في كيفية قيام AI بتمكين المهاجمين من أتمتة وتعزيز مراحل مثل الاستطلاع والتسليح والتسليم، مع تقديم أشكال جديدة من الهجوم. توفر أمثلة الحالات والقراءات الإضافية سياقاً لفهم هذه التطورات.
مسرد المصطلحات
- الخصومة AI: مجموعة من التقنيات التي يتلاعب فيها المهاجمون بنماذج AI (على سبيل المثال، تجاوز أنظمة الكشف، وتسميم بيانات التدريب).
- الهجمات العدائية بيانات معدّلة لخداع أنظمة AI (على سبيل المثال، برمجيات خبيثة معدّلة قليلاً للتهرب من برامج مكافحة الفيروسات القائمة على AI).
- أمثلة على الخصومة البيانات الخبيثة المصممة لتضليل نماذج AI (مثل الصور أو النصوص المشوهة).
- الاصطفاف: ضمان اتساق أهداف أنظمة AI مع النوايا البشرية.
- الذكاء الاصطناعي (AI): هو مجال من مجالات علوم الحاسوب يهدف إلى إنشاء أنظمة قادرة على أداء المهام التي تتطلب ذكاءً بشرياً، مثل الكشف عن التهديدات أو تحليل السلوك غير الطبيعي أو الاستجابة الآلية لحوادث الأمن السيبراني.
- إمكانية شرح AI (XAI): الطرق التي تجعل قرارات AI مفهومة للبشر.
- AI أمان AI التأكد من أن أنظمة AI تتصرف كما هو متوقع ولا تقدم نقاط ضعف جديدة.
- التحيز في AI: الأخطاء المنهجية في نتائج AI الناتجة عن بيانات التدريب غير المتوازنة أو المتحيزة.
- تسمم البيانات هو نوع من الهجمات العدائية حيث يتم إدراج بيانات خبيثة أو تالفة في مجموعات بيانات التدريب لتقليل أداء النموذج أو إدخال نقاط ضعف.
- التعلُّم العميق (DL):نوع من التعلم الآلي الذي يستخدم الشبكات العصبية متعددة الطبقات لتحليل البيانات المعقدة (مثل الصور وسجلات الشبكة)، وغالبًا ما يُستخدم لتصنيف البرمجيات الخبيثة أو كشف التسلل. وتساعد الشبكات العصبية في معالجة البيانات الخام في قلب خوارزميات DL، مما يساعد على تحديد وتصنيف وتحسين الارتباطات والأنماط المخفية في البيانات الخام (تشمل الشبكات العصبية الشبكات العصبية الاصطناعية والشبكات العصبية التلافيفية والشبكات العصبية المتكررة حسب التطبيقات).
- نوبة التوزيع: خطر أن تصبح نماذج AI غير فعالة إذا اختلفت بيانات العالم الحقيقي عن بيانات التدريب.
- أخلاقي AI: المبادئ التي تضمن استخدام AI بنزاهة ومسؤولية وشفافية في الأمن السيبراني.
- الضبط الدقيق: عملية تكييف نموذج مُدرَّب مسبقًا مع مهمة أو مجموعة بيانات محددة، وغالبًا ما يتطلب ذلك بيانات وموارد حاسوبية أقل من التدريب من الصفر.
- التعلُّم الآلي (ML): وهي مجموعة فرعية من AI تتعلم فيها الأنظمة من البيانات لتحديد الأنماط (على سبيل المثال، توقيعات البرمجيات الخبيثة، وحركة مرور الشبكة المشبوهة) واتخاذ القرارات أو التنبؤات.
- الموديل: تمثيل رياضي لنظام مدرّب على البيانات لأداء مهام مثل التصنيف أو التنبؤ أو التوليد في AI والتعلم الآلي.
- أوزان الطراز: المعلمات العددية التي يتم تعلّمها أثناء التدريب والتي تحدد كيفية معالجة نموذج AI للمدخلات لإنتاج المخرجات. يسمح ضبط الأوزان للنموذج بالتعرف على الأنماط وإجراء تنبؤات دقيقة.
- الحقن الموجه: وهي تقنية تُستخدم للتلاعب بالنماذج اللغوية الكبيرة عن طريق إدراج تعليمات مصممة في المدخلات، مما يجعل النموذج يتجاهل أو يتجاوز مهمته الأصلية وينتج مخرجات غير مقصودة.
- التعلّم المعزز: طريقة يتعلم من خلالها AI اتخاذ القرارات المثلى من خلال التجربة والخطأ في بيئات محاكاة.
- المتانة: قدرة AI على العمل بشكل موثوق في ظل الظروف المتغيرة (على سبيل المثال عند مواجهة خصوم جدد).
- التعلّم تحت الإشراف: طريقة تتضمن تدريب النماذج باستخدام بيانات موسومة للتصنيف.
- بيانات اصطناعية: بيانات مصطنعة تُستخدم لتدريب نماذج AI عندما تكون البيانات الواقعية نادرة أو حساسة.
- التعلّم غير الخاضع للإشراف: طريقة لتحديد الأنماط المخفية في البيانات غير الموسومة.
كيف يمكنك المساهمة
هل تستخدم حل AI مفتوح المصدر لتدريب الطلاب على الأمن السيبراني، أو هل لديك موارد أخرى متاحة للجمهور لمشاركتها لتدريس AI والأمن السيبراني (سواء كانت قائمة على AI أم لا)؟
نود أن نسمع منك. يرجى مراسلتنا عبر البريد الإلكتروني على
co*****@vi************.org
، سنقوم بمشاركة مساهماتك مع المجتمع الأوسع نطاقاً وسنحرص على تحديث مجموعة الأدوات هذه باستمرار.