الذكاء الاصطناعي في مجموعة أدوات الأمن السيبراني

موارد لمعلمي الأمن السيبراني

مقدمة

يعمل الذكاء الاصطناعي (AI) على إعادة تشكيل مشهد الأمن السيبراني بسرعة، سواء كأداة للدفاع أو كسلاح للهجوم. بالنسبة للمعلمين، فإن هذا الدور المزدوج يخلق حاجة ملحة لإعداد الطلاب ليس فقط لتسخير AI للحماية ولكن أيضًا لفهم كيف يمكن للخصوم استغلالها في الهجمات.

أما على الجانب الدفاعي، فإن تقنية AI مدمجة بالفعل في البيئات الأمنية الاحترافية، مما يؤثر على جميع المراحل المختلفة لدورة حياة الحوادث الإلكترونية (على سبيل المثال، الوقاية والتأهب والاستجابة والتعافي). فهو يدعم تحليل السجلات، واكتشاف الحالات الشاذة، والتحقيق في البرمجيات الخبيثة، وحتى التدريب التوعوي، مما يمنح المدافعين سرعة ودقة وقابلية أكبر للتوسع. في الفصول الدراسية، تفتح AI أيضًا فرصًا جديدة للتدريس من خلال أتمتة التقييمات وإنشاء دراسات الحالة ومحاكاة الحوادث الواقعية وتصميم تمارين تفاعلية تساعد الطلاب على فهم مفاهيم الأمن السيبراني المعقدة بشكل أكثر فعالية.

وفي الوقت نفسه، تقود تقنية AI جيلاً جديداً من العمليات السيبرانية الهجومية. تقوم الجهات الفاعلة الخبيثة بتسليح AI التوليدية لأتمتة الاستطلاع، أو تخصيص حملات التصيد الاحتيالي، أو تسريع اكتشاف الثغرات، أو نشر البرمجيات الخبيثة المتكيفة. وقد أدى هذا التحول في سلسلة القتل السيبراني إلى تكثيف حجم الهجمات وتعقيدها في جميع أنحاء العالم، من برمجيات الفدية الخبيثة إلى البرمجيات الخبيثة المزيفة العميقة والبرمجيات الخبيثة السرب. وبالتالي، فإن برمجيات AI هي عامل تمكين للهجمات السيبرانية وهدف للاستغلال العدائي في الوقت نفسه، حيث تشكل الثغرات مثل تسميم البيانات والأمثلة العدائية مخاطر جديدة.

تم تطوير مجموعة الأدوات هذه من قبل Virtual Routes كجزء من برنامج ندوات الأمن السيبراني المدعوم من Google.orgلتزويد المعلمين والطلاب بالموارد في مجال يتطور باستمرار. وهو يستند إلى دراسة استقصائية للجامعات المشاركة ويوفر مواد للمساعدة في فهم تأثير AI على الأمن السيبراني، ويقدم دوره المزدوج كأداة دفاعية وهجومية على حد سواء.

تأثيرات AI على مهارات الأمن السيبراني

إن الإطار الأوروبي لمهارات الأمن السيبراني (ECSF) يحدد اثني عشر دورًا مهنيًا رئيسيًا في مجال الأمن السيبراني، إلى جانب المهام والمهارات والمعارف والكفاءات اللازمة في هذا القطاع. وتتراوح هذه الأدوار من الوظائف التقنية مثل استخبارات التهديدات واختبار الاختراق إلى المهام الأوسع نطاقاً مثل إدارة المخاطر والتعليم. لقد حددنا خمس طرق رئيسية تؤثر من خلالها AI على المهارات والكفاءات المطلوبة لهذه الأدوار:

تحليل البيانات ومعلومات التهديدات

ECSF: أخصائي استخبارات التهديدات السيبرانية؛ محقق في الأدلة الجنائية الرقمية

يمكن أن تسرّع عمليات جمع وربط وتلخيص الكميات الكبيرة من تقارير التهديدات والسجلات ومؤشرات الاختراق. لا يزال المحللون مطالبين بالتحقق من صحة النتائج، ولكن تركيزهم يتحول من التحليل المتكرر إلى التفسير النقدي.

اكتشاف الحوادث والاستجابة لها

المستجيب للحوادث السيبرانية: المستجيب للحوادث السيبرانية

يمكن أن تساعد AI في الكشف عن الحالات الشاذة والفرز والإبلاغ الأولي. تزداد أهمية المهارات في التحقق من صحة التنبيهات ووضع الحوادث في سياقها وتحديد الاستجابات المتناسبة.

تقييم المخاطر والامتثال

ECSF: مسؤول الشؤون القانونية الإلكترونية والسياسات والامتثال؛ مدير مخاطر الأمن السيبراني؛ مدقق الأمن السيبراني

يمكن أن يدعم برنامج AI التصنيف التلقائي للبيانات الحساسة والتصنيف الأولي للمخاطر. يجب على الممارسين تطبيق الأحكام لتقييم ما إذا كانت المخرجات المستندة إلى AI تتماشى مع المتطلبات التنظيمية والمؤسسية.

التطوير الآمن ومراجعة التعليمات البرمجية

ECSF: منفذ الأمن السيبراني؛ مهندس الأمن السيبراني؛ مختبر الاختراق

يسلط مسح التعليمات البرمجية الممكّنة لـ AI الضوء على الأنماط غير الآمنة ويقترح إصلاحات. ويظل المحترفون مسؤولين عن ضمان ممارسات الترميز الآمنة والتخفيف من مخاطر هلوسة AI أو الإيجابيات الخاطئة لأن AI قد يؤدي أيضًا إلى إنشاء تعليمات برمجية غير آمنة.

التثقيف والتوعية

المؤسسة الأوروبية للأمن السيبراني: معلم في مجال الأمن السيبراني؛ باحث في الأمن السيبراني

تُمكِّن آليات التعلم الآلي من توليد سيناريوهات التدريب التكيفي ومجموعات البيانات التركيبية والتغذية الراجعة الآلية. تتطور مجموعة مهارات المعلم نحو تنظيم موارد AI والتحقق من صحتها وتضمينها بشكل مسؤول في المناهج الدراسية.

الكفاءات الأساسية AI للأمن السيبراني

يتطلب اعتماد AI في كل مكان من جميع المتخصصين في مجال الأمن السيبراني، بغض النظر عن دورهم، تطوير مهارات جديدة تساهم في الاستخدام المسؤول والفعال لأدوات AI والتكيف معها. وتمتد هذه الكفاءات الأساسية في مجال AI إلى ما هو أبعد من الإلمام بأدوات محددة، وتركز بدلاً من ذلك على القدرات الأساسية المطلوبة للعمل بفعالية في هذه البيئة سريعة التطور:

1. الفهم التأسيسي
  • AI محو الأمية لفهم إمكانيات وقيود AI، ودمجها بأمان في عمليات سير العمل دون الاعتماد المفرط أو الثقة في غير محلها.
  • الوعي الأخلاقي لتحديد المخاطر المتعلقة بالتحيز والخصوصية والمساءلة والأمن، وضمان نشر أنظمة AI بطرق تدعم المعايير المهنية والمجتمعية.
2. التقييم والرقابة
  • التقييم النقدي لتقييم المخرجات التي تم إنشاؤها بواسطة AI مقابل المصادر الموثوقة والخبرة السياقية، مع التعرف على الحالات التي تتطلب المزيد من التحقق من الصحة أو الحكم البشري.
  • قابلية الشرح والشفافية لتفسير مخرجات AI، واستجواب نماذج "الصندوق الأسود"، وإيصال النتائج بوضوح إلى أصحاب المصلحة التقنيين وغير التقنيين على حد سواء، وبالتالي تعزيز الثقة في القرارات التي تساعدها AI.
  • المرونة والرقابة البشرية لتصميم ضمانات تمنع الاعتماد المفرط على الأتمتة، مما يضمن وجود ضمانات قوية والحفاظ على المسؤولية البشرية عن القرارات الحاسمة.
3. إدارة المخاطر والبيانات
  • حوكمة البيانات لضمان جودة البيانات المستخدمة في أنظمة AI وتنوعها وأمنها، مع إدراك أن سوء إدارة البيانات يمكن أن يؤدي إلى ظهور نقاط ضعف منهجية.
  • AI إدارة المخاطر AI لتوقع وتخفيف المخاطر الخاصة بـ AI مثل الهلوسة والتلاعب العدائي وتوليد التعليمات البرمجية غير الآمنة وتسميم البيانات، وإدراج هذه الاعتبارات ضمن أطر المخاطر السيبرانية الأوسع نطاقاً.
4. القدرة على التكيف المستقبلي
  • التعلّم المستمر لتحديث المهارات، ورصد التهديدات الناشئة، والتعامل مع التطورات الجديدة في تطبيقات AI للأمن السيبراني.
  • التفكير في السيناريوهات واستشراف المستقبل لتوقع كيف يمكن للتطورات في AI أن تعيد تشكيل المستويات التقنية والتنظيمية والاستراتيجية للأمن السيبراني، وإعداد المهنيين للاستجابة للتحديات المستقبلية بشكل استباقي.
5. التعاون والتواصل
  • التعاون متعدد التخصصات العمل بفعالية مع خبراء في القانون والسياسة وعلم النفس والأخلاق، مع الاعتراف بأن الاستخدام المسؤول ل AI يتطلب وجهات نظر تتجاوز المجالات التقنية البحتة.
  • التواصل وبناء الثقة لشرح القرارات التي تدعم تقنية AI بوضوح ودقة، مما يحافظ على الثقة بين جميع أصحاب المصلحة المعنيين.

أثارت أتمتة AI للمهام المتكررة أو ذات القيمة المنخفضة تساؤلات ملحة حول تحول القوى العاملة والإزاحة المحتملة للوظائف. ومع ذلك، في حين أن بعض مهام المحللين قد تتضاءل بعض المهام، تنشأ مطالب جديدة حول الإشراف على مخرجات AI، والتحقق من صحة النتائج، ومعالجة المخاطر الخاصة بـ AI مثل الهلوسة، أو توليد التعليمات البرمجية غير الآمنة، أو التلاعب العدائي. وبدلاً من إلغاء أدوار الأمن السيبراني، فإن AI تحوّل ملف المهارات نحو الإشراف والحوكمة والتعاون بين البشر وAI.

الاستخدام الأخلاقي والمسؤول لتقنية AI في الدفاع السيبراني

من خلال تحسين الوقت والكفاءة والموارد، تمكّن AI المدافعين من القيام بالمزيد بموارد أقل، مما يقلل من الحواجز التي تحول دون الدخول في هذا المجال ويعزز القدرة على اكتشاف التهديدات السيبرانية المتزايدة التعقيد والاستجابة لها. مع تزايد حجم الحوادث السيبرانية وتطورها، فإن قدرة AI على معالجة كميات كبيرة من البيانات تجعلها لا غنى عنها. ومع ذلك، فإن الاعتماد المفرط على مخرجات AI يطرح نقاط ضعف جديدة، لا سيما عندما تكون تلك المخرجات غير دقيقة أو تفتقر إلى فهم السياق، مما يثير العديد من الأسئلة حول الأخلاقيات والاستخدام المسؤول:

الشواغل الأخلاقية الرئيسية

التحيز والتمييز
1قد تُشير نماذج AI المُدرّبة على مجموعات بيانات متحيزة أو غير متوازنة إلى مجموعات مستخدمين أو مناطق معينة على أنها خبيثة. على سبيل المثال, قام باحثون في الأمن السيبراني بتدريب نظام كشف التسلل على بيانات الهجمات التاريخية ووجدت أنه أنتج 30% المزيد من النتائج الإيجابية الخاطئة للمستخدمين في المناطق الممثلة تمثيلاً ناقصاً، في حين أدى التدريب المتوازن إلى نتائج أكثر عدلاً. وبالمثل، فإن AI قد يُفرط في إعطاء الأولوية لأنواع الهجمات المألوفة بينما يقلل من تقدير التهديدات الناشئة، مما يخلق ثغرات دفاعية.
ضمان نتائج غير تمييزية من خلال معالجة التحيز في الخوارزميات والبيانات.
الرصد والمراقبة
يتطلب الأمان الذي يعتمد على تقنية AI مراقبة واسعة النطاق لحركة مرور الشبكة ومحاولات تسجيل الدخول وسلوك المستخدم, إنشاء آثار أقدام رقمية مفصلة. تخاطر هذه المراقبة المستمرة بـ تقويض ثقة المستخدم وإثارة قضايا الموافقة. علاوة على ذلك, يزيد الاحتفاظ بالبيانات على المدى الطويل من فرص حدوث انتهاكاتوتزيد المعالجة السحابية أسئلة حول حوكمة البيانات عبر الحدود.
حماية البيانات الشخصية والتنظيمية، واحترام الموافقة، وتقليل جمع البيانات غير الضرورية.
صنع القرار المستقل والعواقب غير المقصودة
قد يكون للتدابير المؤتمتة مثل إغلاق الحسابات أو حظر بروتوكول الإنترنت أو إغلاق الشبكة معدلات إيجابية كاذبة أو سلبية كاذبة غير مقبولة، خاصةً عندما لا تكون القرارات المؤتمتة مستنيرة بما فيه الكفاية بالسياق ذي الصلة. في تجربة أجراها باحثون في مجال الأمن السيبراني، نجحت الأنظمة المستندة إلى AI في حظر 92% من التهديدات ولكنها أخطأت في تصنيف 8% من الأنشطة المشروعة على أنها ضارة. وتهدد مثل هذه الأخطاء بتعطيل الخدمات الحيوية، على سبيل المثال في مجال التمويل أو الرعاية الصحية، وتعقّد المساءلة عن الضرر الناجم.
الإبقاء على الآليات البشرية في الحلقة وإسناد المسؤولية بوضوح عن النتائج التي تحركها AI.
عتامة طرازات AI
تعمل العديد من أنظمة AI كـ "صناديق سوداء"، مما يوفر القليل من المعلومات حول كيفية وصولها إلى الاستنتاجات. في الأمن السيبراني، هذا النقص في التفسير يمكن أن يجعل من الصعب على المحللين فهم سبب وضع علامة على حركة المرور المشروعة أو سبب إعطاء الأولوية لتهديدات معينة، وهو ما يمكن أن تقويض الثقة وتأخير الاستجابات الفعالة.
جعل عمليات اتخاذ القرار في AI واضحة وقابلة للتفسير لأصحاب المصلحة.
ولوضع هذه المبادئ موضع التنفيذ، يمكن للمؤسسات الاعتماد على مزيج من الأدوات التنظيمية والتقنية لتحسين موثوقية أنظمة AI:
التدابير التنظيمية تشمل أطر الامتثال مثل قانون الاتحاد الأوروبي للذكاء الاصطناعي (قانون AI)الذي ينص على الالتزامات القائمة على المخاطر، وتقييمات الأثر على الحقوق الأساسية وآليات المساءلة لأنظمة AI عالية المخاطر. تشمل التدابير التنظيمية الأخرى تقييمات الأثر الخوارزمي لتقييم المخاطر قبل النشر، والامتثال لقوانين حماية البيانات مثل اللائحة العامة لحماية البيانات العامة و CCPAو أطر المساءلة التي تخصص المسؤولية عن الأخطاء المتعلقة بـ AI. ويوفر تطوير واعتماد المعايير والشهادات المعترف بها دوليًا أدوات امتثال إضافية تساعد على تفعيل الالتزامات القانونية، وتعزيز الثقة، وإلى حد ما، دفع الابتكار من خلال منح المؤسسات الفرصة لتجربة تطوير المنتجات ضمن حدود حماية محددة مسبقًا.
الحلول التقنية تشمل أساليب التعلم الآلي الواعية بالعدالة، وتقنيات الكشف عن التحيز والتخفيف من حدته، وتقنيات تعزيز الخصوصية مثل التشفير وإخفاء الهوية، بالإضافة إلى مناهج AI القابلة للتفسير التي تجعل عمليات اتخاذ القرار أكثر شفافية. إشراف بشري داخل الحلقة ومراقبة مستمرة للنماذج كذلك ضمان أن تظل الأنظمة الآلية دقيقة وأخلاقية ومتوافقة مع القيم المؤسسية والمجتمعية.

طرق المسح والبيانات

أجرت Virtual Routes استبيانًا عبر الإنترنت لـ 27 معلمًا مشاركًا من جامعات في جميع أنحاء أوروبا. وهدف الاستبيان إلى تحديد ما إذا كانوا يستخدمون حاليًا AI في تدريسهم للأمن السيبراني، وكيفية استخدامهم لها، وأسباب قيامهم بذلك، والأدوات والمهام المحددة التي ينطوي عليها الأمر، وما إذا كانوا يطبقون AI في سياق دعم الأمن السيبراني المقدم إلى منظمات المجتمع المحلي (LCOs). على الرغم من أن الإجابات لم تكن ذات دلالة إحصائية، إلا أنها توفر نظرة ثاقبة للممارسات والتوقعات الحالية، وتسلط الضوء على كل من الفرص والتحديات المرتبطة بدمج AI في تعليم الأمن السيبراني. تم استكمال الاستبيان بمقابلات متابعة للوصول إلى فهم أفضل لحالات الاستخدام العملي.

يمكن تسليط الضوء على بعض النقاط الرئيسية:

الاستخدام المبكر ولكن المتزايد ل AI

ومن بين الـ 27 مجيبًا، قال معظمهم (22) إنهم يقومون بالفعل بتجربة أدوات AI في تدريسهم، لا سيما في حلقات دراسية حول الأمن السيبراني نظمتها Google.org. ومع ذلك، لا يزال التبني في مراحله الأولى وغالباً ما يقتصر على مهام محددة بدلاً من التكامل المنهجي. وأشار خمسة من المجيبين إلى أنهم لم يستخدموا بعد AI.

حالات استخدام متنوعة

وتتضمن التطبيقات الأكثر شيوعًا مهام الكتابة العامة وجمع البيانات/التحليل (باستخدام أدوات LLM الشائعة)، وتوليف البيانات، ومهام الأمن السيبراني المتخصصة مثل اكتشاف الشذوذ، ورسم خرائط سطح الهجوم، وتحليل البرمجيات الخبيثة، والمختبرات العملية.

دوافع التبني

يستخدم معلمو الأمن السيبراني في المقام الأول AI لمساعدة الطلاب على الاستعداد لمكان العمل، ولدعم التعلم الذاتي والتقييم الذاتي، ولتوفير الوقت في المهام التربوية مثل إنشاء التمارين وتقدير الدرجات وإنشاء المحتوى. يرى الكثيرون أيضًا قيمة استخدام AI لتوضيح مفاهيم وسيناريوهات الأمن السيبراني الرئيسية.

التطبيق في الخدمات المجتمعية

ذكر ما يقرب من نصف المشاركين (15 من أصل 27) أنهم يستخدمون بالفعل أو يخططون لاستخدام AI لتوفير الدعم في مجال الأمن السيبراني لمنظمات المجتمع المحلي (LCOs)، وهو جانب رئيسي من حلقات Google.org الدراسية للأمن السيبراني. وهذا يدل على وجود صلة متنامية بين استكشاف أدوات AI في الفصول الدراسية وتطبيقها في سياقات مجتمعية حقيقية.

احتياجات المعلمين وتوقعاتهم

أعرب العديد من المجيبين عن اهتمامهم بتلقي إرشادات وأمثلة حول كيفية دمج AI بشكل فعال في تعليم الأمن السيبراني. وسلطوا الضوء على الحاجة إلى أفضل الممارسات، والموارد المشتركة، ودراسات الحالة للانتقال من التجريب إلى استخدام AI بشكل أكثر تنظيماً وفعالية في التدريس وتقديم الخدمات.

كيفية تصفح مجموعة الأدوات

تم تنظيم مجموعة الأدوات هذه في جزأين، مما يعكس الدور المزدوج الذي تلعبه AI في الأمن السيبراني.

AI في الدفاع السيبراني

كيف يغير AI الدفاع السيبراني عبر دورة حياة الحوادث السيبرانية:

يبحث الجزء الأول في تأثير AI على الدفاع السيبراني، ويوضح كيف تدعم أدوات AI الدفاع السيبراني عبر دورة حياة الحادث من الوقاية والتأهب والاستجابة والتعافي. كما يسلط الضوء على تطبيقات ملموسة مثل رسم خرائط سطح الهجوم، والكشف عن الشذوذ، وتطوير التعليمات البرمجية الآمنة، ويوضحها بدراسات حالة ومراجع لمزيد من الدراسة.

AI في الجريمة الإلكترونية

كيف يغير AI سلسلة القتل السيبراني:

أما الجزء الثاني فيتناول تأثير AI على الهجوم السيبراني، مع التركيز على كيفية إعادة تشكيل AI لسلسلة القتل السيبراني. وينظر في كيفية قيام AI بتمكين المهاجمين من أتمتة وتعزيز مراحل مثل الاستطلاع والتسليح والتسليم، مع تقديم أشكال جديدة من الهجوم. توفر أمثلة الحالات والقراءات الإضافية سياقاً لفهم هذه التطورات.

مسرد المصطلحات

كيف يمكنك المساهمة

هل تستخدم حل AI مفتوح المصدر لتدريب الطلاب على الأمن السيبراني، أو هل لديك موارد أخرى متاحة للجمهور لمشاركتها لتدريس AI والأمن السيبراني (سواء كانت قائمة على AI أم لا)؟

نود أن نسمع منك. يرجى مراسلتنا عبر البريد الإلكتروني على co*****@vi************.org ، سنقوم بمشاركة مساهماتك مع المجتمع الأوسع نطاقاً وسنحرص على تحديث مجموعة الأدوات هذه باستمرار.

شكراً لاشتراكك في نشرتنا الإخبارية!

شكراً لكم! تم استلام الرد على دعوة الحضور لـ AI في مجموعة أدوات الأمن السيبراني

الذكاء الاصطناعي في مجموعة أدوات الأمن السيبراني

جاري التحميل...

جاري التحميل...