Conjunto de herramientas de IA en ciberseguridad
Recursos para educadores en ciberseguridad
Introducción
La Inteligencia Artificial (AI) está remodelando rápidamente el panorama de la ciberseguridad, como herramienta de defensa y como arma ofensiva. Para los educadores, este doble papel crea una necesidad urgente de preparar a los estudiantes no solo para aprovechar la AI para la protección, sino también para entender cómo los adversarios pueden explotarla en los ataques.
Desde el punto de vista defensivo, AI ya está integrado en entornos de seguridad profesionales y afecta a todas las fases del ciclo de vida de los incidentes cibernéticos (por ejemplo, prevención, preparación, respuesta y recuperación). Impulsa el análisis de registros, la detección de anomalías, la investigación de malware e incluso la formación de concienciación, proporcionando a los defensores mayor velocidad, precisión y escalabilidad. En el aula, AI también abre nuevas oportunidades de enseñanza mediante la automatización de evaluaciones, la generación de casos prácticos, la simulación de incidentes del mundo real y el diseño de ejercicios interactivos que ayudan a los estudiantes a comprender conceptos complejos de ciberseguridad con mayor eficacia.
Al mismo tiempo, la AI está impulsando una nueva generación de operaciones cibernéticas ofensivas. Los ciberdelincuentes están utilizando la AI generativa para automatizar el reconocimiento, personalizar las campañas de phishing, acelerar el descubrimiento de vulnerabilidades o desplegar malware adaptativo. Esta transformación de la cadena de ciberataques ha intensificado la escala y sofisticación de los ataques en todo el mundo, desde el ransomware a los deepfakes y el malware de enjambre. AI es, por tanto, tanto un facilitador de ciberataques como un objetivo de explotación por parte de los adversarios, con vulnerabilidades como el envenenamiento de datos y ejemplos adversarios que plantean nuevos riesgos.
Este conjunto de herramientas ha sido elaborado por Virtual Routes como parte del Programa de seminarios sobre ciberseguridad con el apoyo de Google.orgpara proporcionar a profesores y estudiantes recursos en un campo en constante evolución. Se basa en una encuesta realizada en las universidades participantes y ofrece materiales para ayudar a comprender el impacto de la AI en la ciberseguridad, presentando su doble papel como herramienta defensiva y ofensiva.
Repercusiones del AI en las competencias de ciberseguridad
En Marco Europeo de Competencias en Ciberseguridad (ECSF) define doce funciones profesionales clave en materia de ciberseguridad, junto con las tareas, habilidades, conocimientos y competencias necesarias en todo el sector. Estas funciones abarcan desde funciones técnicas como la inteligencia sobre amenazas y las pruebas de penetración hasta tareas más amplias como la gestión de riesgos y la educación. Hemos identificado cinco formas principales en las que AI influye en las habilidades y competencias necesarias para estas funciones:
Análisis de datos e información sobre amenazas
Los LLM pueden acelerar la recopilación, correlación y resumen de grandes volúmenes de informes sobre amenazas, registros e indicadores de peligro. Los analistas siguen teniendo que validar los resultados, pero su atención pasa del análisis repetitivo a la interpretación crítica.
Detección y respuesta a incidentes
AI puede ayudar en la detección de anomalías, el triaje y la notificación inicial. Las competencias para validar alertas, contextualizar incidentes y decidir respuestas proporcionales son cada vez más importantes.
Evaluación de riesgos y cumplimiento
AI permite la clasificación automática de datos sensibles y la calificación preliminar de riesgos. Los profesionales deben aplicar su criterio para evaluar si los resultados obtenidos con AI se ajustan a los requisitos normativos y organizativos.
Desarrollo seguro y revisión del código
El escaneo de código con AI pone de manifiesto patrones inseguros y propone correcciones. Los profesionales siguen siendo responsables de garantizar prácticas de codificación seguras y de mitigar el riesgo de alucinaciones o falsos positivos de AI, ya que AI también puede crear código inseguro.
Educación y sensibilización
Los LLM permiten generar escenarios de formación adaptables, conjuntos de datos sintéticos y comentarios automatizados. El conjunto de competencias del educador evoluciona hacia la conservación, validación e integración responsable de los recursos AI en los planes de estudio.
Competencias básicas AI para la ciberseguridad
La adopción omnipresente de AI exige que todos los profesionales de la ciberseguridad, sea cual sea su función, desarrollen nuevas competencias que contribuyan a un uso responsable, adaptable y eficaz de las herramientas AI. Estas competencias básicas AI van más allá de la familiaridad con herramientas específicas, y se centran en cambio en las capacidades subyacentes necesarias para trabajar con eficacia en este entorno en rápida evolución:
- AI alfabetización comprender las capacidades y limitaciones de AI, e integrarlo de forma segura en los flujos de trabajo sin depender demasiado de él ni confiar en él.
- Conciencia ética identificar los riesgos relacionados con la parcialidad, la privacidad, la responsabilidad y la seguridad, garantizando que los sistemas AI se desplieguen de forma que respeten las normas profesionales y sociales.
- Evaluación crítica evaluar los resultados generados por AI en función de fuentes fiables y conocimientos contextuales, reconociendo cuándo es necesaria una mayor validación o un juicio humano.
- Explicabilidad y transparencia interpretar los resultados de AI, interrogar a los modelos de "caja negra" y comunicar los resultados con claridad a las partes interesadas, tanto técnicas como no técnicas, reforzando así la confianza en las decisiones asistidas por AI.
- Resiliencia y supervisión humana diseñar salvaguardias que impidan una dependencia excesiva de la automatización, garantizando salvaguardias sólidas y preservando la responsabilidad humana en las decisiones críticas.
- Gobernanza de datos garantizar la calidad, diversidad y seguridad de los datos utilizados en los sistemas AI, entendiendo que una mala gestión de los datos puede introducir vulnerabilidades sistémicas.
- AI gestión de riesgos anticipar y mitigar los riesgos específicos de la AI, como las alucinaciones, la manipulación por adversarios, la generación de código inseguro y el envenenamiento de datos, integrando estas consideraciones en marcos más amplios de riesgos cibernéticos.
- Aprendizaje continuo para actualizar conocimientos, vigilar las amenazas emergentes y participar en los nuevos avances de las aplicaciones AI para la ciberseguridad.
- Escenarios y previsión anticipar cómo los avances en AI pueden remodelar los niveles técnico, organizativo y estratégico de la ciberseguridad, y preparar a los profesionales para responder a los retos futuros de forma proactiva.
- Colaboración interdisciplinar colaborar eficazmente con expertos en Derecho, política, psicología y ética, reconociendo que el uso responsable de la AI requiere perspectivas que van más allá de los ámbitos puramente técnicos.
- Comunicación y creación de confianza Explicar con claridad y matices las decisiones tomadas en el marco de la AI y mantener la confianza de todas las partes implicadas.
La automatización de tareas repetitivas o de menor valor impulsada por la AI ha planteado cuestiones urgentes sobre la transformación de la mano de obra y el posible desplazamiento de puestos de trabajo. Sin embargo, aunque algunas tareas de los analistas pueden disminuir, surgen nuevas exigencias en torno a la supervisión de los resultados de la AI, la validación de los hallazgos y el tratamiento de riesgos específicos de la AI como las alucinaciones, la generación de código inseguro o la manipulación por parte de adversarios. En lugar de eliminar las funciones de ciberseguridad, AI desplaza el perfil de competencias hacia la supervisión, la gobernanza y la colaboración entre humanos y AI.
Uso ético y responsable de AI en ciberdefensa
Al optimizar el tiempo, la eficacia y los recursos, AI permite a los defensores hacer más con menos, reduciendo las barreras de entrada y reforzando la capacidad de detectar y responder a ciberamenazas cada vez más complejas. A medida que los incidentes cibernéticos crecen en escala y sofisticación, la capacidad del AI para procesar grandes cantidades de datos lo hace indispensable. Sin embargo, la dependencia excesiva de los resultados de AI introduce nuevas vulnerabilidades, sobre todo cuando esos resultados son inexactos o carecen de comprensión contextual, lo que plantea varias cuestiones sobre ética y uso responsable:
Principales cuestiones éticas
- Principios clave: Equidad
- Principios clave: Privacidad y protección de datos
- Principios clave: Transparencia y explicabilidad
- Principios clave: Transparencia y explicabilidad
Medidas reglamentarias
Soluciones técnicas
Métodos de encuesta y datos
Virtual Routes realizó una encuesta en línea a 27 educadores participantes de universidades de toda Europa. El cuestionario tenía por objeto determinar si actualmente utilizan AI en su enseñanza de la ciberseguridad, cómo lo utilizan, sus razones para hacerlo, las herramientas y tareas específicas implicadas, y si aplican AI en el contexto del apoyo a la ciberseguridad prestado a las organizaciones comunitarias locales (OCL). Aunque no son estadísticamente significativas, las respuestas proporcionan información sobre las prácticas y expectativas actuales, y ponen de relieve tanto las oportunidades como los retos asociados a la integración de AI en la enseñanza de la ciberseguridad. La encuesta se complementó con entrevistas de seguimiento para comprender mejor los casos prácticos de uso.
Cabe destacar algunos puntos clave:
De los 27 encuestados, la mayoría (22) afirma estar experimentando ya con herramientas AI en su enseñanza, sobre todo en seminarios de ciberseguridad organizados por Google.org. Sin embargo, la adopción se encuentra aún en sus primeras fases y a menudo se limita a tareas específicas más que a una integración sistemática. Cinco encuestados indicaron que aún no utilizaban AI.
Las aplicaciones más comunes implican tareas generales de redacción y recopilación/análisis de datos (utilizando LLM comunes), síntesis de datos y tareas especializadas de ciberseguridad como detección de anomalías, mapeo de superficies de ataque, análisis de malware y laboratorios prácticos.
Los educadores en ciberseguridad utilizan principalmente AI para ayudar a los estudiantes a prepararse para el lugar de trabajo, para apoyar el aprendizaje autodirigido y la autoevaluación, y para ahorrar tiempo en tareas pedagógicas como la creación de ejercicios, la calificación y la generación de contenidos. Muchos también ven el valor de utilizar AI para ilustrar conceptos y escenarios clave de ciberseguridad.
Aproximadamente la mitad de los encuestados (15 de 27) afirmaron que ya utilizaban o tenían previsto utilizar AI para prestar apoyo en materia de ciberseguridad a organizaciones comunitarias locales (OCL), un aspecto clave de los Seminarios sobre Ciberseguridad de Google.org. Esto demuestra una relación cada vez mayor entre la exploración de las herramientas AI en el aula y su aplicación en contextos comunitarios del mundo real.
Varios encuestados expresaron su interés por recibir orientación y ejemplos sobre cómo integrar eficazmente el AI en la enseñanza de la ciberseguridad. Destacaron la necesidad de mejores prácticas, recursos compartidos y estudios de casos para pasar de la experimentación a un uso más estructurado y eficaz del AI en la enseñanza y la prestación de servicios.
Cómo navegar por el Toolkit
Este conjunto de herramientas está organizado en dos partes, lo que refleja el doble papel de la AI en la ciberseguridad.
AI en ciberdefensa
Cómo AI cambia la ciberdefensa en todo el ciclo de vida del ciberincidente:
En la primera parte se examina el impacto de la AI en la ciberdefensa y se explica cómo las herramientas de AI ayudan a la ciberdefensa a lo largo del ciclo de vida del incidente: prevención, preparación, respuesta y recuperación. Destaca aplicaciones concretas como el mapeo de superficies de ataque, la detección de anomalías y el desarrollo de código seguro, y las ilustra con estudios de casos y referencias para estudios posteriores.
AI en ciberdelincuencia
Cómo AI cambia la Cyber Kill Chain:
La segunda parte aborda el impacto de la AI en la ciberdelincuencia, centrándose en cómo la AI reconfigura la Cyber Kill Chain. Se analiza cómo la AI permite a los atacantes automatizar y mejorar etapas como el reconocimiento, la fabricación de armas y la distribución, al tiempo que introduce nuevas formas de ataque. Ejemplos de casos y lecturas complementarias proporcionan el contexto para comprender estos avances.
Glosario de términos
- Adversario AI: un conjunto de técnicas en las que los atacantes manipulan los modelos AI (por ejemplo, eludiendo los sistemas de detección, envenenando los datos de entrenamiento).
- Ataques adversarios: datos modificados para engañar a los sistemas AI (por ejemplo, malware ligeramente alterado para eludir el software antivirus basado en AI).
- Ejemplos contenciosos: datos maliciosos diseñados para engañar a los modelos AI (por ejemplo, imágenes o textos distorsionados).
- Alineación: garantizar que los objetivos de los sistemas AI sean coherentes con las intenciones humanas.
- Inteligencia artificial (AI): campo de la informática cuyo objetivo es crear sistemas capaces de realizar tareas que requieren inteligencia humana, como la detección de amenazas, el análisis de comportamientos anómalos o la respuesta automatizada a incidentes de ciberseguridad.
- Explicabilidad AI (XAI): métodos que hagan que las decisiones AI sean comprensibles para los humanos.
- Seguridad AI: garantizar que los sistemas AI se comporten como se espera de ellos y no introduzcan nuevas vulnerabilidades.
- Sesgo en AI: errores sistémicos en los resultados de AI causados por datos de entrenamiento desequilibrados o sesgados.
- Envenenamiento de datos: un tipo de ataque adversario en el que se insertan datos maliciosos o corruptos en los conjuntos de datos de entrenamiento para degradar el rendimiento del modelo o introducir vulnerabilidades.
- Aprendizaje profundo (AD):un tipo de aprendizaje automático que utiliza redes neuronales multicapa para analizar datos complejos (por ejemplo, imágenes, registros de red), a menudo empleados para la clasificación de malware o la detección de intrusiones. Las redes neuronales ayudan a procesar los datos brutos en el corazón de los algoritmos de DL, ayudando a identificar, clasificar y mejorar las correlaciones y patrones ocultos en los datos brutos (las redes neuronales incluyen redes neuronales artificiales, redes neuronales convolucionales y redes neuronales recurrentes dependiendo de las aplicaciones).
- Turno de distribución: riesgo de que los modelos AI resulten ineficaces si los datos del mundo real difieren de los de entrenamiento.
- AI ético: principios que garanticen un uso justo, responsable y transparente del AI en ciberseguridad.
- Puesta a punto: proceso de adaptación de un modelo preentrenado a una tarea o conjunto de datos específicos, que suele requerir menos datos y recursos informáticos que el entrenamiento desde cero.
- Aprendizaje automático (AM): un subconjunto de AI en el que los sistemas aprenden de los datos para identificar patrones (por ejemplo, firmas de malware, tráfico de red sospechoso) y tomar decisiones o hacer predicciones.
- Modelo: representación matemática de un sistema entrenado sobre datos para realizar tareas como clasificación, predicción o generación en AI y aprendizaje automático.
- Pesos del modelo: parámetros numéricos aprendidos durante el entrenamiento que determinan cómo un modelo AI procesa las entradas para producir las salidas. El ajuste de las ponderaciones permite al modelo reconocer patrones y hacer predicciones precisas.
- Inyección inmediata: técnica utilizada para manipular grandes modelos lingüísticos mediante la inserción de instrucciones manipuladas en las entradas, haciendo que el modelo ignore o anule su tarea original y produzca salidas no deseadas.
- Aprendizaje por refuerzo: un método en el que AI aprende a tomar decisiones óptimas mediante ensayo y error en entornos simulados.
- Robustez: la capacidad del AI para funcionar de forma fiable en condiciones cambiantes (por ejemplo, cuando se enfrenta a nuevos adversarios).
- Aprendizaje supervisado: método que consiste en entrenar modelos utilizando datos etiquetados para la clasificación.
- Datos sintéticos: datos generados artificialmente utilizados para entrenar modelos AI cuando los datos del mundo real son escasos o sensibles.
- Aprendizaje no supervisado: un método para identificar patrones ocultos en datos no etiquetados.
Cómo contribuir
¿Utiliza una solución AI de código abierto para formar a los estudiantes en ciberseguridad, o dispone de otros recursos públicos para enseñar sobre AI y ciberseguridad (basados o no en AI)?
Nos encantaría saber de usted. Envíenos un correo electrónico a
co*****@vi************.org
compartiremos sus contribuciones con la comunidad en general y nos aseguraremos de que este conjunto de herramientas se mantenga actualizado.
