Cómo asegurar la inteligencia artificial: desafíos y oportunidades

En la conferencia inaugural de Black Hat, Jeff Moss (conocido como Dark Tangent), fundador de Black Hat, se centró en las implicaciones de seguridad de la inteligencia artificial antes de presentar a la oradora principal, Maria Markstedter, CEO y fundadora de Azeria Labs. Moss destacó que uno de los eventos destacados del DEF CON 31, que tiene lugar justo después de Black Hat, es un desafío patrocinado por la Casa Blanca en el que los hackers intentan romper los principales modelos de IA para encontrar formas de mantenerlos seguros.

Saltar a:

• Atacantes y defensores: cómo la IA generativa inclinará el equilibrio
• IA y el proceso de desarrollo de código
• Utilizando la IA para la ciberseguridad de la IA
• ¿La IA ayudará o obstaculizará el desarrollo del talento humano y llenará los puestos vacantes?
• ¿Significa menos modelos de IA fundamentales desafíos de seguridad y regulación más fáciles?
• Lo que significa la disrupción cuando la IA entra en la empresa
• La IA generativa como beneficio para el trabajo y la formación en ciberseguridad

La seguridad de la IA también fue un tema clave durante un panel en Black Hat un día antes: Ciberseguridad en la Era de la IA, organizado por la empresa de seguridad Barracuda. El evento abordó varios temas urgentes, incluyendo cómo la IA generativa está remodelando el mundo y el panorama de ciberseguridad, los posibles beneficios y riesgos asociados con la democratización de la IA, cómo el ritmo implacable del desarrollo de la IA afectará nuestra capacidad para navegar y regular la tecnología, y cómo los actores de seguridad pueden evolucionar con la IA generativa en beneficio de los defensores.

Una cosa en la que todos los panelistas estuvieron de acuerdo es que la IA es una gran disrupción tecnológica, pero también es importante recordar que tiene una larga historia, no solo los últimos seis meses. "Una de las primeras y fáciles victorias será mejorar las interfaces de usuario de las herramientas", dijo Mark Ryland, director de la Oficina del CISO en AWS.

Protección antivirus en línea: McAfee Clinic lleva la seguridad de tu PC al siguiente nivel

Desde la perspectiva de la política, se trata de comprender el futuro del mercado, según el Dr. Amit Elazari, cofundador y CEO de OpenPolicy y profesor de ciberseguridad en la UC Berkeley.

"Muy pronto veremos una orden ejecutiva del [Biden] gobierno que será tan completa como la orden ejecutiva de ciberseguridad", dijo Elazari. "Realmente va a presentar lo que en el espacio político hemos estado prediciendo: una convergencia de requisitos de riesgo y alto riesgo, específicamente entre la privacidad y seguridad de la IA".

Añadió que la gestión de riesgos de la IA se convergerá con los requisitos de seguridad y privacidad. "Eso presenta una oportunidad interesante para que las empresas de seguridad adopten una postura holística de gestión de riesgos que abarque estos ámbitos".

Atacantes y defensores: Cómo la IA generativa inclinará el equilibrio

Aunque aún no está claro si los atacantes se beneficiarán más de la IA generativa que los defensores, la escasez endémica de personal de ciberseguridad ofrece una oportunidad para que la IA cierre esa brecha y automatice tareas que podrían proporcionar una ventaja al defensor, señaló Michael Daniel, presidente y CEO de Cyber Threat Alliance y exzar de ciberseguridad de la administración Obama.

"Tenemos una gran falta de personal de ciberseguridad", dijo Daniel. "... En la medida en que podamos usar la IA para cerrar la brecha mediante la automatización de más tareas, la IA facilitará centrarse en el trabajo que podría proporcionar una ventaja", agregó.

IA y el proceso de desarrollo de código

Daniel especuló que, debido a la adopción de la IA, los desarrolladores podrían reducir la tasa de error explotable en el código a tal punto que, en 10 años, será muy difícil encontrar vulnerabilidades en el código informático.

Cómo proteger tu computadora de los virus: métodos y consejos

Elazari argumentó que el pipeline de desarrollo de IA generativa, debido a la cantidad de código creado, constituye una nueva superficie de ataque.

"Estamos produciendo mucho más código todo el tiempo, y si no nos volvemos mucho más inteligentes en términos de cómo realmente promovemos prácticas de desarrollo del ciclo de vida seguras, la IA simplemente duplicará las prácticas actuales que son subóptimas. Así que ahí es donde tenemos una oportunidad para que los expertos se centren en el desarrollo del ciclo de vida", dijo.

Utilizando la IA para la ciberseguridad de la IA

Los panelistas también reflexionaron sobre cómo los equipos de seguridad practican la ciberseguridad para la propia IA, es decir, ¿cómo se garantiza la seguridad de un gran modelo de lenguaje?

Daniel sugirió que no necesariamente sabemos cómo discernir, por ejemplo, si un modelo de IA está alucinando, si ha sido hackeado o si una mala salida significa un compromiso deliberado. "En realidad no tenemos las herramientas para detectar si alguien ha envenenado los datos de entrenamiento. Por lo tanto, donde la industria tendrá que dedicar tiempo y esfuerzo es en defender la propia IA, veremos cómo funciona", dijo.

Elazari dijo que en un entorno de incertidumbre, como es el caso de la IA, será crucial adoptar una mentalidad adversarial y utilizar conceptos existentes como los equipos de prueba de penetración y las recompensas por errores.

"Hace seis años, imaginé un futuro en el que los auditores algorítmicos participarían en programas de recompensas por errores para encontrar problemas de IA, tal como lo hacemos en el campo de la seguridad, y aquí estamos viendo cómo sucede en DEF CON, así que creo que será una oportunidad para expandir la profesión de la IA aprovechando conceptos y aprendizajes de la seguridad", dijo Elazari.

¡Defiéndete! Protege tu seguridad en línea contra amenazas críticas

¿La IA ayudará o obstaculizará el desarrollo del talento humano y llenará los puestos vacantes?

Elazari también expresó su preocupación acerca de que la IA generativa pueda eliminar los puestos de nivel básico en ciberseguridad.

"Gran parte de este trabajo de redacción de texto y lenguaje también ha sido un punto de entrada para los analistas. Me preocupa que, con la escala y la automatización de la IA generativa, incluso los puestos de nivel básico en ciberseguridad sean eliminados. Necesitamos mantener esos puestos", señaló.

Patrick Coughlin, vicepresidente ejecutivo de mercados de seguridad en Splunk, sugirió pensar en la disrupción tecnológica, ya sea de la IA o cualquier otra nueva tecnología, como un amplificador de capacidad: la nueva tecnología amplifica lo que las personas pueden hacer.

"Y esto es típicamente simétrico: hay muchas ventajas tanto para usos positivos como negativos", dijo. "Nuestro trabajo es asegurarnos de que al menos se equilibren".

¿Significa menos modelos de IA fundamentales desafíos de seguridad y regulación más fáciles?

Coughlin señaló que el costo y el esfuerzo para desarrollar modelos fundamentales pueden limitar su proliferación, lo que podría hacer que la seguridad sea menos desafiante. "Los modelos fundamentales son muy costosos de desarrollar, por lo que hay una concentración natural y una barrera de entrada alta", dijo. "Por lo tanto, no muchas empresas invertirán en ellos".

Agregó que, como consecuencia, muchas empresas pondrán sus propios datos de entrenamiento sobre los modelos fundamentales de otras personas, obteniendo resultados sólidos al agregar una pequeña cantidad de datos de entrenamiento personalizados a un modelo genérico.

Protege tus contraseñas con PAM: Tu aliado para la seguridad

"Ese será el caso de uso típico", dijo Coughlin. "Eso también significa que será más fácil tener marcos de seguridad y regulación porque no habrá innumerables empresas con modelos fundamentales propios para regular".

Lo que significa la disrupción cuando la IA entra en la empresa

Los panelistas profundizaron en la dificultad de discutir el panorama de amenazas debido a la velocidad a la que se desarrolla la IA, considerando cómo ha interrumpido una hoja de ruta de innovación que ha involucrado años, no semanas ni meses.

"El primer paso es... no entrar en pánico", dijo Coughlin. "Hay cosas que podemos utilizar del pasado. Uno de los desafíos es reconocer que hay mucha presión sobre los líderes de seguridad empresarial en este momento para producir soluciones definitivas y deterministas en un panorama de innovación que está cambiando increíblemente rápido. Es difícil hablar de un panorama de amenazas debido a la velocidad a la que avanza la tecnología", dijo.

También afirmó que inevitablemente, para proteger los sistemas de IA contra la explotación y la mala configuración, necesitaremos que los equipos de seguridad, tecnología de la información e ingeniería trabajen mejor juntos: necesitaremos romper los silos. "A medida que los sistemas de IA pasen a la producción, y a medida que alimenten cada vez más aplicaciones orientadas al cliente, será cada vez más crítico que rompamos los silos para impulsar la visibilidad, los controles de procesos y la claridad para las altas esferas directivas", dijo Coughlin.

Otro de los panelistas señaló tres consecuencias de la introducción de la IA en las empresas desde la perspectiva de un profesional de la seguridad: primero, típicamente introduce una nueva área de superficie de ataque y un nuevo concepto de activos críticos, como conjuntos de datos de entrenamiento; segundo, introduce una nueva forma de perder y filtrar datos, así como nuevos problemas relacionados con la privacidad; y tercero, tiene implicaciones en la regulación y el cumplimiento normativo.

La IA generativa como beneficio para la ciberseguridad y el trabajo de formación

Cuando se les preguntó sobre los beneficios de la IA generativa y los resultados positivos que puede generar, Fleming Shi, CTO de Barracuda, dijo que los modelos de IA tienen el potencial de hacer que la formación "just in time" sea viable utilizando la IA generativa.

Cómo configurar un servidor VPN para hacer conexiones a través de firewalls

"Y con las indicaciones correctas, el tipo correcto de datos para asegurarse de que se pueda personalizar, la formación se puede implementar de manera más fácil y ser más interactiva", dijo Shi, preguntándose retóricamente si a alguien le gusta la formación en ciberseguridad ahora mismo. "Si lo haces más personal, utilizando modelos de lenguaje amplios como herramientas de comunicación en lenguaje natural, la gente, especialmente los niños, pueden aprender de ello. Cuando las personas ingresen a su primer trabajo, estarán mejor preparadas y listas para comenzar", agregó.

Daniel dijo que es optimista, "lo cual puede sonar extraño viniendo del excoordinador de ciberseguridad de EE.UU.", bromeó. "No era conocido como el 'Pájaro Azul de la Felicidad'. En general, creo que las herramientas de las que estamos hablando tienen un enorme potencial para hacer que la práctica de la ciberseguridad sea más satisfactoria para muchas personas. Pueden eliminar la fatiga visual y hacer que sea mucho más fácil para los humanos concentrarse en cosas que son realmente interesantes", dijo.

Dijo que tiene la esperanza de que estas herramientas hagan que la práctica de la ciberseguridad sea una disciplina más atractiva. "Podríamos seguir un camino estúpido y permitir que bloquee el acceso al campo de la ciberseguridad, pero si lo usamos correctamente, pensándolo como un 'copiloto' en lugar de un reemplazo, podríamos realmente ampliar el grupo de personas que ingresan a la industria", agregó Daniel.

Descargo de responsabilidad: Barracuda Networks pagó mi pasaje aéreo y alojamiento para Black Hat 2023.

¡Alerta! Un nuevo gusano de Linux está propagándose

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Seguridad, allí encontraras muchos artículos similares a Cómo asegurar la inteligencia artificial: desafíos y oportunidades , tenemos lo ultimo en tecnología 2023.