El futuro de la inteligencia artificial generativa y los desafíos para la seguridad

En la conferencia Black Hat 2023, Maria Markstedter, CEO y fundadora de Azeria Labs, lideró una presentación sobre el futuro de la IA generativa, las habilidades necesarias por parte de la comunidad de seguridad en los próximos años y cómo los actores maliciosos pueden atacar aplicaciones basadas en IA en la actualidad.

La era de la IA generativa marca un nuevo auge tecnológico

Tanto Markstedter como Jeff Moss, hacker y fundador de Black Hat, abordaron el tema con optimismo cauteloso basado en las revoluciones tecnológicas del pasado. Moss señaló que la IA generativa realiza predicciones sofisticadas.

"Nos obliga, por razones económicas, a convertir todos nuestros problemas en problemas de predicción", dijo Moss. "Cuanto más puedas convertir tus problemas informáticos en problemas de predicción, más pronto obtendrás beneficios de la IA, ¿verdad? Así que empieza a pensar en todo lo que haces como un problema de predicción".

También mencionó brevemente las preocupaciones sobre la propiedad intelectual, en las que artistas o fotógrafos podrían demandar a las empresas que extraen datos de entrenamiento de trabajos originales. Moss imaginó un futuro en el que cada persona tenga su propio conjunto boutique de datos auténticos o sin corrupción que puedan controlar y posiblemente vender, lo cual tendría valor porque es auténtico y libre de IA.

A diferencia de la época del auge del software cuando Internet se hizo público por primera vez, ahora los reguladores se mueven rápidamente para establecer reglas estructuradas para la IA, afirmó Moss.

“Nunca antes habíamos visto a los gobiernos adelantarse a las cosas”, dijo. “Y esto significa, a diferencia de la era anterior, que tenemos la oportunidad de participar en la creación de normas”.

Protección antivirus en línea: McAfee Clinic lleva la seguridad de tu PC al siguiente nivel

Muchos de los esfuerzos de regulación gubernamental en torno a la IA están en etapas iniciales, como el anteproyecto de la Declaración de Derechos de la IA de Estados Unidos de la Oficina de Ciencia y Tecnología.

Las grandes organizaciones detrás de la carrera armamentista de la IA generativa, especialmente Microsoft, se están moviendo tan rápido que la comunidad de seguridad se apresura a mantenerse al día, dijo Markstedter. Comparó el auge de la IA generativa con los primeros días del iPhone, cuando la seguridad no estaba incluida y la comunidad de jailbreak mantuvo ocupada a Apple buscando formas de detener a los hackers gradualmente.

"Esto desencadenó una ola de seguridad", dijo Markstedter, y las empresas comenzaron a ver el valor de las mejoras en seguridad. Lo mismo está sucediendo ahora con la IA generativa, no necesariamente porque toda la tecnología sea nueva, sino porque el número de casos de uso ha aumentado masivamente desde la aparición de ChatGPT.

"Lo que realmente quieren las empresas es tener agentes autónomos que les brinden acceso a una fuerza de trabajo súper inteligente que pueda trabajar las 24 horas del día sin pagar un sueldo", dijo Markstedter. "Así que nuestro trabajo es entender la tecnología que está cambiando nuestros sistemas y, como resultado, nuestras amenazas", afirmó.

Nueva tecnología conlleva nuevas vulnerabilidades de seguridad

El primer indicio de una lucha entre el uso público y la seguridad se dio cuando las empresas prohibieron a los empleados utilizar ChatGPT, dijo Markstedter. Las organizaciones querían asegurarse de que los empleados que utilizaran el chatbot de IA no filtraran datos confidenciales a un proveedor externo o que su información propietaria se agregara a los datos de entrenamiento de ChatGPT.

"Podríamos detenernos aquí y decir, ya sabes, 'la IA no despegará y no se convertirá en una parte integral de nuestros negocios, claramente la están rechazando'", dijo Markstedter.

Cómo proteger tu computadora de los virus: métodos y consejos

Sin embargo, las empresas y los proveedores de software empresarial no lo rechazaron. Por lo tanto, el mercado recién desarrollado para el aprendizaje automático como un servicio en plataformas como Azure OpenAI necesita equilibrar el desarrollo rápido y las prácticas de seguridad convencionales.

Muchas de las nuevas vulnerabilidades provienen del hecho de que las capacidades de la IA generativa pueden ser multimodales, lo que significa que pueden interpretar datos de múltiples tipos o modalidades de contenido. Por ejemplo, una IA generativa podría analizar contenido de texto, video y audio al mismo tiempo. Esto presenta un problema desde una perspectiva de seguridad porque cuanto más autónomo se vuelve un sistema, más riesgos puede tomar.

Por ejemplo, Adept está trabajando en un modelo llamado ACT-1 que puede acceder a navegadores web y cualquier herramienta de software o API en una computadora con el objetivo, como se menciona en su sitio web, de “... un sistema que puede hacer todo lo que un humano puede hacer frente a una computadora”.

Un agente de IA como ACT-1 requiere seguridad para los datos internos y externos. El agente de IA también puede leer datos de incidentes. Por ejemplo, un agente de IA podría descargar código malicioso en el proceso de resolver un problema de seguridad.

Eso recuerda a Markstedter el trabajo que los hackers han estado haciendo durante los últimos 10 años para asegurar puntos de acceso de terceros o aplicaciones de software como servicio que se conectan a datos personales y aplicaciones.

"También necesitamos repensar nuestras ideas sobre la seguridad de los datos porque los datos del modelo son datos al fin y al cabo, y debes protegerlos tanto como tus datos confidenciales", dijo Markstedter.

¡Defiéndete! Protege tu seguridad en línea contra amenazas críticas

Markstedter señaló un artículo de julio de 2023, “(Ab)Usar imágenes y sonidos para la inyección de instrucciones indirecta en LLM multimodales”, en el que los investigadores determinaron que podían engañar a un modelo para que interpretara una imagen o un archivo de audio que parece inofensivo para los ojos y oídos humanos, pero que inyecta instrucciones maliciosas en el código al que una IA podría tener acceso.

Imágenes maliciosas como esta podrían ser enviadas por correo electrónico o incrustadas en sitios web.

"Así que ahora que hemos pasado muchos años enseñando a los usuarios a no hacer clic en cosas y archivos adjuntos en correos electrónicos de phishing, ahora tenemos que preocuparnos por que el agente de IA sea explotado al procesar automáticamente archivos adjuntos de correo electrónico maliciosos", dijo Markstedter. "La infiltración de datos se volverá bastante trivial con estos agentes autónomos porque tienen acceso a todos nuestros datos y aplicaciones".

Una posible solución es la alineación de modelos, en la cual se instruye a una IA a evitar acciones que no estén alineadas con sus objetivos previstos. Algunos ataques se dirigen específicamente a la alineación modal, instruyendo a grandes modelos de lenguaje para eludir su alineación de modelos.

"Puedes pensar en estos agentes como otra persona que cree todo lo que lee en Internet y, lo que es peor, hace todo lo que Internet le dice que haga", dijo Markstedter.

¿Reemplazará la IA a los profesionales de la seguridad?

Junto con las nuevas amenazas a los datos privados, la IA generativa también ha generado preocupaciones sobre dónde encajan los humanos en la fuerza laboral. Markstedter dijo que, si bien no puede predecir el futuro, hasta ahora la IA generativa ha creado muchos desafíos nuevos que la industria de la seguridad necesita resolver.

Protege tus contraseñas con PAM: Tu aliado para la seguridad

“La IA aumentará significativamente nuestro valor de mercado porque nuestra industria creció con cada cambio tecnológico importante y seguirá creciendo”, dijo. "Y hemos desarrollado soluciones de seguridad lo suficientemente buenas para la mayoría de nuestros problemas de seguridad anteriores causados ​​por estos cambios tecnológicos. Pero con esto, nos enfrentamos a nuevos problemas o desafíos para los que no tenemos soluciones. Hay mucho dinero en crear esas soluciones".

La demanda de investigadores de seguridad que sepan cómo manejar modelos de IA generativa aumentará, dijo. Eso podría ser bueno o malo para la comunidad de seguridad en general.

"Un agente de IA puede no reemplazarte, pero los profesionales de seguridad con habilidades en IA sí pueden hacerlo", dijo Markstedter.

Señaló que los profesionales de la seguridad deben estar atentos a los desarrollos en el área de "IA explicable", que ayuda a los desarrolladores e investigadores a analizar los datos de entrenamiento de una IA generativa. Es posible que se necesite a profesionales de seguridad para crear herramientas de ingeniería inversa y descubrir cómo los modelos toman sus decisiones.

¿Qué sigue para la IA generativa desde una perspectiva de seguridad?

Tanto Markstedter como Moss creen que la IA generativa se volverá más poderosa.

"Tenemos que tomar en serio la posibilidad de que los agentes autónomos de IA se conviertan en una realidad dentro de nuestras empresas", dijo Markstedter. "Y debemos repensar nuestros conceptos de identidad y gestión de activos de sistemas realmente autónomos que tienen acceso a nuestros datos y aplicaciones, lo que también significa que debemos replantearnos nuestros conceptos en torno a la seguridad de los datos. Entonces, ya sea que mostremos que integrar agentes autónomos con acceso total es demasiado arriesgado o aceptemos que se conviertan en una realidad y desarrollemos soluciones para hacer que sean seguros de usar".

Cómo configurar un servidor VPN para hacer conexiones a través de firewalls

También predice que se producirá una proliferación de aplicaciones de IA en dispositivos móviles.

"Entonces, van a escuchar mucho sobre los problemas de la IA", dijo Moss. "Pero también quiero que piensen en las oportunidades de la IA. Oportunidades empresariales. Oportunidades para nosotros como profesionales para involucrarnos y ayudar a orientar el futuro".

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Seguridad, allí encontraras muchos artículos similares a El futuro de la inteligencia artificial generativa y los desafíos para la seguridad , tenemos lo ultimo en tecnología 2023.