Generative AI en ciberseguridad: riesgos y amenazas que debes conocer

HackerOne, una plataforma de seguridad y foro de comunidad de hackers, organizó una mesa redonda el jueves 27 de julio para discutir cómo la inteligencia artificial generativa cambiará la práctica de la ciberseguridad. Hackers y expertos de la industria analizaron el papel de la IA generativa en varios aspectos de la ciberseguridad, incluyendo las nuevas superficies de ataque y las consideraciones que las organizaciones deben tener en cuenta al utilizar modelos de lenguaje grandes.

Contenido:

• La IA generativa puede introducir riesgos si las organizaciones la adoptan demasiado rápido
• Cómo los actores de amenazas se aprovechan de la IA generativa
• Deepfakes, cryptors personalizados y otras amenazas
• "Nada de lo que sale de un modelo GPT es nuevo"
• Cómo las empresas pueden asegurar la IA generativa

La IA generativa puede introducir riesgos si las organizaciones la adoptan demasiado rápido

Las organizaciones que utilizan IA generativa como ChatGPT para escribir código deben tener cuidado de no crear vulnerabilidades debido a la prisa, advierte Joseph "rez0" Thacker, un hacker profesional y ingeniero de seguridad ofensiva senior de la empresa de seguridad de software como servicio AppOmni.

Por ejemplo, ChatGPT no tiene el contexto para comprender cómo pueden surgir vulnerabilidades en el código que produce. Las organizaciones tienen que confiar en que ChatGPT sabrá cómo producir consultas SQL que no sean vulnerables a la inyección de SQL, explica Thacker. Los atacantes que pueden acceder a cuentas de usuario o datos almacenados en diferentes partes de la organización a menudo causan vulnerabilidades que los probadores de penetración buscan con frecuencia, y ChatGPT puede que no pueda tenerlas en cuenta en su código.

Los dos principales riesgos para las empresas que pueden apresurarse a utilizar productos de IA generativa son:

Microsoft y LinkedIn lanzan programa de certificación en habilidades de IA generativa

• Permitir que el LLM (modelo de lenguaje grande) sea expuesto de alguna manera a usuarios externos que tienen acceso a datos internos.
• Conectar diferentes herramientas y complementos con una función de IA que pueda acceder a datos no confiables, incluso si son internos.

Cómo los actores de amenazas se aprovechan de la IA generativa

"Tenemos que recordar que los sistemas como los modelos GPT no crean cosas nuevas, lo que hacen es reorientar cosas que ya existen... cosas en las que ya han sido entrenados", dice Klondike. "Creo que veremos a personas que no son muy hábiles técnicamente tener acceso a sus propios modelos GPT que les pueden enseñar sobre el código o ayudarles a construir ransomware que ya existe".

Inyección de activación

Cualquier cosa que navegue por Internet, como un LLM, puede crear este tipo de problema.

Una posible vía de ataque cibernético a los chatbots basados en LLM es la inyección de activación; se aprovecha de las funciones de activación programadas para llamar al LLM y realizar ciertas acciones.

Por ejemplo, Thacker explica que si un atacante utiliza la inyección de activación para tomar el control del contexto para la llamada de función de LLM, puede extraer datos llamando a la función del navegador web y transferir los datos extraídos al lado del atacante. O bien, un atacante podría enviar por correo electrónico una carga útil de inyección de activación a un LLM encargado de leer y responder a correos electrónicos.

Roni "Lupin" Carta, un hacker ético, señala que los desarrolladores que usan ChatGPT para ayudar a instalar paquetes de activación en sus computadoras pueden tener problemas cuando le piden a la IA generativa que encuentre bibliotecas. ChatGPT alucina nombres de bibliotecas, lo que los actores de amenazas pueden aprovechar invirtiendo ingeniería en las bibliotecas falsas.

Los atacantes también podrían insertar texto malicioso en imágenes. Entonces, cuando una IA de interpretación de imágenes como Bard escanea la imagen, el texto se desencadena como una activación e instruye a la IA a realizar ciertas funciones. Básicamente, los atacantes pueden realizar inyección de activación a través de la imagen.

Comparación de Google Bard y Claude.ai: Cuál es el mejor chatbot conversacional en 2023

Deepfakes, cryptors personalizados y otras amenazas

Carta señaló que la barrera se ha reducido para los atacantes que desean utilizar la ingeniería social o el audio y video deepfake, tecnología que también se puede utilizar en defensa.

"Esto es increíble para los ciberdelincuentes, pero también para los equipos de seguridad que utilizan la ingeniería social en su trabajo", dijo Carta.

En términos de desafíos técnicos, Klondike destacó que la forma en que se construyen los LLMs dificulta eliminar la información de identificación personal de sus bases de datos. Afirmó que los LLMs internos aún pueden mostrar a los empleados o a los actores de amenazas datos o ejecutar funciones que se supone que son privadas. Esto no requiere una inyección de activación compleja; podría ser tan simple como hacer las preguntas adecuadas.

"Vamos a ver productos completamente nuevos, pero también creo que el panorama de amenazas va a tener las mismas vulnerabilidades que siempre hemos visto, pero en mayor cantidad", dijo Thacker.

Los equipos de ciberseguridad probablemente verán un mayor volumen de ataques de bajo nivel a medida que los actores de amenazas aficionados utilicen sistemas como los modelos GPT para lanzar ataques, afirmó Gavin Klondike, consultor senior de ciberseguridad en la comunidad de hackers y científicos de datos AI Village. Los ciberdelincuentes de alto nivel podrán crear cryptors personalizados, software que oculta malware, y malware con IA generativa, agregó.

"Nada de lo que sale de un modelo GPT es nuevo"

En el panel hubo cierto debate sobre si la IA generativa plantea las mismas preguntas que cualquier otra herramienta o si presenta nuevas cuestiones.

La importancia de los datos confiables y el futuro de la inteligencia artificial

"Creo que debemos recordar que ChatGPT se entrena con cosas como Stack Overflow", dijo Katie Paxton-Fear, profesora de ciberseguridad en la Universidad Metropolitana de Manchester e investigadora en seguridad. "Nada de lo que sale de un modelo GPT es nuevo. Todo esto se puede encontrar ya con Google.

"Creo que debemos tener mucho cuidado cuando tenemos estas discusiones sobre IA buena y IA mala, de no criminalizar la educación genuina."

Carta comparó la IA generativa con un cuchillo; al igual que un cuchillo, la IA generativa puede ser un arma o una herramienta para cortar un bistec.

"Todo se reduce a lo que puede hacer el humano, no a lo que puede hacer la IA", dijo Carta.

Thacker discrepó de la metáfora, diciendo que la IA generativa no puede compararse con un cuchillo porque es la primera herramienta que la humanidad ha tenido que puede "... crear ideas nuevas y completamente únicas debido a su amplia experiencia en dominios".

O bien, la IA podría acabar siendo una mezcla de una herramienta inteligente y un consultor creativo. Klondike predijo que si bien los actores de amenazas de bajo nivel se beneficiarán más de la IA al facilitarles la escritura de código malicioso, las personas que más se beneficiarán en el lado de los profesionales de ciberseguridad serán los de nivel senior. Ellos ya saben cómo construir código y escribir sus propios flujos de trabajo, y pedirán ayuda a la IA en otras tareas.

El futuro de la ética en la inteligencia artificial: preocupaciones y desafíos

Cómo las empresas pueden asegurar la IA generativa

El modelo de amenazas que Klondike y su equipo crearon en AI Village recomienda a los proveedores de software considerar los LLMs como un usuario y establecer salvaguardias en torno a los datos a los que tiene acceso.

Tratar la IA como un usuario final

Es importante realizar una modelización de amenazas al trabajar con LLMs, advierte Klondike. También es importante detectar la ejecución remota de código, como un problema reciente en el que un atacante atacó una herramienta de desarrollo impulsada por LLM llamada LangChain, y pudo ingresar código directamente en un intérprete de código Python.

"Lo que necesitamos hacer es aplicar la autorización entre el usuario final y el recurso en el servidor al que intentan acceder", explica Klondike.

No olvidar lo básico

Algunos consejos para las empresas que desean utilizar LLMs de manera segura son similares a los consejos generales de seguridad, según los panelistas. Michiel Prins, cofundador de HackerOne y responsable de servicios profesionales, señaló que, en lo que respecta a los LLMs, las organizaciones parecen haber olvidado la lección de seguridad estándar de "tratar la entrada del usuario como peligrosa".

"Casi hemos olvidado los últimos 30 años de lecciones de ciberseguridad en el desarrollo de algunos de estos software", comentó Klondike.

Paxton-Fear ve el hecho de que la IA generativa es relativamente nueva como una oportunidad para construir la seguridad desde el principio.

Generative AI en el trabajo: reemplazará o potenciará a los empleados

"Esta es una gran oportunidad para dar un paso atrás e incorporar seguridad a medida que se desarrolla, en lugar de agregarla 10 años después."

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Inteligencia artificial, allí encontraras muchos artículos similares a Generative AI en ciberseguridad: riesgos y amenazas que debes conocer , tenemos lo ultimo en tecnología 2023.