La Casa Blanca aborda los riesgos y recompensas de la IA mientras expertos en seguridad expresan preocupaciones sobre su uso malintencionado

La Casa Blanca, la semana pasada, emitió un comunicado sobre el uso de inteligencia artificial, incluyendo modelos de lenguaje como ChatGPT.

El comunicado abordó las preocupaciones sobre el uso de la inteligencia artificial para difundir información falsa, sesgos y datos privados, y anunció una reunión de la vicepresidenta Kamala Harris con líderes de OpenAI, la empresa detrás de ChatGPT y propiedad de Microsoft, y ejecutivos de Alphabet y Anthropic.

Pero algunos expertos en seguridad ven cómo los adversarios que operan sin restricciones éticas utilizan herramientas de inteligencia artificial en diferentes frentes, incluyendo la generación de deep fakes al servicio del phishing. Se preocupan de que los defensores se queden rezagados.

Usos, malos usos y la posible dependencia excesiva de la IA

La inteligencia artificial "será un gran desafío para nosotros", dijo Dan Schiappa, director de producto de la empresa de operaciones de seguridad Arctic Wolf.

"Si bien debemos asegurarnos de que las organizaciones legítimas no la utilicen de manera ilegítima, la verdad poco favorecedora es que los malos seguirán usándola y no hay nada que podamos hacer para regularlos", afirmó.

Protección antivirus en línea: McAfee Clinic lleva la seguridad de tu PC al siguiente nivel

Según la empresa de seguridad Zscaler, el Informe de Phishing 2023 de ThreatLabz atribuyó en parte un aumento del 50% en los ataques de phishing el año pasado al uso de herramientas de inteligencia artificial. Además, las herramientas de IA de chatbot han permitido a los atacantes perfeccionar estas campañas al mejorar la segmentación y facilitar el engaño de los usuarios para que comprometan sus credenciales de seguridad.

El uso de la IA por parte de los malhechores no es nuevo. Hace tres años, Karthik Ramachandran, gerente senior de Deloitte en aseguramiento de riesgos, escribió en un blog que los hackers habían estado utilizando IA para crear nuevas amenazas cibernéticas, siendo el malware troyano Emotet dirigido a la industria de servicios financieros un ejemplo. También alegó en su publicación que entidades israelíes lo habían utilizado para falsificar resultados médicos.

Este año, las campañas de malware han recurrido a la tecnología de IA generativa, según un informe de Meta. El informe señaló que desde marzo, los analistas de Meta han encontrado "...alrededor de 10 familias de malware que se hacen pasar por ChatGPT y otras herramientas similares para comprometer cuentas en Internet".

Según Meta, los actores de amenazas están utilizando la IA para crear extensiones maliciosas del navegador disponibles en tiendas web oficiales que afirman ofrecer herramientas relacionadas con ChatGPT, algunas de las cuales incluyen funcionalidad de ChatGPT real junto con el malware.

"Esto probablemente fue para evitar sospechas de las tiendas y de los usuarios", compartió Meta, que también dijo que detectó y bloqueó más de 1.000 URL maliciosas únicas para que no se compartieran en las aplicaciones de Meta y las informó a empresas colaboradoras en servicios de intercambio de archivos.

Vulnerabilidades comunes

Aunque Schiappa coincide en que la IA puede explotar vulnerabilidades con código malicioso, argumenta que la calidad de los resultados generados por LLM sigue siendo dispar.

Cómo proteger tu computadora de los virus: métodos y consejos

"Hay mucho bombo alrededor de ChatGPT, pero el código que genera es francamente mediocre", dijo.

Schiappa afirmó que los modelos de IA generativa pueden acelerar significativamente los procesos, añadiendo que la parte "invisible" de estas herramientas, es decir, aquellos aspectos del modelo que no están involucrados en la interacción en lenguaje natural con un usuario, en realidad son más arriesgados desde una perspectiva adversarial y más poderosos desde una perspectiva defensiva.

El informe de Meta afirma que los esfuerzos defensivos de la industria están obligando a los actores de amenazas a encontrar nuevas formas de evadir la detección, incluyendo la propagación en la mayor cantidad de plataformas posibles para protegerse de la aplicación de las medidas de cualquier servicio en particular.

"Por ejemplo, hemos visto que las familias de malware utilizan servicios como el nuestro y LinkedIn, navegadores como Chrome, Edge, Brave y Firefox, acortadores de enlaces, servicios de alojamiento de archivos como Dropbox y Mega, y otros más. Cuando son descubiertos, añaden más servicios, incluso los más pequeños, que les ayudan a disfrazar el destino final de los enlaces", dice el informe.

Para la defensa, la IA es efectiva, pero tiene límites

Con el objetivo de evaluar las capacidades de la IA para la defensa, Endor Labs ha estudiado recientemente modelos de IA que pueden identificar paquetes maliciosos centrándose en el código fuente y los metadatos.

En una publicación de blog de abril de 2023, Henrik Plate, investigador de seguridad de Endor Labs, describió cómo la empresa analizó indicadores de rendimiento defensivo para la IA. Como herramienta de cribado, GPT-3.5 identificó correctamente el malware solo el 36% de las veces, evaluando correctamente solo 19 de 34 artefactos de nueve paquetes distintos que contenían malware.

¡Defiéndete! Protege tu seguridad en línea contra amenazas críticas

También se mencionaron en la publicación los siguientes datos:

• El 44% de los resultados fueron falsos positivos.
• Usando nombres de funciones inocentes, la IA logró engañar a ChatGPT para cambiar una evaluación de maliciosa a benigna.
• Las versiones 3.5 y 4 de ChatGPT llegaron a conclusiones divergentes.

¿IA para la defensa? No sin los humanos

Plate argumentó que los resultados muestran que las revisiones de malware asistidas por LLM con GPT-3.5 aún no son una alternativa viable a las revisiones manuales, y que la dependencia de LLM en identificadores y comentarios puede ser valiosa para los desarrolladores, pero también pueden ser fácilmente mal utilizados por los adversarios para evadir la detección de comportamiento malicioso.

"Pero aunque la evaluación basada en LLM no debe utilizarse en lugar de las revisiones manuales, ciertamente se pueden utilizar como una señal e información adicional para las revisiones manuales. En particular, pueden ser útiles para revisar automáticamente un mayor número de señales de malware producidas por detectores ruidosos (que, de lo contrario, corren el riesgo de ser completamente ignorados en caso de capacidades de revisión limitadas)", escribió Plate.

Describió 1.800 clasificaciones binarias realizadas con GPT-3.5 que incluían falsos positivos y falsos negativos, señalando que las clasificaciones podían ser engañadas con trucos simples.

"Los costos marginales de crear y liberar un paquete malicioso se acercan a cero", porque los atacantes pueden automatizar la publicación de software malicioso en PyPI, npm y otros repositorios de paquetes, explicó Plate.

Endor Labs también examinó formas de engañar a GPT para obtener evaluaciones incorrectas, lo cual lograron utilizar técnicas simples para cambiar una evaluación de maliciosa a benigna, por ejemplo, con el uso de nombres de funciones inocentes, la inclusión de comentarios que indican funcionalidad benigna o mediante la inclusión de literales de cadena.

Protege tus contraseñas con PAM: Tu aliado para la seguridad

La IA puede jugar al ajedrez mucho mejor que conducir un Tesla

Elia Zaitsev, director de tecnología de CrowdStrike, dijo que una gran debilidad de la IA como parte de una postura defensiva es que, paradójicamente, solo "sabe" lo que ya se sabe.

"La IA está diseñada para examinar cosas que han sucedido en el pasado y extrapolar lo que está sucediendo en el presente", dijo. Sugirió esta analogía del mundo real: "La IA ha estado aplastando a los humanos en el ajedrez y otros juegos durante años. ¿Pero dónde está el coche autónomo?"

"Hay una gran diferencia entre esos dos ámbitos", dijo.

"Los juegos tienen un conjunto de reglas limitadas. Sí, hay una combinación infinita de juegos de ajedrez, pero solo puedo mover las piezas de una cantidad limitada de formas, por lo que la IA es fantástica en esos espacios de problemas limitados. Lo que le falta es la capacidad de hacer algo que nunca se haya visto antes. Entonces, la IA generativa dice 'aquí está toda la información que he visto antes y aquí está lo probable que sean asociados entre sí'".

Zaitsev explicó que la ciberseguridad autónoma, en caso de que se logre algún día, tendría que funcionar a un nivel aún no alcanzado por los coches autónomos. Un actor de amenazas, por definición, está tratando de eludir las reglas para idear nuevos ataques.

"Claro que hay reglas, pero de repente hay un coche que va en dirección contraria por una calle de sentido único. ¿Cómo se explica eso?", preguntó.

Cómo configurar un servidor VPN para hacer conexiones a través de firewalls

Adversarios más IA

Para los atacantes, hay poco que perder al utilizar la IA de formas versátiles, porque pueden beneficiarse de la combinación de la creatividad humana y la ejecución despiadada y rápida de la IA las 24 horas, los 7 días de la semana, según Zaitsev.

"Así que en CrowdStrike nos centramos en tres pilares de seguridad principales: el punto final, la inteligencia de amenazas y la caza de amenazas gestionada. Sabemos que necesitamos una visibilidad constante de cómo evoluciona el modus operandi de los adversarios", agregó.

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Seguridad, allí encontraras muchos artículos similares a La Casa Blanca aborda los riesgos y recompensas de la IA mientras expertos en seguridad expresan preocupaciones sobre su uso malintencionado , tenemos lo ultimo en tecnología 2023.