Salesforce publica las primeras Directrices para la Inteligencia Artificial Generativa Confiable

Salesforce, que el año pasado presentó su marco de IA Einstein detrás de su plataforma Customer 360, ha publicado lo que asegura que son las primeras Pautas para una IA generativa confiable de la industria. Escritas por Paula Goldman, directora de ética y uso humano, y Kathy Baxter, arquitecta principal de IA ética en la empresa, las pautas tienen como objetivo ayudar a las organizaciones a priorizar la innovación impulsada por la IA en términos de ética y precisión, incluyendo dónde pueden surgir y cómo encontrar y cauterizar sesgos.

Baxter, quien también es investigadora visitante de IA en el Instituto Nacional de Normas y Tecnología (NIST), dijo que existen varios puntos de entrada para el sesgo en los modelos de aprendizaje automático utilizados para la selección de empleo, la investigación de mercado, las decisiones de atención médica, las aplicaciones de justicia penal y más. Sin embargo, señaló que no existe una manera fácil de medir qué constituye un modelo "seguro" o que ha superado un cierto nivel de sesgo o toxicidad.

En enero, el NIST emitió su Marco de Gestión de Riesgos de Inteligencia Artificial como un recurso para las organizaciones "que diseñan, desarrollan, implementan o utilizan sistemas de IA para ayudar a manejar los muchos riesgos de la IA y promover el desarrollo y uso confiable y responsable de los sistemas de IA".

Baxter dijo que ofreció comentarios sobre el marco y participó en dos de los tres talleres que llevó a cabo el NIST para obtener comentarios del público y generar conciencia.

"El marco discute lo que se requiere para una IA confiable y las recomendaciones son similares a nuestros principios y pautas para una IA confiable: validez y confiabilidad, seguridad, responsabilidad y transparencia, explicabilidad, mejoramiento de la privacidad y equidad. Salesforce divide las cosas de manera un poco diferente, pero todos los mismos conceptos están allí", dijo.

Cómo el análisis de datos crea modelos sesgados

"Hablamos sobre la IA como si fuera homogénea, como un aditivo alimentario que la FDA puede afirmar que es seguro por debajo de una cierta concentración, pero no lo es, es altamente variada", dijo Baxter, citando un artículo de 2021 de los investigadores del MIT Harini Suresh y John Guttag que enumera una variedad de formas en que los datos pueden ser utilizados de manera demasiado estrecha en el desarrollo de modelos de aprendizaje automático.

GrammarlyGo: La nueva herramienta de inteligencia artificial para mejorar tu escritura

Baxter dijo que esto puede llevar a cinco perjuicios en el mundo real.

Sesgo histórico

Los datos históricos, incluso si se miden y muestrean de manera "perfecta", pueden llevar a resultados perjudiciales, señala el artículo del MIT. Baxter dijo que una ilustración de esto sería datos históricos precisos que muestran que los afroamericanos han enfrentado la exclusión y diferentes estándares para recibir préstamos.

"Si usas datos históricos para predecir el futuro, la IA 'aprenderá' a no conceder préstamos a los solicitantes afroamericanos, porque simplemente replicará el pasado", dijo.

Sesgo de representación

Debido a que una muestra de datos subrepresenta alguna parte de la población, no generaliza bien para ese subgrupo.

Baxter señaló que algunos modelos de visión entrenados en datos recopilados principalmente de Estados Unidos o países occidentales no son adecuados porque no incluyen representaciones culturales de otros países. Un modelo de este tipo podría generar o encontrar "vestidos de novia" blancos, basándose en ideales estéticos occidentales, en lugar de los de, por ejemplo, Corea del Sur o Nigeria.

"Cuando recopilas datos, debes tener en cuenta los valores atípicos, la diversidad de la población y las anomalías", dijo.

¡La nueva era de la inteligencia artificial! OpenAI presenta GPT-4 tras entrenamiento en supercomputadora Azure

Sesgo de medición

El artículo del MIT señaló que este sesgo resulta del uso de medidas concretas destinadas a ser una aproximación de una idea o concepto no fácilmente observable. Baxter señaló que el algoritmo de reincidencia COMPAS es un ejemplo de esto: está diseñado para ayudar a los organismos encargados de hacer cumplir la ley a elegir libertades condicionales basadas en el potencial de reincidencia.

"Si hablas con la comunidad afectada, verás un sesgo desproporcionado en quiénes son señalados como alto riesgo y quiénes reciben el beneficio de la duda", dijo. "COMPAS no predecía quién iba a volver a cometer delitos, sino quién tenía más probabilidades de ser arrestado nuevamente".

Sesgo de agregación

Este es un tipo de error de generalización en el que se utiliza un modelo de "talla única" para datos con grupos o tipos subyacentes de ejemplos que deben considerarse de manera diferente, lo que lleva a un modelo que no es óptimo para ningún grupo o solo es válido para la población dominante.

Baxter señaló que, aunque el ejemplo en el artículo del MIT se centraba en el análisis de redes sociales: "Lo estamos viendo presente en otros lugares donde se utilizan emojis y lenguaje informal en un entorno laboral".

Señaló que la edad, la raza o los grupos de afinidad tienden a desarrollar sus propias palabras y significados de emojis: en TikTok, el emoji de la silla y el emoji de la calavera llegaron a significar que uno se moría de la risa, y palabras como "yas" y "slay" llegan a tener significados específicos dentro de ciertos grupos.

"Si intentas analizar o resumir el sentimiento en las redes sociales o los canales de Slack en el trabajo utilizando el significado definido de los emojis o palabras que la mayoría de las personas usan, te equivocarás con los subgrupos que los usan de manera diferente", dijo.

Cómo usar GPTZero para analizar texto escrito por IA

Sesgo de evaluación

El sesgo que surge cuando los datos de referencia utilizados para una tarea particular no representan a la población es otro tipo de sesgo abordado por el artículo del MIT, que ofrece el reconocimiento facial como ejemplo y cita trabajos anteriores de Gebru y Joy Buolamwini. Este trabajo mostró un rendimiento drásticamente peor de los algoritmos comerciales de análisis facial en imágenes de mujeres de tez oscura. Ese estudio señaló que las imágenes de mujeres de tez oscura solo representan el 7,4% y el 4,4% de los conjuntos de datos de referencia comunes.

Recomendaciones para evitar sesgos en los modelos de IA

En las pautas de Salesforce, los autores enumeraron varias recomendaciones para que las empresas se defiendan contra el sesgo y eviten las trampas ocultas en los conjuntos de datos y el proceso de desarrollo de IA.

1. Datos verificables

Los clientes que utilizan un modelo de IA como servicio deben poder entrenar los modelos con sus propios datos, y las organizaciones que utilizan IA deben comunicar cuando exista incertidumbre sobre la veracidad de la respuesta de la IA y permitir a los usuarios validar estas respuestas.

Las pautas sugieren que esto se puede lograr citando fuentes, ofreciendo una explicación clara de por qué la IA dio las respuestas que dio, o brindando áreas para verificar nuevamente, y creando barreras que eviten que algunas tareas sean completamente automatizadas.

2. Seguridad

Las empresas que utilizan IA deben mitigar los resultados perjudiciales mediante evaluaciones de sesgo, explicabilidad y robustez, y pruebas con equipos adversarios, según el informe. Deben mantener segura cualquier información de identificación personal en los datos de entrenamiento y crear barreras que eviten daños adicionales.

3. Honestidad

Cuando se recopilan datos para entrenar y evaluar modelos, las organizaciones deben respetar la procedencia de los datos y asegurarse de contar con el consentimiento para utilizarlos.

Aprende a utilizar ChatGPT y crea tus propias herramientas de inteligencia artificial

"También debemos ser transparentes de que un IA ha creado el contenido cuando se entrega de manera autónoma", dijo el informe.

4. Empoderamiento

Los desarrolladores de IA deben ser conscientes de la distinción entre proyectos de IA ideales para la automatización y aquellos en los que la IA debe ser subsidiaria de un agente humano.

"Necesitamos identificar el equilibrio apropiado para 'potenciar' las capacidades humanas y hacer estas soluciones accesibles para todos", escribieron los autores.

5. Sostenibilidad

Las pautas sugieren que los usuarios de IA deben considerar el tamaño y el consumo de un modelo de IA como parte de su trabajo para hacerlos precisos y reducir la huella de carbono de estos marcos.

"Cuando se trata de modelos de IA, más grande no siempre significa mejor: en algunos casos, los modelos más pequeños y mejor entrenados tienen un mejor rendimiento que los modelos más grandes y entrenados de manera más escasa", dijeron los autores del MIT.

Baxter estuvo de acuerdo con esa evaluación.

La revolución de la IA y el ML en la ingeniería de software

"Debes tener una visión holística al pensar en crear IA de manera responsable desde el inicio del proceso de creación", dijo Baxter. "¿Qué sesgos traen tu idea, junto con las suposiciones que estás haciendo, desde el entrenamiento, el desarrollo, la evaluación, la ajuste fino y la implementación en quién lo estás implementando? ¿Ofreces la forma correcta de remediación cuando te equivocas?"

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Inteligencia artificial, allí encontraras muchos artículos similares a Salesforce publica las primeras Directrices para la Inteligencia Artificial Generativa Confiable , tenemos lo ultimo en tecnología 2023.