OpenAI busca investigadores para contener la inteligencia artificial superinteligente con otras IA

OpenAI está buscando investigadores para trabajar en la contención de inteligencia artificial (IA) súper inteligente con otras IA. El objetivo final es mitigar la amenaza de una inteligencia artificial con capacidades similares a las humanas, que puede ser algo de ciencia ficción.

"Necesitamos avances científicos y técnicos para dirigir y controlar los sistemas de IA mucho más inteligentes que nosotros", escribió Jan Leike, Jefe de Alineación de OpenAI, e Ilya Sutskever, co-fundador y Científico en Jefe, en una publicación de blog.

El equipo de alineación de OpenAI está reclutando

El equipo de alineación de OpenAI dedicará el 20% de la capacidad de cómputo total de OpenAI a entrenar lo que ellos llaman un investigador de alineación automatizado a nivel humano para mantener alineados los futuros productos de IA. Con ese fin, el nuevo grupo de Superalineación de OpenAI está contratando a un ingeniero de investigación, un científico de investigación y un gerente de investigación.

OpenAI afirma que la clave para controlar una IA es la alineación, es decir, asegurarse de que la IA realice el trabajo que un humano pretende que haga.

La compañía también ha declarado que uno de sus objetivos es el control de la "superinteligencia", es decir, una IA con capacidades superiores a las humanas. Es importante que esta IA hiperinteligente "siga la intención humana", escribieron Leike y Sutskever. Anticipan el desarrollo de IA superinteligente en la última década y desean tener una forma de controlarla en los próximos cuatro años.

GPT-4: La nueva generación de inteligencia artificial que imita el habla y razonamiento humano

"Es alentador que OpenAI esté trabajando de manera proactiva para asegurar la alineación de estos sistemas con nuestros valores [humanos]", dijo Haniyeh Mahmoudian, eticista global de IA en la empresa de software de IA y ML DataRobot y miembro del Comité Asesor Nacional de IA de Estados Unidos. "No obstante, la utilización y las capacidades futuras de estos sistemas siguen siendo en gran medida desconocidas. Haciendo comparaciones con las implementaciones de IA existentes, está claro que un enfoque único no es aplicable, y los detalles de la implementación y evaluación del sistema variarán según el contexto de uso."

Un entrenador de IA podría mantener a otras modelos de IA controladas

Hoy en día, el entrenamiento de inteligencia artificial requiere una gran cantidad de aporte humano. Leike y Sutskever proponen que un desafío futuro para desarrollar IA podría ser adversarial, es decir, "nuestra incapacidad para detectar y socavar con éxito la supervisión durante el entrenamiento de nuestros modelos".

Por lo tanto, según ellos, se necesitará una IA especializada para entrenar a una IA que pueda superar a las personas que la crearon. El investigador de IA que entrena a otros modelos de IA ayudará a OpenAI a poner a prueba el Centro de Alineación de la compañía y a reevaluarlo por completo.

El cambio en la forma en que OpenAI maneja la alineación implica tres objetivos principales:

• Crear una IA que ayude a evaluar otras IA y comprenda cómo esos modelos interpretan el tipo de supervisión que normalmente realizaría un humano.
• Automatizar la búsqueda de comportamientos problemáticos o datos internos dentro de una IA.
• Poner a prueba este proceso de alineación creando intencionalmente IA "desalineada" para asegurarse de que la IA de alineación pueda detectarlos.

Personal de equipos anteriores de OpenAI y otros equipos trabajarán en Superalineación junto con las nuevas contrataciones. La creación del nuevo equipo refleja el interés de Sutskever por la IA superinteligente. Planea hacer de Superalineación su principal foco de investigación.

¿Superinteligencia de la IA: ¿Realidad o ciencia ficción?

Si alguna vez existirá la "superinteligencia" es motivo de debate.

Cómo utilizar Google Bard

OpenAI propone la superinteligencia como un nivel superior a la inteligencia general, una clase de IA similar a la humana que algunos investigadores creen que nunca existirá. Sin embargo, algunos investigadores de Microsoft creen que el rendimiento alto de GPT-4 en las pruebas estandarizadas lo acerca al umbral de la inteligencia generalizada.

Otros dudan que la inteligencia pueda ser medida realmente mediante pruebas estandarizadas, o se preguntan si la idea misma de IA generalizada se acerca más a un desafío filosófico que técnico. Un estudio de 2022 de Cohere for AI señala que los grandes modelos de lenguaje no pueden interpretar el lenguaje "en contexto" y, por lo tanto, no se acercan al pensamiento similar al humano. (Ninguno de estos estudios ha sido revisado por pares.)

"Las preocupaciones sobre el peligro de una IA súper inteligente hablan de los riesgos a largo plazo que podrían transformar fundamentalmente la sociedad, y estas consideraciones son esenciales para determinar las prioridades de investigación, las políticas regulatorias y las salvaguardias a largo plazo", dijo Mahmoudian. "Sin embargo, centrarse exclusivamente en estas preocupaciones futuristas puede hacer que se descuiden sin querer los problemas éticos inmediatos y más pragmáticos asociados con las tecnologías de IA actuales."

Estos problemas éticos más pragmáticos incluyen:

• Privacidad
• Equidad
• Transparencia
• Rendición de cuentas
• Potencial sesgo en los algoritmos de IA.

Estos aspectos ya son relevantes para la forma en que las personas utilizan la IA en su vida diaria, señaló Mahmoudian.

"Es crucial considerar las implicaciones y riesgos a largo plazo al mismo tiempo que se abordan los desafíos éticos concretos planteados por la IA hoy en día", dijo Mahmoudian.

El Summit AI para el Bien: Explorando los riesgos y conexiones de la IA generativa

OpenAI quiere adelantarse a la velocidad de desarrollo de la IA

OpenAI plantea la amenaza de la superinteligencia como posible pero no inminente.

"Tenemos mucha incertidumbre sobre la velocidad de desarrollo de la tecnología en los próximos años, por lo que elegimos apuntar al objetivo más difícil de alinear un sistema mucho más capaz", escribieron Leike y Sutskever.

También señalan que mejorar la seguridad en los productos de IA existentes como ChatGPT es una prioridad, y que la discusión sobre la seguridad de la IA también debe incluir "riesgos de uso indebido de la IA, interrupciones económicas, desinformación, sesgos y discriminación, adicción y dependencia y otros" y "problemas sociotécnicos relacionados".

"La alineación de la superinteligencia es fundamentalmente un problema de aprendizaje automático, y creemos que los grandes expertos en aprendizaje automático, aunque no estén trabajando actualmente en la alineación, serán fundamentales para resolverlo", dijeron Leike y Sutskever en la publicación de blog.

El impacto de la inteligencia artificial generativa en los procesos de contratación

En Newsmatic nos especializamos en tecnología de vanguardia, contamos con los artículos mas novedosos sobre Inteligencia artificial, allí encontraras muchos artículos similares a OpenAI busca investigadores para contener la inteligencia artificial superinteligente con otras IA , tenemos lo ultimo en tecnología 2023.