La carta abierta de OpenAI advierte sobre los ‘graves riesgos’ y la falta de supervisión de la IA

Un grupo de empleados actuales y anteriores de OpenAI publicó un carta abierta martes describiendo preocupaciones sobre la inteligencia artificial El rápido avance de la industria a pesar de la falta de supervisión y de protección de los denunciantes para aquellos que desean hablar.

«Las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras personalizadas de gobierno corporativo sean suficientes para cambiar esto», escribieron los empleados.

abierta AI, Google, microsoft, Meta y otras empresas están al frente de una IA generativa carrera armamentista: un mercado que se prevé que Top $1 billón en ingresos en una década, a medida que empresas de aparentemente todas las industrias se apresuran a agregar chatbots y agentes con tecnología de inteligencia artificial para evitar ser dejado atras por los competidores.

Los empleados actuales y anteriores escribieron que las empresas de inteligencia artificial tienen «información sustancial no pública» sobre lo que puede hacer su tecnología, el alcance de las medidas de seguridad que han implementado y los niveles de riesgo que tiene la tecnología para diferentes tipos de daños.

«También entendemos los graves riesgos que plantean estas tecnologías», escribieron, añadiendo que las empresas «actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en todas ellas». compartirlo voluntariamente.»

La carta también detalla las preocupaciones de los empleados actuales y anteriores sobre la insuficiente protección de los denunciantes en la industria de la IA, y dice que sin una supervisión gubernamental efectiva, los empleados se encuentran en una posición relativamente única para responsabilizar a las empresas.

«Los amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones, excepto a las mismas empresas que tal vez no estén abordando estos temas», escribieron los firmantes. «Las protecciones ordinarias a los denunciantes son insuficientes porque se centran en actividades ilegales, mientras que muchos de los riesgos que nos preocupan aún no están regulados».

La carta pide a las empresas de IA que se comprometan a no celebrar ni hacer cumplir acuerdos de no menosprecio; crear procesos anónimos para que los empleados actuales y anteriores expresen sus inquietudes a la junta directiva de una empresa, a los reguladores y a otros; apoyar una cultura de crítica abierta; y no tomar represalias contra las denuncias públicas si fallan los procesos internos de denuncia.

Cuatro empleados anónimos de OpenAI y siete ex empleados, incluidos Daniel Kokotajlo, Jacob Hilton, William Saunders, Carroll Wainwright y Daniel Ziegler, firmaron la carta. Los firmantes también incluyeron a Ramana Kumar, quien anteriormente trabajó en Google DeepMind, y Neel Nanda, quien actualmente trabaja en Google DeepMind y anteriormente trabajó en Anthropic. Tres científicos informáticos famosos conocidos por avanzar en el campo de la inteligencia artificial también respaldaron la carta: Geoffrey Hinton, Yoshua Bengio y Stuart Russell.

Un portavoz de OpenAI dijo a CNBC: «Estamos de acuerdo en que un debate riguroso es crucial dada la importancia de esta tecnología y continuaremos interactuando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo». La empresa, que cuenta con el respaldo de microsofttiene una línea directa de integridad anónima, así como un Comité de Seguridad dirigido por miembros de la junta y líderes de OpenAI, dijo el portavoz.

Microsoft declinó hacer comentarios.

En Mayo, OpenAI retrocedió sobre una controvertida decisión de obligar a los ex empleados a elegir entre firmar un acuerdo de no despido que nunca expiraría y mantener su capital adquirido en la empresa. Se envió un memorando interno, visto por CNBC, a ex empleados y compartido con los actuales.

El memorando, dirigido a cada ex empleado, decía que en el momento de la salida de la persona de OpenAI, «es posible que se le haya informado que debía ejecutar un acuerdo de liberación general que incluía una disposición de no menosprecio para retener los derechos adquiridos». Unidades [of equity]».

«Lamentamos muchísimo cambiar este lenguaje ahora; no refleja nuestros valores ni la empresa que queremos ser», dijo un portavoz de OpenAI a CNBC en ese momento.

La carta abierta del martes también sigue La decisión de OpenAI en mayo para disolver su equipo centrado en los riesgos a largo plazo de la IA apenas un año después de anunciar el grupo, confirmó a CNBC en ese momento una persona familiarizada con la situación.

La persona, que habló bajo condición de anonimato, dijo que algunos de los miembros del equipo están siendo reasignados a otros equipos dentro de la empresa.

El equipo se disolvió después de que sus líderes, el cofundador de OpenAI, Ilya Sutskever y Jan Leike, anunciaron sus salidas desde la puesta en marcha en mayo. Leike escribió en una publicación en X que la «cultura y los procesos de seguridad de OpenAI han pasado a un segundo plano frente a los productos brillantes».

CEO Sam Altman dijo En X le entristeció ver partir a Leike y saber que la empresa tenía más trabajo por hacer. Poco después, el cofundador de OpenAI, Greg Brockman al corriente una declaración atribuida a Brockman y Altman en X, afirmando que la compañía ha «creado conciencia sobre los riesgos y oportunidades de AGI para que el mundo pueda prepararse mejor para ello».

«Me uní porque pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigación», Leike escribió en X. «Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura».

Leike escribió que cree que una mayor parte del ancho de banda de la empresa debería centrarse en la seguridad, la supervisión, la preparación, la protección y el impacto social.

«Es bastante difícil solucionar estos problemas y me preocupa que no estemos en la trayectoria para llegar allí», escribió. «Durante los últimos meses mi equipo ha estado navegando contra el viento. A veces estábamos luchando por [computing resources] y cada vez era más difícil llevar a cabo esta investigación crucial».

Leike añadió que OpenAI debe convertirse en una «empresa AGI que prioriza la seguridad».

«Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa», escribió. «OpenAI asume una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes».

Las salidas de alto perfil se producen meses después de que OpenAI pasara por una crisis de liderazgo que involucra a Altman.

En noviembre, la junta de OpenAI destituyó a Altman, diciendo en un comunicado que Altman no había sido «consistentemente sincero en sus comunicaciones con la junta».

La cuestión parecía tornarse más compleja cada día, con El periodico de Wall Street y otros medios de comunicación informaron que Sutskever se centró en garantizar que la inteligencia artificial no dañara a los humanos, mientras que otros, incluido Altman, estaban más ansiosos por seguir adelante con la entrega de nueva tecnología.

La destitución de Altman provocó renuncias o amenazas de renuncias, incluida una carta abierta firmada por prácticamente todos los empleados de OpenAI, y el revuelo de los inversores, incluidos microsoft. Al cabo de una semana, Altman estaba de regreso en la empresa y los miembros de la junta directiva Helen Toner, Tasha McCauley y Sutskever, que habían votado a favor de destituir a Altman, ya no estaban. Sutskever permaneció en el personal en ese momento, pero ya no en su calidad de miembro de la junta directiva. Adam D’Angelo, que también había votado a favor de derrocar a Altman, permaneció en la junta.

En mayo, OpenAI lanzó un nuevo modelo de IA y versión de escritorio de ChatGPT, junto con una interfaz de usuario actualizada y capacidades de audio, el último esfuerzo de la compañía para expandir el uso de su popular chatbot. Una semana después Abierto AI debutó la gama de voces de audio, la empresa anunció extraería una de las voces del chatbot viral, llamada «Sky».

«Sky» generó controversia porque se parecía a la voz de la actriz Scarlett Johansson en «Her», una película sobre inteligencia artificial. La estrella de Hollywood ha alegado que OpenAI le arrancó la voz a pesar de que se negó a permitir que la empresa lo usara.