Los denunciantes de OpenAI describen una cultura imprudente y reservada
Un grupo de expertos de OpenAI está denunciando lo que dicen es una cultura de imprudencia y secretismo en la empresa de inteligencia artificial de San Francisco, que se apresura a construir los sistemas de IA más potentes jamás creados.
El grupo, que incluye a nueve empleados actuales y anteriores de OpenAI, se ha unido en los últimos días en torno a preocupaciones compartidas de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de IA se vuelvan peligrosos.
Los miembros dicen que OpenAI, que comenzó como un laboratorio de investigación sin fines de lucro y saltó a la vista del público con la Lanzamiento 2022 de ChatGPTestá dando prioridad a las ganancias y el crecimiento mientras intenta construir inteligencia artificial general, o AGI, el término industrial para un programa de computadora capaz de hacer cualquier cosa que un humano pueda hacer.
También afirman que OpenAI ha utilizado tácticas duras para evitar que los trabajadores expresen sus preocupaciones sobre la tecnología, incluidos acuerdos restrictivos de no menosprecio que se pidió a los empleados salientes que firmaran.
«OpenAI está realmente entusiasmado con la construcción de AGI, y están compitiendo imprudentemente para ser los primeros en lograrlo», dijo Daniel Kokotajlo, ex investigador de la división de gobernanza de OpenAI y uno de los organizadores del grupo.
El grupo publicó un carta abierta el martes pidiendo a las principales empresas de inteligencia artificial, incluida OpenAI, que establezcan una mayor transparencia y más protección para los denunciantes.
Otros miembros incluyen a William Saunders, un ingeniero de investigación que dejó OpenAI en febrero, y otros tres ex empleados de OpenAI: Carroll Wainwright, Jacob Hilton y Daniel Ziegler. Varios empleados actuales de OpenAI respaldaron la carta de forma anónima porque temían represalias por parte de la empresa, dijo Kokotajlo. También firmaron un empleado actual y un ex empleado de Google DeepMind, el laboratorio central de inteligencia artificial de Google.
Una portavoz de OpenAI, Lindsey Held, dijo en un comunicado: “Estamos orgullosos de nuestro historial proporcionando los sistemas de IA más capaces y seguros y creemos en nuestro enfoque científico para abordar el riesgo. Estamos de acuerdo en que un debate riguroso es crucial dada la importancia de esta tecnología, y continuaremos interactuando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo”.
Un portavoz de Google se negó a hacer comentarios.
La campaña llega en un momento difícil para OpenAI. Todavía se está recuperando de un intento de golpe de estado el año pasado, cuando los miembros de la junta directiva de la compañía votaron a favor de despedir a Sam Altman, el director ejecutivo, por preocupaciones sobre su franqueza. Altman regresó días después y la junta se reorganizó con nuevos miembros.
La compañía también enfrenta batallas legales con creadores de contenido que la acusan de robar obras protegidas por derechos de autor para entrenar a sus modelos. (Los New York Times demandó a OpenAI y su socio, Microsoft, por infracción de derechos de autor el año pasado). Y su reciente presentación de un asistente de voz hiperrealista fue empañado por una disputa pública con la actriz de Hollywood Scarlett Johansson, quien afirmó que OpenAI había imitado su voz sin permiso.
Pero nada ha perdurado tanto como la acusación de que OpenAI ha sido demasiado arrogante en materia de seguridad.
El mes pasado, dos investigadores senior de IA, Ilya Sutskever y Jan Leike, abandonaron OpenAI bajo una nube. Dr. Sutskever, que había estado en el tablero de OpenAI y votó a favor de despedir a Altman, había encendido las alarmas sobre los riesgos potenciales de los potentes sistemas de inteligencia artificial. Algunos empleados preocupados por la seguridad vieron su partida como un revés.
También lo fue la partida del Dr. Leike, quien junto con el Dr. Sutskever había liderado el equipo de “superalineación” de OpenAI, que se centró en gestionar los riesgos de potentes modelos de IA. en un serie de publicaciones públicas Al anunciar su partida, el Dr. Leike dijo que creía que “la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
Ni el Dr. Sutskever ni el Dr. Leike firmaron la carta abierta escrita por antiguos empleados. Pero sus salidas impulsaron a otros ex empleados de OpenAI a hablar.
“Cuando me inscribí en OpenAI, no me inscribí en esta actitud de ‘Pongamos cosas en el mundo y veamos qué sucede y arreglémoslas después’”, dijo Saunders.
Algunos de los ex empleados tienen vínculos con el altruismo efectivo, un movimiento de inspiración utilitarista que en los últimos años se ha preocupado por prevenir las amenazas existenciales de la IA. Los críticos han acusado al movimiento de promover escenarios apocalípticos sobre la tecnología, como la noción de que un sistema de inteligencia artificial fuera de control podría tomar el control y acabar con la humanidad.
Kokotajlo, de 31 años, se unió a OpenAI en 2022 como investigador de gobernanza y se le pidió que pronosticara el progreso de la IA. No era, por decirlo suavemente, optimista.
En su trabajo anterior en una organización de seguridad de IA, predijo que AGI podría llegar en 2050. Pero después de ver lo rápido que estaba mejorando la IA, acortó sus plazos. Ahora cree que hay un 50 por ciento de posibilidades de que AGI llegue en 2027, en sólo tres años.
También cree que la probabilidad de que la IA avanzada destruya o dañe catastróficamente a la humanidad (una estadística sombría que a menudo se abrevia como “p(doom)” en los círculos de la IA) es del 70 por ciento.
En OpenAI, Kokotajlo vio que, aunque la empresa contaba con protocolos de seguridad, incluido un esfuerzo conjunto con Microsoft conocido como la “junta de seguridad de implementación”, que se suponía debía revisar los nuevos modelos para detectar riesgos importantes antes de que se lanzaran públicamente, rara vez parecía frenar algo.
Por ejemplo, dijo, en 2022 Microsoft comenzó a probar silenciosamente en India una nueva versión de su motor de búsqueda Bing que algunos empleados de OpenAI creían que contenía una versión inédita de GPT-4, el modelo de lenguaje grande de última generación de OpenAI. Kokotajlo dijo que le dijeron que Microsoft no había obtenido la aprobación de la junta de seguridad antes de probar el nuevo modelo, y después de que la junta se enteró de las pruebas, a través de una serie de informes que Bing estaba actuando de manera extraña con los usuarios; no hizo nada para impedir que Microsoft lo implementara de manera más amplia.
Un portavoz de Microsoft, Frank Shaw, cuestionó esas afirmaciones. Dijo que las pruebas de India no habían utilizado GPT-4 ni ningún modelo OpenAI. La primera vez que Microsoft lanzó tecnología basada en GPT-4 fue a principios de 2023, dijo, y fue revisada y aprobada por un predecesor de la junta de seguridad.
Con el tiempo, dijo Kokotajlo, se preocupó tanto que, el año pasado, le dijo a Altman que la empresa debería “girar hacia la seguridad” y dedicar más tiempo y recursos a protegerse contra los riesgos de la IA en lugar de avanzar para mejorar sus modelos. Dijo que el señor Altman había afirmado que estaba de acuerdo con él, pero que nada había cambiado mucho.
En abril renunció. En un correo electrónico a su equipo, dijo que se iba porque había «perdido la confianza en que OpenAI se comportará de manera responsable» a medida que sus sistemas se acercan a la inteligencia a nivel humano.
«El mundo no está preparado y nosotros no estamos preparados», escribió Kokotajlo. «Y me preocupa que estemos avanzando de todos modos y racionalizando nuestras acciones».
AbiertoAI dijo la semana pasada que había comenzado a entrenar un nuevo modelo emblemático de IA y que estaba formando un nuevo comité de seguridad para explorar los riesgos asociados con el nuevo modelo y otras tecnologías futuras.
Al salir, Kokotajlo se negó a firmar la documentación estándar de OpenAI para los empleados salientes, que incluía una estricta cláusula de no menosprecio que les prohibía decir cosas negativas sobre la empresa, o correr el riesgo de que les quitaran su capital adquirido.
Muchos empleados podrían perder millones de dólares si se negaran a firmar. El capital adquirido de Kokotajlo valía aproximadamente 1,7 millones de dólares, dijo, lo que equivalía a la gran mayoría de su patrimonio neto, y estaba dispuesto a perderlo todo.
(El mes pasado se produjo una pequeña tormenta de fuego después de Vox informó noticias de estos acuerdos. En respuesta, OpenAI afirmó que nunca había recuperado el capital adquirido de ex empleados y que no lo haría. Altman dijo que estaba “realmente avergonzado” por no haber sabido acerca de los acuerdos, y la compañía dijo que eliminaría las cláusulas de no menosprecio de su documentación estándar y liberaría a los ex empleados de sus acuerdos).
En su carta abierta, Kokotajlo y los otros ex empleados de OpenAI piden que se ponga fin al uso de acuerdos de no menosprecio y confidencialidad en OpenAI y otras empresas de IA.
«Amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones, excepto a las mismas empresas que tal vez no estén abordando estos problemas», escriben.
También piden a las empresas de inteligencia artificial que “apoyen una cultura de crítica abierta” y establezcan un proceso de presentación de informes para que los empleados planteen de forma anónima inquietudes relacionadas con la seguridad.
Han contratado a un abogado pro bono, Lawrence Lessig, el destacado jurista y activista. Lessig también aconsejó a Frances Haugen, una ex empleada de Facebook que se convirtió en un denunciante y acusó a esa empresa de anteponer las ganancias a la seguridad.
En una entrevista, Lessig dijo que si bien las protecciones tradicionales para los denunciantes generalmente se aplicaban a los informes de actividades ilegales, era importante que los empleados de las empresas de IA pudieran discutir los riesgos y posibles daños libremente, dada la importancia de la tecnología.
«Los empleados son una línea importante de defensa de la seguridad, y si no pueden hablar libremente sin represalias, ese canal se cerrará», dijo.
Held, portavoz de OpenAI, dijo que la empresa tenía “vías para que los empleados expresaran sus inquietudes”, incluida una línea directa de integridad anónima.
Kokotajlo y su grupo se muestran escépticos respecto de que la autorregulación por sí sola sea suficiente para prepararse para un mundo con sistemas de inteligencia artificial más potentes. Por eso piden a los legisladores que también regulen la industria.
«Es necesario que haya algún tipo de estructura de gobernanza transparente y democráticamente responsable a cargo de este proceso», dijo Kokotajlo. «En lugar de sólo un par de empresas privadas diferentes compitiendo entre sí y manteniendo todo en secreto».