OpenAI disuelve otro equipo de seguridad y el asesor principal dimite
OpenAI está disolviendo su equipo «AGI Readiness», que asesoró a la empresa sobre la capacidad de OpenAI para manejar una inteligencia artificial cada vez más potente y la preparación del mundo para gestionar esa tecnología, según el jefe del equipo.
El miércoles, Miles Brundage, asesor senior de AGI Readiness, anunció su salida de la empresa a través de un Publicación de subpila. Escribió que sus razones principales eran que el costo de oportunidad se había vuelto demasiado alto y pensaba que su investigación tendría más impacto externo, que quería ser menos sesgado y que había logrado lo que se propuso hacer en OpenAI.
La inteligencia artificial general, o AGI, es una rama de la IA que busca tecnología que iguale o supere el intelecto humano en una amplia gama de tareas. El AGI es un tema muy debatido: algunos líderes dicen que estamos cerca de lograrlo y otros dicen que no es posible en absoluto.
En su publicación, Brundage también escribió: «Ni OpenAI ni ningún otro laboratorio de vanguardia está listo, y el mundo tampoco está listo».
Brundage dijo que planea iniciar su propia organización sin fines de lucro, o unirse a una existente, para centrarse en la investigación y la promoción de políticas de IA. «Es poco probable que la IA sea lo más segura y beneficiosa posible sin un esfuerzo concertado para que así sea», afirmó.
Los ex miembros del equipo AGI Readiness serán reasignados a otros equipos, según la publicación de Brundage.
«Apoyamos plenamente la decisión de Miles de continuar su investigación de políticas fuera de la industria y estamos profundamente agradecidos por sus contribuciones», dijo un portavoz de OpenAI a CNBC. «Su plan de apostar por la investigación independiente sobre políticas de IA le brinda la oportunidad de tener un impacto a una escala más amplia, y estamos entusiasmados de aprender de su trabajo y seguir su impacto. Estamos seguros de que en su nuevo rol «Miles seguirá elevando el listón de la calidad de la formulación de políticas en la industria y el gobierno».
En mayo, OpenAI disolvió su equipo de Superalignment – que, según OpenAI, se centraba en «avances científicos y técnicos para dirigir y controlar sistemas de IA mucho más inteligentes que nosotros» para evitar que «se vuelvan deshonestos», apenas un año después de anunciar el grupo, confirmó a CNBC una persona familiarizada con la situación en el tiempo.
La noticia de la disolución del equipo de AGI Readiness sigue a los posibles planes de la junta directiva de OpenAI para reestructurar la empresa y convertirla en una empresa con fines de lucro, y después de que tres ejecutivos (la CTO Mira Murati, el jefe de investigación Bob McGrew y el vicepresidente de investigación Barret Zoph) anunciaran su salida. el mismo dia en septiembre.
A principios de octubre, OpenAI cerró su animada ronda de financiación con una valoración de 157.000 millones de dólares, incluidos los 6.600 millones de dólares que la empresa recaudó de una amplia lista de empresas de inversión y grandes empresas tecnológicas. También recibió un $4 mil millones línea de crédito renovable, lo que eleva su liquidez total a más de $10 mil millones. La empresa espera unos 5 mil millones de dólares en pérdidas sobre 3.700 millones de dólares en ingresos este año, confirmó CNBC en septiembre con una persona familiarizada con la situación.
En septiembre, OpenAI anunciado que su Comité de Seguridad, que la compañía presentó en mayo cuando abordaba la controversia sobre los procesos de seguridad, se convertiría en un comité de supervisión independiente de la junta directiva. Recientemente concluyó su revisión de 90 días evaluando los procesos y salvaguardas de OpenAI y luego hizo recomendaciones a la junta, y los hallazgos también se publicaron en una publicación pública. publicación de blog.
La noticia de las salidas de ejecutivos y los cambios en la junta directiva también sigue a un verano de crecientes preocupaciones y controversias sobre seguridad en torno a OpenAI, que junto con Google, microsoft, Meta y otras empresas está al frente de una IA generativa carrera armamentista: un mercado que se prevé que Top $1 billón en ingresos en una década, a medida que empresas de aparentemente todas las industrias se apresuran a agregar chatbots y agentes con tecnología de inteligencia artificial, para evitar siendo dejado atrás por los competidores.
En julio, OpenAI reasignado Aleksander Madryuno de los principales ejecutivos de seguridad de OpenAI, a un trabajo centrado en el razonamiento de la IA, confirmaron a CNBC personas familiarizadas con la situación en ese momento.
Madry era el jefe de preparación de OpenAI, un equipo que tenía «la tarea de rastrear, evaluar, pronosticar y ayudar a proteger contra riesgos catastróficos relacionados con los modelos de IA fronterizos», según una biografía de Madry en un sitio web de la iniciativa de IA de la Universidad de Princeton. Madry seguirá trabajando en el trabajo central de seguridad de la IA en su nuevo cargo, dijo OpenAI a CNBC en ese momento.
La decisión de reasignar a Madry se produjo casi al mismo tiempo que los senadores demócratas enviaron una carta al director ejecutivo de OpenAI, Sam Altman, sobre «preguntas sobre cómo OpenAI está abordando las preocupaciones de seguridad emergentes».
La carta, que fue vista por CNBC, también decía: «Buscamos información adicional de OpenAI sobre los pasos que la compañía está tomando para cumplir con sus compromisos públicos en materia de seguridad, cómo la compañía está evaluando internamente su progreso en esos compromisos y sobre la identificación y mitigación de amenazas a la ciberseguridad por parte de la empresa».
microsoft renunció a su asiento de observador en la junta directiva de OpenAI en julio, escribiendo en una carta vista por CNBC que ahora puede hacerse a un lado porque está satisfecho con la construcción de la junta directiva de la startup, que había sido renovada desde el levantamiento que condujo a la breve derrocamiento de Altman y amenazó la enorme inversión de Microsoft en la empresa.
pero en junioun grupo de empleados actuales y anteriores de OpenAI publicó un carta abierta describiendo preocupaciones sobre el inteligencia artificial El rápido avance de la industria a pesar de la falta de supervisión y de protección de los denunciantes para aquellos que desean hablar.
«Las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras personalizadas de gobierno corporativo sean suficientes para cambiar esto», escribieron los empleados en ese momento.
Días después de la publicación de la carta, una persona familiarizada con el asunto confirmó a CNBC que la Comisión Federal de Comercio y el Departamento de Justicia estaban listo para abrir investigaciones antimonopolio en OpenAI, Microsoft y NVIDIAcentrándose en la conducta de las empresas.
La presidenta de la FTC, Lina Khan, ha descrito La acción de su agencia es una «investigación de mercado sobre las inversiones y asociaciones que se están formando entre los desarrolladores de IA y los principales proveedores de servicios en la nube».
Los empleados actuales y anteriores escribieron en la carta de junio que las empresas de IA tienen «información sustancial no pública» sobre lo que puede hacer su tecnología, el alcance de las medidas de seguridad que han implementado y los niveles de riesgo que tiene la tecnología para diferentes tipos. de daño.
«También entendemos los graves riesgos que plantean estas tecnologías», escribieron, añadiendo que las empresas «actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en todas ellas». compartirlo voluntariamente.»
El equipo de Superalineación de OpenAI, anunciado El año pasado y disuelto en mayo, se había centrado en «avances científicos y técnicos para dirigir y controlar sistemas de IA mucho más inteligentes que nosotros». En ese momento, OpenAI dijo que comprometería el 20% de su potencia informática a la iniciativa durante cuatro años.
El equipo se disolvió después de que sus líderes, el cofundador de OpenAI, Ilya Sutskever y Jan Leike, anunciaron sus salidas desde la puesta en marcha en mayo.
«Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa», dijo Leike escribió en una publicación en X. «OpenAI está asumiendo una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes».
altman dijo en ese momento en X estaba triste al ver a Leike irse y que OpenAI tenía más trabajo por hacer. Poco después, el cofundador Greg Brockman al corriente en X una declaración atribuida a Brockman y al CEO, afirmando que la compañía ha «creado conciencia sobre los riesgos y oportunidades de AGI para que el mundo pueda prepararse mejor para ello».
«Me uní porque pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigación», Leike escribió en su publicación de mayo en X. «Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura».
Leike escribió que cree que una mayor parte del ancho de banda de la empresa debería centrarse en la seguridad, la supervisión, la preparación, la protección y el impacto social.
«Es bastante difícil solucionar estos problemas y me preocupa que no estemos en la trayectoria para llegar allí», escribió en ese momento. «Durante los últimos meses mi equipo ha estado navegando contra el viento. A veces estábamos luchando por [computing resources] y cada vez era más difícil llevar a cabo esta investigación crucial».
Leike añadió que OpenAI debe convertirse en una «empresa AGI que prioriza la seguridad».