OpenAI reasigna a Madry, alto ejecutivo de seguridad, a un puesto centrado en el razonamiento de la IA
La semana pasada, OpenAI removió de su puesto a Aleksander Madry, uno de los principales ejecutivos de seguridad de OpenAI, y lo reasignó a un trabajo centrado en el razonamiento de IA, confirmaron a CNBC fuentes familiarizadas con la situación.
Madry era el jefe de preparación de OpenAI, un equipo que tenía «la tarea de rastrear, evaluar, pronosticar y ayudar a proteger contra riesgos catastróficos relacionados con los modelos de IA de frontera», según un Biografía para Madry en el sitio web de una iniciativa de inteligencia artificial de la Universidad de Princeton.
Madry seguirá trabajando en tareas fundamentales de seguridad de IA en su nuevo rol, dijo OpenAI a CNBC.
También es director del Centro de Aprendizaje Automático Implementable del MIT y codirector del Foro de Políticas de IA del MIT, funciones de las que actualmente se encuentra en licencia, según el sitio web de la universidad. sitio web.
La decisión de reasignar a Madry se produce menos de una semana antes de que un grupo de senadores demócratas enviara una carta al director ejecutivo de OpenAI, Sam Altman, con «preguntas sobre cómo OpenAI está abordando las preocupaciones de seguridad emergentes».
El cartaEl comunicado, enviado el lunes y visto por CNBC, también declaró: «Buscamos información adicional de OpenAI sobre los pasos que está tomando la compañía para cumplir con sus compromisos públicos en materia de seguridad, cómo la compañía está evaluando internamente su progreso en esos compromisos y sobre la identificación y mitigación de amenazas de ciberseguridad por parte de la compañía».
OpenAI no respondió de inmediato a una solicitud de comentarios.
Los legisladores solicitaron que la empresa tecnológica responda con una serie de respuestas a preguntas específicas sobre sus prácticas de seguridad y compromisos financieros antes del 13 de agosto.
Todo esto es parte de un verano de crecientes preocupaciones y controversias de seguridad en torno a OpenAI, que junto con Google, Microsoft, Meta y otras empresas están al mando de una IA generativa carrera armamentista, un mercado que se prevé que 1 billón de dólares más en ingresos en una década, ya que las empresas de aparentemente todas las industrias se apresuran a agregar chatbots y agentes impulsados por IA para evitar ser dejado atras por los competidores.
A principios de este mes, Microsoft renunció a su Asiento de observador en la junta directiva de OpenAIEn una carta vista por CNBC, afirma que ahora puede hacerse a un lado porque está satisfecho con la estructura de la junta directiva de la startup, que se ha renovado en los ocho meses transcurridos desde el levantamiento que llevó a la breve destitución de Altman y amenazó la inversión masiva de Microsoft en la empresa.
Pero el mes pasadoUn grupo de empleados actuales y anteriores de OpenAI publicó un carta abierta Describiendo preocupaciones sobre la inteligencia artificial el rápido avance de la industria a pesar de la falta de supervisión y la ausencia de protección para quienes desean denunciar irregularidades.
«Las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras a medida de gobierno corporativo sean suficientes para cambiar esto», escribieron los empleados en ese momento.
Días después de que se publicara la carta, una fuente familiarizada con el asunto confirmó a CNBC que la Comisión Federal de Comercio y el Departamento de Justicia estaban dispuesto a abrir investigaciones antimonopolio en OpenAI, Microsoft y Nvidiacentrándose en la conducta de las empresas.
La presidenta de la FTC, Lina Khan, ha descrito La acción de su agencia es una «investigación de mercado sobre las inversiones y asociaciones que se están formando entre los desarrolladores de IA y los principales proveedores de servicios en la nube».
Los empleados actuales y anteriores escribieron en la carta de junio que las empresas de IA tienen «información no pública sustancial» sobre lo que su tecnología puede hacer, el alcance de las medidas de seguridad que han implementado y los niveles de riesgo que tiene la tecnología para diferentes tipos de daños.
«También entendemos los graves riesgos que plantean estas tecnologías», escribieron, y añadieron que las empresas «actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en que todas ellas la compartan voluntariamente».
En mayo, OpenAI decidió disolver su equipo centrado en los riesgos a largo plazo de la IA solo un año después de anunciar el grupo, confirmó a CNBC en ese momento una persona familiarizada con la situación.
La persona, que habló bajo condición de anonimato, dijo que algunos de los miembros del equipo están siendo reasignados a otros equipos dentro de la empresa.
El equipo se disolvió después de que sus líderes, el cofundador de OpenAI, Ilya Sutskever, y Jan Leike, anunciaron sus salidas Desde la puesta en marcha en mayo. Leike escribió en una publicación en X que «la cultura y los procesos de seguridad de OpenAI han quedado en segundo plano frente a los productos brillantes».
Altman dijo En ese momento, en X, estaba triste por ver que Leike se iba y que OpenAI tenía más trabajo por hacer. Poco después, el cofundador Greg Brockman al corriente una declaración atribuida a Brockman y al CEO de X, afirmando que la compañía ha «creado conciencia sobre los riesgos y oportunidades de la IAG para que el mundo pueda prepararse mejor para ello».
«Me uní porque pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigación», dijo Leike. escribió en X «Sin embargo, estuve en desacuerdo con los líderes de OpenAI sobre las prioridades centrales de la empresa durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura».
Leike escribió que cree que una parte mucho mayor del ancho de banda de la empresa debería centrarse en la seguridad, el monitoreo, la preparación, la protección y el impacto social.
«Estos problemas son bastante difíciles de solucionar y me preocupa que no estemos en el camino correcto para lograrlo», escribió. «Durante los últimos meses, mi equipo ha estado navegando contra el viento. A veces, estábamos luchando por [computing resources] «Y cada vez era más difícil llevar a cabo esta investigación crucial».
Leike añadió que OpenAI debe convertirse en una «empresa de AGI que priorice la seguridad».
«Construir máquinas más inteligentes que los humanos es una tarea inherentemente peligrosa», escribió en ese momento. «OpenAI está asumiendo una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han quedado en segundo plano frente a los productos brillantes».
La información primero reportado sobre la reasignación de Madry.