La lucha por el riesgo de bioseguridad de la IA da un giro

Con la ayuda de Rebecca Kern y Derek Robertson

En el panteón de los peligros existenciales Ante el auge de la inteligencia artificial, pocos cobran mayor importancia que la bioseguridad: el temor de que la IA generativa pueda ayudar a los malos actores a diseñar supervirus y otros patógenos, o incluso que algún día una IA pueda crear armas biológicas mortales por sí sola.

La administración Biden ha prestado especial atención a la cuestión, otorgando a la bioseguridad un lugar destacado en la orden ejecutiva sobre IA que dio a conocer en octubre. Miembros clave del Senado también están preocupados por la fusión de la IA y la biotecnología.

Pero, ¿hasta qué punto es realista la amenaza y qué pruebas existen para respaldarla? Esas preguntas han comenzado a dar grandes giros últimamente.

un libro blanco publicado por Open AI La semana pasada avivó el creciente debate sobre la posibilidad de que terroristas, científicos o simplemente traviesos pudieran utilizar la inteligencia artificial para construir un arma biológica que acabaría con el mundo.

El documento minimizó en gran medida la preocupación y concluyó que GPT-4, el modelo de lenguaje grande más poderoso de OpenAI, proporciona «como mucho un leve estímulo» para los biólogos que trabajan en la creación de virus letales. Pero la visión relativamente optimista de la compañía fue atacada por Gary Marcus, profesor emérito de psicología de la Universidad de Nueva York que más recientemente se ha convertido en una figura en el espacio político de la IA.

El domingo, Marco acusado Abierto AI investigadores de analizar mal sus propios datos. Dijo que la compañía utilizó una prueba estadística inadecuada y argumentó que los hallazgos del artículo en realidad muestran que los modelos de IA como GPT-4 aumentan significativamente la capacidad de los biólogos, particularmente los expertos, para crear nuevos patógenos peligrosos.

El profesor de la Universidad de Nueva York añadió que si hubiera revisado el artículo de OpenAI, lo habría devuelto con “una firme recomendación de ‘revisar y volver a enviar’. «

Si nos equivocamos acerca de los riesgos, señaló Marcus, los humanos no cometemos ese error dos veces: “Si un LLM equipa incluso a un equipo de locos con la capacidad de construir, convertir en arma y distribuir incluso un patógeno tan mortal como el covid -19, será algo muy, muy importante”, advirtió.

En respuesta a la crítica de Marcus, Aleksander Madry, jefe de preparación de OpenAI, dijo que la compañía fue “muy cuidadosa al informar solo lo que dicen los datos de nuestra investigación y, en este caso, descubrimos que hubo una mejora (leve) en el acceso a la información biológica. con GPT-4 que merece investigación adicional «.

En un guiño al reclamo de Marcus que OpenAI utilizó parámetros de prueba incorrectos, Madry dijo que el trabajo de investigación «incluía una discusión sobre una variedad de enfoques estadísticos y su relevancia». Pero también dijo que es necesario trabajar más en “la ciencia de la preparación, incluyendo cómo determinamos cuándo los riesgos se vuelven ‘significativos’”.

Es fácil entender por qué muchos observadores temen la inminente unión de la IA y la biotecnología. Una de las demostraciones más poderosas de la IA hasta la fecha ha tenido lugar en biología, donde un sistema llamado AlphaFold (ahora propiedad de Google DeepMind) ha demostrado ser increíblemente bueno para idear nuevas estructuras para moléculas complejas. Y las máquinas de síntesis automatizadas ya pueden producir material genético a pedido.

En consecuencia, la preocupación se ha extendido a los niveles más altos del gobierno. En abril, el senador. Martín Enrique (DN.M.), uno de los tres principales lugartenientes del líder de la mayoría del Senado, Chuck Schumer, en materia de legislación sobre IA, le dijo a POLITICO que las armas biológicas potenciadas por la IA eran uno de los “casos extremos” que lo mantenían despierto por la noche. A artículo publicado en junio por investigadores del Instituto de Tecnología de Massachusetts provocó un escalofrío en todo el Capitolio con su advertencia de que los chatbots impulsados ​​por inteligencia artificial podrían ayudar en el desarrollo de nuevos patógenos, incluso para personas “con poca o ninguna capacitación en laboratorio”. En septiembre, investigadores de RAND Corp. y otros importantes think tanks advirtió a los senadores que “los modelos de IA existentes ya son capaces de ayudar a actores no estatales con ataques biológicos que causarían pandemias, incluida la concepción, diseño e implementación de dichos ataques”.

En octubre, la ansiedad había llegado a la Casa Blanca: la orden ejecutiva sobre IA firmada por el presidente Joe Biden incluía nuevos mecanismos de detección para las empresas involucradas en la síntesis de genes y promovía reglas de conocimiento del cliente para las empresas que proporcionaban genes sintéticos y otras herramientas biotecnológicas a los investigadores. Principales investigadores de RAND jugó un papel clave para garantizar que esos requisitos de bioseguridad llegaran al escritorio del presidente.

Pero muchos expertos todavía ven una gran brecha entre lo que es teóricamente posible y qué podría suceder realmente, o cómo una IA podría empeorarlo.

Los investigadores escépticos dicen No hay casi nada que un LLM pueda enseñar a los biólogos aficionados que no puedan aprender ya en Google, y se preguntan si los responsables de las políticas deberían dedicar tiempo y energía a un riesgo tan especulativo.

Investigadores como Nancy Connell, experta en bioseguridad de la Universidad de Rutgers, incluso han reclamado que una avalancha de dólares en tecnología está distorsionando la forma en que los expertos en políticas abordan los riesgos que plantean la IA y la bioseguridad. Grupos como Open Philanthropy, una eficaz organización altruista financiada por el multimillonario cofundador de Facebook, Dustin Moskovitz, han bombeado cientos de millones de dólares en el ecosistema de IA de Washington en un esfuerzo por centrar a los responsables políticos en los riesgos existenciales de la tecnología para la humanidad, incluidas las armas biológicas.

El artículo de OpenAI es parte de una pequeña ola de nuevas investigaciones arrojando dudas sobre los posibles riesgos biológicos de la IA. La Comisión de Seguridad Nacional sobre Biotecnología Emergente encargada por el Congreso emitió un informe la semana pasada que afirmó que los LLM “no aumentan significativamente el riesgo de creación de un arma biológica”. Incluso RAND ha suavizado su tono anterior, publicando un nuevo informe el mes pasado que encontró la generación actual de LLM “[do] no cambia de manera mensurable el riesgo operativo” de un ataque biológico.

Pero el debate sobre el impacto de la IA en la bioseguridad está lejos de terminar. Incluso los investigadores escépticos dicen que es prudente vigilar de cerca el nexo entre tecnologías de rápido movimiento como la inteligencia artificial y la biotecnología. Si bien el NSCEB minimizó los temores sobre la generación actual de LLM, le preocupa el potencial de las “herramientas de diseño biológico” o BDT (modelos de inteligencia artificial que procesan datos biológicos de la misma manera que los LLM procesan el lenguaje humano) para potenciar la capacidad de los estudiantes capacitados. biólogos para crear nuevas enfermedades mortales.

La comisión advirtió que si algún día las BDT se fusionan con los LLM, incluso los biólogos aficionados podrían recibir un impulso.

Gregory C. Allen, investigador de IA en el grupo de expertos del Centro de Estudios Estratégicos e Internacionales, le dio crédito a OpenAI por examinar “proactivamente” si su tecnología plantea riesgos de bioseguridad. Pero no le consuela mucho descubrir que es poco probable que los sistemas de IA actuales creen patógenos asesinos.

«Cuando tenemos algunos líderes notables en esta industria que predicen la IA a nivel humano en tan solo cinco años, debemos reconocer que dónde estamos actualmente no necesariamente nos dice mucho sobre hacia dónde podríamos ir en términos de la IA futura. y riesgo de armas biológicas”, dijo Allen.

Meta dice que comenzará a etiquetar imágenes generadas por IA en Instagram, Facebook y Threads, eventualmente.

A medida que se acerca la temporada electoral, las grandes empresas de redes sociales se toman en serio las amenazas que la inteligencia artificial podría representar para la democracia (como esa llamada automática de un Joe Biden generado artificialmente pidiendo a los votantes que se salten las primarias de New Hampshire). El otoño pasado, Meta comenzó a etiquetar «Imaginado por IA» en imágenes fotorrealistas de su propio sistema Meta AI. Ahora, la compañía dijo en un entrada en el blogTambién comenzará a aplicar etiquetas visibles en los próximos meses a las imágenes generadas por IA de sus competidores.

Pero la tecnología aún no está lista para el horario de máxima audiencia. El anuncio de Meta fue limitado en detalles, ya que todavía no existe un estándar en toda la industria sobre cómo etiquetar el contenido generado por IA. El plan no cubre contenido de audio y video generado por IA, dijo Meta porque otras compañías aún no están incorporando metadatos en ese tipo de contenido.

Nick Clegg, presidente de asuntos globales de Meta, dijo que la compañía está trabajando con el foro de la industria. Asociación sobre IA comenzar etiquetando imágenes a partir de contenido generado por IA de OpenAI, Google, Adobe, Midjourney y Shutterstock, mientras implementan sus planes para agregar metadatos a las imágenes creadas por sus herramientas.

«La política de Meta es un paso importante pero aún inadecuado para abordar estas profundas preocupaciones», dijo a POLITICO Robert Weissman, presidente del grupo de vigilancia Public Citizen. Dijo que la “principal preocupación” es la falta de un estándar industrial para videos y audio, y dijo que los videos y audio deepfake más preocupantes aún evadirán la política de Meta. — Rebeca Kern

Ahora que la Unión Europea finalmente ha fijado el texto de su propuesta de Ley de IA, vale la pena echar un vistazo más de cerca a lo que realmente contiene.

Gian Volpicelli de POLITICO se sumergió profundamente para suscriptores profesionales hoy, encontrando algunas conclusiones clave:

  • El modelo de riesgo: La ley aplica restricciones regulatorias más estrictas a la IA en orden ascendente del “riesgo” potencial involucrado en su aplicación, lo que significa que si bien los filtros de cámara tontos probablemente no se vean afectados, las admisiones universitarias definitivamente no. También prohíbe por completo algunos usos y establece reglas específicas en torno a modelos de “propósito general” como ChatGPT de OpenAI.
  • Las prohibiciones: Entre los usos totalmente prohibidos se encuentran las prácticas subliminales o de explotación, la detección biométrica de raza, sexo o afiliación sindical, la puntuación social al estilo chino y reconocimiento facial en tiempo realentre otros.
  • Los grandes modelos: La ley se dirige a los modelos de IA de propósito general que impulsan aplicaciones más específicas con reglas especiales. Los desarrolladores “tendrán que conservar documentación técnica detallada; ayudar a las empresas o personas que implementan sus modelos a comprender la funcionalidad y los límites de las herramientas; proporcionar un resumen del material protegido por derechos de autor (como textos o imágenes) utilizado para entrenar los modelos; y cooperar con la Comisión Europea y las autoridades nacionales de aplicación de la ley” en materia de cumplimiento, informa Gian, con requisitos especiales de presentación de informes para aquellos con “riesgo sistémico” de causar una catástrofe. — Derek Robertson