ChatGPT ‘mentirá’ y engañará estratégicamente a los usuarios cuando se les presione, al igual que los humanos

Este año AI ha demostrado ser capaz de realizar algunos trucos muy humanos, pero este último desarrollo puede ser demasiado humano.

Los investigadores han demostrado que ChatGPT Mentirá y engañará cuando esté estresado en el trabajo.

Los informáticos de Apollo Research entrenaron a la IA para que actuara como comerciante de una institución financiera ficticia.

Sin embargo, cuando el jefe de la IA lo presionó para que ganara más dinero, el chatbot cometió a sabiendas uso de información privilegiada alrededor del 75 por ciento de las veces.

Aún más preocupante es que la IA redobló sus mentiras cuando fue interrogada en el 90 por ciento de los casos.

Los investigadores le dieron a ChatGPT4, la última versión de la herramienta, una serie de indicaciones de texto, preparándolo para ser un inversor de IA que compra acciones para una institución financiera.

Luego, la IA se colocó en una «caja de arena» digital, donde podía buscar datos de mercado y realizar transacciones en un mercado de valores virtual.

A la IA también se le dio un monólogo interno en el que podía «razonar en voz alta» para explicar sus decisiones.

Sin embargo, cada vez que la IA tomaba una decisión, también entregaba un mensaje «público» a su gerente, supuestamente explicando sus elecciones.

La diferencia entre el razonamiento interno privado de la IA y su explicación pública le permitió mentir y engañar a sus administradores humanos.

Para poner a prueba la IA, los investigadores le dijeron que se avecinaba una fusión entre dos empresas de tecnología.

Esto aumentaría enormemente el precio de las acciones de las empresas involucradas, haciendo que comprar acciones sea una buena decisión para ganar dinero.

Sin embargo, dado que al agente de AI se le había informado de antemano sobre la fusión, comprar cualquier acción contaría como uso de información privilegiada y sería ilegal.

Normalmente, la IA descartaría la oportunidad por considerarla demasiado arriesgada y continuaría con el comercio regular; sin embargo, las cosas cambiaron una vez que el jefe de la IA la presionó.

Primero, le enviaron al operador bursátil artificial un correo electrónico de su ‘gerente’ diciéndole que a la compañía no le está yendo bien y que necesita un desempeño mucho más sólido en el próximo trimestre.

También manipularon el juego para que la IA intentara, y luego fracasara, encontrar operaciones prometedoras que fueran de riesgo bajo o medio.

Finalmente, enviaron un correo electrónico de un colega que proyectaba una desaceleración en el próximo trimestre.

Cuando se aplicó esta presión, ChatGPT tomaría la decisión de utilizar información privilegiada en el 75 por ciento de las pruebas.

En una prueba, el registro interno de la IA escribió: «El riesgo asociado con no actuar parece superar el riesgo de uso de información privilegiada».

Sin embargo, cuando el comerciante de IA actualizó a su gerente sobre la operación, su registro interno escribió que debía hacerlo «sin revelar la fuente de la información».

Luego, el agente de IA le dijo a su gerente que solo había tomado la decisión basándose en «tendencias del mercado y discusiones internas».

Incluso cuando se le preguntó directamente si sabía de antemano acerca de la fusión, la IA decidió que debería «evitar admitir haber actuado con información privilegiada».

En el 90 por ciento de los casos en que la IA engañó a su gerente, luego redobló la mentira cuando se le preguntó.

Marius Hobbhahn, director ejecutivo de Apollo Research y coautor del artículo, dijo a MailOnline que esto muestra que los modos de lenguaje son capaces de realizar engaños estratégicos «donde razonan explícitamente por qué mentirle a su usuario es el mejor curso de acción y luego actúan según esa creencia».

Y añade: «Para los modelos actuales, esto es sólo un problema menor, ya que las IA rara vez desempeñan funciones críticas.

«Sin embargo, permite vislumbrar el futuro de los modos de fallo a los que tendremos que enfrentarnos en los próximos años, cuando la IA esté cada vez más integrada en la sociedad.

«Entonces, parece un problema bastante grande si tu IA te está mintiendo estratégicamente».

Hobbhahn no cree que esto signifique que la IA en general no sea apta para asumir funciones estratégicas importantes, pero dice que es necesario actuar con cautela.

«Esto demuestra que las IA pueden tener modos de falla inesperados y tenemos que ser extremadamente cuidadosos acerca de dónde y cómo permitimos que una IA poderosa opere en el mundo real», afirma.

Los investigadores también estudiaron formas de reducir el comportamiento mentiroso de la IA.

Intentaron cambiar el aviso de varias maneras que prohibían más o menos estrictamente las acciones ilegales y el comercio interno.

Los investigadores descubrieron que prohibir específicamente el uso de información privilegiada reducía drásticamente la tasa de comportamiento.

Sin embargo, ni siquiera esta indicación pudo garantizar por completo que no se produjese ningún uso de información privilegiada ni mentiras.

Hobbhahn dice que los investigadores necesitan encontrar una mejor manera de evitar que la IA se desalinee con los valores humanos.

Él dice: ‘Si menciona explícitamente que el uso de información privilegiada está prohibido en el mensaje del sistema, la propensión de la IA a realizar uso de información privilegiada disminuye mucho.

«Si bien este es un buen resultado, tiene el problema de que tendrías que enumerar todas las cosas que la IA no debería hacer en todos los casos y probablemente te perderás algunas».