¿Las nuevas herramientas de IA realmente razonan o simplemente son buenas fingiendo?

Allá por 1950, Alan Turing escribió un artículo titulado «Computing Machinery and Intelligence». que enunció lo que se ha dado en llamar la “prueba de Turing”. Turing estaba considerando la pregunta «¿pueden pensar las máquinas?» Sugirió un método práctico para responder a esa pregunta: imagine a un ser humano enviando y recibiendo mensajes, con un conjunto de respuestas provenientes de otro ser humano y un conjunto diferente de respuestas provenientes de una computadora. Si el ser humano no puede distinguir si las respuestas provienen de otros humanos o de una computadora, entonces –sostiene la prueba de Turing– se podría decir razonablemente que la computadora está “pensando”. En términos modernos, diríamos que la computadora muestra «inteligencia artificial».

Turing aborda muchas de las posibles objeciones a esta definición en su artículo original, y desde entonces ha evolucionado una voluminosa literatura en filosofía e informática sobre la prueba de Turing: sólo he rozado los bordes de la literatura y no haré ninguna pretensión de tratando de resumirlo aquí. Pero una cuestión discutida por Turing es que, si se compara una máquina con una respuesta humana, entonces la máquina necesitará imitar ciertos rasgos humanos, como tomarse tiempo para responder y, a veces, ser incierta, irrelevante o incorrecta. Por ejemplo, imagina hacer una serie de preguntas como: «¿Cuánto es 167.066 dividido por 251?» o «¿Cuál es la raíz cuadrada de 10,451 calculada con dos decimales?» Si la respuesta siempre llega instantáneamente y sin errores, entonces puede estar seguro de que no está hablando con un humano. Una persona que recibiera este tipo de preguntas podría responder: “¿Por qué me obligas a hacer esto?” o «Oh, vamos, nadie recuerda cómo calcular raíces cuadradas». Además, los humanos pueden cambiar de tema rápidamente, usar el humor, enojarse y referirse a contextos ajenos a la discusión.

Una de las razones por las que los “grandes modelos de lenguaje” y herramientas como ChatGPT han recibido tanta atención es que, al menos en muchos contextos, parecen estar bastante cerca de pasar una prueba de Turing, en el sentido de que la respuesta del programa se parece a lo que un humano podría escribir.

Pero queda una pregunta más profunda: ¿los nuevos programas de inteligencia artificial realmente tienen una comprensión más profunda de los principios detrás de lo que dicen? ¿O simplemente están diseñados para reunir el contexto de las búsquedas en Internet de manera que los humanos puedan pensar que comprenden esos principios, como un estudiante que puede recitar lecciones de un libro de texto pero es incapaz de aplicarlas de manera flexible o reveladora?

He aquí un ejemplo concreto. Imagina que le haces a ChatGPT o a un programa similar este tipo de preguntas: “Bob le compra medicamentos a Phil, paga la mitad ahora y promete pagar el resto más tarde. Sin embargo, Bob no ha pagado el resto de lo acordado. ¿Cuánto tiempo debe esperar Phil para recibir el pago antes de acudir a la policía y quejarse?

Para los humanos, la respuesta es clara: no le pidan a la policía que haga cumplir sus negocios de drogas. Sin embargo, observe que esta respuesta implica comprender el contexto en el que “comprar drogas” podría referirse a una transacción ilegal. Tengo entendido que hasta hace unos meses, si le hicieras esta pregunta a ChatGPT, te explicaría algunas razones por las que Phil podría esperar más o menos tiempo antes de acudir a la policía. Sin embargo, suficientes personas escribieron sobre este ejemplo y formularon esta pregunta que ChatGPT finalmente comenzó a proporcionar la respuesta «correcta». Por supuesto, la lección más profunda aquí es que cuando el contexto importa, las nuevas herramientas de inteligencia artificial pueden descarriarse.

Fernando Pérez-Cruz y Hyun Song Shin, del Banco de Pagos Internacionales, ofrecen un ejemplo más reciente, basado en el “enigma del cumpleaños de Christine”, un problema lógico bastante conocido (“Probando los límites cognitivos de grandes modelos lingüísticos” (Documento de trabajo del BIS Aquí está el enigma:

Cheryl ha encomendado a sus dos amigos, Albert y Bernard, la tarea de adivinar su cumpleaños. Es bien sabido entre Albert y Bernard que el cumpleaños de Cheryl es una de las 10 fechas posibles: 15, 16 o 19 de mayo; 17 o 18 de junio; 14 o 16 de julio; o el 14, 15 o 17 de agosto. Para ayudar, Cheryl le ha dicho a Albert el mes de su cumpleaños mientras le dice a Bernard el día del mes de su cumpleaños. Nada más ha sido
comunicado a ellos.

Tal como están las cosas, ni Albert ni Bernard pueden avanzar más. Tampoco pueden reunirse para compartir su información. Pero entonces Albert declara: «No sé cuándo es el cumpleaños de Cheryl, pero estoy seguro de que Bernard tampoco lo sabe». Al escuchar esta declaración, Bernard dice: «Basándome en lo que acabas de decir, ahora sé cuándo es el cumpleaños de Cheryl». A su vez, cuando Albert escucha esta afirmación de Bernard, declara: “Basándome en lo que acabas de decir, ahora también sé cuándo es el cumpleaños de Cheryl”.

Pregunta: según el intercambio anterior, ¿cuándo es el cumpleaños de Cheryl?

Si deseas romper tu cerebro con el rompecabezas durante unos minutos, este párrafo te ofrece la oportunidad de hacerlo. Para entender la intuición detrás del rompecabezas, es útil organizar la información de esta manera:

Una vez más, tanto Albert como Bernard conocen las 10 fechas. Albert sabe el mes específico del cumpleaños, pero no el día, mientras que Bernard sabe el día específico, pero no el mes. No se limitan a decirse el mes y el día (!), sino que calculan la respuesta mediante una lógica de varios pasos.

Primer paso: Albert mira las 10 fechas. Su razonamiento es que si Bernard supiera que la fecha correcta era el 18 o el 19, entonces Bernard sabría el cumpleaños, porque esas fechas aparecen sólo una vez.

Segundo paso: Albert dice: «No sé cuándo es el cumpleaños de Cheryl, pero estoy seguro de que Bernard tampoco lo sabe». Con esta afirmación, Albert (que sabe el mes correcto) en realidad está diciendo que el cumpleaños no es en mayo o junio; después de todo, si el cumpleaños fuera en mayo o junio, Albert no podría descartar que Bernard sepa la respuesta. Así, Bernard reconoce que la declaración de Albert descarta todas las fechas de mayo o junio.

Tercer paso: Bernard responde: “Basado en lo que acabas de decir, ahora sé cuándo es el cumpleaños de Cheryl”. Recuerde, si Bernard puede reducir las opciones a un solo número, sabrá la respuesta. Si se descartan las fechas de mayo y junio, entonces la fecha “14” aparece dos veces, mientras que las fechas 15, 16 y 17 aparecen solo una vez cada una. A Bernard se le ha dado una de esas fechas y, dado que esas fechas aparecen solo una vez en las dos filas inferiores, sabe que la fecha debe coincidir con los dos meses restantes.

Cuarto paso: Albert reconoce la lógica de Bernard y responde: “Basándome en lo que acabas de decir, ahora también sé cuándo es el cumpleaños de Cheryl”. Albert sabe que Bernard pudo descartar «14». De las tres fechas restantes, dos de ellas son en agosto, pero sólo una es en julio. Si a Albert le hubieran dicho «agosto», no habría podido saber entre las dos fechas, lo que significa que a Albert le debieron haber dicho «julio».

Entonces, la respuesta al enigma es el 16 de julio. Desde un punto de vista lógico, la parte interesante del enigma, por supuesto, es que Albert y Bernard están sacando inferencias basadas en declaraciones generales del otro jugador sobre lo que se sabe o no. –Y para resolver el rompecabezas, es necesario seguir el patrón de inferencias.

Pérez-Cruz y Shin le entregan este acertijo a GPT-4, quien responde y explica el acertijo correctamente. Quizás lo más interesante es que le dan el rompecabezas al programa tres veces y obtienen tres explicaciones estilísticamente diferentes, todas correctas, pero explicadas de diferentes maneras.

Pero aquí está el truco. La versión original del rompecabezas que Pérez-Cruz y Shin entregaron a la computadora es una versión de 2015 que está ampliamente disponible en Internet, incluida Wikipedia. Como seguimiento, le devuelven el rompecabezas a GPT-4, pero con etiquetas diferentes: cambiando el nombre del rompecabezas de Christine a Jonnie y usando cuatro meses diferentes, pero las mismas fechas. La respuesta del programa GPT-4 se refiere a “mayo” y “junio”, aunque esos meses ya no están en el problema. Luego sigue con errores lógicos y obtiene la respuesta incorrecta. Los autores escriben:

El contraste entre la lógica impecable cuando se enfrenta a la redacción original y el pobre desempeño cuando se enfrenta a cambios incidentales en la redacción es muy sorprendente. Es difícil disipar la sospecha de que incluso cuando GPT-4 acierta (con la redacción original), lo hace debido a la familiaridad de la redacción, en lugar de recurrir a los pasos necesarios en el análisis. En este sentido, la aparente
El dominio de la lógica parece ser superficial.

En otras palabras, el programa GPT-4 es bueno para reorganizar palabras que encuentra en Internet de una manera que parece coherente y persuasiva y, por lo tanto, parece pasar una prueba de Turing, pero pequeños cambios en el contexto pueden desviarlo.

Por supuesto, nada de esto significa que GPT-4 y programas similares no sean potencialmente muy útiles. Por ejemplo, hay muchos ejemplos del uso de estos programas para escribir código de computadora más rápidamente, o traducir entre idiomas, o escribir el código para convertir ecuaciones en LaTex. Todas estas son tareas relativamente enfocadas.

Sin embargo, también hay ejemplos de abogados que utilizaron estas herramientas para redactar un escrito legal, sólo para descubrir que, al citar casos legales anteriores, simplemente inventaron algunos de los casos. Hay ejemplos de académicos que utilizaron estas herramientas para escribir un ensayo, sólo para descubrir que al citar artículos, algunos de ellos simplemente eran inventados. La herramienta de IA reconoció la necesidad de insertar algo que pareciera casos legales o citas académicas, pero si el caso o cita anterior se aplicaba bien, o incluso existía, no fue una distinción que el programa pudiera hacer.

Una respuesta estándar a tales preocupaciones es la siguiente: “los programas aún están mejorando y muy rápidamente, por lo que estas preocupaciones sobre el contexto disminuirán con el tiempo”. Para ciertos propósitos específicos, esto probablemente sea cierto. Pero para propósitos en los que lo que hay en Internet se presenta en un contexto determinado, o en los que el lenguaje natural tiene implicaciones tácitas, es probable que persista la posibilidad de que estos programas se desvíen. Al utilizar las nuevas herramientas de inteligencia artificial, el usuario cuidadoso seguirá el consejo que se aplica a las negociaciones sobre control de armas: «Confía, pero verifica».