De algoritmos de primer nivel y humanos desconectados
El 1 de junio de 2009, el vuelo 447 de Air France desapareció en un vuelo transatlántico de rutina. Las circunstancias eran misteriosas hasta que se recuperó la caja negra del registrador de vuelo casi dos años después, y la terrible verdad se hizo evidente: tres pilotos altamente entrenados habían estrellado un avión completamente funcional en el océano, matando a las 288 personas a bordo, porque se habían confundido. por lo que les habían estado diciendo los sistemas automatizados de su Airbus 330.
Recientemente me encontré regresando a los momentos finales del vuelo 447, vívidamente descritos en artículos de Popular Mechanics y Vanity Fair. No puedo evitar la sensación de que el accidente tiene algo importante que enseñarnos sobre los riesgos y las enormes recompensas de la inteligencia artificial.
La última IA generativa puede producir poesía y arte, mientras que los sistemas de IA para la toma de decisiones tienen el poder de encontrar patrones útiles en una confusión confusa de datos. Estas nuevas tecnologías no tienen precursores obvios, pero sí tienen paralelos. No en vano, el conjunto de herramientas de inteligencia artificial de Microsoft ahora se denomina «Copilot». El “piloto automático” podría ser más exacto, pero de cualquier manera es una analogía que vale la pena examinar.
Volvamos al vuelo 447. El A330 es conocido por ser suave y fácil de volar, gracias a un sofisticado sistema de automatización de vuelo llamado asistencia de vuelo por cable. Tradicionalmente, el piloto tiene el control directo de los flaps del avión, pero un sistema de asistencia de vuelo por cable traduce los movimientos bruscos del piloto en instrucciones suaves. Esto hace que sea difícil estrellar un A330, y el avión tenía un excelente historial de seguridad antes de la tragedia de Air France. Pero, paradójicamente, existe el riesgo de construir un avión que proteja tan asiduamente a los pilotos contra errores. Significa que cuando se presenta un desafío, los pilotos tendrán muy poca experiencia a la que recurrir mientras intentan enfrentarlo.
En el caso del vuelo 447, el desafío fue una tormenta que bloqueó los instrumentos de velocidad con hielo. El sistema concluyó correctamente que estaba volando con datos poco fiables y, según lo programado, entregó el control total al piloto. Desgraciadamente, el joven piloto no estaba acostumbrado a volar en aire enrarecido y turbulento sin la supervisión del ordenador y empezó a cometer errores. Cuando el avión se tambaleó de manera alarmante, subió por instinto y detuvo el avión, algo que habría sido imposible si el asistente de vuelo por cable hubiera estado funcionando normalmente. Los otros pilotos se sintieron tan confundidos y desconfiados de los instrumentos del avión, que no pudieron diagnosticar el problema, de fácil solución, hasta que fue demasiado tarde.
Este problema a veces se denomina «la paradoja de la automatización». Un sistema automatizado puede ayudar a los humanos o incluso reemplazar el juicio humano. Pero esto significa que los humanos pueden olvidar sus habilidades o simplemente dejar de prestar atención. Cuando la computadora necesita intervención humana, es posible que los humanos ya no estén a la altura del trabajo. Mejores sistemas automatizados significan que estos casos se vuelven raros y extraños, y que los humanos tienen aún menos probabilidades de afrontarlos.
Hay mucha evidencia anecdótica de que esto sucede con los últimos sistemas de inteligencia artificial. Considere a los desventurados abogados que recurrieron a ChatGPT en busca de ayuda para formular un caso, sólo para descubrir que habían inventado citaciones. Se les impuso una multa de 5.000 dólares y se les ordenó escribir cartas a varios jueces para dar explicaciones.
La cuestión no es que ChatGPT sea inútil, como tampoco lo es el vuelo por cable de asistencia. Ambos son milagros tecnológicos. Pero tienen límites, y si sus usuarios humanos no comprenden esos límites, puede sobrevenir un desastre.
La evidencia de este riesgo proviene de Fabrizio Dell’Acqua de la Escuela de Negocios de Harvard, quien recientemente llevó a cabo un experimento en el que los reclutadores fueron ayudados por algoritmos, algunos excelentes y otros no tanto, en sus esfuerzos por decidir a qué candidatos invitar a una entrevista. (Esto no es IA generativa, pero es una importante aplicación de la IA en el mundo real).
Dell’Acqua descubrió, contrariamente a la intuición, que los algoritmos mediocres con una precisión de alrededor del 75 por ciento ofrecían mejores resultados que los buenos, que tenían una precisión de alrededor del 85 por ciento. La razón simple es que cuando a los reclutadores se les ofreció orientación a partir de un algoritmo que se sabía que era irregular, se mantuvieron enfocados y agregaron su propio criterio y experiencia. Cuando a los reclutadores se les ofreció orientación a partir de un algoritmo que sabían que era excelente, se sentaron y dejaron que la computadora tomara las decisiones.
Quizás ahorraron tanto tiempo que los errores valieron la pena. Pero ciertamente hubo errores. Un algoritmo de bajo nivel y un humano activado toman mejores decisiones juntos que un algoritmo de primer nivel con un humano desconectado. Y cuando el algoritmo es de primera categoría, lo que obtienes es un ser humano desconectado.
Escuché sobre la investigación de Dell’Acqua a través de Ethan Mollick, autor del próximo artículo. Co-Inteligencia. Pero cuando le mencioné a Mollick la idea de que el piloto automático era una analogía instructiva con la IA generativa, me advirtió que no buscara paralelos que fueran “estrechos y en cierto modo reconfortantes”. Eso es justo. No existe un precedente tecnológico único que haga justicia al rápido avance y al desconcertante alcance de los sistemas de IA generativa. Pero en lugar de descartar todos esos precedentes, vale la pena buscar diferentes analogías que iluminen distintas partes de lo que podría depararse en el futuro. Tengo dos más en mente para futuras exploraciones.
Y hay una lección del piloto automático que estoy convencido se aplica a la IA generativa: en lugar de pensar en la máquina como un reemplazo del ser humano, las preguntas más interesantes se centran en la colaboración a veces tensa entre los dos. Incluso el mejor piloto automático a veces necesita el juicio humano. ¿Estaremos listos?
Los nuevos sistemas de IA generativa suelen ser desconcertantes. Pero tenemos el lujo del tiempo para experimentar con ellos; más que el pobre Pierre-Cédric Bonin, el joven piloto que pilotó un avión perfectamente operativo en el Océano Atlántico. Sus últimas palabras: “¿Pero qué está pasando?”
Escrito y publicado por primera vez en Tiempos financieros el 2 de febrero de 2024.
Mi primer libro infantil, El detective de la verdad ya está disponible (aún no en EE. UU. ni Canadá, lo siento).
He montado un escaparate en Bookshop en el Estados Unidos y el Reino Unido. Los enlaces a Bookshop y Amazon pueden generar tarifas de referencia.