Google AI: Google utiliza AI para responder sus preguntas sobre salud. ¿Deberías confiar en ello?

¿Tiene dolor de cabeza o es una infección de los senos nasales? ¿Cómo se siente una fractura por estrés? ¿Deberías preocuparte por el dolor en tu pecho? Si usted Google esas preguntas ahora, las respuestas pueden ser escritas por inteligencia artificial. Este mes, Google lanzó una nueva función llamada AI Overviews que utiliza IA generativaun tipo de tecnología de aprendizaje automático que se entrena con información de Internet y produce respuestas conversacionales a algunas preguntas de búsqueda en cuestión de segundos.

En las semanas transcurridas desde el lanzamiento de la herramienta, los usuarios han encontrado una amplia gama de imprecisiones y respuestas extrañas sobre una variedad de temas. Pero cuando se trata de cómo responde preguntas de saludLos expertos dijeron que había mucho en juego. La tecnología podría orientar a las personas hacia hábitos más saludables o la atención médica necesaria, pero también tiene el potencial de brindar información inexacta. En ocasiones, la IA puede fabricar hechos. Y si sus respuestas están determinadas por sitios web que no se basan en la ciencia, podría ofrecer consejos que vayan en contra de las directrices médicas o representen un riesgo para la salud de una persona.

Ya se ha demostrado que el sistema produce malas respuestas aparentemente basadas en fuentes defectuosas. Cuando se les preguntó «cuántas piedras debo comer», por ejemplo, AI Overviews dijo a algunos usuarios que comieran al menos una piedra al día para obtener vitaminas y minerales. (El consejo fue extraído de The Onion, un sitio satírico).

«No puedes confiar en todo lo que lees», dijo el Dr. Karandeep Singh, director de inteligencia artificial de salud en Salud de la Universidad de California en San Diego. En salud, dijo, la fuente de su información es fundamental.

Hema Budaraju, directora senior de gestión de productos de Google que ayuda a liderar el trabajo en AI Overview, dijo que las búsquedas de salud tenían «barandillas de seguridad adicionales», pero se negó a describirlas en detalle. Las búsquedas que se consideran peligrosas o explícitas, o que indican que alguien se encuentra en una situación vulnerable, como autolesión, no activan resúmenes de IA, dijo.

Google se negó a proporcionar una lista detallada de sitios web que respaldan la información en AI Overviews, pero dijo que la herramienta funcionaba en conjunto con Google Knowledge Graph, un sistema de información existente que ha extraído miles de millones de datos de cientos de fuentes. Responda la pregunta «¿Es el chocolate saludable?» La respuesta de Google obtiene información de investigaciones sobre salud cardíaca, salud mental y más.

Las respuestas a preguntas de salud como esta a menudo provienen de fuentes acreditadas. Sin embargo, en este caso, la respuesta también cita a Venchi, una empresa italiana de chocolate y helados.

Una búsqueda similar: «¿Es el chocolate saludable para usted?» — generó una respuesta a partir de fuentes que incluyen el sitio web de una empresa llamada ZOE, que vende «pruebas de inteligencia intestinal» caseras y una aplicación nutricional.

Las nuevas respuestas de búsqueda especifican algunas fuentes; Para preguntas de salud, estos suelen ser sitios web como el Clínica Mayo, WebMDel Organización Mundial de la Salud y el centro de investigación científica PubMed. Pero no es una lista exhaustiva: la herramienta también puede extraer información de Wikipedia, publicaciones de blogs, Reddit y sitios web de comercio electrónico. Y no les dice a los usuarios qué hechos provienen de qué fuentes.

Con un resultado de búsqueda estándar, muchos usuarios podrían distinguir inmediatamente entre un sitio web médico de buena reputación y una empresa de dulces. Pero un solo bloque de texto que combine información de múltiples fuentes puede causar confusión.

«Y eso es si la gente siquiera mira la fuente», dijo la Dra. Seema Yasmin, directora de la Iniciativa de Comunicación de Salud de Stanford, y agrega: «No sé si la gente está mirando o si realmente les hemos enseñado adecuadamente». mirar.» Dijo que su propia investigación sobre desinformación la había hecho pesimista sobre el interés del usuario promedio en mirar más allá de una respuesta rápida.

En cuanto a la exactitud de la respuesta sobre el chocolate, el Dr. Dariush Mozaffarian, cardiólogo y profesor de medicina en la Universidad de Tufts, dijo que tenía algunos datos en su mayoría correctos y que resumía la investigación sobre los beneficios del chocolate para la salud. Pero no distingue entre evidencia sólida proporcionada por ensayos aleatorios y evidencia más débil de estudios observacionales, dijo, ni proporciona ninguna advertencia sobre la evidencia.

Es cierto que el chocolate contiene antioxidantes, afirmó Mozaffarian. ¿Pero la afirmación de que el consumo de chocolate podría ayudar a prevenir la pérdida de memoria? Esto no se ha demostrado claramente y «requiere muchas advertencias», afirmó. Tener estas afirmaciones enumeradas una al lado de otra da la impresión de que algunas están mejor establecidas de lo que realmente están.

Las respuestas también pueden cambiar a medida que la propia IA evoluciona, incluso cuando la ciencia detrás de una respuesta dada no ha cambiado.

Un portavoz de Google dijo en un comunicado que la compañía trabajó para mostrar exenciones de responsabilidad en las respuestas cuando eran necesarias, incluidas notas de que la información que no debería tratarse como Consejo médico.

No está claro cómo, exactamente, AI Overviews evalúa la solidez de la evidencia, o si tiene en cuenta hallazgos de investigaciones contradictorias, como aquellos sobre si el café es bueno para la salud. «La ciencia no es un montón de hechos estáticos», dijo Yasmin. Ella y otros expertos también cuestionaron si la herramienta se basaría en hallazgos científicos más antiguos que desde entonces han sido refutados o no capturan los conocimientos más recientes sobre un tema.

«Poder tomar una decisión crítica (discriminar entre la calidad de las fuentes) eso es lo que los humanos hacen todo el tiempo, lo que hacen los médicos», dijo la Dra. Danielle Bitterman, médica y científica en inteligencia artificial del Instituto del Cáncer Dana-Farber. y el Hospital Brigham y de Mujeres. «Están analizando las pruebas».

Si queremos que herramientas como AI Overviews desempeñen ese papel, dijo, «necesitamos comprender mejor cómo navegarían a través de diferentes fuentes y cómo aplican una lente crítica para llegar a un resumen», dijo.

Esas incógnitas son preocupantes, dijeron los expertos, dado que el nuevo sistema eleva la respuesta de AI Overview por encima de los enlaces individuales a sitios web médicos de buena reputación, como los de la Clínica Mayo y la Clínica Cleveland. Históricamente, estos sitios han llegado a los primeros puestos de los resultados de muchas búsquedas de salud.

Un portavoz de Google dijo que AI Overviews coincidirá o resumirá la información que aparece en los principales resultados de las búsquedas, pero no está diseñada para reemplazar ese contenido. Más bien, dijo el portavoz, está diseñado para ayudar a las personas a tener una idea de la información disponible.

La Clínica Mayo se negó a comentar sobre las nuevas respuestas. Un representante de la Clínica Cleveland dijo que las personas que buscan información de salud deben «buscar directamente fuentes conocidas y confiables» y comunicarse con un proveedor de atención médica si experimentan algún síntoma.

Un representante de Scripps Health, un sistema de atención médica con sede en California citado en algunos resúmenes de AI Overview, dijo en una declaración que «las citas en las respuestas generadas por AI de Google podrían ser útiles porque establecen a Scripps Health como una fuente confiable de información de salud».

Sin embargo, añadió el representante, «nos preocupa que no podamos responder por el contenido producido a través de la IA de la misma manera que podemos hacerlo por nuestro propio contenido, que es examinado por nuestros profesionales médicos».

Para las preguntas médicas, lo importante no es sólo la precisión de una respuesta, sino cómo se presenta a los usuarios, dijeron los expertos. Tome la pregunta «¿Estoy sufriendo un ataque al corazón?» La respuesta de la IA tuvo una sinopsis útil de los síntomas, dijo el Dr. Richard Gumina, director de medicina cardiovascular del Centro Médico Wexner de la Universidad Estatal de Ohio.

Pero, añadió, tuvo que leer una larga lista de síntomas antes de que el texto le aconsejara llamar al 911. Gumina también buscó «¿Estoy sufriendo un derrame cerebral?» para ver si la herramienta podría producir una respuesta más urgente, lo cual hizo, diciendo a los usuarios en la primera línea que llamaran al 911. Dijo que recomendaría inmediatamente a los pacientes que experimentaran síntomas de un ataque cardíaco o un derrame cerebral que pidieran ayuda.

Los expertos alentaron a las personas que buscan información de salud a abordar las nuevas respuestas con precaución. Esencialmente, dijeron, los usuarios deben tomar nota de la letra pequeña debajo de algunas respuestas de AI Overviews: «Esto es sólo para fines informativos. Para asesoramiento o diagnóstico médico, consulte a un profesional. La IA generativa es experimental».