¿Cuándo deberíamos confiar más en la IA que en los médicos? – Economista sanitario

Puede que el momento se esté acercando rápidamente. un artículo de Goh et al. 2024 Tomó una muestra de 50 médicos y examinó cuál era mejor: médicos solos, médicos con acceso a GPT-4 o GPT-4 solo. El resultado primario fue qué tan bien cada grupo diagnosticó el caso (es decir, puntuación de razonamiento diagnóstico). Los autores encontraron que:

La mediana de la puntuación de razonamiento diagnóstico por caso fue del 76,3 por ciento (RIC 65,8 a 86,8) para el grupo GPT-4 y del 73,7 por ciento (RIC 63,2 a 84,2) para el grupo de recursos convencionales, con una diferencia ajustada de 1,6 puntos porcentuales (IC 95% – 4,4 a 7,6; p=0,60). La mediana del tiempo dedicado a los casos para el grupo GPT-4 fue de 519 segundos (RIC 371 a 668 segundos), en comparación con 565 segundos (RIC 456 a 788 segundos) para el grupo de recursos convencionales, con una diferencia de tiempo de −82 segundos (95 % IC −195 a 31; p=0,20). El GPT-4 solo obtuvo una puntuación de 15,5 puntos porcentuales (IC del 95 %: 1,5 a 29, p=0,03) más alto que el grupo de recursos convencionales.
Conclusiones y relevancia:

Entonces, GPT-4 no solo era más rápido y mejor que los médicos por sí solos, sino que también era mejor que los médicos cuando tenían acceso a GPT-4. Los autores resumen lo siguiente:

En un estudio basado en viñetas clínicas, la disponibilidad de GPT-4 para los médicos como ayuda de diagnóstico no mejoró significativamente el razonamiento clínico en comparación con los recursos convencionales, aunque puede mejorar componentes del razonamiento clínico como la eficiencia. GPT-4 por sí solo demostró un rendimiento más alto que ambos grupos de médicos, lo que sugiere oportunidades para mejorar aún más la colaboración médico-IA en la práctica clínica.

HT: A Ethan Mollick.