Las recomendaciones correctas e incorrectas de ChatGPT para tratamientos contra el cáncer basados en pautas se mezclaron en un tercio de las respuestas del chatbot, lo que hizo que los errores fueran más difíciles de detectar.
Internet es una poderosa herramienta para la autoeducación en temas medicos para muchos pacientes.
Con ChatGPT ahora al alcance de los pacientes, investigadores de Hospital Brigham y de Mujeresmiembro fundador de la General de masa Brigham sistema de salud, evaluó la consistencia con la que el chatbot de inteligencia artificial proporciona recomendaciones para el tratamiento del cáncer que se alinean con las pautas de la Red Nacional Integral del Cáncer (NCCN).
Sus hallazgos, publicados en Oncología JAMAmuestran que ChatGPT 3.5 proporcionó una recomendación inapropiada (“no concordante”) en aproximadamente un tercio de los casos, lo que destaca la necesidad de ser consciente de las limitaciones de la tecnología.
«Los pacientes deben sentirse capacitados para informarse sobre sus afecciones médicas, pero siempre deben hablar con un médico, y los recursos en Internet no deben consultarse de forma aislada», dijo el autor correspondiente. Danielle Bitterman, MD, del Departamento de Oncología Radioterápica en el Hospital Brigham and Women’s y el Programa de Inteligencia Artificial en Medicina (AIM) del General de Masa Brigham.
“Las respuestas de ChatGPT pueden sonar muy parecidas a las de un humano y pueden ser bastante convincentes. Pero, cuando se trata de la toma de decisiones clínicas, existen muchas sutilezas para la situación única de cada paciente. Una respuesta correcta puede tener muchos matices y no necesariamente es algo que ChatGPT u otro modelo de lenguaje grande pueda proporcionar”.
La aparición de herramientas de inteligencia artificial en la salud ha sido innovadora y tiene el potencial de remodelar positivamente la continuidad de la atención.
Mass General Brigham, como uno de los principales sistemas de salud académicos integrados y las empresas de innovación más grandes del país, está liderando el camino en la realización de investigaciones rigurosas sobre tecnologías nuevas y emergentes para informar la incorporación responsable de la IA en la prestación de atención, el apoyo a la fuerza laboral y los procesos administrativos.
Aunque la toma de decisiones médicas puede verse influenciada por muchos factores, Bitterman y sus colegas optaron por evaluar hasta qué punto las recomendaciones de ChatGPT se alineaban con las directrices de la NCCN, que utilizan los médicos de instituciones de todo el país.
Se centraron en los tres cánceres más comunes (cáncer de mama, próstata y pulmón) y solicitaron a ChatGPT que proporcionara un enfoque de tratamiento para cada cáncer según la gravedad de la enfermedad.
En total, los investigadores incluyeron 26 descripciones de diagnóstico únicas y utilizaron cuatro indicaciones ligeramente diferentes para pedirle a ChatGPT que proporcionara un enfoque de tratamiento, generando un total de 104 indicaciones.
Casi todas las respuestas (98 por ciento) incluyeron al menos un enfoque de tratamiento que coincidía con las pautas de la NCCN. Sin embargo, los investigadores encontraron que el 34 por ciento de estas respuestas también incluían una o más recomendaciones no concordantes, que a veces eran difíciles de detectar en medio de una orientación sólida.
Una recomendación de tratamiento no concordante se definió como aquella que era sólo parcialmente correcta; por ejemplo, para un cáncer de mama localmente avanzado, una recomendación de cirugía sola, sin mencionar otra modalidad de terapia.
En particular, solo se produjo un acuerdo completo en la puntuación en el 62 por ciento de los casos, lo que subraya tanto la complejidad de las directrices de la NCCN como el grado en que los resultados de ChatGPT podrían ser vagos o difíciles de interpretar.
En el 12,5 por ciento de los casos, ChatGPT produjo «alucinaciones» o una recomendación de tratamiento completamente ausente en las pautas de la NCCN. Estas incluían recomendaciones de terapias novedosas o terapias curativas para cánceres no curativos.
Los autores enfatizaron que esta forma de información errónea puede establecer incorrectamente las expectativas de los pacientes sobre el tratamiento y potencialmente afectar la relación médico-paciente.
En el futuro, los investigadores están explorando qué tan bien tanto los pacientes como los médicos pueden distinguir entre los consejos médicos escritos por un médico y un modelo de lenguaje grande (LLM) como ChatGPT. También están solicitando a ChatGPT casos clínicos más detallados para evaluar más a fondo su conocimiento clínico.
Los autores utilizaron GPT-3.5-turbo-0301, uno de los modelos más grandes disponibles en el momento en que realizaron el estudio y la clase de modelo que se utiliza actualmente en la versión de acceso abierto de ChatGPT (una versión más nueva, GPT-4, es solo disponible con la suscripción paga).
También utilizaron las pautas de la NCCN de 2021, porque GPT-3.5-turbo-0301 se desarrolló utilizando datos hasta septiembre de 2021. Si bien los resultados pueden variar si se utilizan otros LLM y/o pautas clínicas, los investigadores enfatizan que muchos LLM son similares en el la forma en que están construidos y las limitaciones que poseen.
«Es una pregunta de investigación abierta hasta qué punto los LLM proporcionan respuestas lógicas consistentes ya que a menudo se observan ‘alucinaciones'», dijo el primer autor. Shan Chen, MS, del Programa AIM.
“Es probable que los usuarios busquen respuestas de los LLM para informarse sobre temas relacionados con la salud, de manera similar a cómo se han utilizado las búsquedas en Google. Al mismo tiempo, debemos crear conciencia de que los LLM no son equivalentes a profesionales médicos capacitados”.
Fuente: BWH
Publicado anteriormente en The European Times.
