Blog

May 16, 2023

ChatGPT pasa otro examen médico, un paso más cerca de MD

ChatGPT se está convirtiendo en un

ChatGPT se está convirtiendo en un excelente examinador médico.

Su última y más avanzada versión, ChatGPT-4, ya puede aprobar el examen de licencia médica de EE. UU. con gran éxito. Y ahora, se ha acercado un paso más a convertirse en un médico especializado. Especie de.

El martes, los científicos anunciaron que el software de chatbot más nuevo de OpenAI puede aprobar fácilmente un examen de la junta de radiología al estilo canadiense o estadounidense, con una puntuación de más de diez puntos por encima del umbral de aprobación del 70%.

Pero hay una trampa: debido a que ChatGPT solo está diseñado para procesar el lenguaje (hasta ahora), el examen de radiología de la IA no incluía ninguna imagen. Se siente como una especie de descuido importante para una rama de la medicina que se ocupa del diagnóstico basado en radiografías, resonancias magnéticas y otras imágenes corporales.

ChatGPT ha demostrado ser un tomador de exámenes formidable: ha aprobado exámenes que incluyen el SAT, el examen de la barra e incluso las desafiantes pruebas de maestro sommelier.

En el examen de radiología, ChatGPT-4 obtuvo una calificación aprobatoria del 81 %. El bot obtuvo una puntuación particularmente buena en preguntas de pensamiento de orden superior que requieren habilidades más allá de la memoria, como análisis, síntesis y evaluación; ChatGPT-4 se desempeñó bien en la descripción de los hallazgos de imágenes (85 %) y en la aplicación de conceptos (90 %). Pero no le fue tan bien en algunas de las preguntas más sencillas de la prueba, y de hecho respondió mal 12 de esas preguntas que su predecesor, GPT 3.5, respondió bien.

"Al principio nos sorprendieron las respuestas precisas y seguras de ChatGPT a algunas preguntas radiológicas desafiantes", dijo en un comunicado de prensa el autor del estudio, el Dr. Rajesh Bhayana, radiólogo abdominal en el Hospital General de Toronto. "Pero igualmente sorprendido por algunas afirmaciones muy ilógicas e inexactas".

En esencia, ChatGPT está diseñado simplemente para predecir la siguiente palabra mejor para escupir; en otras palabras, está diseñado para chatear contigo. Esa charlatanería se puede aprovechar fácilmente para pontificar en los exámenes, produciendo un examinado muy confiado (pero a veces equivocado).

La profesora de informática de Brown, Ellie Pavlick, experta en procesamiento de lenguaje natural, dice que este problema no es exclusivo de los chatbots. Siempre ha tenido problemas para saber si los estudiantes realmente comprenden los conceptos que les ha enseñado en función de las respuestas de sus exámenes escritos.

"Si proporciona un lenguaje bien construido, parece que lo sabe, pero tal vez lo sepa, tal vez no", dijo Pavlick durante una mesa redonda reciente de ChatGPT en la Universidad de Brown. "Esta es una buena indicación de por qué queremos atribuir mucho más conocimiento y conciencia a ChatGPT de lo que realmente tiene, porque hay algo sobre el lenguaje bien construido que realmente puede enmascarar la comprensión [pobre]".

Los médicos dicen que ChatGPT no debe usarse para diagnosticar o tratar pacientes, y siempre debe hacer que una persona verifique su precisión médica. Pero los expertos médicos también están descubriendo cómo ChatGPT puede ser una buena herramienta para mejorar la comunicación de un médico con sus pacientes. Precisamente porque ChatGPT se destaca en las bromas, a menudo se lo considera más compasivo que los médicos apresurados.

Leer siguiente