El bot de IA conversacional ChatGPT está teniendo un momento, prometiendo transformar las formas en que producimos texto escrito, busca en la weby educarnos.
¿El último logro de ChatGPT? Casi aprobando el examen de licencia médica de EE. UU. (USMLE).
Estamos hablando de un examen conocido por su dificultad, uno que generalmente requiere unas 300 a 400 horas de preparación para completar y que cubre todo, desde conceptos básicos de ciencias hasta bioética.
El USMLE es en realidad tres exámenes en uno, y la competencia con la que ChatGPT puede responder sus preguntas muestra que estos bots de IA algún día podrían ser útiles para la capacitación médica e incluso para hacer ciertos tipos de diagnósticos.
“ChatGPT se realizó en o cerca del umbral de aprobación de los tres exámenes sin ningún entrenamiento o refuerzo especializado”, escriben los investigadores en su artículo publicado. “Además, ChatGPT demostró un alto nivel de concordancia y perspicacia en sus explicaciones”.
ChatGPT es un tipo de inteligencia artificial conocida como mo delo de lenguaje grande
Eso es algo así como una simplificación, pero entiendes la idea: ChatGPT en realidad no ‘sabe’ nada, pero al analizar una gran cantidad de material en línea, puede construir oraciones que suenan plausibles sobre casi cualquier tema.
Sin embargo, el ‘sonido plausible’ es la clave. Dependiendo de la probabilidad de varias frases, la IA puede parecer asombrosamente inteligente o llegar a las conclusiones más ridículas.
Los investigadores de la startup Ansible Health lo probaron usando preguntas de muestra del USMLE, luego de verificar que las respuestas no estuvieran disponibles en Google, por lo que sabían que ChatGPT generaría nuevas respuestas basadas en los datos en los que se entrenó.
Puesto a prueba, ChatGPT obtuvo una puntuación de entre el 52,4 % y el 75 % en los tres exámenes (la nota de aprobación suele rondar el 60 %). En el 88,9 por ciento de sus respuestas, produjo al menos una idea significativa, descrita por los investigadores como algo “nuevo, no obvio y clínicamente válido”.
“Alcanzar el puntaje de aprobación para este examen experto notoriamente difícil, y hacerlo sin ningún refuerzo humano, marca un hito notable en la maduración clínica de la IA”, dijeron los autores del estudio en un comunicado de prensa.
ChatGPT también demostró ser impresionantemente consistente en sus respuestas e incluso pudo proporcionar un razonamiento detrás de cada respuesta. También superó la tasa de precisión del 50,3 por ciento de PubMedGPT, un bot entrenado específicamente en literatura médica.
Vale la pena recordar que la información con la que se ha capacitado ChatGPT incluirá inexactitudes: si pregúntale al propio bot, admitirá que se necesita más trabajo para mejorar la confiabilidad de los LLM. No va a reemplazar a los profesionales médicos en ningún momento en el futuro previsible.
Sin embargo, el potencial para analizar el conocimiento en línea es claramente enorme, especialmente porque estos bots de IA continúan mejorando en los próximos años. En lugar de reemplazar a los humanos en la profesión médica, podrían convertirse en asistentes vitales para ellos.
“Estos resultados sugieren que los modelos de lenguaje extenso pueden tener el potencial de ayudar con la educación médica y, potencialmente, con la toma de decisiones clínicas”. escriben los investigadores.
La investigación ha sido publicada en PLOS Salud Digital.