Por qué ChatGPT y Bing Chat son tan buenos inventando cosas

En los últimos meses, los chatbots de IA como ChatGPT han captado la atención del mundo debido a su capacidad para conversar de manera humana sobre casi cualquier tema. Pero vienen con un serio inconveniente: pueden presentar fácilmente información falsa convincente, lo que los convierte en fuentes poco confiables de información fáctica y posibles fuentes de difamación.

¿Por qué los chatbots de IA inventan cosas y alguna vez podremos confiar plenamente en su producción? Preguntamos a varios expertos y investigamos cómo funcionan estos modelos de IA para encontrar las respuestas.

“Alucinaciones”: un término cargado en IA

Los chatbots de IA, como ChatGPT de OpenAI, se basan en un tipo de IA llamado “modelo de lenguaje grande” (LLM) para generar sus respuestas. Un LLM es un programa de computadora entrenado en millones de fuentes de texto que pueden leer y generar texto en “lenguaje natural”, un lenguaje en el que los humanos escribirían o hablarían naturalmente. Desafortunadamente, también pueden cometer errores.

En la literatura académica, los investigadores de IA a menudo llaman a estos errores “alucinaciones”. Pero esa etiqueta se ha vuelto controvertida a medida que el tema se vuelve popular porque algunas personas sienten que antropomorfiza los modelos de IA (lo que sugiere que tienen características similares a las humanas) o les da agencia (lo que sugiere que pueden tomar sus propias decisiones) en situaciones en las que eso no debería estar implícito. Los creadores de LLM comerciales también pueden usar alucinaciones. como una excusa

culpar al modelo de IA por los resultados defectuosos en lugar de asumir la responsabilidad de los resultados en sí.

Aún así, la IA generativa es tan nueva que necesitamos metáforas tomadas de ideas existentes para explicar estos conceptos altamente técnicos al público en general. En este sentido, creemos que el término “confabulación”, aunque igualmente imperfecto, es una mejor metáfora que “alucinación”. En la psicología humana, un “confabulación” ocurre cuando la memoria de alguien tiene un vacío y el cerebro llena el resto de manera convincente sin intentar engañar a los demás. ChatGPT no es funcionan como el cerebro humano, pero podría decirse que el término “confabulación” sirve como una mejor metáfora porque hay un principio creativo que llena el vacío en el trabajo, como exploraremos a continuación.

El problema de la confabulación

Es un gran problema cuando un bot de IA genera información falsa que potencialmente puede engañar, desinformar o difamar. Recientemente, The Washington Post reportado sobre un profesor de derecho que descubrió que ChatGPT lo había incluido en una lista de eruditos legales que habían acosado sexualmente a alguien. Pero nunca sucedió, ChatGPT lo inventó. El mismo día, Ars informó sobre un alcalde australiano que supuestamente descubrió que ChatGPT afirmaba que había sido condenado por soborno y sentenciado a prisión, una completa invención.

Poco después del lanzamiento de ChatGPT, la gente comenzó proclamando el final del motor de búsqueda. Sin embargo, al mismo tiempo, muchos ejemplos de las confabulaciones de ChatGPT comenzaron a circular en las redes sociales. El bot de IA ha inventado libros y estudios que no existen, publicaciones que los profesores no escribieron, fake papeles academicosFALSO citaciones legalesinexistente Características del sistema Linuxirreal mascotas minoristasy detalles técnicos eso no tiene sentido

Y, sin embargo, a pesar de la predilección de ChatGPT por las mentiras casuales, en contra de la intuición, su resistencia a la confabulación es la razón por la que estamos hablando de eso hoy. Algunos expertos señalan que ChatGPT era técnicamente una mejora sobre Vanilla GPT-3 (su modelo predecesor) porque podía negarse a responder algunas preguntas o avisarle cuando sus respuestas podrían no ser precisas.

“Un factor importante en el éxito de Chat es que logra suprimir la confabulación lo suficiente como para que pase desapercibida para muchas preguntas comunes”, dijo Riley Goodside, un experto en modelos de lenguaje extenso que se desempeña como ingeniero de personal en Scale AI. “En comparación con sus predecesores, ChatGPT es notablemente menos propenso a inventar cosas”.

Si se utiliza como una herramienta de intercambio de ideas, los saltos lógicos y las confabulaciones de ChatGPT pueden conducir a avances creativos. Pero cuando se usa como referencia fáctica, ChatGPT podría causar un daño real y OpenAI lo sabe.

No mucho después del lanzamiento del modelo, el CEO de OpenAI, Sam Altman tuiteó, “ChatGPT es increíblemente limitado, pero lo suficientemente bueno en algunas cosas como para crear una impresión engañosa de grandeza. Es un error confiar en él para algo importante en este momento. Es una vista previa del progreso; tenemos mucho trabajo por hacer en robustez y veracidad”. en un posterior Píoescribió: “YoSabe mucho, pero el peligro es que tiene confianza y se equivoca una fracción significativa del tiempo”.

¿Que está pasando aqui?