Los chatbots de inteligencia artificial como ChatGPT de OpenAI se venden como herramientas revolucionarias que pueden ayudar a los trabajadores a ser más eficientes en sus trabajos, tal vez reemplazando a esas personas por completo en el futuro. Pero una impresionante nuevo estudio ha descubierto que ChatGPT responde preguntas sobre programación informática de forma incorrecta el 52 % de las veces.
La investigación de la Universidad Purdue, descubierta por primera vez por un medio de comunicación futurismo
“Nuestro análisis muestra que el 52% de las respuestas de ChatGPT contienen información incorrecta y el 77% son detalladas”, explicó el nuevo estudio. “Sin embargo, los participantes de nuestro estudio de usuarios todavía prefirieron las respuestas de ChatGPT el 35% de las veces debido a su amplitud y estilo de lenguaje bien articulado”.
Es inquietante que los programadores del estudio no siempre detectaran los errores producidos por el chatbot de IA.
“Sin embargo, también pasaron por alto la información errónea en las respuestas de ChatGPT el 39% de las veces”, según el estudio. “Esto implica la necesidad de contrarrestar la información errónea en las respuestas de ChatGPT a preguntas de programación y crear conciencia sobre los riesgos asociados con respuestas aparentemente correctas”.
Obviamente, este es sólo un estudio, que está disponible para leer en línea, pero señala problemas con los que cualquiera que haya estado usando estas herramientas puede identificarse. Las grandes empresas de tecnología están invirtiendo miles de millones de dólares en IA en este momento en un esfuerzo por ofrecer los chatbots más confiables. Meta, Microsoft y Google están en una carrera por dominar un espacio emergente que tiene el potencial de remodelar radicalmente nuestra relación con Internet. Pero hay una serie de obstáculos en el camino.
El principal de esos problemas es que la IA frecuentemente no es confiable, especialmente si un usuario determinado hace una pregunta verdaderamente única. La nueva búsqueda impulsada por IA de Google está constantemente arrojando basura que a menudo se extrae de fuentes no confiables. De hecho, ha habido varias ocasiones esta semana en las que la Búsqueda de Google ha presentado artículos satíricos de The Onion como información confiable.
Por su parte, Google se defiende insistiendo en que las respuestas incorrectas son anomalías.
“Los ejemplos que hemos visto son consultas generalmente muy poco comunes y no son representativos de las experiencias de la mayoría de las personas”, dijo un portavoz de Google a Gizmodo por correo electrónico. a principios de esta semana. “La gran mayoría de las descripciones generales de IA proporcionan información de alta calidad, con enlaces para profundizar en la web”.
Pero esa defensa, que las “consultas poco comunes” muestran respuestas incorrectas, es francamente ridícula. ¿Se supone que los usuarios sólo deben hacer a estos chatbots las preguntas más mundanas? ¿Cómo es eso aceptable, cuando la promesa es que se supone que estas herramientas serán revolucionarias?
OpenAI no respondió de inmediato a una solicitud de comentarios el viernes sobre el nuevo estudio sobre las respuestas de ChatGPT. Gizmodo actualizará esta publicación si recibimos una respuesta.