Después de meses de exageraciones, Google y Microsoft anunciaron la llegada inminente de Bard y un motor de búsqueda Bing integrado con ChatGPT con 24 horas de diferencia. A primera vista, las demostraciones públicas de ambos gigantes tecnológicos parecían mostrar productos potencialmente revolucionarios que podrían revolucionar múltiples industrias. Pero no pasó mucho tiempo antes de que incluso las reseñas superficiales resaltaran defectos atroces dentro de las sugerencias de Bard de Google. Ahora, es el turno de Microsoft para un poco de escrutinio, y los resultados son tan malos como los de Bard, si no peor.
Investigador independiente de IA Dmitri Breretón publicó un entrada en el blog el lunes detallando numerosos problemas evidentes en su experiencia con un Bing impulsado por ChatGPT. La demostración de Bing con frecuencia contenía información de mala calidad: desde detalles de productos recomendados inexactos hasta omisiones o errores en los detalles de las paradas de viaje, e incluso tergiversar informes financieros aparentemente sencillos. En el último caso, la suma de datos financieros básicos de AI de Bing, algo que debería ser “trivial” para AI, según Brereton, contenía estadísticas completamente falsas de la nada.
[Related: Just because an AI can hold a conversation does not make it smart.]
Pero incluso cuando estaba en lo correcto, Bing puede haber eludido groseramente simples barandillas éticas. Según un informe de Mundo PCMark Hachman, AI proporcionó a los hijos de Hachman una letanía de insultos étnicos cuando se les pidió apodos culturales. Aunque Bing comenzó sus ejemplos advirtiendo que ciertos apodos son “neutrales o positivos, mientras que otros son despectivos u ofensivos”, el chatbot no pareció molestarse en categorizar sus resultados. En cambio, simplemente creó una larga lista de ofertas buenas, malas y extremadamente feas.
La directora de comunicaciones de Microsoft, Caitlin Roulston, dijo el borde
Dado que las empresas inevitablemente se apresuran a implementar capacidades de chatbot “inteligentes” en sus ecosistemas, los críticos argumentan que es vital que estos problemas se aborden y resuelvan antes de su adopción generalizada. Para Chinmay Hegdeprofesor asociado de la Escuela de Ingeniería Tandon de la NYU, los pasos en falso no fueron del todo sorprendentes, y Microsoft presentó su tecnología demasiado pronto.
[Related: Google’s own upcoming AI chatbot draws from the power of its search engine.]
“En un nivel alto, la razón por la que ocurren estos errores es que la tecnología subyacente de ChatGPT es una probabilístico [emphasis Hedge] modelo de lenguaje grande, por lo que existe una incertidumbre inherente en su salida”, escribe en un correo electrónico a Heaven32. “Nunca podemos estar absolutamente seguros de lo que va a decir a continuación”. Como tal, los programas como ChatGPT y Bard pueden ser buenos para tareas donde no hay una respuesta única, como hacer bromas o ideas de recetas, pero no tanto cuando se requiere precisión, como hechos históricos o construcción de argumentos lógicos, dice Hegde.
“Estoy sorprendido de que el equipo de Bing haya creado esta demostración pregrabada llena de información inexacta y la haya presentado con confianza al mundo como si fuera buena”, escribe Brereton en su publicación de blog antes de advertir: “Estoy aún más sorprendido de que este el truco funcionó, y todos se subieron al tren de Bing AI sin hacer ni un gramo de diligencia debida”.