Según Meta, Galactica puede “resumir trabajos académicos, resolver problemas matemáticos, generar artículos Wiki, escribir código científico, anotar moléculas y proteínas, y más”. Pero poco después de su lanzamiento, fue bastante fácil para los forasteros inmediato el modelo para brindar “investigación científica” sobre los beneficios de la homofobia, el antisemitismo, el suicidio, comer vidrio, ser blanco o ser hombre. Mientras tanto, se bloquearon los trabajos sobre el SIDA o el racismo. ¡Encantador!
Como escribe mi colega Will Douglas Heaven en su historia sobre la debacle: “El paso en falso de Meta y su arrogancia muestran una vez más que Big Tech tiene un punto ciego sobre las severas limitaciones de los grandes modelos de lenguaje”.
El lanzamiento de Galactica no solo fue prematuro, sino que muestra cuán insuficientes han sido los esfuerzos de los investigadores de IA para hacer que los modelos de lenguaje grandes sean más seguros.
Meta podría haber confiado en que Galactica superó a sus competidores en la generación de contenido de apariencia científica. Pero su propia prueba del modelo en busca de sesgo y veracidad debería haber disuadido a la compañía de lanzarlo a la naturaleza.
Una forma común en que los investigadores intentan hacer que los modelos de lenguaje grandes sean menos propensos a escupir contenido tóxico es filtrar ciertas palabras clave. Pero es difícil crear un filtro que pueda capturar todos los matices en los que los humanos pueden ser desagradables. La compañía se habría ahorrado un mundo de problemas si hubiera llevado a cabo más pruebas contradictorias de Galactica, en las que los investigadores habrían intentado que regurgitara tantos resultados sesgados diferentes como fuera posible.
investigadores de Meta Medido el modelo de sesgos y veracidad, y aunque se desempeñó un poco mejor que competidores como GPT-3 y el propio modelo OPT de Meta, proporcionó muchas respuestas sesgadas o incorrectas. Y también hay varias otras limitaciones. El modelo está capacitado en recursos científicos de acceso abierto, pero muchos artículos científicos y libros de texto están restringidos detrás de muros de pago. Esto inevitablemente lleva a Galáctica a utilizar fuentes secundarias más incompletas.
Galactica también parece ser un ejemplo de algo para lo que realmente no necesitamos que la IA haga. Ni siquiera parece que lograría el objetivo declarado de Meta de ayudar a los científicos a trabajar más rápido. De hecho, requeriría que hicieran un gran esfuerzo adicional para verificar si la información del modelo era precisa o no.
Es realmente decepcionante (pero no sorprendente) ver grandes laboratorios de IA, que deberían saberlo mejor, promocionar tecnologías tan defectuosas. Sabemos que los modelos de lenguaje tienen una tendencia a reproducir prejuicios y afirmar falsedades como hechos. Sabemos que pueden “alucinar” o inventar contenido, como artículos wiki sobre la historia de los osos en el espacio. Pero la debacle fue útil para una cosa, al menos. Nos recordó que lo único que los grandes modelos de lenguaje “saben” con certeza es cómo se forman las palabras y las oraciones. Todo lo demás son conjeturas.