Ars Technica
El martes, Meta AI dio a conocer una demostración de Galactica, un gran modelo de lenguaje diseñado para “almacenar, combinar y razonar sobre el conocimiento científico”. Si bien tenía la intención de acelerar la escritura de literatura científica, los usuarios adversarios que realizaron pruebas descubrieron que también podría generar tonterías realistas. Después de varios días de crítica éticaMeta desconectó la demostración, informes Revisión de tecnología del ..
Los modelos de lenguaje grande (LLM), como GPT-3 de OpenAI, aprenden a escribir texto estudiando millones de ejemplos y comprendiendo las relaciones estadísticas entre palabras. Como resultado, pueden crear documentos que suenan convincentes, pero esos trabajos también pueden estar plagados de falsedades y estereotipos potencialmente dañinos. Algunos críticos llaman a los LLM “loros estocásticos
Ingrese a Galactica, un LLM destinado a escribir literatura científica. Sus autores entrenaron a Galactica en “un corpus grande y curado del conocimiento científico de la humanidad”, que incluye más de 48 millones de artículos, libros de texto y notas de conferencias, sitios web científicos y enciclopedias. De acuerdo a papel de galactica
Meta IA
A partir del martes, los visitantes del sitio web galáctica podría escribir indicaciones para generar documentos como revisiones de literatura, artículos wiki, notas de conferencias y respuestas a preguntas, de acuerdo con los ejemplos proporcionados por el sitio web. El sitio presentó el modelo como “una nueva interfaz para acceder y manipular lo que sabemos sobre el universo”.
Mientras que algunas personas encontraron la demostración prometedor y útilotros pronto descubrieron que cualquiera podía escribir racista o mensajes potencialmente ofensivos, generando contenido que suene autorizado sobre esos temas con la misma facilidad. Por ejemplo, alguien lo usó para autor una entrada de wiki sobre un trabajo de investigación ficticio titulado “Los beneficios de comer vidrio triturado”.
Incluso cuando la producción de Galactica no ofendía las normas sociales, el modelo podía atacar hechos científicos bien entendidos, escupiendo inexactitudes como fechas incorrectas o nombres de animales, lo que requiere un conocimiento profundo del tema a capturar.
Yo pregunté #galactica sobre algunas cosas que sé y estoy preocupado. En todos los casos, estaba mal o sesgado, pero sonaba correcto y autoritario. Creo que es peligroso. Aquí están algunos de mis experimentos y mi análisis de mis preocupaciones. (1/9)
— Michael Black (@Michael_J_Black) 17 de noviembre de 2022
Como resultado, Meta tirado la demostración de Galactica el jueves. Posteriormente, el científico jefe de IA de Meta, Yann LeCun tuiteó“La demostración de Galactica está fuera de línea por ahora. Ya no es posible divertirse haciendo un mal uso casual. ¿Feliz?”
El episodio recuerda un dilema ético común con la IA: cuando se trata de modelos generativos potencialmente dañinos, ¿depende del público en general usarlos de manera responsable o de los editores de los modelos para evitar el uso indebido?
El lugar donde la práctica de la industria se encuentre entre esos dos extremos probablemente variará entre culturas y a medida que maduren los modelos de aprendizaje profundo. En última instancia, la regulación gubernamental puede terminar desempeñando un papel importante en la configuración de la respuesta.