Entre otras cosas, esto es lo que advirtieron Gebru, Mitchell y otros cinco científicos en su artículo, que llama a los LLM “loros estocásticos”. “La tecnología del lenguaje puede ser muy, muy útil cuando tiene el alcance, la ubicación y el marco adecuados”, dice Emily Bender, profesora de lingüística en la Universidad de Washington y una de las coautoras del artículo. Pero la naturaleza de propósito general de los LLM, y la capacidad de persuasión de su mimetismo, atrae a las empresas a utilizarlos en áreas para las que no están necesariamente equipadas.
En un discurso de apertura reciente en una de las conferencias de inteligencia artificial más importantes, Gebru relacionó este despliegue apresurado de LLM con las consecuencias que había experimentado en su propia vida. Gebru nació y se crió en Etiopía, donde una guerra en escalada
A pesar de que los LLM tienen estas deficiencias lingüísticas, Facebook depende en gran medida de ellos para automatizar la moderación de su contenido a nivel mundial. Cuando estalló la guerra en Tigray en noviembre, Gebru vio que la plataforma se tambaleaba para controlar la avalancha de información errónea. Esto es emblemático de un patrón persistente que los investigadores han observado en la moderación del contenido. Comunidades que hablar idiomas
Gebru señaló que aquí tampoco termina el daño. Cuando las noticias falsas, el discurso de odio e incluso las amenazas de muerte no se moderan, se eliminan como datos de capacitación para construir la próxima generación de LLM. Y los modelos, repitiendo como loros aquello en lo que están entrenados, terminan regurgitando estos patrones lingüísticos tóxicos en Internet.
En muchos casos, los investigadores no han investigado lo suficiente como para saber cómo esta toxicidad podría manifestarse en aplicaciones posteriores. Pero existen algunas becas. En su libro de 2018 Algoritmos de opresión, Safiya Noble, profesora asociada de información y estudios afroamericanos en la Universidad de California, Los Ángeles, documentó cómo los prejuicios incrustados en la búsqueda de Google perpetúan el racismo y, en casos extremos, quizás incluso motivan la violencia racial.
“Las consecuencias son bastante graves y significativas”, dice. Google no es solo el portal de conocimiento principal para los ciudadanos promedio. También proporciona la infraestructura de información para instituciones, universidades y gobiernos estatales y federales.
Google ya usa un LLM para optimizar algunos de sus resultados de búsqueda. Con su último anuncio de LaMDA y una propuesta reciente que publicó en un papel preimpreso, la compañía ha dejado en claro que solo aumentará su dependencia de la tecnología. A Noble le preocupa que esto pueda empeorar los problemas que descubrió: “El hecho de que el equipo de inteligencia artificial ética de Google fuera despedido por plantear preguntas muy importantes sobre los patrones racistas y sexistas de discriminación incrustados en los modelos lingüísticos grandes debería haber sido una llamada de atención”.
BigScience
El proyecto BigScience comenzó en respuesta directa a la creciente necesidad de un escrutinio científico de los LLM. Al observar la rápida proliferación de la tecnología y el intento de censura de Gebru y Mitchell por parte de Google, Wolf y varios colegas se dieron cuenta de que era hora de que la comunidad de investigadores tomara el asunto en sus propias manos.
Inspirándose en colaboraciones científicas abiertas como el CERN en física de partículas, concibieron una idea para un LLM de código abierto que podría utilizarse para realizar investigaciones críticas independientes de cualquier empresa. En abril de este año, el grupo recibió una subvención para construirlo utilizando la supercomputadora del gobierno francés.
En las empresas de tecnología, los LLM a menudo los construyen solo media docena de personas que tienen principalmente experiencia técnica. BigScience quería atraer a cientos de investigadores de una amplia gama de países y disciplinas para participar en un proceso de construcción de modelos verdaderamente colaborativo. Wolf, que es francés, se acercó por primera vez a la comunidad francesa de PNL. A partir de ahí, la iniciativa se convirtió en una operación global que abarca a más de 500 personas.
La colaboración está ahora vagamente organizada en una docena de grupos de trabajo y contando, cada uno de los cuales aborda diferentes aspectos del desarrollo y la investigación del modelo. Un grupo medirá el impacto ambiental del modelo, incluida la huella de carbono de la capacitación y la ejecución del LLM y tendrá en cuenta los costos del ciclo de vida de la supercomputadora. Otro se centrará en desarrollar formas responsables de obtener los datos de capacitación, buscando alternativas a simplemente extraer datos de la web, como transcribir archivos de radio históricos o podcasts. El objetivo aquí es evitar el lenguaje tóxico y la recopilación no consensuada de información privada.