Pineau ayudó a cambiar la forma en que se publican las investigaciones en varias de las conferencias más grandes, presentando una lista de verificación de cosas que los investigadores deben enviar junto con sus resultados, incluido el código y detalles sobre cómo se ejecutan los experimentos. Desde que se unió a Meta (entonces Facebook) en 2017, ha defendido esa cultura en su laboratorio de IA.
“Ese compromiso con la ciencia abierta es la razón por la que estoy aquí”, dice. “No estaría aquí bajo ningún otro término”.
En última instancia, Pineau quiere cambiar la forma en que juzgamos a la IA. “Lo que llamamos tecnología de punta hoy en día no puede ser solo rendimiento”, dice ella. “Tiene que ser lo último en términos de responsabilidad también”.
Aún así, regalar un modelo de lenguaje grande es un movimiento audaz para Meta. “No puedo decirles que no hay riesgo de que este modelo produzca un lenguaje del que no estemos orgullosos”, dice Pineau. “Va a.”
Sopesando los riesgos
Margaret Mitchell, una de las investigadoras de ética de IA que Google expulsó en 2020, que ahora está en Hugging Face, ve el lanzamiento de OPT como un movimiento positivo. Pero ella piensa que hay límites para la transparencia. ¿Se ha probado el modelo de lenguaje con suficiente rigor? ¿Los beneficios previsibles superan los daños previsibles, como la generación de información errónea o lenguaje racista y misógino?
“Lanzar un modelo de lenguaje grande al mundo donde es probable que una amplia audiencia lo use, o se vea afectado por su producción, conlleva responsabilidades”, dice ella. Mitchell señala que este modelo podrá generar contenido dañino no solo por sí mismo, sino también a través de aplicaciones posteriores que los investigadores construyen sobre él.
Meta AI auditó OPT para eliminar algunos comportamientos dañinos, pero el punto es lanzar un modelo del que los investigadores puedan aprender, con verrugas y todo, dice Pineau.
“Hubo muchas conversaciones sobre cómo hacer eso de una manera que nos permita dormir por la noche, sabiendo que existe un riesgo distinto de cero en términos de reputación, un riesgo distinto de cero en términos de daño”, dice ella. Ella descarta la idea de que no debe lanzar un modelo porque es demasiado peligroso, que es la razón que dio OpenAI para no lanzar el predecesor de GPT-3, GPT-2. “Entiendo las debilidades de estos modelos, pero esa no es una mentalidad de investigación”, dice.