La diferencia entre este enfoque y sus predecesores es que DeepMind espera usar “el diálogo a largo plazo para la seguridad”, dice Geoffrey Irving, investigador de seguridad en DeepMind.
“Eso significa que no esperamos que los problemas que enfrentamos en estos modelos, ya sea información errónea, estereotipos o lo que sea, sean obvios a primera vista, y queremos hablar sobre ellos en detalle. Y eso significa también entre máquinas y humanos”, dice.
La idea de DeepMind de usar las preferencias humanas para optimizar cómo aprende un modelo de IA no es nueva, dice Sara Hooker, quien dirige Cohere for AI, un laboratorio de investigación de IA sin fines de lucro.
“Pero las mejoras son convincentes y muestran beneficios claros para la optimización guiada por humanos de los agentes de diálogo en un entorno de modelo de lenguaje grande”, dice Hooker.
Douwe Kiela, investigador de la startup de IA Hugging Face, dice que Sparrow es “un buen próximo paso que sigue una tendencia general en IA, donde estamos tratando más seriamente de mejorar los aspectos de seguridad de las implementaciones de modelos de lenguaje grande”.
Pero queda mucho trabajo por hacer antes de que estos modelos de IA conversacionales puedan implementarse en la naturaleza.
Sparrow todavía comete errores. El modelo a veces se sale del tema o inventa respuestas aleatorias. Los participantes determinados también pudieron hacer que el modelo rompiera las reglas el 8% de las veces. (Esto sigue siendo una mejora con respecto a los modelos anteriores: los modelos anteriores de DeepMind rompieron las reglas tres veces más a menudo que Sparrow).
“Para las áreas donde el daño humano puede ser alto si un agente responde, como brindar asesoramiento médico y financiero, esto aún puede parecer una tasa de fallas inaceptablemente alta para muchos”, dice Hooker. El trabajo también se basa en un modelo en inglés. , “mientras que vivimos en un mundo donde la tecnología tiene que servir de manera segura y responsable a muchos idiomas diferentes”, agrega.
Y Kiela señala otro problema: “Confiar en Google para buscar información conduce a sesgos desconocidos que son difíciles de descubrir, dado que todo es de código cerrado”.