OPENAI
Los investigadores señalan que el problema es difícil de estudiar porque no existen máquinas sobrehumanas. Entonces usaron sustitutos. En lugar de observar cómo los humanos podrían supervisar máquinas sobrehumanas, observaron cómo GPT-2, un modelo que OpenAI lanzó hace cinco años, podría supervisar GPT-4, el modelo más reciente y poderoso de OpenAI. “Si puedes hacer eso, podría ser evidencia de que puedes usar técnicas similares para que los humanos supervisen modelos sobrehumanos”, dice Collin Burns, otro investigador del equipo de superalineación.
El equipo tomó GPT-2 y lo entrenó para realizar varias tareas diferentes, incluido un conjunto de acertijos de ajedrez y 22 pruebas comunes de procesamiento del lenguaje natural que evalúan la inferencia, el análisis de sentimientos, etc. Utilizaron las respuestas de GPT-2 a esas pruebas y acertijos para entrenar a GPT-4 para que realizara las mismas tareas. Es como si un alumno de tercer grado le enseñara a un alumno de 12º grado cómo realizar una tarea. El truco consistía en hacerlo sin que GPT-4 sufriera un impacto demasiado grande en el rendimiento.
Los resultados fueron mixtos. El equipo midió la brecha en el rendimiento entre GPT-4 entrenado con las mejores conjeturas de GPT-2 y GPT-4 entrenado con respuestas correctas. Descubrieron que GPT-4 entrenado por GPT-2 se desempeñó entre un 20% y un 70% mejor que GPT-2 en las tareas de lenguaje, pero no tan bien en los acertijos de ajedrez.
El hecho de que GPT-4 haya superado a su maestro es impresionante, dice Pavel Izmailov, miembro del equipo: “Este es un resultado realmente sorprendente y positivo”. Pero está muy por debajo de lo que podría hacer por sí solo, afirma. Concluyen que el enfoque es prometedor pero necesita más trabajo.
“Es una idea interesante”, afirma Thilo Hagendorff, investigador de IA de la Universidad de Stuttgart en Alemania que trabaja en la alineación. Pero cree que GPT-2 podría ser demasiado tonto para ser un buen profesor. “GPT-2 tiende a dar respuestas sin sentido a cualquier tarea que sea ligeramente compleja o requiera razonamiento”, afirma. A Hagendorff le gustaría saber qué pasaría si en su lugar se utilizara GPT-3.
También señala que este enfoque no aborda el escenario hipotético de Sutskever en el que una superinteligencia oculta su verdadero comportamiento y pretende estar alineada cuando no lo está. “Es probable que los futuros modelos sobrehumanos posean capacidades emergentes que los investigadores desconocen”, afirma Hagendorff. “¿Cómo puede funcionar la alineación en estos casos?”
Pero es fácil señalar deficiencias, afirma. Le complace ver que OpenAI pasa de la especulación al experimento: “Aplaudo a OpenAI por su esfuerzo”.
OpenAI ahora quiere reclutar a otros para su causa. Junto con esta actualización de la investigación, la compañía anunció una nuevo bote de dinero de 10 millones de dólares que planea utilizar para financiar a las personas que trabajan en la superalineación. Ofrecerá subvenciones de hasta 2 millones de dólares a laboratorios universitarios, organizaciones sin fines de lucro e investigadores individuales y becas de un año de 150.000 dólares a estudiantes de posgrado. “Estamos muy entusiasmados con esto”, afirma Aschenbrenner. “Realmente creemos que hay mucho que los nuevos investigadores pueden aportar”.