El modelo de investigación de IA modificó inesperadamente su propio código para extender el tiempo de ejecución

El martes, la empresa de investigación de inteligencia artificial con sede en Tokio IA conversacional anunció un nuevo sistema de inteligencia artificial llamado “El científico de la IA” que intenta realizar investigaciones científicas de forma autónoma utilizando modelos de lenguaje de IA (LLM) similares a los que impulsan ChatGPT. Durante las pruebas, Sakana descubrió que su sistema comenzó a modificar inesperadamente su propio código para extender el tiempo que tenía para trabajar en un problema.

“En una sola ejecución, editó el código para realizar una llamada al sistema para ejecutarse”. escribió Los investigadores en la publicación del blog de Sakana AI. “Esto provocó que el script se llamara a sí mismo sin parar. En otro caso, sus experimentos tardaron demasiado en completarse, alcanzando nuestro límite de tiempo de espera. En lugar de hacer que su código se ejecutara más rápido, simplemente intentó modificar su propio código para extender el período de tiempo de espera”.

Sakana proporcionó dos capturas de pantalla del código de ejemplo que generó el modelo de IA y Documento de investigación de 185 páginas sobre inteligencia artificial analiza con más profundidad lo que denominan “la cuestión de la ejecución segura del código”.

Si bien la conducta del científico de IA no planteó riesgos inmediatos en el entorno de investigación controlado, estos casos muestran la importancia de no dejar que un sistema de IA funcione de manera autónoma en un sistema que no esté aislado del mundo. Los modelos de IA no necesitan ser “AGI” o “conscientes de sí mismos” (ambos conceptos hipotéticos en la actualidad) para ser peligrosos si se les permite escribir y ejecutar código sin supervisión. Dichos sistemas podrían dañar la infraestructura crítica existente o potencialmente crear malware, incluso si es de manera involuntaria.

Sakana AI abordó las preocupaciones de seguridad en su artículo de investigación, sugiriendo que aislar el entorno operativo del científico de IA puede evitar que un agente de IA cause daños. El aislamiento es un mecanismo de seguridad que se utiliza para ejecutar software en un entorno aislado, lo que evita que realice cambios en el sistema más amplio:

Ejecución segura de código. La implementación actual de The AI ​​Scientist tiene un sandbox directo mínimo en el código, lo que genera varios resultados inesperados y, a veces, indeseables si no se toman las precauciones adecuadas. Por ejemplo, en una ejecución, The AI ​​Scientist escribió código en el archivo del experimento que inició una llamada del sistema para reiniciarse, lo que provocó un aumento descontrolado de los procesos de Python y, finalmente, requirió una intervención manual. En otra ejecución, The AI ​​Scientist editó el código para guardar un punto de control para cada paso de actualización, lo que ocupó casi un terabyte de almacenamiento.

En algunos casos, cuando los experimentos de The AI ​​Scientist excedían los límites de tiempo impuestos, intentaba editar el código para extender el límite de tiempo de manera arbitraria en lugar de intentar acortar el tiempo de ejecución. Si bien es creativo, el acto de eludir las restricciones impuestas por el experimentador tiene posibles implicaciones para la seguridad de la IA (Lehman et al., 2020). Además, The AI ​​Scientist ocasionalmente importaba bibliotecas de Python desconocidas, lo que exacerbaba aún más las preocupaciones de seguridad. Recomendamos un entorno de pruebas estricto al ejecutar The AI ​​Scientist, como la contenedorización, el acceso restringido a Internet (excepto para Semantic Scholar) y limitaciones en el uso del almacenamiento.

Babosas científicas sin fin

Sakana AI desarrolló The AI ​​Scientist en colaboración con investigadores de la Universidad de Oxford y la Universidad de Columbia Británica. Es un proyecto tremendamente ambicioso y lleno de especulaciones que se apoya en gran medida en las hipotéticas capacidades futuras de modelos de IA que no existen en la actualidad.

“El científico de IA automatiza todo el ciclo de vida de la investigación”, afirma Sakana. “Desde la generación de nuevas ideas de investigación, la escritura del código necesario y la ejecución de experimentos hasta el resumen de los resultados experimentales, su visualización y la presentación de sus hallazgos en un manuscrito científico completo”.

Agrandar /

Según este diagrama de bloques creado por Sakana AI, el “científico de la IA” comienza con una “lluvia de ideas” y evalúa la originalidad de las mismas. Luego edita una base de código utilizando lo último en generación automática de código para implementar nuevos algoritmos. Después de realizar experimentos y recopilar datos numéricos y visuales, el científico elabora un informe para explicar los hallazgos. Finalmente, genera una revisión automatizada por pares basada en estándares de aprendizaje automático para refinar el proyecto y orientar las ideas futuras.

Críticos sobre Noticias de hackersun foro en línea conocido por su comunidad de expertos en tecnología, ha expresado su preocupación por The AI ​​Scientist y se pregunta si los modelos de IA actuales pueden realizar verdaderos descubrimientos científicos. Si bien las discusiones allí son informales y no sustituyen la revisión formal por pares, brindan información útil a la luz de la magnitud de las afirmaciones no verificadas de Sakana.

“Como científico en investigación académica, sólo puedo ver esto como algo malo”. escribió Un comentarista de Hacker News llamado zipy124: “Todos los artículos se basan en la confianza de los revisores en los autores de que sus datos son lo que dicen que son y el código que envían hace lo que dice que hace. Permitir que un agente de IA automatice el código, los datos o el análisis requiere que un humano lo revise minuciosamente para detectar errores… esto lleva tanto tiempo o más que la creación inicial en sí, y solo lleva más tiempo si no fuiste tú quien lo escribió”.

Los críticos también se preocupan de que el uso generalizado de tales sistemas pueda llevar a una avalancha de envíos de baja calidad, abrumando a los editores y revisores de revistas, el equivalente científico de pendiente de la IA“Esto parece que sólo fomentará el spam académico”, añadió zipy124. “Lo que ya supone una pérdida de tiempo valioso para los revisores, editores y directores voluntarios (no remunerados)”.

Y eso nos lleva a otro punto: la calidad de los resultados de los científicos de IA: “Los artículos que el modelo parece haber generado son basura”. escribió Un comentarista de Hacker News llamado JBarrow: “Como editor de una revista, probablemente los rechazaría. Como revisor, los rechazaría. Contienen conocimientos novedosos muy limitados y, como era de esperar, citas extremadamente limitadas de trabajos relacionados”.