Hace dos años, Yuri Burda y Harri Edwards, investigadores de OpenAI, intentaban descubrir qué se necesitaría para conseguir un modelo de lenguaje grande que hiciera aritmética básica. Al principio las cosas no salieron demasiado bien. Los modelos memorizaron las sumas que vieron pero no lograron resolver otras nuevas.
Por accidente, Burda y Edwards dejaron algunos de sus experimentos funcionando durante días en lugar de horas. A los modelos se les mostraron las sumas de ejemplo una y otra vez y, finalmente, aprendieron a sumar dos números; simplemente les había llevado mucho más tiempo del que nadie pensaba.
En ciertos casos, los modelos podrían aparentemente no aprender una tarea y luego, de repente, simplemente lograrla, como si se hubiera encendido una bombilla, un comportamiento que los investigadores llamaron asimilar. Grokking es sólo uno de varios fenómenos extraños que tienen a los investigadores de IA rascándose la cabeza. Los modelos más grandes, y los modelos de lenguaje más grandes en particular, parecen comportarse de maneras que los libros de texto de matemáticas dicen que no deberían hacerlo.
Esto pone de relieve un hecho notable sobre el aprendizaje profundo, la tecnología fundamental detrás del auge actual de la IA: a pesar de su éxito desbocado, nadie sabe exactamente cómo (o por qué) funciona. Lea la historia completa.
—Will Douglas Cielo
Si está interesado en los misterios de la IA, ¿por qué no echa un vistazo?
+ Por qué es tan importante que la IA sea buena en matemáticas y qué significa para el futuro de la tecnología.
+ Lo que nos dice la historia de la IA sobre su futuro. La supercomputadora de ajedrez Deep Blue de IBM fue eclipsada por la revolución de las redes neuronales. Ahora, la máquina puede reírse la última. Lea la historia completa.
+ Lo que la mente de un pulpo puede enseñarnos sobre el misterio último de la IA. La conciencia de la máquina ha sido debatida (y descartada) desde Turing. Sin embargo, todavía da forma a nuestra forma de pensar sobre la IA. Lea la historia completa.