Tomó hasta la década de 2010 para que el poder de las redes neuronales entrenadas a través de la retropropagación tuviera un impacto real. Trabajando con un par de estudiantes graduados, Hinton demostró que su técnica era mejor que cualquier otra para hacer que una computadora identificara objetos en imágenes. También entrenaron una red neuronal para predecir las siguientes letras en una oración, un precursor de los grandes modelos de lenguaje actuales.
Uno de estos estudiantes de posgrado fue Ilya Sutskever, quien pasó a ser cofundador de OpenAI y lideró el desarrollo de ChatGPT. “Tuvimos los primeros indicios de que esto podría ser increíble”, dice Hinton. “Pero ha llevado mucho tiempo asimilar que debe hacerse a gran escala para que sea bueno”. En la década de 1980, las redes neuronales eran una broma. La idea dominante en ese momento, conocida como IA simbólica, era que la inteligencia implicaba el procesamiento de símbolos, como palabras o números.
Pero Hinton no estaba convencido. Trabajó en redes neuronales, abstracciones de software de cerebros en las que las neuronas y las conexiones entre ellas están representadas por código. Al cambiar la forma en que se conectan esas neuronas, cambiando los números que se usan para representarlas, la red neuronal se puede reconfigurar sobre la marcha. En otras palabras, se puede hacer que aprenda.
“Mi padre era biólogo, así que pensaba en términos biológicos”, dice Hinton. “Y el razonamiento simbólico claramente no está en el centro de la inteligencia biológica.
“Los cuervos pueden resolver acertijos y no tienen lenguaje. No lo hacen almacenando cadenas de símbolos y manipulándolos. Lo están haciendo cambiando la fuerza de las conexiones entre las neuronas en su cerebro. Y, por lo tanto, tiene que ser posible aprender cosas complicadas cambiando la fuerza de las conexiones en una red neuronal artificial”.
Una nueva inteligencia
Durante 40 años, Hinton ha visto las redes neuronales artificiales como un pobre intento de imitar a las biológicas. Ahora cree que eso ha cambiado: al tratar de imitar lo que hacen los cerebros biológicos, piensa, hemos encontrado algo mejor. “Da miedo cuando ves eso”, dice. “Es un giro repentino”.
Los temores de Hinton sorprenderán a muchos como material de ciencia ficción. Pero aquí está su caso.
Como sugiere su nombre, los modelos de lenguaje grandes están hechos de redes neuronales masivas con una gran cantidad de conexiones. Pero son diminutos en comparación con el cerebro. “Nuestros cerebros tienen 100 billones de conexiones”, dice Hinton. “Los modelos de lenguaje grande tienen hasta medio billón, un billón como máximo. Sin embargo, GPT-4 sabe cientos de veces más que cualquier persona. Así que tal vez en realidad tenga un algoritmo de aprendizaje mucho mejor que el nuestro”.