DeepMind compara el descubrimiento de AlphaDev con uno de los movimientos extraños pero ganadores de AlphaGo en su partido de Go contra el gran maestro Lee Sedol en 2016. “Todos los expertos observaron este movimiento y dijeron: ‘Esto no es lo correcto. Esta es una mala jugada’”, dice Mankowitz. “Pero en realidad fue el movimiento correcto, y AlphaGo terminó no solo ganando el juego, sino también influyendo en las estrategias que los jugadores profesionales de Go comenzaron a usar”.
Sanders está impresionado, pero no cree que los resultados deban exagerarse. “Estoy de acuerdo en que las técnicas de aprendizaje automático están cambiando cada vez más las reglas del juego en la programación, y todos esperan que las IA pronto puedan inventar nuevos y mejores algoritmos”, dice. “Pero aún no hemos llegado a ese punto”.
Por un lado, Sanders señala que AlphaDev solo usa un subconjunto de las instrucciones disponibles en el ensamblaje. Muchos algoritmos de clasificación existentes usan instrucciones que AlphaDev no probó, dice. Esto hace que sea más difícil comparar AlphaDev con los mejores enfoques rivales.
Es cierto que AlphaDev tiene sus límites. El algoritmo más largo que produjo tenía 130 instrucciones, para clasificar una lista de hasta cinco elementos. En cada paso, AlphaDev seleccionó entre 297 posibles instrucciones de ensamblaje (entre muchas más). “Más allá de 297 instrucciones y juegos de ensamblaje de más de 130 instrucciones, el aprendizaje se volvió lento”, dice Mankowitz.
Esto se debe a que incluso con 297 instrucciones (o movimientos de juego), la cantidad de algoritmos posibles que AlphaDev podría construir es mayor que la cantidad posible de juegos de ajedrez (10120) y el número de átomos en el universo (alrededor de 1080).
Para algoritmos más largos, el equipo planea adaptar AlphaDev para que funcione con instrucciones C++ en lugar de ensamblaje. Con un control menos detallado, AlphaDev podría pasar por alto ciertos atajos, pero el enfoque sería aplicable a una gama más amplia de algoritmos.
A Sanders también le gustaría ver una comparación más exhaustiva con los mejores enfoques ideados por humanos, especialmente para algoritmos más largos. DeepMind dice que eso es parte de su plan. Mankowitz quiere combinar AlphaDev con los mejores métodos ideados por humanos, haciendo que la IA se base en la intuición humana en lugar de empezar desde cero.
Después de todo, es posible que se encuentren más aceleraciones. “Para que un ser humano haga esto, requiere una experiencia significativa y una gran cantidad de horas, tal vez días, tal vez semanas, para revisar estos programas e identificar mejoras”, dice Mankowitz. “Como resultado, no se ha intentado antes”.