Los investigadores utilizaron una técnica de inteligencia artificial llamada aprendizaje por refuerzo para ayudar a un robot de dos piernas apodado Cassie a correr 400 metros, en diferentes terrenos, y ejecutar saltos largos y altos de pie, sin ser entrenado explícitamente en cada movimiento. El aprendizaje por refuerzo funciona recompensando o penalizando a una IA cuando intenta llevar a cabo un objetivo. En este caso, el enfoque enseñó al robot a generalizar y responder en nuevos escenarios, en lugar de congelarse como pudieron haber hecho sus predecesores.
“Queríamos superar los límites de la agilidad de los robots”, dice Zhongyu Li, estudiante de doctorado de la Universidad de California, Berkeley, que trabajó en el proyecto, que ha aún no ha sido revisado por pares. “El objetivo de alto nivel era enseñar al robot a aprender a realizar todo tipo de movimientos dinámicos como lo hace un humano”.
El equipo utilizó una simulación para entrenar a Cassie, un enfoque que acelera drásticamente el tiempo que lleva aprender (de años a semanas) y permite al robot realizar esas mismas habilidades en el mundo real sin mayores ajustes.
En primer lugar, entrenaron la red neuronal que controlaba a Cassie para dominar una habilidad simple desde cero, como saltar en el lugar, caminar hacia adelante o correr hacia adelante sin caerse. Se enseñó animándolo a imitar los movimientos que se mostraban, que incluían datos de captura de movimiento recopilados de un ser humano y animaciones que demostraban el movimiento deseado.
Una vez completada la primera etapa, el equipo presentó al modelo nuevos comandos que animaban al robot a realizar tareas utilizando sus nuevas habilidades de movimiento. Una vez que adquirió competencia en la realización de las nuevas tareas en un entorno simulado, diversificaron las tareas para las que había sido entrenado mediante un método llamado aleatorización de tareas.
Esto hace que el robot esté mucho más preparado para escenarios inesperados. Por ejemplo, el robot pudo mantener una marcha constante mientras era arrastrado hacia los lados por una correa. “Permitimos que el robot utilizara el historial de lo que observa y se adaptara rápidamente al mundo real”, dice Li.
Cassie completó una carrera de 400 metros en dos minutos y 34 segundos, luego saltó 1,4 metros en salto de longitud sin necesidad de entrenamiento adicional.
Los investigadores ahora planean estudiar cómo se podría utilizar este tipo de técnica para entrenar robots equipados con cámaras a bordo. Esto será más desafiante que completar acciones a ciegas, añade Alan Fern, profesor de informática en la Universidad Estatal de Oregón, que ayudó a desarrollar el robot Cassie pero no participó en este proyecto.
“El siguiente gran paso para este campo son los robots humanoides que hacen trabajo real, planifican actividades y realmente interactúan con el mundo físico de maneras que no son sólo interacciones entre los pies y el suelo”, dice.