Limitaciones virtuales: El aprendizaje por refuerzo se ha utilizado antes para entrenar a los bots a caminar dentro de las simulaciones, pero transferir esa capacidad al mundo real es difícil. “Muchos de los videos que ves de agentes virtuales no son en absoluto realistas”, dice Chelsea Finn, investigadora de inteligencia artificial y robótica de la Universidad de Stanford, que no participó en el trabajo. Pequeñas diferencias entre las leyes físicas simuladas dentro de un entorno virtual y las leyes físicas reales fuera de él, como cómo funciona la fricción entre los pies de un robot y el suelo, pueden provocar grandes fallas cuando un robot intenta aplicar lo que ha aprendido. Un robot pesado de dos piernas puede perder el equilibrio y caerse si sus movimientos se desvían un poco.
Doble simulación: Pero entrenar a un gran robot mediante prueba y error en el mundo real sería peligroso. Para solucionar estos problemas, el equipo de Berkeley utilizó dos niveles de entorno virtual. En el primero, una versión simulada de Cassie aprendió a caminar basándose en una gran base de datos existente de movimientos de robots. Esta simulación se transfirió luego a un segundo entorno virtual llamado SimMechanics que refleja la física del mundo real con un alto grado de precisión, pero a costa de correr más lento que en la vida real. Solo una vez que Cassie parecía caminar bien, se cargó el modelo de caminar aprendido en el robot real.
La verdadera Cassie pudo caminar utilizando el modelo aprendido en la simulación sin ningún ajuste adicional. Podría caminar por terrenos accidentados y resbaladizos, transportar cargas inesperadas y recuperarse de un empujón. Durante las pruebas, Cassie también dañó dos motores en su pierna derecha, pero pudo ajustar sus movimientos para compensar. Finn cree que este es un trabajo emocionante. Edward Johns, quien dirige el Robot Learning Lab en el Imperial College de Londres, está de acuerdo. “Este es uno de los ejemplos más exitosos que he visto”, dice.
El equipo de Berkeley espera usar su enfoque para agregar al repertorio de movimientos de Cassie. Pero no esperes un baile pronto.