El nuevo modelo, llamado RFM-1, se entrenó con años de datos recopilados de la pequeña flota de robots de recolección de artículos de Covariant que clientes como Crate & Barrel y Bonprix utilizan en almacenes de todo el mundo, así como palabras y videos de Internet. En los próximos meses, el modelo se lanzará a los clientes de Covariant. La compañía espera que el sistema sea más capaz y eficiente a medida que se implemente en el mundo real.
Entonces, ¿qué puede hacer? En una demostración a la que asistí la semana pasada, los cofundadores de Covariant, Peter Chen y Pieter Abbeel, me mostraron cómo los usuarios pueden activar el modelo utilizando cinco tipos diferentes de entrada: texto, imágenes, vídeo, instrucciones del robot y medidas.
Por ejemplo, muéstrele la imagen de un contenedor lleno de equipamiento deportivo y dígale que recoja el paquete de pelotas de tenis. Luego, el robot puede agarrar el artículo, generar una imagen de cómo se verá el contenedor después de que se acaben las pelotas de tenis o crear un video que muestre una vista aérea de cómo se verá el robot al realizar la tarea.
Si el modelo predice que no podrá agarrar adecuadamente el objeto, podría incluso responder: “No puedo agarrarlo bien. ¿Tiene algún consejo?” Una respuesta podría recomendarle que utilice un número específico de ventosas en sus brazos para poder agarrarlo mejor: ocho versus seis, por ejemplo.
Esto representa un gran paso adelante, me dijo Chen, en robots que pueden adaptarse a su entorno utilizando datos de entrenamiento en lugar del código complejo y específico de tareas que impulsó la generación anterior de robots industriales. También es un paso hacia lugares de trabajo donde los gerentes puedan dar instrucciones en lenguaje humano sin preocuparse por las limitaciones del trabajo humano. (“Empaque 600 kits de preparación de comidas para pasta con pimiento rojo usando la siguiente receta. ¡No tome descansos!”)
Lerrel Pinto, un investigador que dirige el laboratorio de robótica e inteligencia artificial de uso general en la Universidad de Nueva York y no tiene vínculos con Covariant, dice que aunque los robóticos han construido robots multimodales básicos antes y los han utilizado en entornos de laboratorio, implementar uno a escala que sea capaz Comunicarse en tantos modos marca una hazaña impresionante para la empresa.
Para superar a sus competidores, Covariant tendrá que conseguir suficientes datos para que el robot sea útil en la naturaleza, me dijo Pinto. Los pisos de los almacenes y los muelles de carga son los lugares donde se pondrá a prueba, interactuando constantemente con nuevas instrucciones, personas, objetos y entornos.
“Los grupos que van a entrenar buenos modelos serán los que tendrán acceso a grandes cantidades de datos de robots o capacidades para generar esos datos”, afirma.