Mientras que otros tipos de IA, como los grandes modelos de lenguaje, se entrenan en enormes depósitos de datos extraídos de Internet, no se puede hacer lo mismo con los robots, porque los datos deben recopilarse físicamente. Esto hace que sea mucho más difícil crear y escalar bases de datos de capacitación.
De manera similar, si bien es relativamente fácil entrenar robots para ejecutar tareas dentro de un laboratorio, estas condiciones no necesariamente se traducen en la desordenada imprevisibilidad de un hogar real.
Para combatir estos problemas, el equipo ideó una forma sencilla y fácilmente replicable de recopilar los datos necesarios para entrenar. Dobb-E—usando un iPhone conectado a un palo de agarre, del tipo que se usa normalmente para recoger basura. Luego configuraron el iPhone para grabar videos de lo que estaba sucediendo.
Los voluntarios en 22 hogares de Nueva York completaron ciertas tareas usando el palo, incluyendo abrir y cerrar puertas y cajones, encender y apagar luces y colocar pañuelos en la basura. Los sistemas lidar, sensores de movimiento y giroscopios de los iPhone se utilizaron para registrar datos sobre movimiento, profundidad y rotación, información importante cuando se trata de entrenar a un robot para que replique las acciones por sí solo.
Después de recopilar solo 13 horas de grabaciones en total, el equipo utilizó los datos para entrenar un modelo de IA para instruir a un robot sobre cómo llevar a cabo las acciones. El modelo utilizó técnicas de aprendizaje autosupervisadas, que enseñan a las redes neuronales a detectar patrones en conjuntos de datos por sí mismas, sin guiarse por ejemplos etiquetados.
El siguiente paso implicó probar con qué confiabilidad un robot disponible comercialmente llamado Stretch, que consta de una unidad con ruedas, un poste alto y un brazo retráctil, podía utilizar el sistema de inteligencia artificial para ejecutar las tareas. Se adjuntó al brazo de Stretch un iPhone sostenido en un soporte impreso en 3D para replicar la configuración del dispositivo.
Los investigadores probaron el robot en 10 hogares de Nueva York durante 30 días y completó 109 tareas domésticas con una tasa de éxito general del 81%. Por lo general, a Dobb-E le tomó alrededor de 20 minutos aprender cada tarea: cinco minutos de demostración de un humano usando el dispositivo y el iPhone conectado, seguidos de 15 minutos de ajuste fino, cuando el sistema comparó su entrenamiento anterior con la nueva demostración.