Para desarrollar el sistema, investigadores de la Universidad de Nueva York y Meta probaron Stretch, un robot disponible comercialmente fabricado por Hello Robot que consta de una unidad con ruedas, un poste alto y un brazo retráctil, en un total de 10 habitaciones en cinco casas.
Mientras estaba en una habitación con el robot, un investigador escaneaba su entorno usando Record3D, una aplicación de iPhone que utiliza el sistema lidar del teléfono para tomar un video en 3D y compartirlo con el robot.
Luego, el sistema OK-Robot ejecutó un modelo de detección de objetos de IA de código abierto en los fotogramas del vídeo. Esto, en combinación con otros modelos de código abierto, ayudó al robot a identificar objetos en esa habitación, como un dragón de juguete, un tubo de pasta de dientes y una baraja de cartas, así como ubicaciones alrededor de la habitación, incluidas una silla, una mesa, y un bote de basura.
Luego, el equipo le indicó al robot que recogiera un elemento específico y lo trasladara a una nueva ubicación. El brazo de pinza del robot lo hizo con éxito en el 58,5% de los casos; la tasa de éxito aumentó al 82% en las salas menos abarrotadas. (Su investigación aún no ha sido revisado por pares.)
El reciente auge de la IA ha dado lugar a enormes avances en las capacidades de lenguaje y visión por computadora, lo que ha permitido a los investigadores de robótica acceder a modelos y herramientas de IA de código abierto que no existían ni siquiera hace tres años, dice Matthias Minderer, científico investigador senior de visión por computadora en Google. DeepMind, que no participó en el proyecto.
“Yo diría que es bastante inusual depender completamente de modelos disponibles en el mercado y que es bastante impresionante lograr que funcionen”, afirma.