Los robots permiten que ChatGPT toque el mundo real gracias a Microsoft

La semana pasada, los investigadores de Microsoft Anunciado un marco experimental para controlar robots y drones usando las habilidades de lenguaje de ChatGPT, un popular modelo de lenguaje de IA creado por OpenAI. Usando comandos de lenguaje natural, ChatGPT puede escribir un código especial que controla los movimientos del robot. Luego, un humano ve los resultados y los ajusta según sea necesario hasta que la tarea se complete con éxito.

La investigación llegó en un artículo titulado “ChatGPT para robótica: Principios de diseño y habilidades del modeloescrito por Sai Vemprala, Rogerio Bonatti, Arthur Bucker y Ashish Kapoor del Grupo de Robótica y Sistemas Autónomos de Microsoft.

en un vídeo de demostraciónMicrosoft muestra robots, aparentemente controlados por código escrito por ChatGPT mientras siguen instrucciones humanas, usando un brazo robótico para colocar bloques en un logotipo de Microsoft, volando un dron para inspeccionar el contenido de un estante o encontrando objetos usando un robot con capacidades de visión.

Para lograr que ChatGPT interactúe con la robótica, los investigadores le enseñaron a ChatGPT una API de robótica personalizada. Cuando se le dan instrucciones como “recoger la pelota”, ChatGPT puede generar un código de control robótico tal como escribiría un poema o completaría un ensayo. Después de que un humano inspeccione y edite el código para verificar su precisión y seguridad, el operador humano puede ejecutar la tarea y evaluar su desempeño.

De esta forma, ChatGPT acelera la programación del control robótico, pero no es un sistema autónomo. “Hacemos hincapié en que el uso de ChatGPT para la robótica no es un proceso totalmente automatizado”, dice el documento, “sino que actúa como una herramienta para aumentar la capacidad humana”.

Si bien parece que la mayoría de los comentarios sobre ChatGPT (en términos del éxito o el fracaso de sus acciones) provienen de humanos en forma de texto, los investigadores también afirman haber tenido cierto éxito al introducir datos visuales en ChatGPT. En un ejemplo, los investigadores encargaron a ChatGPT que ordenara a un robot que atrapara una pelota de baloncesto con la retroalimentación de una cámara: “ChatGPT puede estimar la apariencia de la pelota y el cielo en la imagen de la cámara usando código SVG. Este comportamiento sugiere la posibilidad de que el LLM realice un seguimiento de un modelo mundial implícito que vaya más allá de las probabilidades basadas en texto”.

Si bien los resultados parecen rudimentarios por ahora, representan los primeros intentos de aplicar la tecnología más avanzada del momento (modelos de lenguaje grande) al control robótico. Según Microsoft, una interfaz ChatGPT podría abrir la robótica a un público mucho más amplio en el futuro.

“Nuestro objetivo con esta investigación es ver si ChatGPT puede pensar más allá del texto y razonar sobre el mundo físico para ayudar con las tareas de robótica”, se lee en Microsoft Research. entrada en el blog. “Queremos ayudar a las personas a interactuar con los robots más fácilmente, sin necesidad de aprender lenguajes de programación complejos o detalles sobre sistemas robóticos”.