** Un algoritmo para enseñar a los robots a aprender estrategias de manipulación antes del agarre.

Un algoritmo para enseñar a los robots estrategias de manipulación previas al agarre

Crédito: Berscheid, Meissner y Kr 枚 ger.

Cuando los seres humanos se estiran para agarrar un objeto dado, a menudo necesitan empujar el desorden fuera del camino para aislarlo y asegurarse de que haya suficiente espacio para levantarlo. Aunque los humanos no siempre son completamente conscientes de que lo están haciendo, esta estrategia, conocida como “manipulación previa al agarre”, les permite agarrar objetos de manera más eficiente.

En los últimos años, varios investigadores han intentado reproducir estrategias de manipulación humana en robots, pero pocos estudios se han centrado en la manipulación previa al agarre. Con esto en mente, un equipo de investigadores del Instituto de Tecnología de Karlsruhe (KIT) ha desarrollado recientemente un algoritmo que se puede utilizar para entrenar robots en estrategias de manipulación pre-agarre y pre-agarre. Este nuevo enfoque se presentó en un artículo publicado previamente en arXiv.

“Si bien el agarre es una tarea bien entendida en robótica, la manipulación dirigida previa al agarre sigue siendo muy desafiante”, dijo a TechXplore Lars Berscheid, uno de los investigadores que llevó a cabo el estudio. “Esto hace que sea muy difícil para los robots agarrar objetos fuera del desorden o espacios reducidos en este momento. Sin embargo, con las innovaciones recientes en el aprendizaje de máquinas y robots, los robots pueden aprender a resolver varias tareas al interactuar con su entorno. En este estudio , queríamos aplicar un enfoque que presentamos en nuestro trabajo anterior no solo para el agarre, sino también para la manipulación previa al agarre “.

** Un algoritmo para enseñar a los robots a aprender estrategias de manipulación antes del agarre.
Crédito: Berscheid, Meissner y Kr 枚 ger.

Cuando un robot está aprendiendo a completar una determinada tarea, esencialmente necesita descubrir cómo resolver un problema maximizando sus recompensas. En su estudio, los investigadores se centraron en una tarea que implicaba agarrar objetos de un contenedor lleno al azar.

El robot fue entrenado sobre cómo agarrar objetos durante aproximadamente 80 horas, utilizando la información de una cámara y la retroalimentación de su pinza. Cuando sostuvo con éxito un objeto en su pinza robótica, obtuvo una recompensa. El algoritmo desarrollado por Berscheid y sus colegas lleva el entrenamiento del robot un paso más allá, permitiéndole adquirir también útiles para pre-agarrar estrategias de manipulación, como cambiar o empujar.

“La idea clave de nuestro trabajo fue extender las acciones de agarre mediante la introducción de movimientos adicionales de desplazamiento o empuje”, explicó Berscheid. “Luego, el robot puede decidir qué acción aplicar en diferentes situaciones. Entrenar a los robots en realidad es muy complicado: primero, lleva mucho tiempo, por lo que el entrenamiento en sí debe automatizarse y auto-supervisarse, y segundo, muchas cosas inesperadas puede suceder si el robot explora su entorno. Al igual que otras técnicas de aprendizaje automático, el aprendizaje del robot siempre está limitado por el consumo de datos. En otras palabras, nuestro trabajo está conectado a dos preguntas de investigación muy desafiantes: ¿Cómo puede un robot aprender tan rápido como posible y ¿qué tareas puede aprender un robot utilizando los conocimientos descubiertos? “

** Un algoritmo para enseñar a los robots a aprender estrategias de manipulación antes del agarre.
Crédito: Berscheid, Meissner y Kr 枚 ger.

Como Berscheid continúa explicando, un robot puede aprender de manera más eficiente si recibe retroalimentación directa después de cada acción que realiza, ya que esto supera el problema de las recompensas escasas. En otras palabras, cuanta más retroalimentación se le brinde a un robot (es decir, más recompensas recibe por acciones exitosas), más rápida y eficazmente aprende cómo completar una tarea determinada.

“Esto suena fácil, pero a veces es complicado de implementar: por ejemplo, ¿cómo se define la calidad de una manipulación previa al agarre?” Dijo Berscheid.

El enfoque propuesto por los investigadores se basa en un estudio previo que investigó el uso de diferencias en la captación de probabilidades antes y después de una acción en particular, centrándose en un área pequeña alrededor de donde se realiza la acción. En su nuevo estudio, Berscheid y sus colegas también intentaron descubrir acciones que un robot debería intentar aprender lo más rápido posible.

Crédito: Berscheid, Meissner y Kr 枚 ger.

“Este es el conocido problema de la exploración en el aprendizaje de robots”, explicó Berscheid. “Definimos una estrategia de exploración que maximiza la autoinformación o minimiza la incertidumbre de las acciones y se puede calcular de manera muy eficiente”.

El algoritmo presentado por los investigadores permite que un robot aprenda la pose óptima para acciones previas al agarre, como sujetar o cambiar, así como cómo realizar estas acciones para aumentar la probabilidad de agarre exitoso. Su enfoque hace que una acción particular (es decir, cambiar) dependa de la otra (es decir, agarrar), lo que finalmente elimina la necesidad de recompensas escasas y permite un aprendizaje más eficiente.

Los investigadores aplicaron su algoritmo a un brazo robótico de Franka y luego evaluaron su desempeño en una tarea que implica recoger objetos de un contenedor hasta que esté completamente vacío. Entrenaron el sistema usando 25,000 diferentes acciones de agarre y 2,500 cambios. Sus hallazgos fueron muy prometedores, con el brazo robótico agarrando y archivando con éxito tanto los objetos con los que estaba familiarizado como otros que nunca antes había encontrado.

Crédito: Berscheid, Meissner y Kr 枚 ger.

“Encuentro dos resultados de nuestro trabajo particularmente emocionantes”, dijo Berscheid. “Primero, creemos que este trabajo realmente muestra la capacidad de aprendizaje de los robots. En lugar de programar cómo hacer algo, le decimos al robot qué hacer y debe descubrir cómo hacerlo por sí mismo. En este sentido, Pudimos aplicar y generalizar los métodos que hemos desarrollado para agarrar hacia la manipulación previa al agarre. En segundo lugar, y de relevancia más práctica, esto podría ser muy útil en la automatización de muchas tareas industriales, particularmente para la recolección de contenedores, donde el robot debe poder vaciar el contenedor completamente por sí solo “.

En el futuro, el enfoque desarrollado por Berscheid y sus colegas podría aplicarse a otras plataformas robóticas, mejorando sus habilidades de pre-agarre y manipulación. Los investigadores ahora planean realizar más estudios que exploren otras preguntas de investigación.

Por ejemplo, hasta ahora su enfoque solo permite que el brazo robótico de Frank agarre objetos con una mano erguida, utilizando lo que se conoce como “agarres planos”. A los investigadores les gustaría ampliar su algoritmo para permitir también agarres laterales, mediante la introducción de más parámetros y el uso de datos de entrenamiento adicionales. Según Berscheid, el principal desafío a la hora de intentar conseguirlo será conseguir que el robot adquiera agarres laterales manteniendo constante el número de intentos de agarre que realiza durante la fase de entrenamiento.

“Además, agarrar objetos es a menudo parte de una tarea de alto nivel, por ejemplo, queremos colocar el objeto en una posición específica”, dijo Berscheid. “¿Cómo podemos ubicar un objeto desconocido con precisión? Creo que la respuesta a esta pregunta es muy importante para abordar tanto las aplicaciones industriales como las nuevas en la robótica de servicios. En nuestro proyecto queremos mantener el enfoque en el aprendizaje de robots del mundo real, uniendo el brecha entre ejemplos de juguetes en la investigación y aplicaciones complejas del mundo real “.


Similar Posts

Leave a Reply