Traducir los movimientos esqueléticos, articulación por articulación
Cada cuerpo humano es único, y la forma en que el cuerpo de una persona se mueve naturalmente depende de una miríada de factores, incluida la altura, el peso, el tamaño y la forma general. Un equipo global de científicos informáticos ha desarrollado un nuevo marco de aprendizaje profundo que automatiza la traducción precisa del movimiento humano, teniendo en cuenta específicamente la amplia gama de estructuras esqueléticas y articulaciones.
¿El final resulto? Un marco perfecto, mucho más flexible y universal para replicar el movimiento humano en el mundo virtual.
El equipo de investigadores proviene de AICFVE, la Academia de Cine de Beijing, ETH Zurich, la Universidad Hebrea de Jerusalén, la Universidad de Pekín y la Universidad de Tel Aviv, y planea demostrar su trabajo durante SIGGRAPH 2020. La conferencia, que tendrá lugar prácticamente este año a partir de El 17 de agosto, reúne una red de destacados profesionales que abordan la infografía y las técnicas interactivas desde diferentes perspectivas. SIGGRAPH continúa sirviendo como el lugar principal de la industria para exhibir ideas e investigaciones con visión de futuro. Ya está disponible la inscripción para la conferencia virtual.
La captura del movimiento de los humanos sigue siendo un campo floreciente y emocionante en la animación por computadora y la interacción persona-computadora. La tecnología de captura de movimiento (mocap), particularmente en la realización de películas y efectos visuales, ha hecho posible dar vida a personajes animados o actores digitales. Los sistemas Mocap generalmente requieren que el intérprete o actor use un conjunto de marcadores o sensores que capturan computacionalmente sus movimientos y poses de esqueleto tridimensional. Lo que sigue siendo un desafío en mocap es la capacidad de transferir con precisión el movimiento, también conocido como ‘retargeting de movimiento’, entre esqueletos humanos, donde los esqueletos pueden diferir en su estructura dependiendo de la cantidad de huesos y articulaciones involucradas.
Hasta la fecha, los sistemas mocap no han tenido éxito en la reorientación de esqueletos con diferentes estructuras de una manera totalmente automatizada. Los errores se introducen normalmente en posiciones en las que no se puede especificar la correspondencia conjunta. El equipo se propuso abordar este problema específico y demostrar que el marco puede replicar con precisión el retargeting de movimiento sin especificar un emparejamiento explícito entre los diferentes conjuntos de datos.
“Nuestro desarrollo es esencial para usar datos de múltiples conjuntos de datos de mocap que se capturan con diferentes sistemas dentro de un solo modelo”, compartió Kfir Aberman, autor principal del trabajo e investigador de AICFVE en la Academia de Cine de Beijing. “Esto permite el entrenamiento de modelos más sólidos basados en datos que son independientes de la configuración para diversas tareas de procesamiento de movimiento”.
El nuevo marco de procesamiento de movimiento del equipo contiene operadores especiales diseñados exclusivamente para datos de movimiento. El marco es general y se puede utilizar para varias tareas de procesamiento de movimiento. En particular, los investigadores explotan sus propiedades especiales para resolver un problema práctico en el mundo de los mocap, lo que hace que su novedoso método sea ampliamente aplicable.
“Estoy particularmente entusiasmado con la capacidad de nuestro enfoque para codificar el movimiento en un espacio latente abstracto e independiente del esqueleto”, dijo Dani Lischinski, coautor del trabajo y profesor de la Facultad de Ciencias de la Computación e Ingeniería de la Universidad Hebrea de Jerusalén, dijo. “Una dirección fascinante para el trabajo futuro sería permitir la transferencia de movimiento entre personajes fundamentalmente diferentes, como bípedos y cuadrúpedos”.
Además de Aberman y Lischinski, los colaboradores de “Redes conscientes de esqueletos para el retargeting de movimiento profundo” incluyen a Peizhuo Li, Olga Sorkine-Hornung, Daniel Cohen-Or y Baoquan Chen. El documento y el video del equipo se pueden encontrar aquí y aquí.
