Investigadores del Instituto de Tecnología de Tokio Tokyo Tech y la Universidad Carnegie Mellon han desarrollado juntos un nuevo sistema de captura de movimiento humano que consiste en una sola cámara de ojo de pez ultra ancha montada en el pecho del usuario. La simplicidad de su sistema podría conducir auna amplia gama de aplicaciones en los campos deportivo, médico y de entretenimiento.
Las tecnologías basadas en la visión por computadora están avanzando rápidamente debido a los desarrollos recientes en la integración del aprendizaje profundo. En particular, la captura de movimiento humano es un área de investigación muy activa que impulsa avances, por ejemplo, en robótica, animación generada por computadora y ciencias del deporte.
Los sistemas de captura de movimiento convencionales en estudios especialmente equipados generalmente se basan en tener varias cámaras sincronizadas colocadas en el techo y las paredes que capturan los movimientos de una persona que usa un traje de cuerpo equipado con numerosos sensores. Estos sistemas a menudo son muy costosos y limitados en términos deespacio y entorno en el que el usuario puede moverse.
Ahora, un equipo de investigadores dirigido por Hideki Koike en Tokyo Tech presenta un nuevo sistema de captura de movimiento que consiste en una sola cámara ultra ancha de ojo de pez montada en el pecho del usuario. Su diseño no solo supera las limitaciones de espacio de los sistemas existentes, sino quetambién rentable.
Con el nombre de MonoEye, el sistema puede capturar el movimiento del cuerpo del usuario, así como la perspectiva del usuario, o 'viewport'. "Nuestra lente ojo de pez ultra ancha tiene un campo de visión de 280 grados y puede capturar las extremidades del usuario,cara y el entorno circundante ", dicen los investigadores.
Para lograr una captura de movimiento multimodal robusta, el sistema ha sido diseñado con tres redes neuronales profundas capaces de estimar la pose del cuerpo en 3D, la pose de la cabeza y la pose de la cámara en tiempo real.
Los investigadores ya han entrenado estas redes neuronales con un extenso conjunto de datos sintéticos que consta de 680.000 representaciones de personas con una variedad de formas corporales, ropa, acciones, condiciones de fondo e iluminación, así como 16.000 fotogramas de imágenes fotorrealistas.
Sin embargo, persisten algunos desafíos debido a la inevitable brecha de dominio entre los conjuntos de datos sintéticos y del mundo real. Los investigadores planean seguir expandiendo su conjunto de datos con imágenes más fotorrealistas para ayudar a minimizar esta brecha y mejorar la precisión.
Los investigadores prevén que la cámara montada en el pecho podría transformarse en un accesorio cotidiano, como un clip de corbata, un broche o un equipo deportivo en el futuro.
El trabajo del equipo se presentará en el 33 ° Simposio de ACM sobre software y tecnología de interfaz de usuario UIST, un foro líder para innovaciones en interfaces hombre-computadora, que se celebrará virtualmente del 20 al 23 de octubre de 2020.
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Tokio . Nota: el contenido se puede editar por estilo y longitud.
cite esta página :