Las personas que entraban y salían de las fotografías solían estar reservadas para el mundo de Harry Potter. Pero ahora los científicos informáticos de la Universidad de Washington han llevado esa magia a la vida real.
Su algoritmo, Photo Wake-Up, puede tomar a una persona de una foto 2D o una obra de arte y hacer que corran, caminen o salten fuera del cuadro. El sistema también permite a los usuarios ver la animación en tres dimensiones usandoherramientas de realidad. Los investigadores presentarán sus resultados el 19 de junio en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones en Long Beach, California. Esta investigación atrajo la atención de los medios cuando se publicó en forma de preimpresión en diciembre en ArXiv.
"Este es un problema fundamental muy difícil en la visión por computadora", dijo el coautor Ira Kemelmacher-Shlizerman, profesor asociado de la Escuela de Ciencias de la Computación e Ingeniería Paul G. Allen de la Universidad de Washington. "El gran desafío aquí es que el aportees solo desde una sola posición de cámara, por lo que parte de la persona es invisible. Nuestro trabajo combina el avance técnico en un problema abierto en el campo con la visualización creativa artística ".
Anteriormente, los investigadores pensaron que sería imposible animar a una persona que se queda sin una sola foto.
"Hay algunos trabajos previos que intentan crear un personaje 3D usando múltiples puntos de vista", dijo el coautor Brian Curless, profesor de la Escuela Allen. "Pero aún no se podía dar vida a alguien y hacer que se quedaran sin él".de una escena, y no podías incorporar AR a ella. Fue realmente sorprendente que pudiéramos obtener algunos resultados convincentes con solo usar una foto ".
El equipo dice que las aplicaciones de Photo Wake-Up son numerosas. Los investigadores imaginan que esto podría conducir a una nueva forma para que los jugadores creen avatares que realmente se parezcan a ellos, un método para que los visitantes interactúen con pinturas en un museo de arte -- digamos sentarse a tomar el té con Mona Lisa - o algo que les permita a los niños dar vida a sus dibujos. Ejemplos en el trabajo de investigación incluyen animar a Stephen Curry de los Golden State Warriors a salir corriendo de la cancha, Paul McCartney a saltar.portada del álbum "¡Ayuda!" y "Icarus" de Matisse para dejar su marco.
Para hacer realidad la magia, Photo Wake-Up comienza identificando a una persona en una imagen y haciendo una máscara del contorno del cuerpo. A partir de ahí, hace coincidir una plantilla 3D con la posición del cuerpo del sujeto. Luego, el algoritmo hace algo sorprendente: Para deformar la plantilla de modo que realmente se vea como la persona en la foto, proyecta a la persona 3D nuevamente en 2D.
"Es muy difícil manipular en 3D con precisión", dijo el coautor Chung-Yi Weng, un estudiante de doctorado en la Escuela Allen. "Tal vez puedas hacerlo más o menos, pero cualquier error será obvio cuando animes al personaje".Así que tenemos que encontrar una manera de manejar las cosas perfectamente, y es más fácil hacerlo en 2D "
Photo Wake-Up almacena información en 3D para cada píxel: su distancia de la cámara o el artista y cómo se conectan las articulaciones de una persona. Una vez que la plantilla se ha deformado para que coincida con la forma de la persona, el algoritmo pega la textura: elcolores de la imagen. También genera la espalda de la persona mediante el uso de información de la imagen y la plantilla 3D. Luego, la herramienta une los dos lados para hacer que una persona 3D pueda darse la vuelta.
Una vez que el personaje 3D está listo para ejecutarse, el algoritmo necesita configurar el fondo para que el personaje no deje un espacio en blanco. Photo Wake-Up llena el hueco detrás de la persona al tomar prestada información de otras partes dela imagen.
En este momento Photo Wake-Up funciona mejor con imágenes de personas mirando hacia adelante, y puede animar creaciones artísticas y fotografías de personas reales. El algoritmo también puede manejar algunas fotos donde los brazos de las personas bloquean parte de sus cuerpos, pero no es asípero capaz de animar a las personas que tienen las piernas cruzadas o que bloquean grandes partes de sí mismos.
"Photo Wake-Up es una nueva forma de interactuar con las fotos", dijo Weng. "Todavía no puede hacer todo, pero esto es solo el comienzo".
Esta investigación fue financiada por la National Science Foundation, UW Animation Research, UW Reality Lab, Facebook, Huawei y Google.
Fuente de la historia :
Materiales proporcionado por Universidad de Washington . Original escrito por Sarah McQuate. Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :