A veces, las fotos no pueden capturar realmente una escena. ¿Cuánto más épica sería esa foto de las vacaciones de las Cataratas del Niágara si el agua se estuviera moviendo?
Investigadores de la Universidad de Washington han desarrollado un método de aprendizaje profundo que puede hacer precisamente eso: si se le da una sola foto de una cascada, el sistema crea un video que muestra esa cascada de agua. Todo lo que falta es el rugido del agua yla sensación del aerosol en la cara.
El método del equipo puede animar cualquier material que fluya, incluidos el humo y las nubes. Esta técnica produce un video corto que se repite sin problemas, dando la impresión de un movimiento sin fin. Los investigadores presentarán este enfoque el 22 de junio en la Conferencia sobre Visión por Computadora y Reconocimiento de Patrones.
"Una imagen captura un momento congelado en el tiempo. Pero una gran cantidad de información se pierde en una imagen estática. ¿Qué llevó a este momento y cómo están cambiando las cosas? Piense en la última vez que se encontró obsesionado con algo realmente interesante:- lo más probable es que no fue totalmente estático ", dijo el autor principal Aleksander Holynski, estudiante de doctorado en la Escuela de Ingeniería y Ciencias de la Computación Paul G. Allen.
"Lo que tiene de especial nuestro método es que no requiere ninguna entrada del usuario o información adicional", dijo Holynski. "Todo lo que necesita es una imagen. Y produce como salida un video de alta resolución y en bucle sin interrupciones que con bastante frecuenciaparece un video real ".
Desarrollar un método que convierta una sola foto en un video creíble ha sido un desafío para el campo.
"Efectivamente requiere que usted prediga el futuro", dijo Holynski. "Y en el mundo real, hay posibilidades casi infinitas de lo que podría suceder a continuación".
El sistema del equipo consta de dos partes: primero, predice cómo se movían las cosas cuando se tomó una foto y luego usa esa información para crear la animación.
Para estimar el movimiento, el equipo entrenó una red neuronal con miles de videos de cascadas, ríos, océanos y otros materiales con movimiento fluido. El proceso de entrenamiento consistió en pedirle a la red que adivinara el movimiento de un video cuando solo se le dio el primer cuadro. Después de comparar su predicción con el video real, la red aprendió a identificar pistas ondas en una transmisión, por ejemplo para ayudarlo a predecir lo que sucedió a continuación. Luego, el sistema del equipo usa esa información para determinar si cada píxel deberíamoverse.
Los investigadores intentaron utilizar una técnica llamada "salpicadura" para animar la foto. Este método mueve cada píxel de acuerdo con su movimiento predicho. Pero esto creó un problema.
"Piense en una cascada que fluye", dijo Holynski. "Si simplemente mueve los píxeles hacia abajo de la cascada, después de algunos fotogramas del video, ¡no tendrá píxeles en la parte superior!"
Entonces el equipo creó "salpicaduras simétricas". Básicamente, el método predice tanto el futuro como el pasado de una imagen y luego los combina en una animación.
"Mirando hacia atrás en el ejemplo de la cascada, si nos movemos hacia el pasado, los píxeles subirán por la cascada. Entonces comenzaremos a ver un agujero cerca del fondo", dijo Holynski. "Integramos información de ambas animacionespor lo que nunca hay agujeros evidentemente grandes en nuestras imágenes deformadas ".
Finalmente, los investigadores querían que su animación se repitiera sin problemas para crear una apariencia de movimiento continuo. La red de animación sigue algunos trucos para mantener las cosas limpias, incluida la transición de diferentes partes del cuadro en diferentes momentos y decidir qué tan rápido o lento mezclarcada píxel dependiendo de su entorno.
El método del equipo funciona mejor para objetos con un movimiento fluido predecible. Actualmente, la tecnología tiene dificultades para predecir cómo deben moverse los reflejos o cómo el agua distorsiona la apariencia de los objetos debajo de ella.
"Cuando vemos una cascada, sabemos cómo debe comportarse el agua. Lo mismo ocurre con el fuego o el humo. Este tipo de movimientos obedecen al mismo conjunto de leyes físicas y, por lo general, hay señales en la imagen que nos dicen cómolas cosas deberían moverse ", dijo Holynski." Nos encantaría extender nuestro trabajo para operar en una gama más amplia de objetos, como animar el cabello de una persona al viento. Espero que eventualmente las imágenes que compartimos con nuestroslos amigos y la familia no serán imágenes estáticas. En su lugar, todas serán animaciones dinámicas como las que produce nuestro método ".
Método de visualización de video: http://www.youtube.com/watch?v=4zKliOMilGY
Fuente de la historia :
Materiales proporcionado por Universidad de Washington . Original escrito por Sarah McQuate. Nota: el contenido se puede editar por estilo y longitud.
cite esta página :