Los métodos computacionales de Monte Carlo están detrás de muchas de las imágenes realistas en juegos y películas. Automatizan las complejidades en la simulación de la física de luces y cámaras para generar representaciones de alta calidad a partir de muestras de diversas imágenes y escenas. Pero el proceso de MonteEl procesamiento de Carlo es lento y puede tomar horas, o incluso días, para producir una sola imagen, y a menudo los resultados aún están pixelados o son "ruidosos".
Un equipo global de informáticos del MIT, Adobe y la Universidad de Aalto ha desarrollado un método innovador para producir imágenes y diseños de escenas de mayor calidad en mucho menos tiempo mediante el uso de un enfoque basado en el aprendizaje profundo que reduce considerablemente el ruido en las imágenesSu método da como resultado imágenes más nítidas que capturan de manera efectiva detalles intrincados de las características de la muestra, incluidos componentes de iluminación complejos como sombreado, iluminación indirecta, desenfoque de movimiento y profundidad de campo.
Los investigadores están listos para presentar su trabajo en SIGGRAPH 2019, celebrado del 28 de julio al 1 de agosto en Los Ángeles. Esta reunión anual muestra a los principales profesionales, académicos y mentes creativas del mundo a la vanguardia de los gráficos por computadora y las técnicas interactivas.
"Nuestro algoritmo puede producir imágenes limpias a partir de imágenes de entrada ruidosas con muy pocas muestras, y podría ser útil para producir vistas previas rápidas mientras se itera en el diseño de la escena", dice el autor principal del estudio Michaël Gharbi, científico investigador de Adobe. Gharbi comenzó la investigacióncomo estudiante de doctorado en el MIT en el laboratorio de Frédo Durand, quien también es coautor.
El trabajo del equipo se centra en la llamada "eliminación de ruido", una técnica de postprocesamiento para reducir el ruido de la imagen en el renderizado de Monte Carlo. Esencialmente retiene los detalles de una imagen y elimina todo lo que resta valor a su nitidez. En trabajos anteriores, la computadoraLos científicos han desarrollado métodos que suavizan el ruido tomando el promedio de los píxeles en una imagen de muestra y los píxeles vecinos.
"Esto funciona razonablemente bien, y varias películas realmente lo han usado en producción", señala el coautor Tzu-Mao Li, un recién graduado de doctorado del MIT que también estudió con Durand. "Sin embargo, si las imágenes son demasiado ruidosas, a menudo ellos métodos de postprocesamiento no pueden recuperar imágenes limpias y nítidas. Por lo general, los usuarios aún necesitan cientos de muestras por píxel en promedio para obtener una imagen con una calidad razonable, un proceso tedioso y lento ".
Algo comparable es el proceso de edición de una foto en un programa de software de gráficos. Si un usuario no está trabajando desde el archivo original sin procesar, las versiones alteradas de la foto probablemente no den como resultado una imagen final clara, nítida y de alta resoluciónUn problema similar pero más complejo es la eliminación de ruido de la imagen.
Para este fin, el nuevo método computacional de los investigadores implica trabajar directamente con las muestras de Monte Carlo, en lugar de imágenes ruidosas promedio donde la mayoría de la información ya se ha perdido. A diferencia de los métodos típicos de aprendizaje profundo que tratan con imágenes o videos, los investigadores demuestranun nuevo tipo de red convolucional que puede aprender a reemplazar las representaciones directamente del conjunto sin procesar de muestras de Monte Carlo en lugar de las representaciones reducidas basadas en píxeles.
Una parte clave de su trabajo es un nuevo marco computacional de predicción del núcleo que "salpica" muestras individuales - colores y texturas - en píxeles cercanos para agudizar la composición general de la imagen. En el procesamiento tradicional de imágenes, se utiliza un núcleopara desenfoque o nitidez. Las salpicaduras son una técnica que aborda los problemas de desenfoque de movimiento o profundidad de campo y facilita la nivelación de un área pixelada de una muestra.
En este trabajo, el algoritmo de salpicadura del equipo genera un núcleo 2D para cada muestra y "salpica" la muestra en la imagen. "Argumentamos que esta es una forma más natural de hacer el procesamiento posterior", dice Li.el equipo capacitó a su red utilizando un generador de escenas aleatorias y probó exhaustivamente su método en una variedad de escenas realistas, incluidos varios escenarios de iluminación, como la iluminación indirecta y directa.
"Nuestro método proporciona resultados más limpios con recuentos de muestras muy bajos, donde los métodos anteriores suelen tener dificultades", agrega Gharbi.
En el trabajo futuro, los investigadores tienen la intención de abordar la escalabilidad con su método para extender a más características de muestra y explorar técnicas para exigir la suavidad de cuadro a cuadro de las imágenes sin ruido.
El documento, "Denoising de Monte Carlo basado en muestras usando una red de salpicaduras de kernel", también es coautor de Miika Aittala en el MIT y Jaakko Lehtinen en la Universidad de Aalto y Nvidia.
Fuente de la historia :
Materiales proporcionados por Asociación de Maquinaria de Computación . Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :