A medida que los teléfonos inteligentes se convierten en las computadoras principales de las personas y sus cámaras principales, existe una creciente demanda de versiones móviles de aplicaciones de procesamiento de imágenes.
Sin embargo, el procesamiento de imágenes puede ser computacionalmente intenso y podría agotar rápidamente la batería de un teléfono celular. Algunas aplicaciones móviles intentan resolver este problema enviando archivos de imagen a un servidor central, que procesa las imágenes y las envía de regreso. Pero con imágenes grandes,esto introduce demoras significativas y podría incurrir en costos por un mayor uso de datos.
En la conferencia Siggraph Asia la semana pasada, investigadores del MIT, la Universidad de Stanford y Adobe Systems presentaron un sistema que, en experimentos, redujo el ancho de banda consumido por el procesamiento de imágenes basado en servidor hasta en un 98.5 por ciento, y el consumo de energía portanto como el 85 por ciento.
El sistema envía al servidor una versión altamente comprimida de una imagen, y el servidor devuelve un archivo aún más pequeño, que contiene instrucciones simples para modificar la imagen original.
Michaël Gharbi, un estudiante graduado en ingeniería eléctrica y ciencias de la computación en el MIT y primer autor en el documento Siggraph, dice que la técnica podría ser más útil a medida que los algoritmos de procesamiento de imágenes se vuelvan más sofisticados.
"Vemos más y más algoritmos nuevos que aprovechan las grandes bases de datos para tomar una decisión sobre el píxel", dice Gharbi. "Este tipo de algoritmo no realiza una transformación muy compleja si va a una escala local en la imagen,pero aún requieren muchos cálculos y acceso a los datos. Entonces, ese es el tipo de operación que necesitaría hacer en la nube ".
Un ejemplo, dice Gharbi, es un trabajo reciente en el MIT que transfiere los estilos visuales de fotógrafos de retratos famosos a instantáneas de teléfonos celulares. Otros investigadores, dice, han experimentado con algoritmos para cambiar la hora aparente del día en que se tomaron las fotos.
Uniéndose a Gharbi en el nuevo documento están su asesor de tesis, Frédo Durand, profesor de ciencias de la computación e ingeniería; YiChang Shih, quien recibió su doctorado en ingeniería eléctrica y ciencias de la computación del MIT en marzo; Gaurav Chaurasia, un ex postdoc en Durand'sgrupo que ahora está en Disney Research; Jonathan Ragan-Kelley, quien ha sido un postdoctorado en Stanford desde que se graduó del MIT en 2014; y Sylvain Paris, quien fue un postdoctorado con Durand antes de unirse a Adobe.
Trae el ruido
El sistema de los investigadores funciona con cualquier alteración en el estilo de una imagen, como los tipos de "filtros" populares en Instagram. Es menos efectivo con ediciones que cambian el contenido de la imagen, eliminando una figura y luego rellenando el fondo,por ejemplo.
Para ahorrar ancho de banda mientras se carga un archivo, el sistema de los investigadores simplemente lo envía como un JPEG de muy baja calidad, el formato de archivo más común para imágenes digitales. Toda la inteligencia está en la forma en que el servidor procesa la imagen.
El JPEG transmitido tiene una resolución mucho más baja que la imagen de origen, lo que podría generar problemas. Un solo píxel rojizo en el JPEG, por ejemplo, podría reemplazar un parche de píxeles que de hecho representan una textura sutil de rojo ybandas moradas. Entonces, lo primero que hace el sistema es introducir algo de ruido de alta frecuencia en la imagen, lo que aumenta efectivamente su resolución.
Esa resolución adicional básicamente no tiene sentido, solo una pequeña variación aleatoria y local del color del píxel en el archivo comprimido. Pero evita que el sistema dependa demasiado de la consistencia del color en regiones particulares de la imagen al determinar cómo caracterizarsus transformaciones de imagen.
trabajo de parche
A continuación, el sistema realiza la manipulación deseada de la imagen: aumentar el contraste, cambiar el espectro de color, afilar los bordes o similares.
Luego, el sistema divide la imagen en fragmentos, por ejemplo, de 64 por 64 píxeles. Para cada fragmento, utiliza un algoritmo de aprendizaje automático para caracterizar los efectos de la manipulación de acuerdo con algunos parámetros básicos, la mayoría de los cuales conciernenvariaciones en la luminancia, o brillo, de los píxeles en el parche. Los mejores resultados de los investigadores se obtuvieron cuando usaron alrededor de 25 parámetros. Entonces, por cada parche de 64 por 64 píxeles de la imagen cargada, cada píxel podría teneruno de los tres valores, el servidor devuelve solo 25 números.
El teléfono realiza las modificaciones descritas por esos 25 números en su copia local de alta resolución de la imagen. A simple vista, los resultados son prácticamente indistinguibles de la manipulación directa de la imagen de alta resolución. Sin embargo, el consumo de ancho de banda, es solo del 1 al 2 por ciento de lo que hubiera sido.
La aplicación de las modificaciones a la imagen original requiere algunos cálculos adicionales en el teléfono, pero eso no consume tanto tiempo ni tanta energía como la carga y descarga de archivos de alta resolución. En los experimentos de los investigadores, el ahorro de energía fue generalmenteentre 50 y 85 por ciento, y el ahorro de tiempo entre 50 y 70 por ciento.
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :