Las pequeñas imperfecciones en una copa de vino o pequeños pliegues en una lente de contacto pueden ser difíciles de distinguir, incluso con buena luz. En una oscuridad casi total, las imágenes de características u objetos transparentes son casi imposibles de descifrar. Pero ahora, los ingenieros deEl MIT ha desarrollado una técnica que puede revelar estos objetos "invisibles", en la oscuridad.
En un estudio publicado hoy en Cartas de revisión física , los investigadores reconstruyeron objetos transparentes a partir de imágenes de esos objetos, tomadas en condiciones casi negras. Lo hicieron usando una "red neuronal profunda", una técnica de aprendizaje automático que implica entrenar una computadora para asociar ciertas entradas con salidas específicas- en este caso, imágenes oscuras y granuladas de objetos transparentes y los objetos mismos.
El equipo entrenó a una computadora para reconocer más de 10,000 grabados transparentes en forma de vidrio, basados en imágenes extremadamente granuladas de esos patrones. Las imágenes fueron tomadas en condiciones de muy baja iluminación, con aproximadamente un fotón por píxel, mucha menos luz que unla cámara se registraría en una habitación oscura y sellada. Luego le mostraron a la computadora una nueva imagen granulada, no incluida en los datos de entrenamiento, y descubrieron que aprendió a reconstruir el objeto transparente que la oscuridad había oscurecido.
Los resultados demuestran que las redes neuronales profundas pueden usarse para iluminar características transparentes, como tejidos y células biológicos, en imágenes tomadas con muy poca luz.
"En el laboratorio, si destruye células biológicas con luz, las quema y no queda nada en la imagen", dice George Barbastathis, profesor de ingeniería mecánica en el MIT. "Cuando se trata de imágenes de rayos X, sisi expone a un paciente a rayos X, aumenta el peligro de que contraiga cáncer. Lo que estamos haciendo aquí es que puede obtener la misma calidad de imagen, pero con una menor exposición al paciente. Y en biología, puede reducirel daño a los especímenes biológicos cuando desea muestrearlos "
Los coautores de Barbastathis en el documento son el autor principal Alexandre Goy, Kwabena Arthur y Shuai Li.
aprendizaje profundo y oscuro
Las redes neuronales son esquemas computacionales que están diseñados para emular libremente la forma en que las neuronas del cerebro trabajan juntas para procesar entradas de datos complejas. Una red neuronal funciona realizando "capas" sucesivas de manipulaciones matemáticas. Cada capa computacional calcula la probabilidad de un resultado dado, basado en una entrada inicial. Por ejemplo, dada una imagen de un perro, una red neuronal puede identificar características que recuerdan primero a un animal, luego más específicamente a un perro y, en última instancia, a un beagle. Una red neuronal "profunda" abarca muchos,capas de cómputo mucho más detalladas entre entrada y salida.
Un investigador puede "entrenar" una red de este tipo para realizar cálculos de forma más rápida y precisa, alimentándola con cientos o miles de imágenes, no solo de perros, sino de otros animales, objetos y personas, junto con la etiqueta correcta para cada imagenDados suficientes datos para aprender, la red neuronal debería poder clasificar correctamente imágenes completamente nuevas.
Las redes neuronales profundas se han aplicado ampliamente en el campo de la visión por computadora y el reconocimiento de imágenes, y recientemente, Barbastathis y otros desarrollaron redes neuronales para reconstruir objetos transparentes en imágenes tomadas con mucha luz. Ahora su equipo es el primero en usar neuronas profundasredes en experimentos para revelar objetos invisibles en imágenes tomadas en la oscuridad.
"Los objetos invisibles se pueden revelar de diferentes maneras, pero generalmente requiere que uses mucha luz", dice Barbastathis. "Lo que estamos haciendo ahora es visualizar los objetos invisibles, en la oscuridad. Por lo tanto, es como dos dificultades combinadas".Y sin embargo, aún podemos hacer la misma cantidad de revelación ".
La ley de la luz
El equipo consultó una base de datos de 10,000 circuitos integrados IC, cada uno de los cuales está grabado con un patrón intrincado diferente de barras horizontales y verticales.
"Cuando miramos a simple vista, no vemos mucho, cada uno parece un cristal transparente", dice Goy. "Pero en realidad hay estructuras muy finas y poco profundas que todavía tienen un efecto sobre la luz"
En lugar de grabar cada uno de los 10,000 patrones en tantas diapositivas de vidrio, los investigadores usaron un "modulador de luz espacial de fase", un instrumento que muestra el patrón en una sola diapositiva de vidrio de una manera que recrea el mismo efecto óptico que un realdiapositiva grabada habría.
Los investigadores organizaron un experimento en el que apuntaron con una cámara a un pequeño marco de aluminio que contenía el modulador de luz. Luego usaron el dispositivo para reproducir cada uno de los 10,000 patrones de CI de la base de datos. Los investigadores cubrieron todo el experimento para que fueraprotegido de la luz, y luego usó el modulador de luz para rotar rápidamente a través de cada patrón, de manera similar a un carrusel de diapositivas. Tomaron imágenes de cada patrón transparente, en una oscuridad casi total, produciendo imágenes de "sal y pimienta" que se parecían poco más queestática en una pantalla de televisión.
El equipo desarrolló una red neuronal profunda para identificar patrones transparentes a partir de imágenes oscuras, luego alimentó a la red con cada una de las 10,000 fotografías granuladas tomadas por la cámara, junto con sus patrones correspondientes, o lo que los investigadores llamaron "verdades básicas"
"Le dices a la computadora, 'Si pongo esto, lo sacas'", dice Goy. "Lo haces 10,000 veces, y después del entrenamiento, esperas que si le das una nueva entrada, puededecirte lo que ve "
"Es un poco peor que un bebé", bromea Barbastathis. "Por lo general, los bebés aprenden un poco más rápido".
Los investigadores configuraron su cámara para tomar imágenes ligeramente desenfocadas. Por contradictorio que parezca, esto en realidad funciona para enfocar un objeto transparente. O, más precisamente, el desenfoque proporciona alguna evidencia, en forma de ondas en lo detectadoluz, que un objeto transparente puede estar presente. Tales ondas son una bandera visual que una red neuronal puede detectar como primer signo de que un objeto está en algún lugar de la granularidad de una imagen.
Pero el desenfoque también crea desenfoque, lo que puede enturbiar los cálculos de una red neuronal. Para lidiar con esto, los investigadores incorporaron en la red neuronal una ley en física que describe el comportamiento de la luz y cómo crea un efecto borroso cuando una cámara está encendida.desenfocado
"Lo que sabemos es la ley física de la propagación de la luz entre la muestra y la cámara", dice Barbastathis. "Es mejor incluir este conocimiento en el modelo, para que la red neuronal no pierda el tiempo aprendiendo algo que ya sabemos"
Imagen más nítida
Después de entrenar la red neuronal en 10,000 imágenes de diferentes patrones de CI, el equipo creó un patrón completamente nuevo, no incluido en el conjunto de entrenamiento original. Cuando tomaron una imagen del patrón, nuevamente en la oscuridad, y alimentaron esta imagen en elred neuronal, compararon los patrones que la red neuronal reconstruyó, con y sin la ley física incrustada en la red.
Descubrieron que ambos métodos reconstruyeron el patrón transparente original razonablemente bien, pero la "reconstrucción informada por la física" produjo una imagen más nítida y precisa. Además, este patrón reconstruido, a partir de una imagen tomada en una oscuridad casi total, estaba más definidoque una reconstrucción informada por la física del mismo patrón, fotografiada a la luz que era más de 1,000 veces más brillante.
El equipo repitió sus experimentos con un conjunto de datos totalmente nuevo, que consta de más de 10,000 imágenes de objetos más generales y variados, incluyendo personas, lugares y animales. Después del entrenamiento, los investigadores le dieron a la red neuronal una imagen completamente nueva, tomada enla oscuridad, de un grabado transparente de una escena con góndolas atracadas en un muelle. Nuevamente, encontraron que la reconstrucción informada por la física produjo una imagen más precisa del original, en comparación con las reproducciones sin la ley física incrustada.
"Hemos demostrado que el aprendizaje profundo puede revelar objetos invisibles en la oscuridad", dice Goy. "Este resultado es de importancia práctica para las imágenes médicas para reducir la exposición del paciente a radiaciones dañinas y para las imágenes astronómicas".
Esta investigación fue apoyada, en parte, por la Actividad de Proyectos de Investigación Avanzada de Inteligencia y la Fundación Nacional de Investigación de Singapur.
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Original escrito por Jennifer Chu. Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :