Las nuevas técnicas de confrontación desarrolladas por ingenieros del Southwest Research Institute pueden hacer que los objetos sean "invisibles" para los sistemas de detección de imágenes que utilizan algoritmos de aprendizaje profundo. Estas técnicas también pueden engañar a los sistemas para que crean que ven otro objeto o pueden cambiar la ubicación de los objetos.la técnica mitiga el riesgo de compromiso en los sistemas automatizados de procesamiento de imágenes.
"Las redes neuronales de aprendizaje profundo son altamente efectivas en muchas tareas", dice el ingeniero de investigación Abe Garza de la División de Sistemas Inteligentes de SwRI. "Sin embargo, el aprendizaje profundo se adoptó tan rápidamente que las implicaciones de seguridad de estos algoritmos no se consideraron completamente."
Los algoritmos de aprendizaje profundo se destacan en el uso de formas y colores para reconocer las diferencias entre humanos y animales o automóviles y camiones, por ejemplo. Estos sistemas detectan objetos de manera confiable bajo una variedad de condiciones y, como tales, se usan en innumerables aplicaciones e industrias, a menudo para usos críticos para la seguridad. La industria automotriz utiliza sistemas de detección de objetos de aprendizaje profundo en las carreteras para tecnologías de asistencia de carril, salida de carril y para evitar colisiones. Estos vehículos dependen de cámaras para detectar objetos potencialmente peligrosos a su alrededor.los sistemas de procesamiento son vitales para proteger vidas y propiedades, los algoritmos pueden ser engañados por las partes que intentan causar daño.
Los investigadores de seguridad que trabajan en "aprendizaje de confrontación" están encontrando y documentando vulnerabilidades en algoritmos de aprendizaje automático profundos y otros. Utilizando fondos de investigación internos de SwRI, Garza y el ingeniero de investigación sénior David Chambers desarrollaron lo que parecen patrones futuristas de estilo bohemio.usados por una persona o montados en un vehículo, los patrones engañan a las cámaras de detección de objetos para que piensen que los objetos no están allí, que son otra cosa o que están en otra ubicación. Las partes maliciosas podrían colocar estos patrones cerca de las carreteras, potencialmentecreando caos para vehículos equipados con detectores de objetos.
"Estos patrones causan que los algoritmos en la cámara clasifiquen o coloquen mal los objetos, creando una vulnerabilidad", dijo Garza. "A estos patrones los llamamos ejemplos adversos 'invariantes de percepción' porque no necesitan cubrir todo el objeto o serparalelo a la cámara para engañar al algoritmo. Los algoritmos pueden clasificar erróneamente el objeto siempre que detecten alguna parte del patrón ".
Si bien pueden parecer exhibiciones de arte únicas y coloridas para el ojo humano, estos patrones están diseñados de tal manera que los sistemas de cámaras de detección de objetos los ven muy específicamente. Un patrón disfrazado como un anuncio en la parte trasera de un autobús paradopodría hacer que un sistema de prevención de colisiones piense que ve una bolsa de compras inofensiva en lugar del autobús. Si la cámara del vehículo no detecta el objeto verdadero, podría continuar avanzando y golpear el autobús, causando una colisión potencialmente grave.
"El primer paso para resolver estas vulnerabilidades es probar los algoritmos de aprendizaje profundo", dijo Garza. El equipo ha creado un marco capaz de probar repetidamente estos ataques contra una variedad de programas de detección de aprendizaje profundo, que serán extremadamente útilespara probar soluciones.
Los investigadores de SwRI continúan evaluando cuánto o qué poco del patrón se necesita para clasificar o ubicar mal un objeto. Trabajando con los clientes, esta investigación permitirá al equipo probar los sistemas de detección de objetos y, en última instancia, mejorar la seguridad del aprendizaje profundoalgoritmos.
Para ver cómo las cámaras de detección de objetos ven los patrones, vea nuestro video en YouTube en http://youtu.be/ylbVMMR4Eqg .
Fuente de la historia :
Materiales proporcionado por Instituto de Investigación del Sudoeste . Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :