Los sistemas diseñados para detectar deepfakes, videos que manipulan imágenes de la vida real a través de inteligencia artificial, pueden ser engañados, demostraron científicos informáticos por primera vez en la conferencia WACV 2021 que tuvo lugar en línea del 5 al 9 de enero de 2021.
Los investigadores demostraron que los detectores pueden ser derrotados insertando entradas llamadas ejemplos adversarios en cada fotograma de video. Los ejemplos adversarios son entradas ligeramente manipuladas que hacen que los sistemas de inteligencia artificial, como los modelos de aprendizaje automático, cometan un error. Además, el equipo demostró que el ataquetodavía funciona después de que los videos están comprimidos.
"Nuestro trabajo muestra que los ataques a detectores deepfake podrían ser una amenaza del mundo real", dijo Shehzeen Hussain, estudiante de doctorado en ingeniería informática de UC San Diego y primer coautor del artículo de WACV.demuestran que es posible crear robustos deepfakes adversarios incluso cuando un adversario puede no ser consciente del funcionamiento interno del modelo de aprendizaje automático utilizado por el detector ".
En los deepfakes, el rostro de un sujeto se modifica para crear imágenes convincentes y realistas de eventos que nunca sucedieron en realidad. Como resultado, los detectores de deepfake típicos se enfocan en el rostro en los videos: primero lo rastrean y luego pasan los datos del rostro recortado auna red neuronal que determina si es real o falso. Por ejemplo, el parpadeo de los ojos no se reproduce bien en los deepfakes, por lo que los detectores se enfocan en los movimientos oculares como una forma de tomar esa determinación. Los detectores de deepfake de última generación se basan en la máquinamodelos de aprendizaje para identificar videos falsos.
La amplia difusión de videos falsos a través de las plataformas de redes sociales ha suscitado preocupaciones importantes en todo el mundo, lo que ha obstaculizado especialmente la credibilidad de los medios digitales, señalan los investigadores. "" Si los atacantes tienen algún conocimiento del sistema de detección, pueden diseñar entradas para apuntarlos puntos ciegos del detector y evitarlo "", dijo Paarth Neekhara, el otro primer coautor del artículo y estudiante de ciencias de la computación de UC San Diego.
Los investigadores crearon un ejemplo contradictorio para cada rostro en un fotograma de video. Pero mientras que las operaciones estándar como comprimir y cambiar el tamaño del video generalmente eliminan los ejemplos contradictorios de una imagen, estos ejemplos están diseñados para resistir estos procesos. El algoritmo de ataque hace esto estimando más deun conjunto de transformaciones de entrada de cómo el modelo clasifica las imágenes como reales o falsas. A partir de ahí, utiliza esta estimación para transformar las imágenes de tal manera que la imagen del adversario siga siendo efectiva incluso después de la compresión y descompresión. ??
La versión modificada de la cara se inserta en todos los fotogramas de video. El proceso se repite para todos los fotogramas del video para crear un video deepfake. El ataque también se puede aplicar en detectores que operan en fotogramas de video completos en lugar depara hacer frente a las cosechas.
El equipo se negó a publicar su código para que no fuera utilizado por partes hostiles.
alta tasa de éxito
Los investigadores probaron sus ataques en dos escenarios: uno en el que los atacantes tienen acceso completo al modelo del detector, incluida la tubería de extracción de rostros y la arquitectura y los parámetros del modelo de clasificación; y uno donde los atacantes solo pueden consultar el aprendizaje automático de la máquina.modelo para calcular las probabilidades de que un fotograma se clasifique como real o falso. En el primer escenario, la tasa de éxito del ataque es superior al 99 por ciento para los videos sin comprimir. Para los videos comprimidos, fue del 84,96 por ciento. En el segundo escenario, la tasa de éxitofue 86,43 por ciento para videos sin comprimir y 78,33 por ciento para videos comprimidos. Este es el primer trabajo que demuestra ataques exitosos en detectores de deepfake de última generación.
"Para usar estos detectores deepfake en la práctica, argumentamos que es esencial evaluarlos contra un adversario adaptativo que es consciente de estas defensas y está tratando intencionalmente de frustrar estas defensas", escriben los investigadores. "Demostramos que elLos métodos actuales de vanguardia para la detección de deepfake pueden evitarse fácilmente si el adversario tiene un conocimiento completo o incluso parcial del detector ".
Para mejorar los detectores, los investigadores recomiendan un enfoque similar a lo que se conoce como entrenamiento adversario: durante el entrenamiento, un adversario adaptativo continúa generando nuevos deepfakes que pueden eludir el detector de vanguardia actual; y el detector continúa mejorando para detectarlos nuevos deepfakes.
Deepfakes adversarios: evaluación de la vulnerabilidad de los detectores deepfake frente a ejemplos adversarios
* Shehzeen Hussain, Malhar Jere, Farinaz Koushanfar, Departamento de Ingeniería Eléctrica e Informática, UC San Diego Paarth Neekhara, Julian McAuley, Departamento de Ciencias e Ingeniería Informática, UC San Diego
Fuente de la historia :
Materiales proporcionado por Universidad de California - San Diego . Nota: el contenido se puede editar por estilo y longitud.
cite esta página :