La inteligencia artificial IA y los algoritmos de aprendizaje automático, como el aprendizaje profundo, se han convertido en partes integrales de nuestra vida cotidiana: permiten a los asistentes de habla digital o servicios de traducción, mejoran el diagnóstico médico y son una parte indispensable de tecnologías futuras como la conducción autónoma.En una cantidad cada vez mayor de datos y arquitecturas informáticas novedosas y potentes, los algoritmos de aprendizaje parecen alcanzar las capacidades humanas, a veces incluso superando. El problema: hasta ahora a menudo sigue siendo desconocido para los usuarios, cómo exactamente los sistemas de IA llegan a sus conclusiones. Por lo tanto, a menudono está claro, si el comportamiento de toma de decisiones de la IA es realmente 'inteligente' o si los procedimientos tienen un éxito promedio.
Investigadores de TU Berlin, el Instituto Fraunhofer Heinrich Hertz HHI y la Universidad de Tecnología y Diseño de Singapur SUTD han abordado esta pregunta y han proporcionado una visión del espectro de "inteligencia" diversa observado en los sistemas de IA actuales, analizando específicamente estos sistemas de IA conUna nueva tecnología que permite el análisis y la cuantificación automatizados.
El requisito previo más importante para esta nueva tecnología es un método desarrollado anteriormente por TU Berlin y Fraunhofer HHI, el llamado algoritmo de Propagación de Relevancia por Capa LRP que permite visualizar de acuerdo con qué variables de entrada los sistemas de IA toman sus decisiones.LRP, el novedoso análisis de relevancia espectral SpRAy puede identificar y cuantificar un amplio espectro de conductas de toma de decisiones aprendidas. De esta manera, ahora es posible detectar la toma de decisiones indeseables incluso en conjuntos de datos muy grandes.
El llamado 'AI explicable' ha sido uno de los pasos más importantes hacia una aplicación práctica de AI, según el Dr. Klaus-Robert Müller, profesor de Machine Learning en TU Berlin ". Específicamente en diagnóstico médico o en seguridad-críticos, no se deben utilizar sistemas de IA que empleen estrategias de resolución de problemas con trampas o incluso trampas ".
Al usar sus algoritmos recientemente desarrollados, los investigadores finalmente pueden poner a prueba cualquier sistema de IA existente y también obtener información cuantitativa sobre ellos: un espectro completo que comienza desde un comportamiento ingenuo de resolución de problemas, hasta estrategias de engaño hasta "inteligente" altamente elaboradoSe observan soluciones estratégicas.
El Dr. Wojciech Samek, líder del grupo en Fraunhofer HHI dijo: "Nos sorprendió mucho la amplia gama de estrategias aprendidas de resolución de problemas. Incluso los sistemas modernos de IA no siempre han encontrado una solución que parezca significativa desde una perspectiva humana, pero a vecesusó las llamadas "estrategias inteligentes de Hans".
Clever Hans era un caballo que supuestamente podía contar y se consideró una sensación científica durante la década de 1900. Como se descubrió más tarde, Hans no dominaba las matemáticas, pero en aproximadamente el 90 por ciento de los casos, pudo obtener la respuesta correcta dela reacción del interlocutor
El equipo alrededor de Klaus-Robert Müller y Wojciech Samek también descubrió estrategias similares de "Clever Hans" en varios sistemas de IA. Por ejemplo, un sistema de IA que ganó varios concursos internacionales de clasificación de imágenes hace unos años persiguió una estrategia que puede considerarse ingenuadesde el punto de vista humano. Clasificó las imágenes principalmente en función del contexto. Las imágenes se asignaron a la categoría "barco" cuando había mucha agua en la imagen. Otras imágenes se clasificaron como "tren" si los rieles estaban presentes.A otras imágenes se les asignó la categoría correcta por su marca de agua de derechos de autor. Por lo tanto, la tarea real, a saber, detectar los conceptos de barcos o trenes, no fue resuelta por este sistema de IA, incluso si de hecho clasificó la mayoría de las imágenes correctamente.
Los investigadores también pudieron encontrar este tipo de estrategias de resolución de problemas defectuosas en algunos de los algoritmos de IA de última generación, las llamadas redes neuronales profundas, algoritmos que hasta ahora se consideraban inmunes a tales fallasEstas redes basaron su decisión de clasificación en parte en artefactos que se crearon durante la preparación de las imágenes y no tienen nada que ver con el contenido real de la imagen.
"Tales sistemas de IA no son útiles en la práctica. Su uso en diagnósticos médicos o en áreas críticas para la seguridad incluso implicaría enormes peligros", dijo Klaus-Robert Müller. "Es bastante concebible que aproximadamente la mitad de los sistemas de IA actualmente enuse implícita o explícitamente confíe en tales estrategias de 'Clever Hans'. Es hora de verificar sistemáticamente eso, para que se puedan desarrollar sistemas de IA seguros ".
Con su nueva tecnología, los investigadores también identificaron sistemas de IA que inesperadamente aprendieron estrategias "inteligentes". Los ejemplos incluyen sistemas que aprendieron a jugar los juegos de Atari Breakout y Pinball. "Aquí la IA entendió claramente el concepto del juego y descubrióuna forma inteligente de acumular muchos puntos de una manera específica y de bajo riesgo. El sistema a veces incluso interviene de una manera en que un jugador real no lo haría ", dijo Wojciech Samek.
"Más allá de comprender las estrategias de IA, nuestro trabajo establece la usabilidad de la IA explicable para el diseño iterativo de conjuntos de datos, es decir, para eliminar artefactos en un conjunto de datos que causarían que una IA aprenda estrategias defectuosas, así como ayudar a decidir qué ejemplos no etiquetados deben seranotado y agregado para que las fallas de un sistema de IA puedan reducirse ", dijo el profesor asistente de SUTD Alexander Binder.
"Nuestra tecnología automatizada es de código abierto y está disponible para todos los científicos. Vemos nuestro trabajo como un primer paso importante para hacer que los sistemas de IA sean más robustos, explicables y seguros en el futuro, y habrá que seguir más. Este es un requisito previo esencialpara uso general de la IA ", dijo Klaus-Robert Müller.
Fuente de la historia :
Materiales proporcionados por Universidad de Tecnología y Diseño de Singapur . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :