Los algoritmos de aprendizaje automático toman cada vez más decisiones sobre crédito, diagnósticos médicos, recomendaciones personalizadas, publicidad y oportunidades de trabajo, entre otras cosas, pero exactamente cómo sigue siendo un misterio. Ahora, los nuevos métodos de medición desarrollados por investigadores de la Universidad Carnegie Mellon podrían proporcionar información importantea este proceso
¿Fue la edad, el género o el nivel educativo de una persona lo que más influyó en una decisión? ¿Fue una combinación particular de factores? Las medidas de Influencia cuantitativa de entrada QII de CMU pueden proporcionar el peso relativo de cada factor en la decisión final,dijo Anupam Datta, profesor asociado de ciencias de la computación e ingeniería eléctrica e informática.
"Las demandas de transparencia algorítmica aumentan a medida que crece el uso de sistemas algorítmicos de toma de decisiones y a medida que las personas se dan cuenta del potencial de estos sistemas para introducir o perpetuar la discriminación racial o sexual u otros daños sociales", dijo Datta.
"Algunas empresas ya están comenzando a proporcionar informes de transparencia, pero el trabajo sobre los fundamentos computacionales para estos informes ha sido limitado", continuó. "Nuestro objetivo era desarrollar medidas del grado de influencia de cada factor considerado por un sistema,que podría usarse para generar informes de transparencia "
Estos informes pueden generarse en respuesta a un incidente en particular: por qué se rechazó la solicitud de préstamo de una persona, o por qué la policía atacó a una persona para su escrutinio o qué provocó un diagnóstico o tratamiento médico en particular. O podrían ser utilizados proactivamente por una organizaciónpara ver si un sistema de inteligencia artificial funciona según lo deseado, o por una agencia reguladora para ver si un sistema de toma de decisiones discrimina inapropiadamente entre grupos de personas.
Datta, junto con Shayak Sen, un estudiante de doctorado en ciencias de la computación, y Yair Zick, un investigador postdoctoral en el Departamento de Ciencias de la Computación, presentarán su informe sobre QII en el Simposio IEEE sobre Seguridad y Privacidad, mayo23-25, en San José, California
La generación de estas medidas QII requiere acceso al sistema, pero no es necesario analizar el código u otro funcionamiento interno del sistema, dijo Datta. También requiere cierto conocimiento del conjunto de datos de entrada que se utilizó inicialmente para entrenar el aprendizaje automáticosistema.
Una característica distintiva de las medidas de QII es que pueden explicar las decisiones de una gran clase de sistemas de aprendizaje automático existentes. Un cuerpo significativo de trabajo previo adopta un enfoque complementario, rediseñando los sistemas de aprendizaje automático para hacer que sus decisiones sean más interpretables y, a veces, perderprecisión de predicción en el proceso.
Las medidas QII explican cuidadosamente las entradas correlacionadas al medir la influencia. Por ejemplo, considere un sistema que ayude a tomar decisiones de contratación para una empresa de mudanzas. Dos entradas, el género y la capacidad de levantar pesos pesados, están positivamente correlacionadas entre sí y con la contrataciónSin embargo, la transparencia sobre si el sistema utiliza la capacidad de levantar pesas o el género para tomar sus decisiones tiene implicaciones sustanciales para determinar si se está discriminando.
"Es por eso que incorporamos ideas para la medición causal en la definición de QII", dijo Sen. "Aproximadamente, para medir la influencia del género para un individuo específico en el ejemplo anterior, mantenemos fija la capacidad de levantar pesas, variamos el género y verificamossi hay una diferencia en la decisión "
Observando que las entradas individuales no siempre tienen una gran influencia, las medidas QII también cuantifican la influencia conjunta de un conjunto de entradas, como la edad y el ingreso, sobre los resultados y la influencia marginal de cada entrada dentro del conjunto. Dado que una sola entradapuede ser parte de múltiples conjuntos influyentes, la influencia marginal promedio de la entrada se calcula utilizando medidas de agregación de teoría de juegos basadas en principios previamente aplicadas para medir la influencia en la división de ingresos y la votación.
"Para tener una idea de estas medidas de influencia, considere las elecciones presidenciales de Estados Unidos", dijo Zick. "California y Texas tienen influencia porque tienen muchos votantes, mientras que Pennsylvania y Ohio tienen poder porque a menudo son estados cambiantes. La agregación de influencialas medidas que empleamos representan ambos tipos de poder "
Los investigadores probaron su enfoque contra algunos algoritmos estándar de aprendizaje automático que utilizaron para capacitar a los sistemas de toma de decisiones en conjuntos de datos reales. Descubrieron que el QII proporcionaba mejores explicaciones que las medidas asociativas estándar para una serie de escenarios que consideraron, incluida la muestraaplicaciones para la vigilancia predictiva y la predicción de ingresos.
Ahora, buscan colaboración con socios industriales para poder emplear QII a escala en sistemas operativos de aprendizaje automático.
Fuente de la historia :
Materiales proporcionado por Universidad Carnegie Mellon . Original escrito por Byron Spice. Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :