Los investigadores de Penn State y la Universidad de Columbia han creado una nueva herramienta de inteligencia artificial IA para detectar la discriminación injusta, como por motivos de raza o género.
Prevenir el trato injusto de las personas sobre la base de la raza, el género o el origen étnico, por ejemplo, ha sido una preocupación de larga data de las sociedades civilizadas. Sin embargo, detectar la discriminación resultante de las decisiones, ya sea por parte de personas que toman decisiones o por sistemas automatizados de IA, puedeser extremadamente desafiante. Este desafío se ve exacerbado aún más por la amplia adopción de sistemas de IA para automatizar las decisiones en muchos dominios, incluyendo la policía, las finanzas del consumidor, la educación superior y los negocios.
"Los sistemas de inteligencia artificial, como los involucrados en la selección de candidatos para un trabajo o para la admisión a una universidad, están capacitados en grandes cantidades de datos", dijo Vasant Honavar, profesor y presidente de Edward Frymoyer, presidente de Ciencias de la Información y Tecnología,Penn State. "Pero si estos datos están sesgados, pueden afectar las recomendaciones de los sistemas de IA".
Por ejemplo, dijo, si una empresa históricamente nunca ha contratado a una mujer para un tipo particular de trabajo, entonces un sistema de IA capacitado en estos datos históricos no recomendará a una mujer para un nuevo trabajo.
"No hay nada de malo en el algoritmo de aprendizaje automático en sí mismo", dijo Honavar. "Está haciendo lo que se supone que debe hacer, que es identificar buenos candidatos para el trabajo en función de ciertas características deseables. Pero como se formó en datos históricos sesgados,tiene el potencial de hacer recomendaciones injustas "
El equipo creó una herramienta de IA para detectar la discriminación con respecto a un atributo protegido, como la raza o el género, por parte de los encargados de tomar decisiones humanas o los sistemas de IA que se basa en el concepto de causalidad en el que una cosa, una causa, causaotra cosa: un efecto.
"Por ejemplo, la pregunta, '¿Existe discriminación de género en los salarios?' Puede reformularse como, '¿El género tiene un efecto causal en el salario?' O en otras palabras, '¿Se pagaría más a una mujer si¿Era un hombre? '', dijo Aria Khademi, estudiante de posgrado en ciencias de la información y tecnología, Penn State.
Dado que no es posible conocer directamente la respuesta a una pregunta tan hipotética, la herramienta del equipo utiliza sofisticados algoritmos de inferencia contrafáctica para llegar a una mejor suposición.
"Por ejemplo", dijo Khademi, "una forma intuitiva de llegar a una mejor conjetura sobre lo que sería un salario justo para una empleada es encontrar un empleado masculino que sea similar a la mujer con respecto a las calificaciones, la productividady experiencia. Podemos minimizar la discriminación salarial basada en el género si nos aseguramos de que hombres y mujeres similares reciban salarios similares ".
Los investigadores probaron su método utilizando varios tipos de datos disponibles, como los datos de ingresos de la Oficina del Censo de EE. UU. Para determinar si existe una discriminación basada en el género en los salarios. También probaron su método utilizando el método de detención y detención del Departamento de Policía de la Ciudad de Nueva York-Registro de datos del programa para determinar si existe discriminación contra las personas de color en los arrestos realizados después de las paradas. Los resultados aparecieron en mayo en Proceedings of The Web Conference 2019.
"Analizamos un conjunto de datos de ingresos para adultos que contiene información salarial, demográfica y relacionada con el empleo para cerca de 50,000 personas", dijo Honavar. "Encontramos evidencia de discriminación de género basada en el salario. Específicamente, encontramos que las probabilidades de ununa mujer con un salario superior a $ 50,000 por año es solo un tercio del de un hombre. Esto sugeriría que los empleadores deberían buscar y corregir, cuando sea apropiado, el sesgo de género en los salarios ".
Aunque el análisis del equipo del conjunto de datos de parar y registrar en Nueva York, que contiene información demográfica y de otro tipo sobre los conductores detenidos por la policía de la ciudad de Nueva York, reveló evidencia de un posible sesgo racial contra los hispanos y los afroamericanos,no encontró evidencia de discriminación contra ellos en promedio como grupo.
"No puede corregir un problema si no sabe que el problema existe", dijo Honavar. "Para evitar la discriminación por motivos de raza, género u otros atributos, necesita herramientas efectivas para detectar la discriminación. Nuestra herramienta puede ayudarlocon ese."
Honavar agregó que a medida que los sistemas de inteligencia artificial basados en datos determinan cada vez más cómo las empresas dirigen los anuncios a los consumidores, cómo los departamentos de policía monitorean a individuos o grupos en busca de actividades delictivas, cómo los bancos deciden quién obtiene un préstamo, a qué empleadores deciden contratar, y cómo las universidades ylas universidades deciden quién es admitido o recibe ayuda financiera, existe una necesidad urgente de herramientas como la que él y sus colegas desarrollaron.
"Nuestra herramienta", dijo, "puede ayudar a garantizar que dichos sistemas no se conviertan en instrumentos de discriminación, barreras a la igualdad, amenazas a la justicia social y fuentes de injusticia".
Los Institutos Nacionales de Salud y la Fundación Nacional de Ciencias respaldaron esta investigación.
Fuente de la historia :
Materiales proporcionado por Estado Penn . Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :