En los debates sobre el futuro de la inteligencia artificial, muchos expertos piensan que los nuevos sistemas son fríamente lógicos y objetivamente racionales. Pero en un nuevo estudio, los investigadores han demostrado cómo las máquinas pueden ser reflejos de nosotros, sus creadores, de maneras potencialmente problemáticas.Los investigadores encontraron que los programas comunes de aprendizaje automático, cuando se entrenan con un lenguaje humano común disponible en línea, pueden adquirir prejuicios culturales integrados en los patrones de redacción, que van desde lo moralmente neutral, como la preferencia por las flores sobre los insectos, hasta las opiniones objetables deraza y género.
Identificar y abordar posibles sesgos en el aprendizaje automático será de importancia crítica a medida que recurramos cada vez más a las computadoras para procesar el lenguaje natural que los humanos usan para comunicarse, por ejemplo, para realizar búsquedas de texto en línea, categorización de imágenes y traducciones automáticas.
"Las preguntas sobre la imparcialidad y el sesgo en el aprendizaje automático son tremendamente importantes para nuestra sociedad", dijo el investigador Arvind Narayanan, profesor asistente de ciencias de la computación y miembro afiliado del Centro de Política de Tecnología de la Información CITP de la Universidad de Princeton, comoasí como un erudito afiliado en el Centro de Internet y Sociedad de la Facultad de Derecho de Stanford: "Tenemos una situación en la que estos sistemas de inteligencia artificial pueden estar perpetuando patrones históricos de parcialidad que podríamos considerar socialmente inaceptables y de los que podríamos estar tratando de alejarnos".
El documento, "La semántica derivada automáticamente de los corpus lingüísticos contiene prejuicios similares a los humanos", publicado el 14 de abril en ciencia . Su autor principal es Aylin Caliskan, investigador asociado postdoctoral y miembro del CITP en Princeton; Joanna Bryson, una lectora de la Universidad de Bath y afiliada al CITP, es coautora.
Como una piedra de toque para los prejuicios humanos documentados, el estudio recurrió a la Prueba de asociación implícita, utilizada en numerosos estudios de psicología social desde su desarrollo en la Universidad de Washington a fines de la década de 1990. La prueba mide los tiempos de respuesta en milisegundos de los sujetos humanos.se les pide que emparejen los conceptos de palabras que se muestran en la pantalla de una computadora. Los tiempos de respuesta son mucho más cortos, la Prueba de asociación implícita ha demostrado repetidamente, cuando se les pide a los sujetos que emparejen dos conceptos que encuentran similares, en comparación con dos conceptos que encuentran diferentes.
Tome tipos de flores, como "rosa" y "margarita", e insectos como "hormiga" y "polilla". Estas palabras pueden combinarse con conceptos agradables, como "caricia" y "amor", o nociones desagradables, como "suciedad "y" feo ". La gente asocia más rápidamente las palabras de flores con conceptos agradables, y los términos de insectos con ideas desagradables.
El equipo de Princeton ideó un experimento con un programa en el que esencialmente funcionaba como una versión de aprendizaje automático de la Prueba de asociación implícita. Llamado GloVe y desarrollado por investigadores de la Universidad de Stanford, el popular programa de código abierto es del tipo de una startupla empresa de aprendizaje automático podría utilizar el núcleo de su producto. El algoritmo GloVe puede representar las estadísticas de coincidencia de palabras en, por ejemplo, una ventana de texto de 10 palabras. Las palabras que a menudo aparecen cerca de la otra tienen una asociación más fuerte que esas palabraseso rara vez lo hace
Los investigadores de Stanford liberaron a GloVe en una enorme red de contenidos de la World Wide Web, que contenía 840 mil millones de palabras. Dentro de esta gran muestra de cultura humana escrita, Narayanan y sus colegas examinaron conjuntos de las llamadas palabras objetivo, como "programador, ingeniero, científico "y" enfermera, maestra, bibliotecaria "junto con dos conjuntos de palabras de atributos, como" hombre, hombre "y" mujer, mujer ", en busca de evidencia de los prejuicios que los humanos pueden poseer sin darse cuenta.
En los resultados, aparecieron prejuicios inocentes e inofensivos, como las flores sobre los insectos, pero también lo hicieron los ejemplos en función del género y la raza. Al final, el experimento de aprendizaje automático de Princeton logró replicar las amplias justificaciones del sesgo encontradoen estudios de prueba de asociación implícita seleccionados a lo largo de los años que se han basado en sujetos humanos vivos.
Por ejemplo, el programa de aprendizaje automático asociaba los nombres femeninos más con las palabras de atributos familiares, como "padres" y "boda" que los nombres masculinos. A su vez, los nombres masculinos tenían asociaciones más fuertes con los atributos profesionales, como "profesional" y "salario""Por supuesto, resultados como estos a menudo son solo reflexiones objetivas de las distribuciones verdaderas y desiguales de los tipos de ocupación con respecto al género, como la forma en que el 77 por ciento de los programadores de computadoras son hombres, según la Oficina de Estadísticas Laborales de EE. UU."
Sin embargo, este sesgo correctamente distinguido sobre las ocupaciones puede terminar teniendo efectos sexistas perniciosos. Un ejemplo: cuando los idiomas extranjeros son procesados ingenuamente por programas de aprendizaje automático, lo que lleva a oraciones estereotipadas de género. El idioma turco utiliza una tercera persona neutral al géneropronombre, "o". Conectado al conocido servicio de traducción en línea Google Translate, sin embargo, las oraciones turcas "o bir doktor" y "o bir hem? ire" con este pronombre neutral al género se traducen al inglés como "hees médico "y" ella es enfermera "
"Este documento reitera el punto importante de que los métodos de aprendizaje automático no son 'objetivos' o 'imparciales' simplemente porque dependen de las matemáticas y los algoritmos", dijo Hanna Wallach, investigadora principal de Microsoft Research New York City, que no estuvo involucradaen el estudio: "Más bien, siempre y cuando estén capacitados utilizando datos de la sociedad y mientras la sociedad exhiba sesgos, estos métodos probablemente reproducirán estos sesgos".
Otro ejemplo objetable se remonta a un conocido artículo de 2004 de Marianne Bertrand de la Universidad de Chicago Booth School of Business y Sendhil Mullainathan de la Universidad de Harvard. Los economistas enviaron cerca de 5,000 currículums idénticos a 1,300 anuncios de trabajo, cambiando solo elLos nombres de los solicitantes eran tradicionalmente europeos americanos o afroamericanos. El primer grupo tenía un 50 por ciento más de probabilidades de recibir una entrevista que el segundo. En una aparente corroboración de este sesgo, el nuevo estudio de Princeton demostró que un conjunto de nombres afroamericanostenían más asociaciones desagradables que un conjunto europeo-estadounidense.
Los programadores de computadoras pueden desear evitar la perpetuación del estereotipo cultural a través del desarrollo de instrucciones explícitas basadas en las matemáticas para los programas de aprendizaje automático subyacentes a los sistemas de inteligencia artificial. No muy diferente de cómo los padres y mentores intentan inculcar conceptos de equidad e igualdad en niños y estudiantes, codificadorespodría esforzarse por hacer que las máquinas reflejen los mejores ángeles de la naturaleza humana.
"Los prejuicios que estudiamos en el documento son fáciles de pasar por alto cuando los diseñadores crean sistemas", dijo Narayanan. "Los prejuicios y estereotipos en nuestra sociedad reflejados en nuestro lenguaje son complejos y duraderos. En lugar de tratar de desinfectarlos o eliminarlos"., debemos tratar los sesgos como parte del lenguaje y establecer una forma explícita en el aprendizaje automático de determinar lo que consideramos aceptable e inaceptable ".
Fuente de la historia :
Materiales proporcionados por Universidad de Princeton, Escuela de Ingeniería . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :