Los ingenieros informáticos de las empresas y universidades más grandes del mundo están utilizando máquinas para escanear tomos de material escrito. ¿El objetivo? Enseñar a estas máquinas el don del lenguaje. Haga eso, algunos incluso afirman, y las computadoras podrán imitar el cerebro humano..
Pero esta impresionante capacidad informática tiene costos reales, incluida la perpetuación del racismo y el daño ambiental significativo, según un nuevo artículo, "Sobre los peligros de los loros estocásticos: ¿Pueden los modelos lingüísticos ser demasiado grandes?". El artículo se presentará el miércoles,10 de marzo en la Conferencia ACM sobre Equidad, Responsabilidad y Transparencia ACM FAccT.
Esta es la primera revisión exhaustiva de la literatura sobre los riesgos que conlleva el rápido crecimiento de las tecnologías de aprendizaje de idiomas, dijo Emily M. Bender, profesora de lingüística de la Universidad de Washington y autora principal del artículo junto con Timnit Gebru,un conocido investigador de IA.
"La pregunta que nos hacemos es cuáles son los posibles peligros de este enfoque y las respuestas que damos implican examinar la literatura en una amplia gama de campos y unirlos", dijo Bender, quien es UW Howard yProfesora Dotada Frances Nostrand.
Lo que los investigadores sacaron a la luz fue que hay desventajas en la potencia informática cada vez mayor que se pone en los modelos de lenguaje natural. Discuten cómo el tamaño cada vez mayor de los datos de entrenamiento para el modelado del lenguaje exacerba los problemas sociales y ambientales. Es alarmante que estos modelos de lenguajelenguaje hegemónico y puede engañar a las personas haciéndoles pensar que están teniendo una conversación "real" con una persona en lugar de una máquina. El aumento de las necesidades computacionales de estos modelos contribuye aún más a la degradación ambiental.
Los autores se sintieron motivados para escribir el artículo debido a una tendencia dentro del campo hacia modelos de lenguaje cada vez más grandes y sus crecientes esferas de influencia.
El artículo ya ha generado una gran atención debido, en parte, al hecho de que dos de los coautores del artículo dicen que fueron despedidos recientemente de Google por razones que aún no se han resuelto. Margaret Mitchell y Gebru, los dos ahora exLos investigadores de Google dijeron que respaldan la erudición del artículo y señalan sus conclusiones como un llamado de atención a la industria para que preste atención.
"Está muy claro que plantear las preocupaciones tiene que suceder ahora mismo, porque ya es demasiado tarde", dijo Mitchell, investigador en IA.
Se necesita una enorme cantidad de potencia informática para alimentar los programas de lenguaje modelo, dijo Bender. Eso consume energía a una escala tremenda y eso, argumentan los autores, causa la degradación ambiental. Y esos costos no son asumidos por los ingenieros informáticos, sino más bien por personas marginadas que no pueden pagar los costos ambientales.
"No es solo que haya grandes impactos energéticos aquí, sino también que los impactos del carbono traerán costos primero a las personas que no se benefician de esta tecnología", dijo Bender. "Cuando hacemos el análisis de costo-beneficio, esEs importante pensar en quién recibe el beneficio y quién paga el costo porque no son las mismas personas ".
La gran escala de esta potencia informática también puede restringir el acceso solo a las empresas y grupos de investigación con los mejores recursos, dejando fuera a los desarrolladores más pequeños fuera de los EE. UU., Canadá, Europa y China. Eso se debe a que se necesitan enormes máquinas para ejecutar el softwarenecesario para que las computadoras imiten el pensamiento y el habla humanos.
Otro riesgo proviene de los datos de entrenamiento en sí, dicen los autores. Debido a que las computadoras leen el lenguaje de la Web y de otras fuentes, pueden captar y perpetuar ideologías racistas, sexistas, capacitivas, extremistas y otras ideologías dañinas.
"Una de las falacias en las que cae la gente es bien, Internet es grande, Internet lo es todo. Si solo rastro todo Internet, entonces claramente he incorporado diversos puntos de vista", dijo Bender. "Pero cuando hicimos unrevisión paso a paso de la literatura, dice que ese no es el caso en este momento porque no todos están en Internet, y de las personas que están en Internet, no todos se sienten cómodos socialmente participando de la misma manera ".
Y las personas pueden confundir los modelos de lenguaje con la interacción humana real, creyendo que en realidad están hablando con una persona o leyendo algo que una persona ha hablado o escrito, cuando, de hecho, el lenguaje proviene de una máquina. Por lo tanto,los loros estocásticos.
"Produce este texto aparentemente coherente, pero no tiene intención comunicativa. No tiene idea de lo que está diciendo. No hay nada allí", dijo Bender.
Fuente de la historia :
Materiales proporcionado por Universidad de Washington . Original escrito por Jackson Holtz. Nota: el contenido se puede editar por estilo y longitud.
Referencia de la revista :
cite esta página :