Un sistema creado por investigadores del MIT podría usarse para actualizar automáticamente inconsistencias fácticas en los artículos de Wikipedia, reduciendo el tiempo y el esfuerzo dedicado por los editores humanos que ahora realizan la tarea manualmente.
Wikipedia comprende millones de artículos que necesitan constantemente ediciones para reflejar nueva información. Eso puede implicar expansiones de artículos, reescrituras importantes o más modificaciones de rutina, como actualizar números, fechas, nombres y ubicaciones. Actualmente, humanos en todo el mundoOfrezca su tiempo como voluntario para hacer estas ediciones.
En un documento presentado en la Conferencia de AAAI sobre Inteligencia Artificial, los investigadores describen un sistema generador de texto que identifica y reemplaza información específica en oraciones relevantes de Wikipedia, mientras mantiene el lenguaje similar a cómo los humanos escriben y editan.
La idea es que los humanos escriban en una interfaz una oración no estructurada con información actualizada, sin necesidad de preocuparse por el estilo o la gramática. El sistema buscaría en Wikipedia, ubicaría la página apropiada y la oración desactualizada, y la reescribiría de manera humanaEn el futuro, dicen los investigadores, existe la posibilidad de construir un sistema completamente automatizado que identifique y use la información más reciente de toda la web para producir oraciones reescritas en los artículos de Wikipedia correspondientes que reflejen información actualizada.
"Se necesitan tantas actualizaciones constantemente para los artículos de Wikipedia. Sería beneficioso modificar automáticamente partes exactas de los artículos, con poca o ninguna intervención humana", dice Darsh Shah, estudiante de doctorado en el Laboratorio de Ciencias de la Computación e Inteligencia ArtificialCSAIL y uno de los autores principales: "En lugar de cientos de personas trabajando en modificar cada artículo de Wikipedia, solo necesitará unos pocos, porque el modelo está ayudando o lo hace automáticamente. Eso ofrece mejoras dramáticas en la eficiencia".
Existen muchos otros bots que hacen ediciones automáticas de Wikipedia. Por lo general, esos trabajan para mitigar el vandalismo o colocar información estrechamente definida en plantillas predefinidas, dice Shah. El modelo de los investigadores, dice, resuelve un problema de inteligencia artificial más difícil: dado un nuevopieza de información no estructurada, el modelo modifica automáticamente la oración de manera humana. "Las otras tareas [bot] están más basadas en reglas, mientras que esta es una tarea que requiere razonamiento sobre partes contradictorias en dos oraciones y genera un texto coherente," él dice.
El sistema también se puede usar para otras aplicaciones de generación de texto, dice el coautor principal y estudiante graduado de CSAIL Tal Schuster. En su trabajo, los investigadores también lo usaron para sintetizar oraciones automáticamente en un conjunto de datos de verificación de hechos que ayudóreduzca el sesgo, sin recopilar datos adicionales manualmente. "De esta manera, el rendimiento mejora para los modelos automáticos de verificación de hechos que se entrenan en el conjunto de datos para, por ejemplo, la detección de noticias falsas", dice Schuster.
Shah y Schuster trabajaron en el papel con su asesora académica Regina Barzilay, la profesora de ingeniería eléctrica y ciencias de la computación de Delta Electronics y profesora en CSAIL.
enmascaramiento y fusión de neutralidad
Detrás del sistema hay un poco de ingenio generador de texto para identificar información contradictoria entre, y luego fusionar, dos oraciones separadas. Toma como entrada una oración "desactualizada" de un artículo de Wikipedia, más una oración de "reclamo" separadaque contiene la información actualizada y conflictiva. El sistema debe eliminar automáticamente y mantener palabras específicas en la oración desactualizada, con base en la información del reclamo, para actualizar los hechos pero mantener el estilo y la gramática. Esa es una tarea fácil para los humanos, pero una novedad enaprendizaje automático.
Por ejemplo, digamos que hay una actualización obligatoria de esta oración en negrita: "El Fondo A considera que 28 de sus 42 participaciones minoritarias en compañías operativamente activas son de particular importancia para el grupo". La oración de reclamo con información actualizada puede leerse: "El Fondo A considera que 23 de 43 participaciones minoritarias son significativas". El sistema localizaría el texto relevante de Wikipedia para "Fondo A", basado en el reclamo. Luego, elimina automáticamente los números obsoletos 28 y 42 y los reemplaza por elnuevos números 23 y 43, manteniendo la oración exactamente igual y gramaticalmente correcta en su trabajo, los investigadores ejecutaron el sistema en un conjunto de datos de oraciones específicas de Wikipedia, no en todas las páginas de Wikipedia.
El sistema fue entrenado en un conjunto de datos popular que contiene pares de oraciones, en las cuales una oración es un reclamo y la otra es una oración relevante de Wikipedia. Cada par está etiquetado en una de tres formas: "de acuerdo", lo que significa que las oraciones contieneninformación objetiva coincidente; "en desacuerdo", lo que significa que contienen información contradictoria; o "neutral", donde no hay suficiente información para ninguna etiqueta. El sistema debe hacer que todos los pares en desacuerdo estén de acuerdo, modificando la oración desactualizada para que coincida con el reclamo. Eso requiere usardos modelos separados para producir la salida deseada.
El primer modelo es un clasificador de verificación de hechos, entrenado para etiquetar cada par de oraciones como "de acuerdo", "en desacuerdo" o "neutral", que se centra en los pares en desacuerdo. Correr junto con el clasificador es una costumbre "módulo de enmascaramiento de neutralidad "que identifica qué palabras en la oración desactualizada contradicen la afirmación. El módulo elimina el número mínimo de palabras requeridas para" maximizar la neutralidad ", lo que significa que el par puede etiquetarse como neutral. Ese es el punto de partida: mientras que las oraciones noNo está de acuerdo, ya no contienen información obviamente contradictoria. El módulo crea una "máscara" binaria sobre la oración desactualizada, donde se coloca un 0 sobre las palabras que probablemente requieren eliminación, mientras que un 1 va encima de los guardianes.
Después de enmascarar, se utiliza un nuevo marco de decodificador de dos codificadores para generar la oración de salida final. Este modelo aprende representaciones comprimidas de la afirmación y la oración desactualizada. Trabajando en conjunto, los dos decodificadores de codificador fusionan las palabras diferentes delreclamar, deslizándolos en los lugares que quedan vacíos por las palabras eliminadas las que están cubiertas con 0 en la oración desactualizada.
En una prueba, el modelo obtuvo un puntaje más alto que todos los métodos tradicionales, usando una técnica llamada "SARI" que mide qué tan bien las máquinas eliminan, agregan y mantienen palabras en comparación con la forma en que los humanos modifican oraciones. Usaron un conjunto de datos con Wikipedia editada manualmenteoraciones, que el modelo no había visto antes. En comparación con varios métodos tradicionales de generación de texto, el nuevo modelo fue más preciso al realizar actualizaciones fácticas y su producción se parecía más a la escritura humana. En otra prueba, los humanos de crowdsourcing calificaron el modelo enuna escala de 1 a 5 basado en qué tan bien sus oraciones de salida contenían actualizaciones fácticas y gramática humana coincidente. El modelo alcanzó puntajes promedio de 4 en actualizaciones fácticas y 3.85 en gramática coincidente.
Eliminación de sesgo
El estudio también mostró que el sistema se puede utilizar para aumentar los conjuntos de datos para eliminar el sesgo al entrenar detectores de "noticias falsas", una forma de propaganda que contiene desinformación creada para engañar a los lectores con el fin de generar visitas al sitio web o dirigir la opinión pública.estos detectores se entrenan en conjuntos de datos de pares de oraciones de acuerdo-desacuerdo para "aprender" a verificar un reclamo comparándolo con la evidencia dada.
En estos pares, el reclamo coincidirá con cierta información con una oración de "evidencia" de apoyo de Wikipedia de acuerdo o será modificado por humanos para incluir información contradictoria con la oración de evidencia en desacuerdo. Los modelos están entrenados para marcarreclamaciones con pruebas de refutación como "falsas", que pueden usarse para ayudar a identificar noticias falsas.
Desafortunadamente, tales conjuntos de datos actualmente vienen con sesgos involuntarios, dice Shah: "Durante el entrenamiento, los modelos usan un lenguaje de las afirmaciones escritas en humanos como frases de" entrega "para marcarlos como falsos, sin depender mucho de la oración de evidencia correspondiente.Esto reduce la precisión del modelo al evaluar ejemplos del mundo real, ya que no realiza una verificación de hechos ".
Los investigadores utilizaron las mismas técnicas de eliminación y fusión de su proyecto de Wikipedia para equilibrar los pares de desacuerdo-acuerdo en el conjunto de datos y ayudar a mitigar el sesgo. Para algunos pares de "desacuerdo", utilizaron la información falsa de la oración modificada para regenerar un falso "evidencia "oración de apoyo. Algunas de las frases de obsequio existen entonces en las oraciones de" de acuerdo "y" en desacuerdo ", lo que obliga a los modelos a analizar más características. Utilizando su conjunto de datos aumentado, los investigadores redujeron la tasa de error de una falsificación populardetector de noticias en un 13 por ciento.
"Si tiene un sesgo en su conjunto de datos, y está engañando a su modelo para que solo mire una oración en un par en desacuerdo para hacer predicciones, su modelo no sobrevivirá al mundo real", dice Shah. "Hacemos modelosmira ambas oraciones en todos los pares de acuerdo-desacuerdo "
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Massachusetts . Original escrito por Rob Matheson. Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :