Los investigadores han desarrollado un nuevo marco para redes neuronales profundas que permite que los sistemas de inteligencia artificial IA aprendan mejor nuevas tareas mientras "olvidan" menos de lo que han aprendido con respecto a tareas anteriores. Los investigadores también han demostrado que usar el marco para aprenderuna nueva tarea puede hacer que la IA realice mejor tareas anteriores, un fenómeno llamado transferencia hacia atrás.
"Las personas son capaces de aprender continuamente; aprendemos nuevas tareas todo el tiempo, sin olvidar lo que ya sabemos", dice Tianfu Wu, profesor asistente de ingeniería eléctrica e informática en NC State y coautor de un artículo sobre elfuncionan. "Hasta la fecha, los sistemas de IA que utilizan redes neuronales profundas no han sido muy buenos en esto".
"Los sistemas de inteligencia artificial de redes neuronales profundas están diseñados para aprender tareas limitadas", dice Xilai Li, coautor principal del artículo y candidato a doctorado en NC State. "Como resultado, puede suceder una de varias cosascuando aprenden nuevas tareas. Los sistemas pueden olvidar tareas antiguas cuando aprenden otras nuevas, lo que se denomina olvido catastrófico. Los sistemas pueden olvidar algunas de las cosas que sabían sobre las tareas antiguas, pero no aprenden a hacer otras nuevas también. O los sistemas pueden arreglar las tareas antiguasen su lugar mientras se agregan nuevas tareas, lo que limita la mejora y conduce rápidamente a un sistema de inteligencia artificial que es demasiado grande para operar de manera eficiente. El aprendizaje continuo, también llamado aprendizaje permanente o aprender a aprender, está tratando de abordar el problema ".
"Hemos propuesto un nuevo marco para el aprendizaje continuo, que desacopla el aprendizaje de la estructura de red y el aprendizaje de los parámetros del modelo", dice Yingbo Zhou, coautor principal del artículo e investigador científico de Salesforce Research. "Lo llamamos el Aprender aGrow framework. En pruebas experimentales, hemos descubierto que supera los enfoques anteriores de aprendizaje continuo ".
Para entender el marco Learn to Grow, piense en las redes neuronales profundas como una tubería llena de varias capas. Los datos sin procesar van a la parte superior de la tubería y los resultados de las tareas salen por la parte inferior. Cada "capa" en la tubería es unacomputación que manipula los datos para ayudar a la red a realizar su tarea, como identificar objetos en una imagen digital. Hay múltiples formas de organizar las capas en la tubería, que corresponden a diferentes "arquitecturas" de la red.
Cuando se le pide a una red neuronal profunda que aprenda una nueva tarea, el marco Learn to Grow comienza realizando algo llamado optimización explícita de la arquitectura neuronal a través de la búsqueda. Lo que esto significa es que a medida que la red llega a cada capa de su sistema, puededecida hacer una de estas cuatro cosas: omitir la capa; usar la capa de la misma manera que las tareas anteriores la usaron; adjuntar un adaptador ligero a la capa, que la modifica ligeramente; o crear una capa completamente nueva.
Esta optimización de la arquitectura establece de manera efectiva la mejor topología, o serie de capas, necesarias para realizar la nueva tarea. Una vez que se completa, la red utiliza la nueva topología para capacitarse sobre cómo realizar la tarea, como cualquier otrasistema de inteligencia artificial de aprendizaje profundo.
"Hemos realizado experimentos utilizando varios conjuntos de datos, y lo que hemos descubierto es que cuanto más similar es una nueva tarea a las tareas anteriores, más superposición hay en términos de las capas existentes que se mantienen para realizar la nueva tarea", Dice Li." Lo que es más interesante es que, con la topología optimizada - o "aprendida" - una red entrenada para realizar nuevas tareas olvida muy poco de lo que necesitaba para realizar las tareas más antiguas, incluso si las tareas más antiguasno eran similares ".
Los investigadores también realizaron experimentos comparando la capacidad del marco Learn to Grow para aprender nuevas tareas con varios otros métodos de aprendizaje continuo, y encontraron que el marco Learn to Grow tenía una mayor precisión al completar nuevas tareas.
Para probar cuánto pudo haber olvidado cada red al aprender la nueva tarea, los investigadores luego probaron la precisión de cada sistema en la realización de las tareas más antiguas, y el marco Learn to Grow nuevamente superó a las otras redes.
"En algunos casos, el marco Learn to Grow realmente mejoró en el desempeño de las tareas anteriores", dice Caiming Xiong, director de investigación de Salesforce Research y coautor del trabajo. "Esto se denomina transferencia hacia atrás y ocurrecuando descubres que aprender una nueva tarea te hace mejor en una tarea anterior. Vemos esto en las personas todo el tiempo; no tanto con la IA ".
El documento, "Aprender a crecer: un marco de aprendizaje de estructura continua para superar el olvido catastrófico", se presentará en la 36ª Conferencia Internacional sobre Aprendizaje Automático, que se celebrará del 9 al 15 de junio en Long Beach, California. Coautores principales deel documento es Xilai Li, estudiante de doctorado en NC State, y Yingbo Zhou de Salesforce Research. El documento fue escrito en coautoría por Richard Socher y Caiming Xiong de Salesforce Research.
El trabajo se realizó con el apoyo de la Oficina de Investigación del Ejército de EE. UU. Con las subvenciones W911NF1810295 y W911NF1810209; y de la National Science Foundation, con la subvención 1822477. Parte del trabajo se realizó mientras Li era un pasante de verano en Salesforce AI Research.
Fuente de la historia :
Materiales proporcionado por Universidad Estatal de Carolina del Norte . Original escrito por Matt Shipman. Nota: el contenido se puede editar por estilo y longitud.
cite esta página :