¿Puede la inteligencia artificial IA ayudarnos a comprender cómo el cerebro entiende el lenguaje? ¿Puede la neurociencia ayudarnos a comprender por qué la IA y las redes neuronales son efectivas para predecir la percepción humana?
La investigación de Alexander Huth y Shailee Jain de la Universidad de Texas en Austin UT Austin sugiere que ambos son posibles.
En un artículo presentado en la Conferencia de 2018 sobre Sistemas de Procesamiento de Información Neural NeurIPS, los académicos describieron los resultados de experimentos que utilizaron redes neuronales artificiales para predecir con mayor precisión que nunca cómo las diferentes áreas del cerebro responden a palabras específicas.
"A medida que las palabras nos vienen a la cabeza, nos formamos ideas de lo que alguien nos está diciendo y queremos entender cómo nos llega al cerebro", dijo Huth, profesor asistente de Neurociencia y Ciencias de la Computación en UT Austin."Parece que debería haber sistemas, pero en la práctica, no es así como funciona el lenguaje. Como todo en biología, es muy difícil reducirlo a un simple conjunto de ecuaciones".
El trabajo empleó un tipo de red neuronal recurrente llamada memoria a corto plazo largo LSTM que incluye en sus cálculos las relaciones de cada palabra con lo que vino antes para preservar mejor el contexto.
"Si una palabra tiene varios significados, se infiere el significado de esa palabra para esa oración en particular dependiendo de lo que se dijo anteriormente", dijo Jain, un estudiante de doctorado en el laboratorio de Huth en UT Austin. "Nuestra hipótesis es que esto conduciríaa mejores predicciones de la actividad cerebral porque el cerebro se preocupa por el contexto ".
Suena obvio, pero durante décadas los experimentos de neurociencia consideraron la respuesta del cerebro a palabras individuales sin un sentido de su conexión con cadenas de palabras u oraciones Huth describe la importancia de hacer "neurociencia del mundo real" en un informe de marzo de 2019papel en el Revista de neurociencia cognitiva .
En su trabajo, los investigadores realizaron experimentos para probar y, en última instancia, predecir, cómo responderían las diferentes áreas del cerebro al escuchar historias específicamente, la Hora de la radio de la polilla. Utilizaron datos recopilados de fMRI imágenes de resonancia magnética funcionalmáquinas que capturan cambios en el nivel de oxigenación de la sangre en el cerebro en función de la actividad de los grupos de neuronas. Esto sirve como corresponsal de dónde se "representan" los conceptos del lenguaje en el cerebro.
Utilizando poderosas supercomputadoras en el Centro de Computación Avanzada de Texas TACC, entrenaron un modelo de lenguaje usando el método LSTM para que pudiera predecir efectivamente qué palabra vendría después, una tarea similar a las búsquedas de autocompletado de Google, que la mente humanaes particularmente experto en.
"Al tratar de predecir la siguiente palabra, este modelo tiene que aprender implícitamente todas estas otras cosas sobre cómo funciona el lenguaje", dijo Huth, "como qué palabras tienden a seguir a otras palabras, sin tener acceso al cerebro ni a ningún dato sobreel cerebro."
Basado tanto en el modelo de lenguaje como en los datos de resonancia magnética funcional, entrenaron un sistema que podría predecir cómo respondería el cerebro cuando escuchara cada palabra en una nueva historia por primera vez.
Los esfuerzos anteriores habían demostrado que es posible localizar las respuestas del lenguaje en el cerebro de manera efectiva. Sin embargo, la nueva investigación mostró que agregar el elemento contextual, en este caso hasta 20 palabras anteriores, mejoró significativamente las predicciones de la actividad cerebral.Descubrieron que sus predicciones mejoran incluso cuando se utiliza la menor cantidad de contexto. Cuanto más contexto se proporciona, mejor es la precisión de sus predicciones.
"Nuestro análisis mostró que si el LSTM incorpora más palabras, entonces mejora en la predicción de la siguiente palabra", dijo Jain, "lo que significa que debe incluir información de todas las palabras del pasado".
La investigación fue más allá. Exploró qué partes del cerebro eran más sensibles a la cantidad de contexto incluido. Encontraron, por ejemplo, que los conceptos que parecen estar localizados en la corteza auditiva dependían menos del contexto.
"Si escuchas la palabra perro, a esta área no le importa cuáles fueron las 10 palabras antes de eso, simplemente responderá al sonido de la palabra perro", explicó Huth.
Por otro lado, las áreas del cerebro que se ocupan del pensamiento de alto nivel eran más fáciles de identificar cuando se incluía más contexto. Esto respalda las teorías de la mente y la comprensión del lenguaje.
"Había una correspondencia realmente agradable entre la jerarquía de la red artificial y la jerarquía del cerebro, lo que nos pareció interesante", dijo Huth.
El procesamiento del lenguaje natural, o PNL, ha avanzado mucho en los últimos años. Pero cuando se trata de responder preguntas, tener conversaciones naturales o analizar los sentimientos en textos escritos, la PNL todavía tiene un largo camino por recorrer. Los investigadorescreen que su modelo de lenguaje desarrollado por LSTM puede ayudar en estas áreas.
El LSTM y las redes neuronales en general funciona asignando valores en el espacio de alta dimensión a componentes individuales aquí, palabras de modo que cada componente pueda definirse por sus miles de relaciones dispares con muchas otras cosas.
Los investigadores entrenaron el modelo de lenguaje alimentándolo con decenas de millones de palabras extraídas de publicaciones de Reddit. Su sistema luego hizo predicciones sobre cómo miles de vóxeles píxeles tridimensionales en el cerebro de seis sujetos responderían a un segundo conjunto dehistorias que ni el modelo ni los individuos habían escuchado antes. Debido a que estaban interesados en los efectos de la longitud del contexto y el efecto de las capas individuales en la red neuronal, esencialmente probaron 60 factores diferentes 20 longitudes de retención de contexto y tres dimensiones de capa diferentes para cada tema.
Todo esto conduce a problemas computacionales de enorme escala, que requieren cantidades masivas de poder de cómputo, memoria, almacenamiento y recuperación de datos. Los recursos de TACC se adaptaban bien al problema. Los investigadores utilizaron la supercomputadora Maverick, que contiene tanto GPU como CPUpara las tareas informáticas, y Corral, un recurso de almacenamiento y gestión de datos, para preservar y distribuir los datos. Al paralelizar el problema en muchos procesadores, pudieron ejecutar el experimento computacional en semanas en lugar de años.
"Para desarrollar estos modelos de manera eficaz, necesita una gran cantidad de datos de entrenamiento", dijo Huth. "Eso significa que debe pasar por todo su conjunto de datos cada vez que desee actualizar los pesos. Y eso es inherentemente muy lento si not use recursos paralelos como los de TACC. "
Si suena complejo, bueno, lo es.
Esto lleva a Huth y Jain a considerar una versión más simplificada del sistema, en la que en lugar de desarrollar un modelo de predicción del lenguaje y luego aplicarlo al cerebro, desarrollan un modelo que predice directamente la respuesta cerebral.al sistema final y es donde Huth y Jain esperan ir en su investigación futura. Un modelo de este tipo mejoraría su rendimiento directamente en las respuestas cerebrales. Una predicción incorrecta de la actividad cerebral retroalimentaría el modelo y estimularía mejoras.
"Si esto funciona, entonces es posible que esta red pueda aprender a leer texto o lenguaje de entrada de manera similar a como lo hacen nuestros cerebros", dijo Huth. "Imagínese el Traductor de Google, pero entiende lo que está diciendo, en lugar de solo aprenderun conjunto de reglas."
Con tal sistema implementado, Huth cree que es solo cuestión de tiempo hasta que sea factible un sistema de lectura de la mente que pueda traducir la actividad cerebral al lenguaje. Mientras tanto, están obteniendo conocimientos sobre neurociencia e inteligencia artificial a partir de susexperimentos.
"El cerebro es una máquina de computación muy eficaz y el objetivo de la inteligencia artificial es construir máquinas que sean realmente buenas en todas las tareas que puede hacer un cerebro", dijo Jain. "Pero no entendemos mucho sobre elcerebro. Entonces, tratamos de usar la inteligencia artificial para primero cuestionar cómo funciona el cerebro y luego, basándonos en los conocimientos que obtenemos a través de este método de interrogación y a través de la neurociencia teórica, usamos esos resultados para desarrollar una mejor inteligencia artificial.
"La idea es comprender los sistemas cognitivos, tanto biológicos como artificiales, y usarlos en conjunto para comprender y construir mejores máquinas".
Fuente de la historia :
Materiales proporcionado por Universidad de Texas en Austin, Texas Advanced Computing Center . Nota: el contenido se puede editar por estilo y longitud.
Referencia de la revista :
cite esta página :