Un equipo de investigadores del Laboratorio Nacional Oak Ridge del Departamento de Energía se ha unido a la inteligencia artificial y la informática de alto rendimiento para lograr una velocidad máxima de 20 petaflops en la generación y capacitación de redes de aprendizaje profundo en la supercomputadora Titan del laboratorio.
El aprendizaje profundo es un campo emergente de inteligencia artificial que utiliza redes modeladas a partir del cerebro humano para "aprender" cómo distinguir características y patrones en vastos conjuntos de datos. Estas redes son muy prometedoras en la realización de numerosas tecnologías, desde automóviles autónomosa robots inteligentes.
Debido a su capacidad para dar sentido a cantidades masivas de datos, los investigadores de todo el espectro científico están ansiosos por refinar el aprendizaje profundo y aplicarlo a algunos de los problemas científicos más desafiantes de la actualidad. Uno de esos esfuerzos son los avances de ORNL en el aprendizaje automático para mejorar la cienciaProyecto Discovery at Exascale and Beyond ASCEND, que tiene como objetivo utilizar el aprendizaje profundo para dar sentido a los conjuntos de datos masivos producidos por los experimentos científicos más sofisticados del mundo, como los ubicados en ORNL.
El análisis de tales conjuntos de datos generalmente requiere que se modifiquen las redes neuronales existentes, o que se diseñen redes nuevas y luego se "capaciten" para que sepan con precisión qué buscar y puedan producir resultados válidos.
Esta es una tarea difícil y que lleva mucho tiempo, pero que un equipo de ORNL dirigido por Robert Patton y que incluye a Steven Young y Travis Johnston demostró recientemente se puede acelerar drásticamente con un sistema informático capaz como Titan de ORNL, la supercomputadora más rápida del país paraCiencias.
Para diseñar de manera eficiente redes neuronales capaces de abordar conjuntos de datos científicos y acelerar los avances, el equipo de Patton desarrolló dos códigos para arquitecturas de redes neuronales profundas en evolución MENNDL y ajuste fino RAvENNA.
Ambos códigos pueden generar y entrenar hasta 18,600 redes neuronales simultáneamente. El rendimiento máximo se puede estimar mediante muestreo aleatorio y luego perfilando cuidadosamente varios cientos de estas redes entrenadas de forma independiente.
Ambos códigos lograron un rendimiento máximo de 20 petaflops, o 20 mil billones de cálculos por segundo, en Titán o algo menos de la mitad del rendimiento máximo total de precisión único de Titán. En términos prácticos, eso se traduce en entrenar 40-50,000 redes por hora.
"La medida real del éxito en la comunidad de aprendizaje profundo es el tiempo de solución", dijo Johnston. "Y con una máquina como Titan podemos entrenar un número incomparable de redes altamente precisas".
Titan es un sistema híbrido Cray, lo que significa que utiliza tanto CPU tradicionales como unidades de procesamiento de gráficos GPU para hacer frente a cálculos complejos para grandes problemas científicos de manera eficiente; las GPU también son el procesador de elección para entrenar redes de aprendizaje profundo.
El trabajo del equipo demuestra que con el sistema informático de alto rendimiento adecuado, los investigadores pueden entrenar eficientemente grandes cantidades de redes, que luego pueden usarse para ayudarlos a abordar los experimentos y simulaciones cada vez más pesados en la actualidad.
Este diseño eficiente de redes neuronales profundas permitirá a los investigadores desplegar modelos altamente precisos y diseñados a medida, ahorrando tiempo y dinero al liberar al científico de la tarea de diseñar una red desde cero.
Y debido a que el próximo sistema de computación de liderazgo de la OLCF, Summit, presenta una arquitectura amigable de aprendizaje profundo con GPU mejoradas y núcleos Tensor complementarios, el equipo confía en que ambos códigos solo serán más rápidos.
"Fuera de la caja, sin sintonizar la arquitectura única de Summit, esperamos un aumento en el rendimiento de hasta 50 veces", dijo Johnston.
Con ese tipo de capacidad de capacitación en red, Summit podría ser indispensable para los investigadores de todo el espectro científico que buscan un aprendizaje profundo para ayudarlos a abordar algunos de los desafíos más inmensos de la ciencia.
El equipo de Patton no está esperando que el hardware mejorado comience a abordar los desafíos de datos científicos actuales; ya han implementado sus códigos para ayudar a los científicos de dominio en el Fermilab del Departamento de Energía en Batavia, Illinois.
Los investigadores de Fermilab utilizaron MENNDL para comprender mejor cómo interactúan los neutrinos con la materia ordinaria al producir una red de clasificación para apoyar su Experimento de inyector principal para vA MINERvA, un experimento de dispersión de neutrinos. La tarea, conocida como reconstrucción de vértices, requería una red paraanalizar imágenes e identificar con precisión la ubicación donde los neutrinos interactúan con uno de los muchos objetivos, una tarea similar a encontrar la fuente aérea de un estallido de fuegos artificiales.
En solo 24 horas, MENNDL produjo redes optimizadas que superaron a cualquier red hecha a mano anteriormente, un logro que fácilmente podría haber llevado a los científicos meses para lograrlo. Para identificar la red de alto rendimiento, MENNDL evaluó aproximadamente 500,000 redes neuronales, capacitándolas en unconjunto de datos que consta de 800,000 imágenes de eventos de neutrinos, utilizando constantemente 18,000 de los nodos de Titán.
"Necesitas algo como MENNDL para explorar este espacio infinito de redes posibles, pero quieres hacerlo de manera eficiente", dijo Young. "Lo que Titan hace es que el tiempo de solución se reduzca a algo práctico".
Y con la Cumbre que se pondrá en línea este año, el futuro del aprendizaje profundo en la gran ciencia se ve realmente brillante.
El proyecto ASCEND está financiado por la Oficina de Ciencia del DOE y dirigido por Thomas Potok de ORNL, líder del grupo para el grupo de Análisis de Datos Computacionales CDA. Titan forma parte de la Instalación de Computación de Liderazgo de Oak Ridge, una Instalación de Usuario de la Oficina de Ciencia del DOE.
UT-Battelle administra ORNL para la Oficina de Ciencia del DOE. La Oficina de Ciencia es el mayor defensor de la investigación básica en ciencias físicas en los Estados Unidos y está trabajando para abordar algunos de los desafíos más apremiantes de nuestro tiempo.más información, por favor visite http://science.energy.gov/ .
Fuente de la historia :
Materiales proporcionado por Laboratorio Nacional de Oak Ridge . Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :