Una colaboración de investigación entre Lawrence Berkeley National Laboratory Berkeley Lab, Pacific Northwest National Laboratory PNNL, Brown University y NVIDIA ha logrado un rendimiento exaflop en la supercomputadora Summit con una aplicación de aprendizaje profundo utilizada para modelar el flujo subsuperficial en el estudio deremediación de desechos nucleares. Su logro, que se presentará durante el taller "Aprendizaje profundo en supercomputadoras" en SC19, demuestra la promesa de las redes de confrontación generativa GAN informadas por la física para analizar problemas científicos complejos a gran escala.
"En ciencia conocemos las leyes de la física y los principios de observación: masa, impulso, energía, etc.", dijo George Karniadakis, profesor de matemática aplicada en Brown y coautor del artículo del taller SC19. "El concepto deLas GAN informadas por la física deben codificar información previa de la física en la red neuronal. Esto le permite ir mucho más allá del dominio del entrenamiento, lo cual es muy importante en aplicaciones donde las condiciones pueden cambiar ".
Las GAN se han aplicado para modelar la apariencia del rostro humano con notable precisión, señaló Prabhat, coautor del artículo SC19 que lidera el equipo de Servicios de Datos y Análisis en el Centro de Computación Científica de Investigación Energética Nacional de Berkeley Lab. "En ciencia, Berkeley Labha explorado la aplicación de GAN de vainilla para crear universos sintéticos y experimentos de física de partículas; uno de los desafíos abiertos hasta ahora ha sido la incorporación de restricciones físicas en las predicciones ", dijo." George y su grupo en Brown han sido pioneros en el enfoque deincorporando la física a las GAN y usándolas para sintetizar datos, en este caso, campos de flujo subsuperficiales "
Para este estudio, los investigadores se centraron en el Sitio Hanford, establecido en 1943 como parte del Proyecto Manhattan para producir plutonio para armas nucleares y, finalmente, el hogar del primer reactor de producción de plutonio a gran escala en el mundo, otros ocho reactores nucleares,y cinco complejos de procesamiento de plutonio. Cuando la producción de plutonio terminó en 1989, quedaron decenas de millones de galones de desechos radiactivos y químicos en grandes tanques subterráneos y más de 100 millas cuadradas de agua subterránea contaminada como resultado de la eliminación de aproximadamente 450 mil millones de galonesde líquidos a los sitios de eliminación de suelos. Por lo tanto, durante los últimos 30 años, el Departamento de Energía de los Estados Unidos ha estado trabajando con la Agencia de Protección Ambiental y el Departamento de Ecología del Estado de Washington para limpiar Hanford, que se encuentra en 580 millas cuadradas casi 500,000 acresen el centro-sur de Washington, partes enteras adyacentes al río Columbia, el río más grande del noroeste del Pacífico y un punto críticovía para la industria y la vida silvestre
Para realizar un seguimiento del esfuerzo de limpieza, los trabajadores han confiado en la perforación de pozos en el sitio de Hanford y en la colocación de sensores en esos pozos para recopilar datos sobre propiedades geológicas y flujo de agua subterránea y observar la progresión de contaminantes. Los entornos subterráneos como el sitio de Hanford son muy heterogéneos conAlex Tartakovsky, matemático computacional de PNNL y coautor del artículo SC19, explicó que las propiedades espaciales varían. "Estimar las propiedades del sitio Hanford a partir de datos solo requeriría más de un millón de mediciones, y en la práctica tenemos quizás mil.las leyes de la física nos ayudan a compensar la falta de datos "
"El enfoque de estimación de parámetros estándar es asumir que los parámetros pueden tomar muchas formas diferentes, y luego para cada forma hay que resolver ecuaciones de flujo subsuperficial quizás millones de veces para determinar los parámetros que mejor se ajustan a las observaciones", agregó Tartakovsky. Pero paraEn este estudio, el equipo de investigación tomó una táctica diferente: usar una GAN informada por la física y computación de alto rendimiento para estimar parámetros y cuantificar la incertidumbre en el flujo subsuperficial.
Para este trabajo de validación inicial, los investigadores optaron por utilizar datos sintéticos, datos generados por un modelo computarizado basado en el conocimiento experto sobre el Sitio Hanford. Esto les permitió crear una representación virtual del sitio que luego podrían manipular según fuera necesariosegún los parámetros que les interesaba medir, principalmente la conductividad hidráulica y el cabezal hidráulico, ambos clave para modelar la ubicación de los contaminantes. Los estudios futuros incorporarán datos de sensores reales y condiciones del mundo real.
"El propósito inicial de este proyecto era estimar la precisión de los métodos, por lo que utilizamos datos sintéticos en lugar de mediciones reales", dijo Tartakovsky. "Esto nos permitió estimar el rendimiento de los GANS informados por la física en función deel número de mediciones "
Al capacitar a la GAN en la supercomputadora de la Cumbre en la OLCF de Oak Ridge Leadership Computing Facility, el equipo pudo lograr un rendimiento máximo de 1.2 exaflop y un rendimiento sostenido, el primer ejemplo de una arquitectura GAN a gran escala aplicada a los SPDE., la heterogeneidad espacial y las escalas de longitud de correlación múltiple del sitio Hanford requirieron entrenar el modelo GAN a miles de dimensiones, por lo que el equipo desarrolló una implementación altamente optimizada que se amplió a 27,504 GPU NVIDIA V100 Tensor Core y 4,584 nodos en Summit con una escala del 93.1%eficiencia.
"Lograr una escala y un rendimiento tan masivos requirió una optimización completa de la pila y múltiples estrategias para extraer el máximo paralelismo", dijo Mike Houston, quien dirige el equipo de Sistemas de AI en NVIDIA. "A nivel de chip, optimizamos la estructura y el diseño delred neuronal para maximizar la utilización de Tensor Core a través del soporte de cuDNN en TensorFlow. A nivel de nodo, utilizamos NCCL y NVLink para el intercambio de datos a alta velocidad. Y a nivel de sistema, optimizamos Horovod y MPI no solo para combinar los datos y modelos sino tambiénpara manejar estrategias paralelas adversarias. Para maximizar la utilización de nuestras GPU, tuvimos que fragmentar los datos y luego distribuirlos para alinearlos con la técnica de paralelización ".
"Esta es una nueva marca alta para las arquitecturas GAN", dijo Prabhat. "Queríamos crear un sustituto económico para una simulación muy costosa, y lo que pudimos mostrar aquí es que una arquitectura GAN con limitaciones físicas puedeproducir campos espaciales consistentes con nuestro conocimiento de la física. Además, este proyecto ejemplar reunió a expertos de modelado subsuperficial, matemática aplicada, aprendizaje profundo y HPC. Como el DOE considera aplicaciones más amplias de aprendizaje profundo - y, en particular, GAN -- para problemas de simulación, espero que varios equipos de investigación se inspiren en estos resultados "
Fuente de la historia :
Materiales proporcionado por DOE / Laboratorio Nacional Lawrence Berkeley . Nota: El contenido puede ser editado por estilo y longitud.
Cita esta página :