El adagio de la era moderna "trabaja más inteligentemente, no más duro" enfatiza la importancia de no solo trabajar para producir, sino también hacer un uso eficiente de los recursos.
Y no es algo que las supercomputadoras hagan bien todo el tiempo, especialmente cuando se trata de administrar grandes cantidades de datos.
Pero un equipo de investigadores del Departamento de Ciencias de la Computación de la Facultad de Ingeniería de Virginia Tech está ayudando a las supercomputadoras a trabajar de manera más eficiente de una manera novedosa, utilizando el aprendizaje automático para distribuir o equilibrar la carga adecuadamente las tareas de procesamiento de datos en los miles de servidoresque comprenden una supercomputadora.
Al incorporar el aprendizaje automático para predecir no solo las tareas, sino también los tipos de tareas, los investigadores encontraron que la carga en varios servidores se puede mantener equilibrada en todo el sistema. El equipo presentará su investigación en Río de Janeiro, Brasil, en el 33 ° International Parallely Simposio de procesamiento distribuido el 22 de mayo de 2019.
Los sistemas de administración de datos actuales en supercomputación se basan en enfoques que asignan tareas de manera rotatoria a los servidores sin tener en cuenta el tipo de tarea o la cantidad de datos con los que cargará el servidor. Cuando la carga en los servidores no está equilibrada, los sistemas seempantanado por rezagados, y el rendimiento se degrada severamente.
"Los sistemas de supercomputación son precursores de la competitividad estadounidense en la informática de alto rendimiento", dijo Ali R. Butt, profesor de ciencias de la computación. "Son cruciales no solo para lograr avances científicos, sino también para mantener la eficacia de los sistemas que nos permiten realizarnegocios de nuestra vida cotidiana, desde el uso de servicios de transmisión para ver películas hasta el procesamiento de transacciones financieras en línea y la previsión de sistemas meteorológicos utilizando modelos meteorológicos ".
Para implementar un sistema para usar el aprendizaje automático, el equipo construyó un nuevo plano de control de un extremo a otro que combinaba las fortalezas centradas en la aplicación de los enfoques del lado del cliente con las fortalezas centradas en el sistema de los enfoques del lado del servidor.
"Este estudio fue un gran paso en la gestión de sistemas de supercomputación. Lo que hicimos le dio a la supercomputación un impulso de rendimiento y demostró que estos sistemas se pueden administrar de manera inteligente y rentable a través del aprendizaje automático", dijo Bharti Wadhwa, primer autoren el artículo y un candidato a doctorado en el Departamento de Ciencias de la Computación. "Hemos brindado a los usuarios la capacidad de diseñar sistemas sin incurrir en un gran costo".
La técnica novedosa le dio al equipo la capacidad de tener "ojos" para monitorear el sistema y permitió que el sistema de almacenamiento de datos aprendiera y pronosticara cuándo podrían caer cargas más grandes o cuándo la carga se volvió demasiado grande para un servidor.El sistema también proporcionó información en tiempo real de una manera independiente de la aplicación, creando una vista global de lo que estaba sucediendo en el sistema. Anteriormente, los servidores no podían aprender y las aplicaciones de software no eran lo suficientemente ágiles como para personalizarse sin un rediseño importante.
"El algoritmo predijo las solicitudes futuras de aplicaciones a través de un modelo de series de tiempo", dijo Arnab K. Paul, segundo autor y candidato a doctorado también en el Departamento de Ciencias de la Computación. "Esta capacidad de aprender de los datos nos diouna oportunidad única de ver cómo podemos realizar solicitudes futuras de manera equilibrada ".
El sistema de extremo a extremo también permitió a los usuarios una capacidad sin precedentes de beneficiarse de la configuración de carga equilibrada sin cambiar el código fuente. En los sistemas de supercomputadoras tradicionales actuales, este es un procedimiento costoso ya que requiere que la base del código de la aplicación seaalterado
"Fue un privilegio contribuir al campo de la supercomputación con este equipo", dijo Sarah Neuwirth, investigadora postdoctoral del Instituto de Ingeniería Informática de la Universidad de Heidelberg. "Para que la supercomputación evolucione y supere los desafíos de un siglo XXIsociedad, tendremos que liderar esfuerzos internacionales como este. Mi propio trabajo con sistemas de supercomputación de uso común se benefició enormemente de este proyecto ".
El plano de control de un extremo a otro consistía en servidores de almacenamiento que publicaban su información de uso en el servidor de metadatos. Se utilizó un modelo de serie temporal de promedio móvil integrado autorregresivo para predecir solicitudes futuras con una precisión aproximada del 99 por ciento y se envió al servidor de metadatos enpara mapear a servidores de almacenamiento utilizando el algoritmo de gráfico de flujo máximo de costo mínimo.
Esta investigación está financiada por la National Science Foundation y se realiza en colaboración con el National Leadership Computing Facility en Oak Ridge National Lab.
Fuente de la historia :
Materiales proporcionado por Tecnología de Virginia . Nota: el contenido se puede editar por estilo y longitud.
cite esta página :