La informática de alto rendimiento avanzada a gran escala, a menudo llamada supercomputación, es esencial para resolver preguntas complejas y grandes.
Todo, desde responder consultas metafísicas sobre los orígenes del universo hasta descubrir medicamentos para combatir el cáncer y apoyar servicios de transmisión de alta velocidad, requiere el procesamiento de grandes cantidades de datos.
Pero las plataformas de almacenamiento esenciales para estos sistemas informáticos avanzados se han atascado en un marco rígido que requería que los usuarios eligieran entre la personalización de funciones o la alta disponibilidad.
Ahora, los investigadores de Virginia Tech han encontrado una manera de dar a los sistemas de datos de computación de alto rendimiento HPC la flexibilidad para prosperar con un marco de trabajo único llamado BespoKV, que tal vez ayude a algún día a lograr el objetivo de HPC de realizaren la exascala, o mil millones de cálculos por segundo.
Los investigadores presentarán sus hallazgos en la Asociación de Maquinaria de Computación / Conferencia de Supercomputación IEEE en Dallas, Texas, el 13 de noviembre.
El ingrediente principal para el funcionamiento de la nueva plataforma son los sistemas de valor clave KV. Los sistemas KV almacenan y recuperan datos importantes de un almacenamiento basado en memoria muy rápido en lugar de discos más lentos. Estos sistemas se utilizan cada vez más en las aplicaciones de alto rendimiento de la actualidad.que utilizan sistemas distribuidos, que se componen de muchas computadoras para resolver un problema. La informática de alto rendimiento depende de que las computadoras reciban, procesen y analicen grandes cantidades de datos a velocidades sin precedentes. Actualmente, los mejores sistemas operan a un billón de cálculos porsegundo, o un petaflop.
La investigación es relevante para las industrias que procesan grandes cantidades de datos, ya sea el acaparamiento del espacio, los gráficos visuales intensos de los sitios de transmisión de películas; millones de transacciones financieras en grandes compañías de tarjetas de crédito; o contenido generado por el usuario en los medios socialesPiense en grandes sitios de medios como Facebook, donde el contenido cambia constantemente y se accede continuamente. Cuando los usuarios cargan contenido en sus páginas de perfil, esa información reside en varios servidores.
Pero si tiene que acceder continuamente a cierto contenido, los sistemas KV pueden ser mucho más eficientes como medio de almacenamiento porque el contenido se carga desde el almacén de memoria cercano más rápido, no desde el servidor de almacenamiento lejano. Esto permite que el sistema proporcionealto rendimiento al completar tareas o solicitudes.
"Me interesé en los sistemas de valores clave porque esta plataforma de almacenamiento tan fundamental y simple no ha sido explotada en los sistemas informáticos de alto rendimiento donde puede proporcionar muchos beneficios", dijo Ali Anwar, primer autor del artículo presentado yUn recién graduado de Virginia Tech que actualmente trabaja en IBM Research. "BespoKV es un marco novedoso que puede permitir que los sistemas HPC proporcionen mucha flexibilidad y rendimiento y no estén encadenados al diseño de almacenamiento rígido".
La principal innovación de BespoKV es que permite componer una gama de tiendas KV con características deseables. Funciona al tomar una tienda KV de un solo servidor llamada datalet y permite tiendas KV distribuidas inmediatas y listas para usar. Ahora, en cambio, ahorade rediseñar un sistema desde cero para realizar una tarea específica, un desarrollador puede colocar un datalet en BespoKV y descargar la "plomería desordenada" de los sistemas distribuidos al marco. BespoKV desacopla el diseño de la tienda KV en el plano de control para la gestión distribuida y los datosavión para almacenamiento local de datos.
El marco también permite nuevos servicios de HPC para cargas de trabajo que las empresas e instituciones aún tienen que anticipar.
Uno de los principales efectos limitantes de las tiendas actuales de KV de última generación es que están diseñadas teniendo en cuenta los servicios distribuidos preexistentes y a menudo están especializadas para un entorno específico. Otro factor limitante es el diseño monolítico inflexible dondeLas características distribuidas están profundamente integradas en un sistema con almacenes de datos de back-end que hacen cosas como administrar el inventario, los pedidos y el suministro. El diseño rígido de estas tiendas KV no se adapta a las demandas cambiantes de los usuarios de innumerables backend, topología, consistencia y una gran cantidad deotros servicios.
"Los desarrolladores de grandes empresas realmente pueden hundirse en el diseño de sistemas innovadores de almacenamiento HPC con BespoKV", dijo Ali Butt, profesor de ciencias de la computación. "El rendimiento del acceso a datos es una limitación importante en los sistemas de almacenamiento HPC y generalmente emplea una combinación desoluciones para proporcionar flexibilidad junto con el rendimiento, lo cual es engorroso. Hemos creado una forma de acelerar significativamente el comportamiento del sistema para cumplir con los niveles deseados de rendimiento, consistencia y confiabilidad ".
BespoKV puede ser ágil porque permite un mapeo arbitrario entre los servicios deseados y los componentes disponibles al tiempo que admite servicios de administración distribuida para realizar y habilitar los almacenes KV distribuidos asociados con el datalet.
"Ahora que hemos demostrado que podemos realizar la acción eficiente y simple de usar sistemas KV en sistemas HPC potentes, los clientes no tendrán que elegir entre escalabilidad y flexibilidad", dijo Butt.
Esta investigación está financiada por la National Science Foundation. Además de Anwar y Butt, los colaboradores incluyen a Dongyoon Lee, profesor asistente de informática en Virginia Tech; Jingoo Han, también de Virginia Tech; Oak Ridge National Laboratory; Universidad George Mason; y Perspecta Labs.
Fuente de la historia :
Materiales proporcionado por Virginia Tech . Original escrito por Amy Loeffler. Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :