Hace unos años, un equipo global de científicos participó décadas de investigación en el descubrimiento del bosón de Higgs, una partícula subatómica considerada un bloque de construcción del universo. Un humilde programa de software llamado HTCondor desapareció en el fondo, ayudando a analizar datosrecogido de miles de millones de colisiones de partículas.
Corte a 2016, y HTCondor está en una nueva colisión: ayudar a los científicos a detectar ondas gravitacionales causadas hace 1.300 millones de años por una colisión entre dos agujeros negros 30 veces más masivos que nuestro sol.
Desde revelar el bosón de Higgs, entre las partículas más pequeñas conocidas por la ciencia, hasta detectar la astrofísica imposiblemente masiva de los agujeros negros, el software HTCondor High Throughput Computing HTC ha demostrado ser indispensable para procesar los vastos y complejos datos producidos por la gran ciencia internacionalLos científicos informáticos de la Universidad de Wisconsin-Madison fueron pioneros en estas tecnologías informáticas distribuidas de alto rendimiento en las últimas tres décadas.
El anuncio en febrero de que los científicos del Observatorio de ondas gravitacionales del interferómetro láser LIGO abrieron la puerta final a la Teoría de la relatividad de Albert Einstein, prueba de que las ondas gravitacionales producen ondas a través del espacio y el tiempo, tiene una rica historia que involucra a HTCondorDesde 2004, HTCondor ha sido una parte central del esfuerzo de análisis de datos del proyecto que incluye a más de 1,000 científicos de 80 instituciones en 15 países.
Según los números, más de 700 científicos de LIGO han utilizado HTCondor en los últimos 12 años para ejecutar flujos de trabajo de análisis de datos complejos en recursos informáticos dispersos en los EE. UU. Y Europa. Aproximadamente 50 millones de horas centrales gestionadas por HTCondor en los últimos seis mesesapoyó el análisis de datos que condujo a la detección informada en los documentos de febrero de 2016.
El camino de HTCondor a LIGO fue pavimentado por una colaboración que comenzó hace más de una década entre dos equipos de la Universidad de Wisconsin: el equipo LIGO de 29 miembros en UW-Milwaukee y el equipo HTCondor en UW-Madison. Esta colaboración interdisciplinariaayudó a transformar el modelo computacional de LIGO y avanzar en el estado del arte de HTC.
El equipo HTCondor está dirigido por Miron Livny, profesor de ciencias de la computación de UW-Madison y director de tecnología del Instituto de Investigación Morgridge y el Instituto de Descubrimiento de Wisconsin. El software HTCondor implementa tecnologías informáticas innovadoras de alto rendimiento que aprovechan el poder dedecenas de miles de computadoras en red para ejecutar grandes conjuntos de tareas computacionales.
"Lo que tenemos es la experiencia de dos escuelas del Sistema UW que se unen para abordar un complejo problema de análisis de datos", dice Thomas Downes, un científico senior de física de UW-Milwaukee e investigador de LIGO. "El problema era, ¿cómo se maneja?miles y miles de trabajos de análisis de datos interrelacionados de una manera que los científicos pueden usar de manera efectiva? Y fue mucho más fácil de resolver porque Milwaukee y Madison están uno al lado del otro ".
El equipo de UW-Milwaukee comenzó a usar HTCondor a principios de la década de 2000 como parte de un proyecto de Investigación de Tecnología de la Información ITR de NSF. Su entonces científico principal, Bruce Allen, consiguió un trabajo como director del Instituto Albert Einstein de Física Gravitacional enHannover, Alemania, uno de los centros principales en el proyecto LIGO. Duncan Brown, entonces candidato a doctorado en física por la UW-Milwaukee, se convirtió en profesor de física en la Universidad de Syracuse, liderando los esfuerzos de LIGO de esa universidad.
Allen, Brown y otros trabajaron arduamente en Milwaukee para demostrar el valor del enfoque HTCondor para la misión de LIGO, lo que eventualmente llevó a su adopción en otros sitios LIGO. HTCondor pronto se convirtió en la tecnología de referencia para los grupos de datos centrales de LIGO enUW-Milwaukee, Syracuse University, Albert Einstein Institute, California Institute of Technology Caltech y Cardiff University en el Reino Unido.
Peter Couvares tiene una visión de 360 grados de la relación de HTCondor con LIGO. Trabajó en el equipo HTCondor durante 10 años en UW-Madison, y gestionó la relación entre LIGO y HTCondor durante unos cinco años después de unirse al equipo LIGO liderado por Brownen Syracuse. Hoy es un científico sénior en Caltech que gestiona el equipo informático de análisis de datos LIGO.
¿Por qué el software HTCondor es una bendición para grandes esfuerzos científicos como LIGO?
"Sabemos que funcionará, esa es la característica principal de HTCondor", dice Couvares.
Funciona, agrega, porque HTCondor toma en serio el desafío central de la computación distribuida: es imposible suponer que una red de miles de computadoras individuales no tendrá fallas locales. HTCondor incorpora esa suposición en su software central.
"El equipo de HTCondor siempre le pide a la gente que piense con anticipación sobre los problemas que van a surgir en entornos de producción reales, y son buenos para no permitir que los usuarios de HTCondor tomen atajos o hagan suposiciones erróneas", agrega Couvares.
En un proyecto como LIGO, ese enfoque es especialmente importante. El flujo constante de datos de los detectores LIGO es una mezcla de información gravitacional y ruido, como actividad sísmica, viento, temperatura y luz, todo lo cual ayuda a definir y diferenciar ambosdatos buenos y malos
"En ausencia de ruido, esta habría sido una búsqueda muy fácil", dice Couvares. "Pero el truco está en sacar una aguja de un montón de ruido. El mayor truco de todos los análisis de datos en LIGO esproponer una mejor relación señal / ruido "
Stuart Anderson, científico senior de LIGO en Caltech, ha estado apoyando el uso de HTCondor dentro de LIGO durante más de una década. La razón por la cual HTCondor tiene éxito es menos por la tecnología que por el elemento humano, dice.
"El equipo de HTCondor proporciona un nivel de colaboración y soporte a largo plazo en ciber-infraestructura que no he visto en ningún otro lugar", dice. "El equipo ha proporcionado la más alta calidad de experiencia técnica, habilidades de comunicación y problemas de colaboración-resolviendo que he tenido el privilegio o trabajando ".
Agrega Todd Tannenbaum, el líder técnico actual de HTCondor que trabaja en estrecha colaboración con Anderson y Couvares: "Nuestra relación con LIGO es mutuamente rentable. Las mejoras realizadas en nombre de nuestra relación con LIGO han beneficiado enormemente a HTCondor y a la comunidad informática de alto rendimiento más amplia"."
Ewa Deelman, profesora asociada de investigación y directora de investigación del Instituto de Ciencias de la Información de la Universidad del Sur de California ISI, se involucró con HTCondor en 2001 cuando lanzó Pegasus, un sistema que automatiza el flujo de trabajo para científicos que usan sistemas como HTCondor. Juntos,Pegasus y HTCondor ayudan a reducir las barreras tecnológicas para los científicos.
"Creo que la automatización y la confiabilidad proporcionadas por Pegasus y HTCondor son clave para permitir a los científicos concentrarse en su ciencia, en lugar de los detalles de la infraestructura cibernética subyacente y sus fallas inevitables", dice ella.
El futuro de LIGO es tremendamente emocionante, y las tecnologías informáticas de alto rendimiento de HTCondor cambiarán con la ciencia y las tecnologías informáticas. La mayoría está de acuerdo en que con la observación inicial de ondas gravitacionales, un potencial tsunami de datos espera del universo.
"El campo de la astronomía de ondas gravitacionales acaba de comenzar", dice Couvares. "Este fue un experimento de física e ingeniería. Ahora es astronomía, donde estamos viendo cosas. Durante 20 años, LIGO estaba tratando de encontrar una aguja en unpajar. Ahora vamos a construir una fábrica de detección de agujas "
Agrega Livny: "Lo que comenzó hace 15 años como una colaboración local Madison-Milwaukee se convirtió en un marco computacional para un nuevo campo de la astronomía. Estamos listos y ansiosos por abordar las necesidades cambiantes de HTC de este nuevo campo. Al colaborar con científicosdesde otros esfuerzos internacionales que utilizan tecnologías que van desde un detector de neutrinos en el Polo Sur IceCube hasta un telescopio que flota en el espacio Hubble para recopilar datos sobre nuestro universo, HTC continuará apoyando el descubrimiento científico ".
Fuente de la historia :
Materiales proporcionado por Universidad de Wisconsin-Madison . Original escrito por Brian Mattmiller. Nota: El contenido puede ser editado por estilo y longitud.
Cite esta página :