La cantidad de datos que serán recopilados por el Observatorio Vera C. Rubin, que lanzó sus fabulosas imágenes de primera luz esta semana, superará con creces lo que cualquier telescopio antes de que pueda entregar. Esto ha llevado a los astrónomos a dar un paso a la computación en la nube, así como a obtener la ayuda de siete corredores y un mayordomo de datos.
Una vez que esté completamente en funcionamiento, el Observatorio Rubin (financiado por la Fundación Nacional de Ciencias de EE. UU. — Departamento de Energía) recopilará 20 terabytes de datos cada noche. Analizando estos datos, emitirá 10 millones de alertas a los astrónomos, todos los cuales serán administrados por lo que se conoce como «corredores» que filtran la gran cantidad de alertas en algo más manejable.
«En términos de datos, somos al menos un orden de magnitud más grande que los telescopios anteriores», dijo a Space.com, científico informático de la Universidad de Edimburgo, George Beckett, coordinador de instalaciones de datos del Reino Unido para Rubin.
Durante los próximos 10 años, la encuesta heredada de Rubin sobre el espacio y el tiempo recopilará alrededor de 500 petabytes de datos, equivalente a medio millón de discos Blu-ray 4K-UHD. Una vez recopilados por el telescopio, los datos se transmitirán a lo largo de un enlace de red dedicado entre Rubin, que se encuentra en Chile, y un centro de datos en el Laboratorio Nacional Acelerador de SLAC en California. Desde SLAC, se enviará una copia de todos los datos sin procesar a la instalación de computación IN2P3 en Lyon, Francia, y algunos de los datos también se enviarán a una red informática distribuida con sede en el Reino Unido.
El procesamiento de los datos se compartirá entre estos tres centros de datos, con SLAC contribuyendo con 35%, IN2P3 asumiendo el 40%y el Reino Unido 25%. (También hay un modesto centro de datos en Chile, que aloja el Observatorio Rubin, para apoyar a los astrónomos chilenos). No solo los múltiples centros de datos proporcionan redundancia, por lo que los datos no se pueden perder en un accidente, sino que también pueden apoyarse si un centro de datos se está atrasando en el procesamiento. Esto se debe a que lo que realmente cuenta para los astrónomos es obtener los datos importantes rápidamente, por lo que pueden hacer un seguimiento de alertas interesantes lo antes posible.
«¡Mi mayor desafío es que los astrónomos exigieran constantemente sus datos!» bromeó Beckett.
Esta gran cantidad de datos será un recurso precioso para los astrónomos no solo en el aquí y ahora, sino también décadas en el futuro.
Entonces, ¿cómo se busca todo?
Beckett dibuja una analogía con la búsqueda de una fotografía tomada en su teléfono inteligente. «Su teléfono probablemente esté lleno de imágenes que ha tomado en los últimos cinco o 10 años, y descubrir que una imagen de hace dos años generalmente implica hacer flotar y es un enfoque poco sistemático», dijo. «Ahora imagine que su teléfono tiene 1,5 millones de fotos y todas tienen 10,000 píxeles de ancho, no tienes la oportunidad de simplemente pasar por ellas».
Beckett dice que devolver esta analogía al conjunto de datos Rubin es proporcionar descripciones accesibles de todas esas imágenes de una manera que los astrónomos pueden encontrar lo que están buscando con relativa facilidad. Esa es una de las razones por las cuales el manejo de datos de Rubin es diferente en comparación con la de los telescopios anteriores, con los cuales los astrónomos podrían descargar bolsillos de datos que necesitan sin demasiada complejidad. El conjunto de datos para Rubin es simplemente demasiado grande para descargar, por lo que todo se mantiene en la «nube».
El conjunto de datos Rubin es administrado por un servicio llamado Butler de datos. Registra todos los metadatos, que son los datos sobre los datos: hora, fecha, coordenadas de Sky, lo que hay en la imagen, etc.
«Un astrónomo puede presentar casi cualquier consulta que desee escrita en términos de astronomía hablando de objetos astronómicos, escalas de tiempo o sistemas de coordenadas, y el mayordomo de datos obtiene lo que necesitan», dijo Beckett.
Eso es para una investigación a más largo plazo, pero también están los transitorios, los objetos en movimiento, las cosas que se topan en la noche que desencadenan alertas para impulsar a los astrónomos a perseguirlos antes de que los transitorios se desvanezcan. Estos incluyen supernovas, kilonovas que producen ondas gravitacionales, Novas, estrellas de destellos, binarios eclipsantes, arrebatos magnéticos, asteroides y cometas que se mueven por el cielo, los quásares y mucho más, posiblemente incluso nuevos tipos de objetos nunca antes vistos. Rubin producirá aproximadamente 10 millones de alertas cada noche, liberando cada alerta dentro de los dos minutos posteriores a la detectar el telescopio: incluso con la ayuda de Butler de datos, ¿cómo pueden los astrónomos posiblemente examinar todos aquellos para encontrar los más importantes para hacer un seguimiento?
Hay siete corredores, operados por científicos en diferentes países, que procesarán los 10 millones de alertas completas (y dos corredores más con objetivos científicos específicos que solo funcionarán en un subconjunto de los 10 millones de alertas diarias). Por ejemplo, hay un corredor chileno llamado Alerce, que representa el aprendizaje automático para la rápida clasificación de eventos y Antares, el análisis temporal de Arizona -Noirlab y la respuesta a los sistemas de eventos. El corredor del Reino Unido se llama Lasair (pronunciado lah-suhr, que significa ‘llama’ o ‘flash’ en gaélico escocés e irlandés) y se centra en los transitorios.
Piense en los corredores como un conjunto de filtros que los astrónomos pueden elegir ayudar a examinar las alertas y elegir los que más están interesados. Algunos de los corredores usan algoritmos de aprendizaje automático e inteligencia artificial, pero también se utilizan métodos de modelado más tradicionales para procesar rápidamente los datos.
«Los astrónomos pueden inscribirse en un corredor, describir el tipo de cosas que les interesan y esperar que con las descripciones apropiadas las 10 millones de alertas cada noche se filtrarán a quizás dos o tres», dijo Beckett.
No es que las otras 9,999,998 alertas no sean valoradas, tal vez simplemente no sean lo que el astrónomo está interesado, o tal vez no son lo suficientemente únicos como para exigir seguimientos dedicados, pero sí se suman a las estadísticas para cada tipo de objeto.
Rubin encuestará una cuarta parte del cielo del hemisferio sur todas las noches, viendo todo y no perdiendo nada. Uno podría pensar que es la encuesta para poner fin a todas las encuestas, que nunca habrá una encuesta más grande que produzca más datos. Sin embargo, Beckett también trabaja en el equipo de gestión de datos para la matriz de kilómetros cuadrados (SKA), que es una gran variedad de radiotelescopios en Sudáfrica y Australia, y las técnicas desarrolladas para Rubin y las lecciones aprendidas se dedican a hacer que los datos se entreguen mucho más suaves.
«El tamaño del conjunto de datos de Rubin será inundado por el SKA, que será un orden de magnitud nuevamente más grande que Rubin», dijo Beckett.
