Implementar backup de red de nodos

[abenassi]

Contexto

Se busca garantizar la disponibilidad de backups periódicos de todos los datos públicos ante potenciales caídas de nodos, de datos.gob.ar o de la red completa, así como de la remoción de activos de datos particulares dentro de la red.

Propuesta

Mantener una copia de la red en monitoreo-apertura y ZIPs de generación automática (croneable como un syncronizer) con fecha que contienen toda esa información comprimida.

La lectura normal de la red de nodos dejaría las siguientes rutas funcionando:

monitoreo.datos.gob.ar/catalog/{catalog_id}/data.json
monitoreo.datos.gob.ar/catalog/{catalog_id}/catalog.xlsx
monitoreo.datos.gob.ar/catalog/{catalog_id}/dataset/{dataset_id}/distribution/{distribution_id}/download/filename.xxx

donde todos los downloadURL originales serían reemplazados por monitoreo.datos.gob.ar/catalog/{catalog_id}/dataset/{dataset_id}/distribution/{distribution_id}/download/filename.xxx
y se agregaría el metadato downloadURLoriginal con el URL original de descarga de la distribución.

La rutina del syncronizer de backup dejaría:

monitoreo.datos.gob.ar/backup/red-nodos-2019-01-01.zip
monitoreo.datos.gob.ar/backup/red-nodos-2019-02-01.zip

donde el contenido del ZIP es todo el directorio catalog con sus subdirectorios.