Format des données "disk usage" dans mongoDB

[nurbal]

Sur DRAC, on utilise la fonction diskusage_report --project --all_users et pour l'instant le résultat est parsé directement; on obtient quelque chose de ce genre là:

{
	'rrg-bengioy-ad': [
		{'username': 'aaaaa', 'nbr_files': 2, 'size': (0.0, 'GiB')},
		{'username': 'abcde', 'nbr_files': 2, 'size': (0.0, 'GiB')},
		...
		{'username': 'Total', 'nbr_files': 381820, 'size': (36818.38, 'GiB')}
	], 
	'def-bengioy': [
		{'username': 'aaaaa', 'nbr_files': 2, 'size': (0.0, 'GiB')},
		{'username': 'abcde', 'nbr_files': 2, 'size': (0.0, 'GiB')},
		...
		{'username': 'Total', 'nbr_files': 244007, 'size': (1003.11, 'GiB')}
	]
}

Deux questions:

• ce format convient-il? (comme tel il est largement imparfait, ne serait-ce que l'utilisateur "total" qui est assez incongru ^^ . Mais j'imagine surtout qu'il faudra uniformiser avec les données scrapées depuis le cluster Mila...
• ces données doivent-elles être stockées avec l'heure, un nouveau document enregistré à chaque fois pour obtenir un historique? Ou écrase-t-on par exemple le document "narval" de la collection "disk_usage" à chaque fois ?

[bouthilx]

Le format est décrit ici: https://mila-iqia.atlassian.net/wiki/spaces/IDT/pages/2190737548/Planification#Info-storage. Il y a possiblement des trucs pas optimal dans ce qu'on a défini alors sens toi bien à l'aise de proposer des changements.

[bouthilx]

On veut garder un timestamp pour chaque fetch oui afin de pouvoir identifier des trends. Par example, si l'utilisation du storage a doublé en 2 jours, faut faire attention à ce que la croissance arrête.