Atelier du 13/06/2023

[tgrandje]

Fin de refactorisation de la branche POO :

• ajouter un argument qui permette de choisir le type de fichier géo recherché (shapefile, geopackage, etc.)
• ajouter la possibilité de décompresser d'autres formats que les 7Z (notamment zip)
• optimiser le nettoyage des géométries avec multiprocessing des différents fichiers dans une même archive (?)
• optimiser le téléchargement de fichiers partageant la même archive
• donner davantage de persistance aux fichiers téléchargés (état actuel : fichiers temporaires automatiquement supprimés sur fin du script download !)
• ajouter les docstrings
• optimiser les téléchargements sur inspection du yaml plutôt que par combinaisons (?)

Liaison refactorisation download // argo :

• intégrer le nouveau format de sortie de download
• réécrire update_json_md5 (méthode de l'objet Dataset du script download.py non utilisée à ce jour : doit être utilisée dans l'algorithme de stockage sur S3 en cas de succès uniquement, en prenant comme argument les seules clefs provider, dataset_family, etc.)
• ajouter la purge manuelle des fichiers téléchargés après stockage sur S3

Refactorisation du yaml

• nettoyage/actualisation du yaml sur base du test pytest créé
• créer une tâche automatisée basée sur ce test pour avoir des alertes automatisées en cas de changement des pattern (?)

[tgrandje]

J'ai ajouté un support limité pour la sélection des extensions de fichier dans une archive (.shp, .gpkg, etc.). Il faudrait par contre réfléchir au format du yaml.

[tgrandje]

@linogaliana encore des "bricoles" à résoudre de mon côté, mais a priori rien qui soit bloquant pour une merge de la branche (a priori jusqu'à présent, tu n'avais que des shp compressés dans des 7z).

[tgrandje]

optimiser le téléchargement de fichiers partageant la même archive

Ca concerne le cas où on a plusieurs fichiers (martinique, guadeloupe, etc. par exemple) qui seraient situés dans le même 7Z et donc téléchargés plusieurs fois ; ça n'était pas le cas avec l'ancien système de cache dans les tempfiles (mais en même temps, ça n'était jamais purgé des tempfiles).

Pas 100% convaincu que ça soit indispensable à l'heure actuelle : ça semble surtout concerner des anciens fichiers, mais surtout après avoir fait une première passe, ça devrait se réguler quasi tout seul grâce au stockage des md5. Votre avis ?