Anomalie #4405
closedDes fichiers de plus de 5 jours ne sont pas purgés
100%
Description
Normalement, d'après le formulaire de téléversement de notre FirefoxSend, un fichier ne peut pas rester plus de 5 jours.
Or :
=(^-^)=root@drop:/var/drop/files# ll -h 5-43dd40c8898079ed -rw-r--r-- 1 app app 43M avril 2 23:56 5-43dd40c8898079ed =(^-^)=root@drop:/var/drop/files# find -cnewer 5-43dd40c8898079ed |wc -l 234 =(^-^)=root@drop:/var/drop/files# du -sch `find -cnewer 5-43dd40c8898079ed | sed s#./##g`|sed s/.// 6G . 6G total =(^-^)=root@drop:/var/drop/files# ls -lt | tail -rw-r--r-- 1 app app 1848939 janv. 16 16:15 1-733214ad1391e1d3 -rw-r--r-- 1 app app 4338209 janv. 15 05:22 1-524abe2c76056563 -rw-r--r-- 1 app app 32312 janv. 13 06:52 1-92aafe869634436b -rw-r--r-- 1 app app 18019931 janv. 11 17:03 1-06b330d34ef76761 -rw-r--r-- 1 app app 393237 janv. 4 18:08 1-3c6368674bd9a47d -rw-r--r-- 1 app app 1048597 déc. 27 08:31 1-a9f55b5d8905b0db -rw-r--r-- 1 app app 12743 nov. 27 22:09 1-7eaa9c4f98b5180a -rw-r--r-- 1 app app 42 nov. 24 00:00 1-c255370c68c0f7d7 -rw-r--r-- 1 app app 42 nov. 23 23:55 1-d199cf5cf71bfd0e -rw-r--r-- 1 app app 42 nov. 23 23:54 1-ed51e136eb0e1d28
Alors, bonne nouvelle, ça ne représente « que » 6 Go mais ils sont quand même un peu nombreux et certains remontent à novembre !
Demande :- trouver pourquoi la purge ignore certains fichiers ;
- faire le ménage ?
- faire en sorte que ça n'arrive plus.
Updated by Romain H. over 4 years ago
- Status changed from Nouveau to En cours de traitement
- % Done changed from 0 to 20
Mozilla utilise Amazon S3 pour le stockage, ils gèrent la suppression des fichiers avec le système de règles intégré au service.
De notre côté nous utilisons le système de fichier pour le stockage, normalement la suppression des fichiers se produit lors de l'expiration de l'entrée dans la base de données (redis).
D'après l'anomalie 1376 (https://github.com/mozilla/send/issues/1376), il y a un bug dans la fonctionnalité de suppression des fichiers quand le stockage via système de fichier est utilisé. Elle est dans le backlog du produit et devrait être corrigée prochainement.
En attendant que ça soit corrigé, je vais rajouter une cron qui supprime les fichiers qui ont dépassé le délais maximum.
Updated by Romain H. over 4 years ago
- Status changed from En cours de traitement to Résolu
- % Done changed from 20 to 100
J'ai ajouté la cron tous les jours à 00h30 (dans le dépôt drop.chapril.org-tools).
Updated by Christian P. Momon over 4 years ago
- Related to Demande #4411: Désactiver le cron de purge de fichier added
Updated by Christian P. Momon over 4 years ago
- Target version changed from Backlog to Sprint 2020 avril