Demande #5162
Consommation en hausse rapide sur 15 jours /!\
0%
Description
21:07 < PoluX> cpm_screen: on sait d'ou vient l'inflation de maine ? https://grafana.chapril.org/d/qfRrThRMk/icinga2-influxdb-host?from=now-6M&orgId=1&to=now&var-command=disk&var-hostname=maine.cluster.chapril.org&var-service=volume%20%2Fvar%2Flib%2Flibvirt%2Fmaine&viewPanel=1 21:11 < PoluX> arf ya drop, valise et pouet dessus 21:11 < PoluX> nos 3 gros consomateurs 21:12 < PoluX> mais même à eux 3 ils ne semble pas grossir autant 21:42 < cpm_screen> PoluX: bien vu, ça grimpe fort, en ~15 jours ~50 Go 21:43 < cpm_screen> j'ignore d'où ça vient, pas d'événement particulier il me semble 21:43 < cpm_screen> en principe, on fait un point mensuel pendant la réunion animsys, service par service, donc on devrait le détecter là 21:44 < cpm_screen> mais avec un bon dashboard Grafana, ça devrait pouvoir se comprendre avant
Fichiers
Historique
Mis à jour par Christian P. Momon il y a environ 3 ans
- Fichier 20210129maine.png 20210129maine.png ajouté
Effectivement, en l'espace de 15 jours, on voit bien une hausse rapide de la consommation d'espace disque sur la machine maine.
Mis à jour par Christian P. Momon il y a environ 3 ans
- Fichier 20210129drop.png 20210129drop.png ajouté
Fin du suspens, ça vient de la vm drop :
https://grafana.chapril.org/d/qfRrThRMk/icinga2-influxdb-host?viewPanel=54&orgId=1&from=now-30d&to=now&var-hostname=drop.cluster.chapril.org&var-service=All
Mis à jour par Christian P. Momon il y a environ 3 ans
- Priorité changé de Normale à Élevée
- la purge fonctionne-t-elle normalement ?
- le nombre d'utilisateur a-t-il énormément augmenté par rapport au dernier rapport d'activité ?
- un seul utilisateur est-il à l'origine de cette hausse ou est-ce une multitude disparate ?
- est-ce beaucoup de nouveaux petits fichiers ou quelques gros ?
- y-a-t-il un usage abusif du service ?
Bref, tout va bien ou faut-il mettre en œuvre une vigilance spécifique ?
Mis à jour par Christian P. Momon il y a environ 3 ans
Une première analyse rapide qui laisse perplexe quant à l'usage qui est parfois fait du service :
=(^-^)=root@drop:/var/log/apache2/drop.chapril.org# zgrep -h "/Jan/2021\:" drop.chapril.org-access.log* | awk '{print $1}' | sort |uniq -c | sort -rn | head -20
28263 89.158.**
26295 91.235.**
12169 46.193.**
8474 213.36.**
4965 85.31.**
4333 99.247.**
3737 77.132.**
3669 85.170.**
2540 2a01:e35:**
2431 146.241.**
2384 94.238.**
2235 2a01:e34:**
2225 81.67.**
2149 109.17.**
2079 92.151.**
1658 185.203.**
1558 90.56.**
1545 91.164.**
1519 213.211.**
1499 2a01:e0a:**
Mis à jour par Christian P. Momon il y a environ 3 ans
Une autre plus rassurante qui montre que la purge fonctionne bien et que l'occupation disque s'explique principalement par de gros fichiers :
=(^-^)=root@drop:/var/drop/files# for i in $(du -sch * | sort -hr | head -50 | awk '{print $2}' ); do ls -lh "$i"; done | awk '{ print $5,"\t",$7,"",$6}'
ls: impossible d'accéder à 'total': Aucun fichier ou dossier de ce type
960M 29 janv.
898M 27 janv.
889M 28 janv.
834M 25 janv.
826M 28 janv.
744M 25 janv.
736M 26 janv.
725M 25 janv.
701M 27 janv.
701M 28 janv.
701M 28 janv.
701M 27 janv.
701M 28 janv.
701M 28 janv.
701M 28 janv.
701M 28 janv.
701M 28 janv.
701M 28 janv.
701M 28 janv.
701M 28 janv.
701M 28 janv.
701M 27 janv.
624M 25 janv.
574M 25 janv.
567M 24 janv.
567M 24 janv.
564M 28 janv.
514M 29 janv.
510M 28 janv.
509M 29 janv.
509M 27 janv.
462M 29 janv.
455M 26 janv.
442M 25 janv.
436M 27 janv.
415M 28 janv.
412M 26 janv.
401M 29 janv.
401M 29 janv.
395M 29 janv.
371M 24 janv.
352M 26 janv.
352M 29 janv.
344M 25 janv.
345M 27 janv.
343M 26 janv.
330M 24 janv.
316M 29 janv.
316M 29 janv.
Mis à jour par Romain H. il y a environ 3 ans
J'ai ajouté 3 scripts non finalisés dans /root/tmp_scripts pour analyser les journaux de apache :
- log2activity.py : parse les journaux pour récupérer les téléchargements / téléversements. Les IPs sont anonymisées via un masquage qui les remplace par des uuid.
- show_top.py : liste le TOP30 des plus gros téléchargeurs, téléverseurs et fichiers avec la plus grosse activité
- list_uploaded_files.py : liste les fichiers téléversés par un utilisateur et le nombre de téléchargement pour chaque.
Vu les premiers résultats, je confirme qu'il y a des utilisateurs qui détournent l'utilisation initialement prévue par drop et qui ont automatisé le téléversement de fichiers de petite taille. Chacun de ces fichiers semble être téléchargé uniquement par un utilisateur. Je me demande si ce n'est pas pour utiliser dans des campagnes de spam ou des activités de ce genre, mais comme on a pas accès au contenu des fichiers et qu'il n'y a pas de plainte d'utilisateur on ne peut pas en être certain.
On pourrait peut être ajouter un quota sur le nombre de téléversement possible par IP pour limiter cet effet. L'ajout d'un captcha pourrait fonctionner aussi mais empêcherait l'utilisation des utilitaire en ligne de commande.
Mis à jour par François Poulain il y a environ 3 ans
On pourrait peut être ajouter un quota sur le nombre de téléversement possible par IP pour limiter cet effet.
Oui si c'est possible.
Mis à jour par Christian P. Momon il y a environ 3 ans
- Fichier drop20210223var.png drop20210223var.png ajouté
- Statut changé de Nouveau à En cours de traitement
La hausse semble être retombée et le niveau être revenu à une valeur plus tranquille.
Mis à jour par Romain H. il y a environ 3 ans
- Statut changé de En cours de traitement à Résolu
Je confirme que le pic est passé.
On reste à un niveau moyen un peu plus élevé que précédemment (49 Go contre 28 Go), on envisagera d'augmenter l'espace disque si nécessaire.
Mis à jour par Christian P. Momon il y a environ 3 ans
- Version cible changé de Backlog à Sprint 2021 février