Demande #4940
ferméDemande #4926: La partition de backup est presque pleine
Spliter la sauvegarde de la vm drop
0%
Description
Dans le ticket #4926, on constate la saturation de la partition des backups sur la vm icinga2.
Y est évoqué la possibilité de scinder en 2 la sauvegarde :- système : comme d'habitude ;
- data de drop.chapril.org : uniquement les données utilisateurs périssables.
Gain espéré : ~40 Go.
Fichiers
Mis à jour par François Poulain il y a environ 4 ans
Du coup Romain tu peux splitter quand tu veux la conf.
Il faut :
- cp /etc/borgmatic.d/root.yaml /etc/borgmatic.d/data.yaml
- éditer le fichier pour changer : source_directories, exclude_patterns, repositories, retention, hooks.
- le prefix est lié à archive_name_format ; je recommande de ne pas y toucher
Le plus important c'est de bien changer le repositories. Comme ça ya pas de confusion avec le dépôt « root ».
Dans les hooks il faut changer les echo " ... root backup at ..." pour "... data backup at ...". C'est le nom qui permet au monitoring de retrouver ses petits dans les logs. Ça peut être n'importe quel nom qui valide '\w+'
Ensuite il va falloir initialiser le dépot borg. Pour ça sur felicette il faut donner accès au dossier défini par le repository (celui de la conf borgmatic) au niveau de /etc/ssh/authorized_keys/backup
Ce vieux borgmatic ne gère peut être pas l'init. Si c'est le cas il faut s'inspirer du postinst paquet backup-chapril :
BORG_RSH="ssh -p 2242 -A" /usr/bin/borg init --encryption none backup@backup.chapril.org:/srv/backups/$(hostname --fqdn)-data # à corriger suivant ton repo
Enfin, pour forcer la sauvegarde :
borgmatic
Pour lister les sauvegardes :
borgmatic -l
Normalement c'est « tout » (mais jamais essayé).
Tu peux forcer autant de backups que tu veux, c'est sans incidence.
Les backups ainsi forcés ne sont pas collectés par syslog et ne sont pas pris en compte par le monitoring. Il faudrait lancer via systemctl pour ça mais ça commence par un sleep 30. (Je crois que je vais virer ce sleep pour qq chose de plus intelligent.)
NB: si tu as un db redis il te faudrait un script de dump dans /etc/borg/scripts/pre-hooks/
Mis à jour par François Poulain il y a environ 4 ans
- Assigné à changé de François Poulain à Romain H.
Mis à jour par François Poulain il y a environ 4 ans
Romain, je t'assigne ce ticket dans le soucis du partage de compétence mais si ça t'emmerde et que tu préfères que je le fasse, pas de soucis dis le moi.
Mis à jour par François Poulain il y a presque 4 ans
- Statut changé de Nouveau à En cours de traitement
- Assigné à changé de Romain H. à François Poulain
C'est en place. On verra ce que ça donne demain.
Mis à jour par François Poulain il y a presque 4 ans
Ça a marché du premier coup. Le monitoring suit sans rien faire. Pour un exemple de backup splitté on a donc :
git -C /etc show e2b2b3828beb63cb8aaad7e0176e6db9b5b57d30
Mis à jour par François Poulain il y a presque 4 ans
Je commente #keep_weekly: 4
temporairement dans /etc/borgmatic.d/root.yaml
et je prune les archives pour libérer de la place :
borgmatic --prune
On peut comparer avant/après avec borgmatic --list
.
Mis à jour par François Poulain il y a presque 4 ans
- Fichier Capture d’écran de 2021-01-30 10-40-25.png Capture d’écran de 2021-01-30 10-40-25.png ajouté
On a gagné ~85Go.
Mis à jour par François Poulain il y a presque 4 ans
- Statut changé de En cours de traitement à Résolu
Mis à jour par Christian P. Momon il y a presque 4 ans
- Version cible changé de Backlog à Sprint 2021 janvier
Mis à jour par François Poulain il y a presque 4 ans
- Fichier Capture d’écran de 2021-03-07 14-48-06.png Capture d’écran de 2021-03-07 14-48-06.png ajouté
On voit dans la durée que ça tient la route. La VM drop est la courbe mauve qui décroît.