Projet

Général

Profil

Actions

Demande #4940

fermé

Demande #4926: La partition de backup est presque pleine

Spliter la sauvegarde de la vm drop

Ajouté par Christian P. Momon il y a environ 4 ans. Mis à jour il y a presque 4 ans.

Statut:
Fermé
Priorité:
Normale
Assigné à:
Catégorie:
Sauvegardes
Début:
28/11/2020
Echéance:
% réalisé:

0%

Temps estimé:

Description

Dans le ticket #4926, on constate la saturation de la partition des backups sur la vm icinga2.

Y est évoqué la possibilité de scinder en 2 la sauvegarde :
  • système : comme d'habitude ;
  • data de drop.chapril.org : uniquement les données utilisateurs périssables.

Gain espéré : ~40 Go.


Fichiers

Mis à jour par François Poulain il y a environ 4 ans

Du coup Romain tu peux splitter quand tu veux la conf.

Il faut :

  • cp /etc/borgmatic.d/root.yaml /etc/borgmatic.d/data.yaml
  • éditer le fichier pour changer : source_directories, exclude_patterns, repositories, retention, hooks.
  • le prefix est lié à archive_name_format ; je recommande de ne pas y toucher

Le plus important c'est de bien changer le repositories. Comme ça ya pas de confusion avec le dépôt « root ».

Dans les hooks il faut changer les echo " ... root backup at ..." pour "... data backup at ...". C'est le nom qui permet au monitoring de retrouver ses petits dans les logs. Ça peut être n'importe quel nom qui valide '\w+'

Ensuite il va falloir initialiser le dépot borg. Pour ça sur felicette il faut donner accès au dossier défini par le repository (celui de la conf borgmatic) au niveau de /etc/ssh/authorized_keys/backup
Ce vieux borgmatic ne gère peut être pas l'init. Si c'est le cas il faut s'inspirer du postinst paquet backup-chapril :

BORG_RSH="ssh -p 2242 -A" /usr/bin/borg init --encryption none backup@backup.chapril.org:/srv/backups/$(hostname --fqdn)-data # à corriger suivant ton repo

Enfin, pour forcer la sauvegarde :

borgmatic

Pour lister les sauvegardes :

borgmatic -l

Normalement c'est « tout » (mais jamais essayé).
Tu peux forcer autant de backups que tu veux, c'est sans incidence.
Les backups ainsi forcés ne sont pas collectés par syslog et ne sont pas pris en compte par le monitoring. Il faudrait lancer via systemctl pour ça mais ça commence par un sleep 30. (Je crois que je vais virer ce sleep pour qq chose de plus intelligent.)

NB: si tu as un db redis il te faudrait un script de dump dans /etc/borg/scripts/pre-hooks/

Mis à jour par François Poulain il y a environ 4 ans

  • Assigné à changé de François Poulain à Romain H.

Mis à jour par François Poulain il y a environ 4 ans

Romain, je t'assigne ce ticket dans le soucis du partage de compétence mais si ça t'emmerde et que tu préfères que je le fasse, pas de soucis dis le moi.

Mis à jour par Christian P. Momon il y a presque 4 ans

  • Catégorie mis à Sauvegardes

Mis à jour par François Poulain il y a presque 4 ans

Bon, je vais le faire. :)

Mis à jour par François Poulain il y a presque 4 ans

  • Statut changé de Nouveau à En cours de traitement
  • Assigné à changé de Romain H. à François Poulain

C'est en place. On verra ce que ça donne demain.

Mis à jour par François Poulain il y a presque 4 ans

Ça a marché du premier coup. Le monitoring suit sans rien faire. Pour un exemple de backup splitté on a donc :

git -C /etc show e2b2b3828beb63cb8aaad7e0176e6db9b5b57d30

Mis à jour par François Poulain il y a presque 4 ans

Je commente #keep_weekly: 4 temporairement dans /etc/borgmatic.d/root.yaml et je prune les archives pour libérer de la place :

borgmatic --prune

On peut comparer avant/après avec borgmatic --list .

Mis à jour par François Poulain il y a presque 4 ans

  • Statut changé de En cours de traitement à Résolu

Mis à jour par Quentin Gibeaux il y a presque 4 ans

  • Statut changé de Résolu à Fermé

Mis à jour par Christian P. Momon il y a presque 4 ans

  • Version cible changé de Backlog à Sprint 2021 janvier

Mis à jour par François Poulain il y a presque 4 ans

On voit dans la durée que ça tient la route. La VM drop est la courbe mauve qui décroît.

Actions

Formats disponibles : Atom PDF