Project

General

Profile

Anomalie #4524

Pas de purge des pré-sauvegardes Influxdb sur la vm admin ?

Added by Christian P. Momon about 1 month ago. Updated 4 days ago.

Status:
Fermé
Priority:
Élevée
Category:
-
Target version:
Start date:
06/03/2020
Due date:
% Done:

0%

Estimated time:
Difficulté:
2 Facile

Description

Sur la vm admin, le /var approche à nouveau de la saturation :

(April) root@admin:/var/# df -h /var
Sys. de fichiers         Taille Utilisé Dispo Uti% Monté sur
/dev/mapper/vg_admin-var   9,6G    8,4G  731M  93% /var

En regardant ce qui prend de la place dans /var, on voit :

(April) root@admin:/var/backups/influxdb/icinga2# du -sch .
3,2G    .

Or la base influxdb ne semble pas occuper autant :

(April) root@admin:/var/backups/influxdb/icinga2# du -sch /var/lib/influxdb/
247M    /var/lib/influxdb/

De plus :

(April) root@admin:/var/backups/influxdb/icinga2# ll |wc -l
398

(April) root@admin:/var/backups/influxdb/icinga2# ll *.s14.tar.gz
-rw------- 1 root root 2,8M mai   11 20:00 20200511T180009Z.s14.tar.gz
-rw------- 1 root root 3,3M mai   11 21:11 20200511T191129Z.s14.tar.gz
-rw------- 1 root root 6,3M mai   12 20:00 20200512T180003Z.s14.tar.gz
-rw------- 1 root root 6,7M mai   12 21:16 20200512T191602Z.s14.tar.gz
-rw------- 1 root root 9,2M mai   13 20:00 20200513T180005Z.s14.tar.gz
-rw------- 1 root root 9,6M mai   13 21:08 20200513T190829Z.s14.tar.gz
-rw------- 1 root root  13M mai   14 20:00 20200514T180004Z.s14.tar.gz
-rw------- 1 root root  13M mai   14 21:04 20200514T190441Z.s14.tar.gz
-rw------- 1 root root  16M mai   15 20:00 20200515T180005Z.s14.tar.gz
-rw------- 1 root root  16M mai   15 21:03 20200515T190320Z.s14.tar.gz
-rw------- 1 root root  18M mai   16 20:00 20200516T180007Z.s14.tar.gz
-rw------- 1 root root  19M mai   16 21:04 20200516T190433Z.s14.tar.gz
[…]
-rw------- 1 root root  22M mai   28 13:06 20200528T110640Z.s14.tar.gz
-rw------- 1 root root  22M mai   28 20:05 20200528T180454Z.s14.tar.gz
-rw------- 1 root root  22M mai   29 13:25 20200529T112511Z.s14.tar.gz
-rw------- 1 root root  22M mai   29 20:02 20200529T180218Z.s14.tar.gz
-rw------- 1 root root  22M mai   30 13:00 20200530T110004Z.s14.tar.gz
-rw------- 1 root root  22M mai   30 20:06 20200530T180632Z.s14.tar.gz
-rw------- 1 root root  22M mai   31 13:00 20200531T110006Z.s14.tar.gz
-rw------- 1 root root  22M mai   31 20:02 20200531T180159Z.s14.tar.gz
-rw------- 1 root root  22M juin   1 13:04 20200601T110429Z.s14.tar.gz
-rw------- 1 root root  22M juin   1 20:00 20200601T180017Z.s14.tar.gz
-rw------- 1 root root  22M juin   2 13:08 20200602T110755Z.s14.tar.gz
-rw------- 1 root root  22M juin   2 20:00 20200602T180008Z.s14.tar.gz

C'est comme si l'export de pré-sauvegarde n'était jamais purgé.

Demande :
  • valider l'hypothèse ;
  • purger manuellement ;
  • modifier le backup pour purger les pré-sauvegardes.

History

#1

Updated by Christian P. Momon about 1 month ago

  • Description updated (diff)
#2

Updated by François Poulain about 1 month ago

C'est comme si l'export de pré-sauvegarde n'était jamais purgé.

Probable. Je pensais qu'il s'écraserait chaque jour.

Demande :

+ vérifier la restauration et/ou valider le minimum nécessaire à conserver en vue d'une restauration.

#3

Updated by Christian P. Momon about 1 month ago

Extrait de https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/ :

backup creates and stores the following in a specified directory (filenames include UTC timestamp when created):

#4

Updated by Christian P. Momon about 1 month ago

  • Status changed from Nouveau to En cours de traitement
  • Assignee set to Christian P. Momon
#5

Updated by Christian P. Momon about 1 month ago

François Poulain a écrit :

+ vérifier la restauration et/ou valider le minimum nécessaire à conserver en vue d'une restauration.

Après lancement manuel d'une sauvegarde d'Influxdb, le résultat est conforme à l'état courant de la base (même taille et mêmes fichiers).
Donc chaque backup d'Influxdb exporte toute la base indiquée. Ces fichiers une fois backupés par Backuppc, ne sont plus indispensables.

Donc dans le script /etc/rrsync.d/dump-influxdb, possibilité de les supprimer avant le dump.

Actions :
  • purge des pré-sauvegardes du mois de mai ; *
#6

Updated by François Poulain about 1 month ago

Oui on peut faire un find /var/backups/influxdb/icinga2 -mtime +10 -delete

#7

Updated by François Poulain about 1 month ago

(April) root@admin:/etc[master]# git show HEAD
commit 6e569eb8e4a31d7f10088eee72e3142de310f766 (HEAD -> master)
Author: François Poulain <francois.poulain@cliss21.org>
Date:   Wed Jun 3 20:07:17 2020 +0200

    dump-influxdb: ajoute de quoi pruner

diff --git a/rrsync.d/dump-influxdb b/rrsync.d/dump-influxdb
index b45ced2..b16b89a 100755
--- a/rrsync.d/dump-influxdb
+++ b/rrsync.d/dump-influxdb
@@ -7,6 +7,12 @@ fi
 backup_dir=/var/backups/influxdb
 db=icinga2

+# prepare
 mkdir -p $backup_dir
 chmod 700 $backup_dir
+
+# backup
 influxd backup -portable -database $db -host localhost:8088 $backup_dir/$db
+
+# prune
+find $backup_dir/$db -type f -mtime +10 -delete
#8

Updated by Christian P. Momon about 1 month ago

François Poulain a écrit :

(April) root@admin:/etc[master]# git show HEAD

Ha bah oui, mais non ;-)

(April) root@admin:/etc/rrsync.d[master]# dpkg -S dump-influxdb
april-backup: /etc/rrsync.d/dump-influxdb

:DDDDDDDDDDD

François Poulain a écrit :

+# prepare
 mkdir -p $backup_dir
 chmod 700 $backup_dir
+
+# backup
 influxd backup -portable -database $db -host localhost:8088 $backup_dir/$db
+
+# prune
+find $backup_dir/$db -type f -mtime +10 -delete

J'aime beaucoup les modifications (j'avais fait mais en trop compliqué).
Mais à quoi ça sert de garder 10*2 pré-backups puisqu'ils sont backupés dans Backuppc ?
À 100 Mo la sauvegarde, ça mange 2 Go !
Suggestion d'un mtime à 2 max.

#9

Updated by François Poulain about 1 month ago

Suggestion d'un mtime à 2 max.

Oui pas de soucis.

#10

Updated by Christian P. Momon about 1 month ago

  • Status changed from En cours de traitement to Résolu
Actions :
  • modification dans le paquet april-backup ;
  • génération version 1.6 ;
  • apt-get update && apt-get dist-upgrade.
#11

Updated by Quentin Gibeaux 4 days ago

  • Status changed from Résolu to Fermé

Also available in: Atom PDF