Projet

Général

Profil

Actions

Anomalie #4572

ouvert

Sauvegardes simultanées et saturation SI

Ajouté par Christian P. Momon il y a plus de 4 ans. Mis à jour il y a environ 9 heures.

Statut:
En cours de traitement
Priorité:
Normale
Assigné à:
Catégorie:
-
Version cible:
Début:
29/06/2020
Echéance:
% réalisé:

0%

Temps estimé:
Difficulté:
2 Facile

Description

Très fréquemment, à partir de vers 20h, les sites April se mettent à ramer au point d'être parfois indisponibles.

Souvent, on constate qu'il y a des sauvegardes en cours et on ne fait rien.

En général, paralléliser les sauvegardes des machines est une bonne idée mais là toutes nos vms surchargent le même disque dur.

Demande :
  • valider que la saturation SI vient des sauvegardes simultanées ;
  • rendre impossible les sauvegardes simultanées.

Fichiers

io_wait.png (1,24 Mo) io_wait.png Romain H., 28/11/2020 11:18

Mis à jour par Quentin Gibeaux il y a plus de 4 ans

  • Assigné à mis à Romain H.

Mis à jour par Quentin Gibeaux il y a plus de 4 ans

  • Version cible changé de Juin 2020 à Été 2020

Mis à jour par Christian P. Momon il y a plus de 4 ans

  • Statut changé de Nouveau à En cours de traitement
Actuellement :
  • MaxBackups :
    • Maximum number of simultaneous backups to run. If there are no user backup requests then this is the maximum number of simultaneous backups.
    • backuppc : 2
    • backuppc2 : 4
  • MaxUserBackups :
    • Additional number of simultaneous backups that users can run. As many as $Conf{MaxBackups} + $Conf{MaxUserBackups} requests can run at the same time.
    • backuppc : 4
    • backuppc2 : 4

Donc si on considère rare le lancement de UserBackup, on peut avoir 6 backups en parallèle.

Proposition de passer le MaxBackups de backuppc2 de 4 à 2, ce qui baisserait le nombre de maximal de sauvegardes en parallèle de 6 à 4.

Fait pour tester cet été.

Mis à jour par Quentin Gibeaux il y a environ 4 ans

  • Version cible changé de Été 2020 à Septembre 2020

Mis à jour par Quentin Gibeaux il y a environ 4 ans

  • Version cible changé de Septembre 2020 à Octobre 2020

Mis à jour par Romain H. il y a environ 4 ans

En se basant sur les dernières sauvegardes complètes, le total est de 660 Go avec une durée de 26h.

Les serveurs ne font pas les sauvegardes complètes en même temps, chaque nuit les sauvegardes incrémentales et complètes s'entremêlements et le temps est donc beaucoup plus court.

Sur la journée du 26/10 par exemple, le temps total de sauvegarde est de 7,9 heures.
Si on souhaite que les sauvegardes soient réalisées une par une, il faut au moins prévoir 8 heures.

Cette journée est un exemple, l'alternance entre sauvegardes complètes et incrémentales peut faire varier plus ou moins cette durée, il faudrait prévoir une marge car c'est compliqué de déterminer à l'avance toutes les combinaisons possibles.

Mis à jour par Quentin Gibeaux il y a environ 4 ans

  • Version cible changé de Octobre 2020 à Novembre 2020

Mis à jour par Quentin Gibeaux il y a presque 4 ans

  • Version cible changé de Novembre 2020 à Décembre 2020

Mis à jour par Romain H. il y a presque 4 ans

Dans la réunion admin de novembre, nous avons évoqué le fait de faire un test en exécutant les sauvegardes par Guarana et Galanga sur des créneaux horaires différents en divisant le créneau l'actuel en deux.
Pour les weekends, j'ai configuré Galanga sur 00h00 -> 05H00 et Guarana sur 05h00 -> 10h00.

Mis à jour par Romain H. il y a presque 4 ans

Ci-joint, la comparaison des IO Wait entre le 27 et le 28 suite au changement de configuration.
Il ne semble pas y avoir d'évolution remarquable.

Mis à jour par Romain H. il y a presque 4 ans

J'ai remis les sauvegardes du weekend à la planification précédente (00h00->10h00) comme il n'y avait pas l'air d'y avoir d'impact positif et que toutes les sauvegardes ne passaient plus.

Mis à jour par Christian P. Momon il y a presque 4 ans

Serait-il possible d'avoir dans un tableau de bord Grafana en même temps :
  • pour virola :
    • I/O Wait DRBD
    • volume lecture et écriture sur le lien inter-machine
    • volume lecture et écriture sur le lien internet
    • volume lecture et écriture sur le disque

Mis à jour par Quentin Gibeaux il y a presque 4 ans

  • Version cible changé de Décembre 2020 à Janvier 2021

Mis à jour par Romain H. il y a presque 4 ans

J'ai fait un premier jet de Dashboard sur https://grafana.april.org/d/I_D76iYGk/romaindashboardio?orgId=1 .
Je cherche à faire le "volume lecture et écriture sur le disque" mais je suis pas certain que les infos soient déjà en base de données.

Mis à jour par Quentin Gibeaux il y a presque 4 ans

  • Version cible changé de Janvier 2021 à Février 2021

Mis à jour par Romain H. il y a presque 4 ans

Voir pour récupérer les infos de atopsar via une sonde icinga2 pour intégrer les infos dans Grafana.

Mis à jour par Quentin Gibeaux il y a plus de 3 ans

  • Version cible changé de Février 2021 à Mars 2021

Mis à jour par Quentin Gibeaux il y a plus de 3 ans

  • Version cible changé de Mars 2021 à Avril 2021

Mis à jour par Quentin Gibeaux il y a plus de 3 ans

  • Version cible changé de Avril 2021 à Mai 2021

Mis à jour par Quentin Gibeaux il y a plus de 3 ans

  • Version cible changé de Mai 2021 à Juin 2021

Mis à jour par Quentin Gibeaux il y a plus de 3 ans

  • Version cible changé de Juin 2021 à Été 2021

Mis à jour par Quentin Gibeaux il y a environ 3 ans

  • Version cible changé de Été 2021 à Septembre 2021

Mis à jour par Quentin Gibeaux il y a environ 3 ans

  • Version cible changé de Septembre 2021 à Octobre 2021

Mis à jour par Quentin Gibeaux il y a environ 3 ans

  • Version cible changé de Octobre 2021 à Novembre 2021

Mis à jour par Quentin Gibeaux il y a presque 3 ans

  • Version cible changé de Novembre 2021 à Décembre 2021

Mis à jour par Quentin Gibeaux il y a presque 3 ans

  • Version cible changé de Décembre 2021 à Janvier 2022

Mis à jour par Quentin Gibeaux il y a presque 3 ans

  • Version cible changé de Janvier 2022 à Février 2022

Mis à jour par Quentin Gibeaux il y a plus de 2 ans

  • Version cible changé de Février 2022 à Mars 2022

Mis à jour par Quentin Gibeaux il y a plus de 2 ans

  • Version cible changé de Mars 2022 à Avril 2022

Mis à jour par Quentin Gibeaux il y a plus de 2 ans

  • Version cible changé de Avril 2022 à Mai 2022

Mis à jour par Quentin Gibeaux il y a plus de 2 ans

  • Version cible changé de Mai 2022 à Juin 2022

Mis à jour par Quentin Gibeaux il y a plus de 2 ans

  • Version cible changé de Juin 2022 à Été 2022

Mis à jour par Quentin Gibeaux il y a environ 2 ans

  • Version cible changé de Été 2022 à Septembre 2022

Mis à jour par Quentin Gibeaux il y a environ 2 ans

  • Version cible changé de Septembre 2022 à Octobre 2022

Mis à jour par Quentin Gibeaux il y a environ 2 ans

  • Version cible changé de Octobre 2022 à Novembre 2022

Mis à jour par Quentin Gibeaux il y a presque 2 ans

  • Version cible changé de Novembre 2022 à Décembre 2022

Mis à jour par Quentin Gibeaux il y a presque 2 ans

  • Version cible changé de Décembre 2022 à Janvier 2023

Mis à jour par Quentin Gibeaux il y a presque 2 ans

  • Version cible changé de Janvier 2023 à Février 2023

Mis à jour par Frédéric Couchet il y a plus d'un an

  • Version cible changé de Février 2023 à Mars 2023

Mis à jour par Quentin Gibeaux il y a plus d'un an

  • Version cible changé de Mars 2023 à Avril 2023

Mis à jour par Quentin Gibeaux il y a plus d'un an

  • Version cible changé de Avril 2023 à Mai 2023

Mis à jour par Quentin Gibeaux il y a plus d'un an

  • Version cible changé de Mai 2023 à Juin 2023

Mis à jour par Quentin Gibeaux il y a plus d'un an

  • Version cible changé de Juin 2023 à Été 2023

Mis à jour par Quentin Gibeaux il y a environ un an

  • Version cible changé de Été 2023 à Septembre 2023

Mis à jour par Quentin Gibeaux il y a environ un an

  • Version cible changé de Septembre 2023 à Octobre 2023

Mis à jour par Quentin Gibeaux il y a environ un an

  • Version cible changé de Octobre 2023 à Novembre 2023

Mis à jour par Quentin Gibeaux il y a 11 mois

  • Version cible changé de Novembre 2023 à Décembre 2023

Mis à jour par Quentin Gibeaux il y a 10 mois

  • Version cible changé de Décembre 2023 à Janvier 2024

Mis à jour par Quentin Gibeaux il y a 9 mois

  • Version cible changé de Janvier 2024 à Février 2024

Mis à jour par Quentin Gibeaux il y a 8 mois

  • Version cible changé de Février 2024 à Mars 2024

Mis à jour par Quentin Gibeaux il y a 7 mois

  • Version cible changé de Mars 2024 à Avril 2024

Mis à jour par Quentin Gibeaux il y a 6 mois

  • Version cible changé de Avril 2024 à Mai 2024

Mis à jour par Quentin Gibeaux il y a 5 mois

  • Version cible changé de Mai 2024 à Juin 2024

Mis à jour par Quentin Gibeaux il y a 4 mois

  • Version cible changé de Juin 2024 à Été 2024

Mis à jour par Quentin Gibeaux il y a environ 2 mois

  • Version cible changé de Été 2024 à Septembre 2024

Mis à jour par Quentin Gibeaux il y a 14 jours

  • Version cible changé de Septembre 2024 à Octobre 2024

Mis à jour par Quentin Gibeaux il y a environ 9 heures

  • Version cible changé de Octobre 2024 à Novembre 2024
Actions

Formats disponibles : Atom PDF