Chapril » forge.chapril.org

• ✅ redémarrage de tous les services indiqués par needrestart
• ✅ vérifier qu'il n'y a pas de régressions signalées:
  • https://github.com/go-gitea/gitea/
  • https://discourse.gitea.io/
• ✅ avant de mettre à jour: vérifier que le checksum et la signature de l'exécutable gitea sont corrects VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh verify download
• ✅ Mettre à jour:
  

  cd /srv/gitea/bin
  rm gitea-dump-XXX.zip gitea-XXX.sql.gzip # drop old backup before creating the new one: there isn't enough space for the new one
  VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh stop backup
  VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh upgrade
  VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh check
  su - gitea -c '/srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini --work-path /srv/gitea doctor --all --fix'
  VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh check
  VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh start
  

• ✅ surveillez les logs: tail -f /var/log/gitea/gitea.log /var/log/apache2/forge.chapril.org/forge.chapril.org-error.log puis tail -f /var/log/gitea/gitea.log |grep -vF '[I]'
• ✅ vérifier le numéro de version de gitea affiché en bas à gauche de la page d'accueil
• vérifier que les personnalisations ne sont pas cassées: https://forge.chapril.org/ (sans être identifié):
  • ✅ Chapril
  • ✅ page d'accueil: chercher le texte “La forge Chapril”
  • ✅ page d'accueil: logo forge.chapril au dessus du texte “La forge Chapril"
  • ✅ favicon forge.chapril
  • ✅ vérifier qu'il y a un lien Help/Aide dans le pied de page à droite du lien API
  • ✅ vérifier la présence des liens Help/Aide et Support dans la barre de navigation supérieure, à droite de Explore
• vérifier que les personnalisations ne sont pas cassées: https://forge.chapril.org/user/sign_up
  • ✅ petit encart jaune “En créant un compte, vous acceptez …”
  • ✅ logo a gauche de la barre de navigation
• ✅ Enregistrer un compte (pilou_test_upgrade) pour vérifier que le courriel d'activation d'un compte est en français:
  

  Veuillez cliquer sur le lien suivant pour activer votre compte avant 3 heures

• ✅ En étant authentifié: vérifier la présence des liens Help/Aide et Support dans la barre de navigation supérieure, à droite de Explorateur/Explore
• ✅ supprimer le compte de test
• ✅ vérifier l'état des checks concernant la machine grof
• ✅ ne conserver que deux dumps/versions: supprimer manuellement l'ancien dump
  

  # ls -l /srv/gitea/bin/gitea-1.*
  # rm /srv/gitea/bin/gitea-1.18.0-linux-amd64{,.asc,.sha256}
  

• 🔲 marquer la maintenance planifiée comme complétée
• 🔲 mettre à jour la documentation relative à la mise à jour du service forge
• ✅ benevalo

La taille des backups a augmenté de manière très importante:

- 9461447039                     28214 files
+ 16138736570                     42584 files

• repo-archive/*/*/*.zip
• repo-archive/*/*/*.bundle

sum=0; for x in $(grep -E "\.(zip|bundle)$" 2023-05-31-backup-list.txt | cut -c 1-10); do ((sum+=x)); done; echo $sum
0
sum=0; for x in $(grep -E "\.(zip|bundle)$" 2023-07-12-backup-list.txt | cut -c 1-10); do ((sum+=x)); done; echo $sum
4230512421

La taille des dépôts archivés ne correspond pas à la taille du dossier repo-archive:

select sum(size) from repository where is_archived ;
    sum    
-----------
 409754631
(1 ligne)

# head -n1 /var/log/apache2/forge.chapril.org/forge.chapril.org-access.log |grep -oP '\[[^\]]+'
[23/Jul/2023:00:01:45 +0200
# zgrep /archive/ /var/log/apache2/forge.chapril.org/forge.chapril.org-access.log |grep -oP '/[^/]+/[^/]+/archive/[^ ]+' |wc -l
2533
# zgrep /archive/ /var/log/apache2/forge.chapril.org/forge.chapril.org-access.log |grep bytedance.com |grep -oP '/[^/]+/[^/]+/archive/[^ ]+' |wc -l
2252

Un bot crawl les URLs de certains dépôts, notamment les URLs qui permettent de télécharger les archives zip, tar.gz ou git (bundle) pour un commit donné. Ces archives ne sont pas supprimées par défaut, c'est la tâche cron.archive_cleanup qui le permet.

Il faut donc:
- ✅ ajouter un robots.txt pour prévenir l'utilisation de ces URLs par des robots
- ✅ exécuter la tâche cron.archive_cleanup toutes les semaines (et avant les backups de l'image de la VM)
- ✅ définir le paramètre AppWorkPath dans le fichier de configuration de Gitea pour que ce paramètre soit réutilisé dès que le fichier est spécifié (par exemple pour les commandes gitea dump ou gitea doctor)

• # du -t100M -sh /srv/gitea/data/*
  624M    /srv/gitea/data/attachments
  14G    /srv/gitea/data/repo-archive
  

• # du -t100M -sh /srv/gitea/data/*
  624M    /srv/gitea/data/attachments
  

Avec Gitea 1.20, le switch `--work-path` fonctionne de manière moins inattendue:

################
# Gitea 1.19.4 :

=(^-^)=root@grof:/srv/gitea# head -n 4 /etc/gitea/gitea.ini
APP_NAME = La forge Chapril
RUN_USER = gitea
RUN_MODE = prod
#WORK_PATH = /srv/gitea/

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini  --help"  | tail -n 6
DEFAULT CONFIGURATION:
     CustomPath:  /srv/gitea/bin/custom 
     CustomConf:  /srv/gitea/bin/custom/conf/app.ini
     AppPath:     /srv/gitea/bin/gitea-1.19.4-linux-amd64
     AppWorkPath: /srv/gitea/bin

=(^-^)=root@grof:/srv/gitea# su - gitea -c "GITEA_WORK_DIR=/srv/gitea /srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini  --help"  | tail -n 6
DEFAULT CONFIGURATION:
     CustomPath:  /srv/gitea/custom 
     CustomConf:  /srv/gitea/custom/conf/app.ini
     AppPath:     /srv/gitea/bin/gitea-1.19.4-linux-amd64
     AppWorkPath: /srv/gitea

# La variable d'environnement "GITEA_WORK_DIR" fonctionne comme attendu (cf AppWorkPath/CustomPath).

# head -n 4 /etc/gitea/gitea.ini
APP_NAME = La forge Chapril
RUN_USER = gitea
RUN_MODE = prod
WORK_PATH = /srv/gitea/

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini  --help"  | tail -n 6
DEFAULT CONFIGURATION:
     CustomPath:  /srv/gitea/bin/custom 
     CustomConf:  /srv/gitea/bin/custom/conf/app.ini
     AppPath:     /srv/gitea/bin/gitea-1.19.4-linux-amd64
     AppWorkPath: /srv/gitea/bin

# Le paramètre "WORK_PATH" ne fonctionne pas comme attendu, AppWorkPath/CustomPath ont des valeurs inattendues

=(^-^)=root@grof:/srv/gitea# /srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini --work-path /srv/gitea --help | tail -n 6
DEFAULT CONFIGURATION:
     CustomPath:  /srv/gitea/bin/custom 
     CustomConf:  /srv/gitea/bin/custom/conf/app.ini
     AppPath:     /srv/gitea/bin/gitea-1.19.4-linux-amd64
     AppWorkPath: /srv/gitea/bin

# "--work-path /srv/gitea" ne fonctionne pas comme attendu, AppWorkPath/CustomPath ont des valeurs inattendues

################
# Gitea 1.20.1 :

# head -n 4 /etc/gitea/gitea.ini
APP_NAME = La forge Chapril
RUN_USER = gitea
RUN_MODE = prod
WORK_PATH = /srv/gitea/

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea --config /etc/gitea/gitea.ini  --version" 
Gitea version 1.20.1 built with GNU Make 4.1, go1.20.6 : bindata, sqlite, sqlite_unlock_notify

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea --config /etc/gitea/gitea.ini --work-path /srv/gitea --help" | tail -n 6
DEFAULT CONFIGURATION:
   AppPath:    /srv/gitea/bin/gitea
   WorkPath:   /srv/gitea
   CustomPath: /srv/gitea/custom
   ConfigFile: /etc/gitea/gitea.ini

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea --config /etc/gitea/gitea.ini  --help" | tail -n 6
DEFAULT CONFIGURATION:
   AppPath:    /srv/gitea/bin/gitea
   WorkPath:   /srv/gitea
   CustomPath: /srv/gitea/custom
   ConfigFile: /etc/gitea/gitea.ini

L'utilisation de la variable d'environnement "GITEA_WORK_DIR" ou du switch "--work-path /srv/gitea" déclenchent le même comportement.