Project

General

Profile

Actions

Demande #6198

closed

Mettre à jour Gitea/forge.chapril.org en 1.19.4

Added by Pierre-Louis Bonicoli about 1 year ago. Updated 11 months ago.

Status:
Fermé
Priority:
Normale
Start date:
Due date:
% Done:

100%

Estimated time:

Description

Une nouvelle version est disponible: https://github.com/go-gitea/gitea/releases/tag/v1.19.4


Related issues 3 (0 open3 closed)

Related to Admins - Demande #6199: Mettre à jour Gitea/forge.april.org en 1.19.4FerméPierre-Louis Bonicoli

Actions
Copied from forge.chapril.org - Demande #6120: Mettre à jour Gitea/forge.chapril.org en 1.19.3FerméPierre-Louis Bonicoli

Actions
Copied to forge.chapril.org - Demande #6204: Mettre à jour Gitea/forge.chapril.org en 1.20.1/1.20.2FerméPierre-Louis Bonicoli07/26/2023

Actions
Actions #1

Updated by Pierre-Louis Bonicoli about 1 year ago

  • Copied from Demande #6120: Mettre à jour Gitea/forge.chapril.org en 1.19.3 added
Actions #2

Updated by Pierre-Louis Bonicoli about 1 year ago

  • Related to Demande #6199: Mettre à jour Gitea/forge.april.org en 1.19.4 added
Actions #3

Updated by Pierre-Louis Bonicoli about 1 year ago

  • ✅ redémarrage de tous les services indiqués par needrestart
  • ✅ vérifier qu'il n'y a pas de régressions signalées:
  • ✅ avant de mettre à jour: vérifier que le checksum et la signature de l'exécutable gitea sont corrects VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh verify download
  • ✅ Mettre à jour:
    cd /srv/gitea/bin
    rm gitea-dump-XXX.zip gitea-XXX.sql.gzip # drop old backup before creating the new one: there isn't enough space for the new one
    VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh stop backup
    VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh upgrade
    VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh check
    su - gitea -c '/srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini --work-path /srv/gitea doctor --all --fix'
    VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh check
    VERSION=1.19.4 /srv/forge.chapril.org/tools/upgrade.sh start
    
  • ✅ surveillez les logs: tail -f /var/log/gitea/gitea.log /var/log/apache2/forge.chapril.org/forge.chapril.org-error.log puis tail -f /var/log/gitea/gitea.log |grep -vF '[I]'
  • ✅ vérifier le numéro de version de gitea affiché en bas à gauche de la page d'accueil
  • vérifier que les personnalisations ne sont pas cassées: https://forge.chapril.org/ (sans être identifié):
    • ✅ Chapril
    • ✅ page d'accueil: chercher le texte “La forge Chapril”
    • ✅ page d'accueil: logo forge.chapril au dessus du texte “La forge Chapril"
    • ✅ favicon forge.chapril
    • ✅ vérifier qu'il y a un lien Help/Aide dans le pied de page à droite du lien API
    • ✅ vérifier la présence des liens Help/Aide et Support dans la barre de navigation supérieure, à droite de Explore
  • vérifier que les personnalisations ne sont pas cassées: https://forge.chapril.org/user/sign_up
    • ✅ petit encart jaune “En créant un compte, vous acceptez …”
    • ✅ logo a gauche de la barre de navigation
  • ✅ Enregistrer un compte (pilou_test_upgrade) pour vérifier que le courriel d'activation d'un compte est en français:
    Veuillez cliquer sur le lien suivant pour activer votre compte avant 3 heures
  • ✅ En étant authentifié: vérifier la présence des liens Help/Aide et Support dans la barre de navigation supérieure, à droite de Explorateur/Explore
  • ✅ supprimer le compte de test
  • ✅ vérifier l'état des checks concernant la machine grof
  • ✅ ne conserver que deux dumps/versions: supprimer manuellement l'ancien dump
    # ls -l /srv/gitea/bin/gitea-1.*
    # rm /srv/gitea/bin/gitea-1.18.0-linux-amd64{,.asc,.sha256}
    
  • 🔲 marquer la maintenance planifiée comme complétée
  • 🔲 mettre à jour la documentation relative à la mise à jour du service forge
  • benevalo
Actions #4

Updated by Pierre-Louis Bonicoli about 1 year ago

La taille des backups a augmenté de manière très importante:

- 9461447039                     28214 files
+ 16138736570                     42584 files

Fichiers présents uniquement dans la nouvelle backup:
  • repo-archive/*/*/*.zip
  • repo-archive/*/*/*.bundle
sum=0; for x in $(grep -E "\.(zip|bundle)$" 2023-05-31-backup-list.txt | cut -c 1-10); do ((sum+=x)); done; echo $sum
0
sum=0; for x in $(grep -E "\.(zip|bundle)$" 2023-07-12-backup-list.txt | cut -c 1-10); do ((sum+=x)); done; echo $sum
4230512421
Actions #5

Updated by Pierre-Louis Bonicoli about 1 year ago

  • Status changed from Nouveau to Résolu
  • Assignee set to Pierre-Louis Bonicoli
  • % Done changed from 0 to 100
Actions #6

Updated by Pierre-Louis Bonicoli almost 1 year ago

  • Copied to Demande #6204: Mettre à jour Gitea/forge.chapril.org en 1.20.1/1.20.2 added
Actions #7

Updated by Pierre-Louis Bonicoli 12 months ago

La taille des dépôts archivés ne correspond pas à la taille du dossier repo-archive:

select sum(size) from repository where is_archived ;
    sum    
-----------
 409754631
(1 ligne)

Par ailleurs il n'y a que 46 dépôts archivés, dont un seul en 2023.

Actions #8

Updated by Pierre-Louis Bonicoli 12 months ago

# head -n1 /var/log/apache2/forge.chapril.org/forge.chapril.org-access.log |grep -oP '\[[^\]]+'
[23/Jul/2023:00:01:45 +0200
# zgrep /archive/ /var/log/apache2/forge.chapril.org/forge.chapril.org-access.log |grep -oP '/[^/]+/[^/]+/archive/[^ ]+' |wc -l
2533
# zgrep /archive/ /var/log/apache2/forge.chapril.org/forge.chapril.org-access.log |grep bytedance.com |grep -oP '/[^/]+/[^/]+/archive/[^ ]+' |wc -l
2252

Un bot crawl les URLs de certains dépôts, notamment les URLs qui permettent de télécharger les archives zip, tar.gz ou git (bundle) pour un commit donné. Ces archives ne sont pas supprimées par défaut, c'est la tâche cron.archive_cleanup qui le permet.

Il faut donc:
- ajouter un robots.txt pour prévenir l'utilisation de ces URLs par des robots
- ✅ exécuter la tâche cron.archive_cleanup toutes les semaines (et avant les backups de l'image de la VM)
- ✅ définir le paramètre AppWorkPath dans le fichier de configuration de Gitea pour que ce paramètre soit réutilisé dès que le fichier est spécifié (par exemple pour les commandes gitea dump ou gitea doctor)

Actions #9

Updated by Pierre-Louis Bonicoli 12 months ago

Avant et après exécution de la tâche (cron.archive_cleanup / Delete all repositories' archives (ZIP, TAR.GZ, etc..))
  • # du -t100M -sh /srv/gitea/data/*
    624M    /srv/gitea/data/attachments
    14G    /srv/gitea/data/repo-archive
    
  • # du -t100M -sh /srv/gitea/data/*
    624M    /srv/gitea/data/attachments
    
Actions #10

Updated by Pierre-Louis Bonicoli 12 months ago

Avec Gitea 1.20, le switch `--work-path` fonctionne de manière moins inattendue:

################
# Gitea 1.19.4 :

=(^-^)=root@grof:/srv/gitea# head -n 4 /etc/gitea/gitea.ini
APP_NAME = La forge Chapril
RUN_USER = gitea
RUN_MODE = prod
#WORK_PATH = /srv/gitea/

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini  --help"  | tail -n 6
DEFAULT CONFIGURATION:
     CustomPath:  /srv/gitea/bin/custom 
     CustomConf:  /srv/gitea/bin/custom/conf/app.ini
     AppPath:     /srv/gitea/bin/gitea-1.19.4-linux-amd64
     AppWorkPath: /srv/gitea/bin

=(^-^)=root@grof:/srv/gitea# su - gitea -c "GITEA_WORK_DIR=/srv/gitea /srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini  --help"  | tail -n 6
DEFAULT CONFIGURATION:
     CustomPath:  /srv/gitea/custom 
     CustomConf:  /srv/gitea/custom/conf/app.ini
     AppPath:     /srv/gitea/bin/gitea-1.19.4-linux-amd64
     AppWorkPath: /srv/gitea

# La variable d'environnement "GITEA_WORK_DIR" fonctionne comme attendu (cf AppWorkPath/CustomPath).

# head -n 4 /etc/gitea/gitea.ini
APP_NAME = La forge Chapril
RUN_USER = gitea
RUN_MODE = prod
WORK_PATH = /srv/gitea/

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini  --help"  | tail -n 6
DEFAULT CONFIGURATION:
     CustomPath:  /srv/gitea/bin/custom 
     CustomConf:  /srv/gitea/bin/custom/conf/app.ini
     AppPath:     /srv/gitea/bin/gitea-1.19.4-linux-amd64
     AppWorkPath: /srv/gitea/bin

# Le paramètre "WORK_PATH" ne fonctionne pas comme attendu, AppWorkPath/CustomPath ont des valeurs inattendues

=(^-^)=root@grof:/srv/gitea# /srv/gitea/bin/gitea-1.19.4-linux-amd64 --config /etc/gitea/gitea.ini --work-path /srv/gitea --help | tail -n 6
DEFAULT CONFIGURATION:
     CustomPath:  /srv/gitea/bin/custom 
     CustomConf:  /srv/gitea/bin/custom/conf/app.ini
     AppPath:     /srv/gitea/bin/gitea-1.19.4-linux-amd64
     AppWorkPath: /srv/gitea/bin

# "--work-path /srv/gitea" ne fonctionne pas comme attendu, AppWorkPath/CustomPath ont des valeurs inattendues

################
# Gitea 1.20.1 :

# head -n 4 /etc/gitea/gitea.ini
APP_NAME = La forge Chapril
RUN_USER = gitea
RUN_MODE = prod
WORK_PATH = /srv/gitea/

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea --config /etc/gitea/gitea.ini  --version" 
Gitea version 1.20.1 built with GNU Make 4.1, go1.20.6 : bindata, sqlite, sqlite_unlock_notify

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea --config /etc/gitea/gitea.ini --work-path /srv/gitea --help" | tail -n 6
DEFAULT CONFIGURATION:
   AppPath:    /srv/gitea/bin/gitea
   WorkPath:   /srv/gitea
   CustomPath: /srv/gitea/custom
   ConfigFile: /etc/gitea/gitea.ini

=(^-^)=root@grof:/srv/gitea# su - gitea -c "/srv/gitea/bin/gitea --config /etc/gitea/gitea.ini  --help" | tail -n 6
DEFAULT CONFIGURATION:
   AppPath:    /srv/gitea/bin/gitea
   WorkPath:   /srv/gitea
   CustomPath: /srv/gitea/custom
   ConfigFile: /etc/gitea/gitea.ini

L'utilisation de la variable d'environnement "GITEA_WORK_DIR" ou du switch "--work-path /srv/gitea" déclenchent le même comportement.

Actions #11

Updated by Quentin Gibeaux 11 months ago

  • Status changed from Résolu to Fermé
Actions

Also available in: Atom PDF