Demande #6015
Pic d'utilisation (création d'utilisateurs)
0%
Description
Suites à l'actualité du rachat de twitter, l'instance pouet.chapril.org a enduré un pic de création de compte : +3000 comptes.
Les ressources se sont affolées.
Demandes liées
Historique
Mis à jour par Quentin Gibeaux il y a plus d'un an
Actions réalisées :
1/ fermeture de la création de compte, pour stabiliser l'instance (comptes 4500+ comptes)
2/ augmentation des ressources : ajout de 2 vcpu (4 à 6) et 2G de ram (8 à 10)
3/ augmentation des workers :
- pgsql : 300->500 (voir conf /etc)
- sidekiq : 100->500 (voir conf /etc)
- puma (frontend) : 1->5 (voir conf /etc)
- nginx : 768 -> 1536 (voir conf /etc)
4/ augmentation de l'espace disque /home : +50G
5/ augmentation de ulimit (nb d'accès fichiers disques) : 1024 -> 8192
- via ulimit -n 8192, mais temporaire et pas reboot proof
- via sysctl.d/90-ressources.conf (normalement ok mais pas reboot testé)
Problèmes observés (connecté en admin) : https://pouet.chapril.org/sidekiq/queues
- accumulation des taches sidekiq, non défilement de ces tâches : on a atteint plus de 600k tâches et ça s'accumulait sans traiter : problèmes de limites disques, problèmes de sql saturés, problèmes réseau.
- résolu via augmentation ulimit
- impossible de défiler le retard accumulé : tout a été dropé via l'interface (bouton delete), maintenant ça suit son cours et on est stabilisé à moins de 6 de charge.
Action utile : ajouter du monitoring des tâches sidekiq (busy, enqueud, retry, schedule) pour suivre l'évolution dans le temps
Mis à jour par pitchum . il y a plus d'un an
- Lié à Demande #6023: Espace disque manquant pour les sauvegardes ajouté
Mis à jour par Pierre-Louis Bonicoli il y a environ un an
- Version cible changé de Backlog à Sprint 2022 décembre