Project

General

Profile

Anomalie #5884

Utilisateur 153 sur Valise a 136.000 fichiers

Added by Chris Mann about 2 months ago. Updated about 1 month ago.

Status:
En cours de traitement
Priority:
Normale
Assignee:
Target version:
Start date:
05/21/2022
Due date:
% Done:

0%

Estimated time:

Description

Bonjour,

Une utilisatrice ou un utilisateur que je nommerais user153 a plus de 130.000 fichiers en synchronisation. J'ai vu ceci par ailleurs avec une synchronisation de déploiement NodeJS syncronisé avec un drive cloud. J'ai comme hypothèse que ceci soit la source de la dégradation importante de performances sur Valise.

Je crains que même l'élimination pure et simple de son compte puisse ne pas régler le problème immédiatement si NextCloud continue à faire des choses avec les fichiers en historique. J'aimerais bien regarder comment d'autres gèrent cette situation. J'aurais aussi préféré une architecture qui pénalise le client et non pas le serveur.

Que faire maintenant en termes de communication notamment avec user153 ?


Related issues

Related to valise.chapril.org - Demande #5812: Régler les soucis de performances de valiseEn cours de traitement03/05/2022

Actions

History

#1

Updated by François Poulain about 2 months ago

Good catch !

Que faire maintenant en termes de communication notamment avec user153 ?

Peut être commencer par lui envoyer un mail pour voir si c'est un usager actif, et lui exposer qu'on soupçonne son utilisation à la source d'une paralysie du service.

#2

Updated by Chris Mann about 2 months ago

Mel envoyé comme suite à l'intéressé(e)

Bonjour,

Je suis Chris Mann, bénévole co-animateur du service Valise.chapril.org depuis peu.

J'ai constaté 136.911 fichiers dans votre espace de synchronisation qui est par ailleurs limité à 1 Go.

Le nombre de fichiers ralenti le service pour tous à cause des capacités de notre infrastructure Next Cloud.

Etes-vous d'accord pour éliminer ces fichiers de synchronisation ?

Merci bien,

#3

Updated by Chris Mann about 2 months ago

  • Status changed from Nouveau to En cours de traitement
  • Assignee changed from Frédéric Couchet to Chris Mann
#4

Updated by Chris Mann about 2 months ago

VOir aussi #5812 #5883

#5

Updated by Chris Mann about 2 months ago

Voilà la liste d'utilisateurs au-dessus de 10.000 fichiers

user153 , 136911
user193 , 12886
user213 , 33198
user851 , 15672
user986 , 10019
user1072 , 26020
user1088 , 20146
user1160 , 50723
user1281 , 18862
user1417 , 20024

user153 user193 user213 user851 user986 user1072 user1088 user1160 user1281 user1417

#6

Updated by Chris Mann about 2 months ago

Voici un projet de communication:

https://pad.chapril.org/p/communicationvalise

#7

Updated by Pierre-Louis Bonicoli about 2 months ago

Est ce que l'utilisateur est actif (quelle sont les dernières dates d'authentification, de synchronisation, d'activités) ?

L'annonce NextCloud indique:

For the server, idle load will have decreased by 10x thanks to the HPB, while during syncing the number of connections is also reduced by about a factor 10!

Est ce qu'il est question de la charge lorsqu'aucun utilisateur n'est actif et générée par les tâches CRON ? Est ce que le nombre de connexions est le goulot d'étranglement du service valise ?

#8

Updated by Chris Mann about 2 months ago

Pierre-Louis Bonicoli a écrit :

Est ce que l'utilisateur est actif (quelle sont les dernières dates d'authentification, de synchronisation, d'activités) ?

L'utilisateur a supprimé tous sauf 44 fichiers dans les heures qui ont suivi ma demamde. J'aurai préféré réinitialiser le compte car je aouconne des traitement reliquats.

L'annonce NextCloud indique:

HBP est une réécriture en Rust. Ce sera un projet de déploiement. Au fait je ne sais pas si c'est stable. C'est du Rélativement (ou Rust) HIgh Performance Backend.

C'est aussi un nouveau client à installer.

RHBP ou non, j'ai vu ce problème même avec Google Drive. Le problème des petits fichiers n'est pas que dans la synchro (pense à la remarque de pitchum . (ortho) sur l'utilisatíon des recherche% rudimentaires).

For the server, idle load will have decreased by 10x thanks to the HPB, while during syncing the number of connections is also reduced by about a factor 10!

Est ce qu'il est question de la charge lorsqu'aucun utilisateur n'est actif et générée par les tâches CRON ? Est ce que le nombre de connexions est le goulot d'étranglement du service valise ?

Le goulot d'étranglement est tjs les IO Wait à mon sens. Les IO wait, à mon sens, font partie des pages de donnes DRBD et des pages de données LVM qui seraient peut-être déranges par complexité de toutes les petites fichiers/petites modifs PostgreSQL employés je pense d'une manière possiblement sous-optimum.

Pour voir claire: un serveur web, peut-être un serveur de synchro, un serveur Redis, surtout un serveur SQL, un serveur NFS.

J'aimerais l'avis de l'expert PostgreSQL, mais je pense que Next Cloud n'utiliserais rien de spécifique à PostgreSQL. La question pour lui devient une indication d'installation selon l'état de l'art dans notre contexte.

Je suis encouragé par le transfert de données, mais peut-être pas si cela n'est que le DRBD. Est le DRBD ?

#9

Updated by Pierre-Louis Bonicoli about 2 months ago

Chris Mann a écrit :

Pierre-Louis Bonicoli a écrit :

Est ce que l'utilisateur est actif (quelle sont les dernières dates d'authentification, de synchronisation, d'activités) ?

L'utilisateur a supprimé tous sauf 44 fichiers dans les heures qui ont suivi ma demamde. J'aurai préféré réinitialiser le compte car je aouconne des traitement reliquats.

Quelle était la taille occupée sur le disque par ces 136911 fichiers avant que l'utilisateur n'intervienne ?

Avec le site agir.april.org (redmine), il est possible de faire des commentaires privés qui ne seront pas publiquement visibles. Peux-tu indiquer en commentaire privé de ce ticket (#5884) l'identifiant de l'utilisateur contacté ?

L'annonce NextCloud indique:

HBP est une réécriture en Rust. Ce sera un projet de déploiement. Au fait je ne sais pas si c'est stable. C'est du Rélativement (ou Rust) HIgh Performance Backend.

Le "High Performance Back-end" est mentionné dans le lien que tu as posté ici: #5812#note-48. Qu'est ce qui a été réécrit en Rust ? Quels seraient les prérequis et les étapes de ce déploiement ? As-tu connaissance d'une quelconque instabilité ?

C'est aussi un nouveau client à installer.

  • Non, "High Performance Back-end" ne nécessite pas d'installer un nouveau client.
  • La seconde fonctionnalité mentionnée dans le lien est nommée "Nextcloud Sync v2/sync engine v2", elle est disponible depuis NextCloud 23 et elle nécessite un client plus récent que la version 3.4.0 (publiés tous les deux fin novembre 2021).

RHBP ou non, j'ai vu ce problème même avec Google Drive. Le problème des petits fichiers n'est pas que dans la synchro (pense à la remarque de pitchum . (ortho) sur l'utilisatíon des recherche% rudimentaires).

For the server, idle load will have decreased by 10x thanks to the HPB, while during syncing the number of connections is also reduced by about a factor 10!

Est ce qu'il est question de la charge lorsqu'aucun utilisateur n'est actif et générée par les tâches CRON ? Est ce que le nombre de connexions est le goulot d'étranglement du service valise ?

[...]
Pour voir claire: un serveur web, peut-être un serveur de synchro, un serveur Redis, surtout un serveur SQL, un serveur NFS.

Peux-tu préciser ce que tu veux dire ou reformuler cette phrase ?

J'aimerais l'avis de l'expert PostgreSQL, mais je pense que Next Cloud n'utiliserais rien de spécifique à PostgreSQL. La question pour lui devient une indication d'installation selon l'état de l'art dans notre contexte.

Le service NextCloud n'utilise-t-il pas PostgreSQL d'une manière spécifique, notamment en ce qui concerne les tâches NextCloud automatisées (qui génèrent un load de 1 alors qu'aucun utilisateur n'est connecté ni n'utilise le service) ?

#10

Updated by Chris Mann about 2 months ago

Le "High Performance Back-end" est mentionné dans le lien que tu as posté ici: #5812#note-48. Qu'est ce qui a été réécrit en Rust ? Quels seraient les prérequis et les étapes de ce déploiement ? As-tu connaissance d'une quelconque instabilité ?

Cette information n'existe que sur la partie payante de Next Cloud. Il nous convient de payer un abonnement de support, je pense:

https://portal.nextcloud.com/article/nextcloud-talk-high-performance-back-end-requirements-46.html

L'installation préconisé par Next Cloud est plus packagée que dans notre approche.

https://nextcloud.com/install/

Next Cloud isole la fonction "Files". Il nous conviendra, je pense, de séparer la fonction Files des autres Fonctions sur serveurs différents.

https://nextcloud.com/files/

C'est aussi un nouveau client à installer.

  • Non, "High Performance Back-end" ne nécessite pas d'installer un nouveau client.

J'ai l'impression que si. Le HBP ferait partie de Next Cloud v 21 et le nouveau client v.2 ferait partie de la version Next Cloud v.23. FYI, la version Next Cloud v.24.0.1 est sorti avant-hier. Nous sommes en version 21.0.9.

https://help.nextcloud.com/t/nextcloud-sync-2-0-brings-10x-faster-syncing/123174/16

Pour voir claire: un serveur web, peut-être un serveur de synchro, un serveur Redis, surtout un serveur SQL, un serveur NFS.

Peux-tu préciser ce que tu veux dire ou reformuler cette phrase ?

Déjà fait ici:

https://agir.april.org/issues/5812#note-18

J'ajoute la séparation du serveur Next Cloud Files à un autre serveur ... ou mieux la séparation de Next Cloud pas-Files à un autre serveur.

Le service NextCloud n'utilise-t-il pas PostgreSQL d'une manière spécifique, notamment en ce qui concerne les tâches NextCloud automatisées (qui génèrent un load de 1 alors qu'aucun utilisateur n'est connecté ni n'utilise le service) ?

Je ne pense pas qu'il bénéficie particulièrement de PostgreSQL car il utiliserait MySQL par défaut peut-être. Le load, je ne me préoccupe pas. C'est tous ces processus en TIme Wait et le Wait IO à 100% qui me préoccupe.

#11

Updated by Chris Mann about 2 months ago

  • Related to Demande #5812: Régler les soucis de performances de valise added
#12

Updated by Pierre-Louis Bonicoli about 2 months ago

Pierre-Louis Bonicoli a écrit :

Chris Mann a écrit :

Pierre-Louis Bonicoli a écrit :

Est ce que l'utilisateur est actif (quelle sont les dernières dates d'authentification, de synchronisation, d'activités) ?

L'utilisateur a supprimé tous sauf 44 fichiers dans les heures qui ont suivi ma demamde. J'aurai préféré réinitialiser le compte car je aouconne des traitement reliquats.

Quelle était la taille occupée sur le disque par ces 136911 fichiers avant que l'utilisateur n'intervienne ?

Avec le site agir.april.org (redmine), il est possible de faire des commentaires privés qui ne seront pas publiquement visibles. Peux-tu indiquer en commentaire privé de ce ticket (#5884) l'identifiant de l'utilisateur contacté ?

Peut être que la configuration du redmine restreint mon accès à ce commentaire:
  • si ce n'est pas le cas: je réitère ma demande,
  • si c'est le cas peux-tu mentionner cet identifiant dans un fichier sur la machine valise dans le répertoire /root (par exemple: /root/5884_identifiant.txt) ?
#13

Updated by Chris Mann about 1 month ago

Pierre-Louis Bonicoli a écrit :

Peux-tu indiquer en commentaire privé de ce ticket (#5884) l'identifiant de l'utilisateur contacté ?

J'ai envoyé des réception de ta requête une demande de l'intéressé sans retour. Ai-je ta peission d'envoyer à l'intéressé(e) tes coordonnées ? Si oui, merci de les indiquer afin que je les trasmette.

#14

Updated by Pierre-Louis Bonicoli about 1 month ago

Chris Mann a écrit :

Pierre-Louis Bonicoli a écrit :

Peux-tu indiquer en commentaire privé de ce ticket (#5884) l'identifiant de l'utilisateur contacté ?

J'ai envoyé des réception de ta requête une demande de l'intéressé sans retour. Ai-je ta peission d'envoyer à l'intéressé(e) tes coordonnées ? Si oui, merci de les indiquer afin que je les trasmette.

Je te demande à toi l'identifiant NextCloud de l'utilisateur concerné. Qu'as tu donc envoyé à l'utilisateur ?!? Non, tu n'as pas ma permission.

#15

Updated by Chris Mann about 1 month ago

Pierre-Louis Bonicoli, tu as pris soin de me rappeler que tu n'est pas animsys de Valise. Je ne sais pas pour quelle raison je te transmettrai de l'information personnelle sur un utilisateur. Qu'est-ce qui m'autorise à partager de l'information qui identifie un utilisateur avec toi ? Il y en a peut-être, mais pour ma gouverne, je ne voudrais pas que mes informations personnelles soient traitées à la légère. N'ayant pas eu la permission de l'utilisateur de partager son information en interne, je ne relance pas.

Pour information, voici ma première demande auprès du courriel du compte à 08:07 le 2022-05-22, soit juste après ta demande de l'identifiant:

Bonjour,

Merci de votre réactivité.

Mon administrateur système me demande votre identité. Puis-je lui la transmettre ?

Merci

Chris Mann

Also available in: Atom PDF