Chapril » valise.chapril.org

Good catch !

Que faire maintenant en termes de communication notamment avec user153 ?

Peut être commencer par lui envoyer un mail pour voir si c'est un usager actif, et lui exposer qu'on soupçonne son utilisation à la source d'une paralysie du service.

Mel envoyé comme suite à l'intéressé(e)

Bonjour,

Je suis Chris Mann, bénévole co-animateur du service Valise.chapril.org depuis peu.

J'ai constaté 136.911 fichiers dans votre espace de synchronisation qui est par ailleurs limité à 1 Go.

Le nombre de fichiers ralenti le service pour tous à cause des capacités de notre infrastructure Next Cloud.

Etes-vous d'accord pour éliminer ces fichiers de synchronisation ?

Merci bien,

VOir aussi #5812 #5883

Voilà la liste d'utilisateurs au-dessus de 10.000 fichiers

user153 , 136911
user193 , 12886
user213 , 33198
user851 , 15672
user986 , 10019
user1072 , 26020
user1088 , 20146
user1160 , 50723
user1281 , 18862
user1417 , 20024

user153 user193 user213 user851 user986 user1072 user1088 user1160 user1281 user1417

Voici un projet de communication:

https://pad.chapril.org/p/communicationvalise

Est ce que l'utilisateur est actif (quelle sont les dernières dates d'authentification, de synchronisation, d'activités) ?

L'annonce NextCloud indique:

For the server, idle load will have decreased by 10x thanks to the HPB, while during syncing the number of connections is also reduced by about a factor 10!

Est ce qu'il est question de la charge lorsqu'aucun utilisateur n'est actif et générée par les tâches CRON ? Est ce que le nombre de connexions est le goulot d'étranglement du service valise ?

Pierre-Louis Bonicoli a écrit :

Est ce que l'utilisateur est actif (quelle sont les dernières dates d'authentification, de synchronisation, d'activités) ?

L'utilisateur a supprimé tous sauf 44 fichiers dans les heures qui ont suivi ma demamde. J'aurai préféré réinitialiser le compte car je aouconne des traitement reliquats.

L'annonce NextCloud indique:

HBP est une réécriture en Rust. Ce sera un projet de déploiement. Au fait je ne sais pas si c'est stable. C'est du Rélativement (ou Rust) HIgh Performance Backend.

C'est aussi un nouveau client à installer.

RHBP ou non, j'ai vu ce problème même avec Google Drive. Le problème des petits fichiers n'est pas que dans la synchro (pense à la remarque de @pitchum . (ortho) sur l'utilisatíon des recherche% rudimentaires).

For the server, idle load will have decreased by 10x thanks to the HPB, while during syncing the number of connections is also reduced by about a factor 10!

Est ce qu'il est question de la charge lorsqu'aucun utilisateur n'est actif et générée par les tâches CRON ? Est ce que le nombre de connexions est le goulot d'étranglement du service valise ?

Le goulot d'étranglement est tjs les IO Wait à mon sens. Les IO wait, à mon sens, font partie des pages de donnes DRBD et des pages de données LVM qui seraient peut-être déranges par complexité de toutes les petites fichiers/petites modifs PostgreSQL employés je pense d'une manière possiblement sous-optimum.

Pour voir claire: un serveur web, peut-être un serveur de synchro, un serveur Redis, surtout un serveur SQL, un serveur NFS.

J'aimerais l'avis de l'expert PostgreSQL, mais je pense que Next Cloud n'utiliserais rien de spécifique à PostgreSQL. La question pour lui devient une indication d'installation selon l'état de l'art dans notre contexte.

Je suis encouragé par le transfert de données, mais peut-être pas si cela n'est que le DRBD. Est le DRBD ?

Chris Mann a écrit :

Pierre-Louis Bonicoli a écrit :

Est ce que l'utilisateur est actif (quelle sont les dernières dates d'authentification, de synchronisation, d'activités) ?

L'utilisateur a supprimé tous sauf 44 fichiers dans les heures qui ont suivi ma demamde. J'aurai préféré réinitialiser le compte car je aouconne des traitement reliquats.

Quelle était la taille occupée sur le disque par ces 136911 fichiers avant que l'utilisateur n'intervienne ?

Avec le site agir.april.org (redmine), il est possible de faire des commentaires privés qui ne seront pas publiquement visibles. Peux-tu indiquer en commentaire privé de ce ticket (#5884) l'identifiant de l'utilisateur contacté ?

L'annonce NextCloud indique:

HBP est une réécriture en Rust. Ce sera un projet de déploiement. Au fait je ne sais pas si c'est stable. C'est du Rélativement (ou Rust) HIgh Performance Backend.

Le "High Performance Back-end" est mentionné dans le lien que tu as posté ici: #5812#note-48. Qu'est ce qui a été réécrit en Rust ? Quels seraient les prérequis et les étapes de ce déploiement ? As-tu connaissance d'une quelconque instabilité ?

C'est aussi un nouveau client à installer.

• Non, "High Performance Back-end" ne nécessite pas d'installer un nouveau client.
• La seconde fonctionnalité mentionnée dans le lien est nommée "Nextcloud Sync v2/sync engine v2", elle est disponible depuis NextCloud 23 et elle nécessite un client plus récent que la version 3.4.0 (publiés tous les deux fin novembre 2021).

RHBP ou non, j'ai vu ce problème même avec Google Drive. Le problème des petits fichiers n'est pas que dans la synchro (pense à la remarque de @pitchum . (ortho) sur l'utilisatíon des recherche% rudimentaires).

For the server, idle load will have decreased by 10x thanks to the HPB, while during syncing the number of connections is also reduced by about a factor 10!

Est ce qu'il est question de la charge lorsqu'aucun utilisateur n'est actif et générée par les tâches CRON ? Est ce que le nombre de connexions est le goulot d'étranglement du service valise ?

[...]
Pour voir claire: un serveur web, peut-être un serveur de synchro, un serveur Redis, surtout un serveur SQL, un serveur NFS.

Peux-tu préciser ce que tu veux dire ou reformuler cette phrase ?

J'aimerais l'avis de l'expert PostgreSQL, mais je pense que Next Cloud n'utiliserais rien de spécifique à PostgreSQL. La question pour lui devient une indication d'installation selon l'état de l'art dans notre contexte.

Le service NextCloud n'utilise-t-il pas PostgreSQL d'une manière spécifique, notamment en ce qui concerne les tâches NextCloud automatisées (qui génèrent un load de 1 alors qu'aucun utilisateur n'est connecté ni n'utilise le service) ?

Le "High Performance Back-end" est mentionné dans le lien que tu as posté ici: #5812#note-48. Qu'est ce qui a été réécrit en Rust ? Quels seraient les prérequis et les étapes de ce déploiement ? As-tu connaissance d'une quelconque instabilité ?

Cette information n'existe que sur la partie payante de Next Cloud. Il nous convient de payer un abonnement de support, je pense:

https://portal.nextcloud.com/article/nextcloud-talk-high-performance-back-end-requirements-46.html

L'installation préconisé par Next Cloud est plus packagée que dans notre approche.

https://nextcloud.com/install/

Next Cloud isole la fonction "Files". Il nous conviendra, je pense, de séparer la fonction Files des autres Fonctions sur serveurs différents.

https://nextcloud.com/files/

C'est aussi un nouveau client à installer.

• Non, "High Performance Back-end" ne nécessite pas d'installer un nouveau client.

J'ai l'impression que si. Le HBP ferait partie de Next Cloud v 21 et le nouveau client v.2 ferait partie de la version Next Cloud v.23. FYI, la version Next Cloud v.24.0.1 est sorti avant-hier. Nous sommes en version 21.0.9.

https://help.nextcloud.com/t/nextcloud-sync-2-0-brings-10x-faster-syncing/123174/16

Pour voir claire: un serveur web, peut-être un serveur de synchro, un serveur Redis, surtout un serveur SQL, un serveur NFS.

Peux-tu préciser ce que tu veux dire ou reformuler cette phrase ?

Déjà fait ici:

https://agir.april.org/issues/5812#note-18

J'ajoute la séparation du serveur Next Cloud Files à un autre serveur ... ou mieux la séparation de Next Cloud pas-Files à un autre serveur.

Le service NextCloud n'utilise-t-il pas PostgreSQL d'une manière spécifique, notamment en ce qui concerne les tâches NextCloud automatisées (qui génèrent un load de 1 alors qu'aucun utilisateur n'est connecté ni n'utilise le service) ?

Je ne pense pas qu'il bénéficie particulièrement de PostgreSQL car il utiliserait MySQL par défaut peut-être. Le load, je ne me préoccupe pas. C'est tous ces processus en TIme Wait et le Wait IO à 100% qui me préoccupe.

Pierre-Louis Bonicoli a écrit :

Chris Mann a écrit :

Pierre-Louis Bonicoli a écrit :

Est ce que l'utilisateur est actif (quelle sont les dernières dates d'authentification, de synchronisation, d'activités) ?

L'utilisateur a supprimé tous sauf 44 fichiers dans les heures qui ont suivi ma demamde. J'aurai préféré réinitialiser le compte car je aouconne des traitement reliquats.

Quelle était la taille occupée sur le disque par ces 136911 fichiers avant que l'utilisateur n'intervienne ?

Avec le site agir.april.org (redmine), il est possible de faire des commentaires privés qui ne seront pas publiquement visibles. Peux-tu indiquer en commentaire privé de ce ticket (#5884) l'identifiant de l'utilisateur contacté ?

• si ce n'est pas le cas: je réitère ma demande,
• si c'est le cas peux-tu mentionner cet identifiant dans un fichier sur la machine valise dans le répertoire /root (par exemple: /root/5884_identifiant.txt) ?

Pierre-Louis Bonicoli a écrit :

Peux-tu indiquer en commentaire privé de ce ticket (#5884) l'identifiant de l'utilisateur contacté ?

J'ai envoyé des réception de ta requête une demande de l'intéressé sans retour. Ai-je ta peission d'envoyer à l'intéressé(e) tes coordonnées ? Si oui, merci de les indiquer afin que je les trasmette.

Chris Mann a écrit :

Pierre-Louis Bonicoli a écrit :

Peux-tu indiquer en commentaire privé de ce ticket (#5884) l'identifiant de l'utilisateur contacté ?

J'ai envoyé des réception de ta requête une demande de l'intéressé sans retour. Ai-je ta peission d'envoyer à l'intéressé(e) tes coordonnées ? Si oui, merci de les indiquer afin que je les trasmette.

Je te demande à toi l'identifiant NextCloud de l'utilisateur concerné. Qu'as tu donc envoyé à l'utilisateur ?!? Non, tu n'as pas ma permission.

@Pierre-Louis Bonicoli, tu as pris soin de me rappeler que tu n'est pas animsys de Valise. Je ne sais pas pour quelle raison je te transmettrai de l'information personnelle sur un utilisateur. Qu'est-ce qui m'autorise à partager de l'information qui identifie un utilisateur avec toi ? Il y en a peut-être, mais pour ma gouverne, je ne voudrais pas que mes informations personnelles soient traitées à la légère. N'ayant pas eu la permission de l'utilisateur de partager son information en interne, je ne relance pas.

Pour information, voici ma première demande auprès du courriel du compte à 08:07 le 2022-05-22, soit juste après ta demande de l'identifiant:

Bonjour,

Merci de votre réactivité.

Mon administrateur système me demande votre identité. Puis-je lui la transmettre ?

Merci

Chris Mann