Project

General

Profile

Demande #3930

Les robots n'apparaissent pas dans stats.april.org

Added by Loïc Dachary about 2 years ago. Updated about 2 years ago.

Status:
Résolu
Priority:
Élevée
Assignee:
Target version:
-
Start date:
10/17/2019
Due date:
% Done:

0%

Estimated time:

Description

La doc ne donnant aucune information précise sur la sémantique de LogFormat=1 ou LogFormat=4, il faut regarder dans le code. On voit que LogFormat=4 qui est utilisé par la confirmation awstat de https://stats.april.org/ pour tout les sites n'inclus pas le UserAgent. Cela explique pourquoi les visites de bots ne sont pas comptabilisées à part et que https://stats.april.org/media.april.org.html#robots est vide. Autrement dit pourquoi le nombre de visiteurs inclus les bots au lieu de les exclure.

Il faudrait changer LogFormat=4 en LogFormat=1 dans /usr/local/bin/make-awstats-config.sh sur bastion.


Related issues

Related to Libre à vous ! - Demande #3929: Améliorer/fiabiliser les statistiques des podcasts des émissions Libre à vous !En cours de traitement10/16/2019

Actions

History

#1

Updated by Loïc Dachary about 2 years ago

  • Related to Demande #3929: Améliorer/fiabiliser les statistiques des podcasts des émissions Libre à vous ! added
#2

Updated by Loïc Dachary about 2 years ago

(April) root@bastion:/usr/local/bin# cat /usr/local/bin/make-awstats-config.sh
#!/bin/sh

cd /etc/nginx/sites-enabled

for file in * ; do
    log=$(grep -o 'access_log.[/a-z0-9_\.-]*' $file | head -1 | awk '{print $2}')
    servername=$file
cat <<EOF > /etc/awstats/awstats.${servername}.conf
LogFile="${log}" 
SiteDomain="${servername}" 
# See the definition of LogFormat=1 at
# https://github.com/eldy/awstats/blob/39d18dab4816dfae04c6a7c0acecb685eadafc8d/wwwroot/cgi-bin/awstats.pl#L8958
LogFormat=1
DirData="/var/lib/awstats" 
SkipHosts="172.16.0.254" 
EOF

#3

Updated by Loïc Dachary about 2 years ago

Apres avoir relancé manuellement les commandes du cron, on peut constater que les bots sont bien comptabilisés par awstats et ne sont plus confondus avec des visites normales. https://stats.april.org/www.april.org.html#robots par exemple.

(April) root@bastion:/usr/local/bin# cat /etc/cron.d/awstats
MAILTO=root

#*/10 * * * * www-data [ -x /usr/share/awstats/tools/update.sh ] && /usr/share/awstats/tools/update.sh

# Generate static reports:
#10 03 * * * www-data [ -x /usr/share/awstats/tools/buildstatic.sh ] && /usr/share/awstats/tools/buildstatic.sh

15 3 * * * root /usr/local/bin/make-awstats-config.sh
20 3 * * * root /usr/local/bin/awstats-update.sh >> /var/log/nginx/update-awstats.log
#4

Updated by Loïc Dachary about 2 years ago

  • Status changed from En cours de traitement to Résolu

Also available in: Atom PDF