Le Friday 11 October 2013 à 15:28, Greg écrivait:
> Hé bien avec 1M de logs par heure, ça tient, et c'est clairement le
> PHP le bottleneck. Il m'aura fallut autoriser PHP à consommer jusqu'à
> 2Go de mémoire par process (sick!).
Pour le cron qui tourne toutes les heures, c'est ça ?
> Là j'en sui
Bonjour,
Merci pour vos indications. Je me suis mis à tester Piwik "sérieusement" :)
- version Git
- sur MariaDB 10.0.4
- Nginx -> syslog en json
- syslog-ng central -> script d'import
et je commence déjà à contribuer au projet qui me plait dans le sens où il
sait bien faire de beaux dashboards,
Hello,
Le Tuesday 08 October 2013 à 18:12, Greg écrivait:
> - piwik : permet de lire les logs, mais interface en PHP/MySQL, et avec la
> quantité de donnée un moteur NoSQL serait plus approprié
C'est ce qu'il y a pour free.fr avec un mysql derriere, zero problemes
et le dev principal de piwik est
Pour ma part vu les écarts entre Google Analytics et les logs files, on
privilégie les logs files.
D'une c'est facile à stoquer, ça se compresse très bien et surtout on a
toutes les données.
En effet quand un navigateur fait une requête, il a beau avoir tous les
adblock, trackerblock, javascript b
Peut-être qu'il serait intéressant de regarder du côté de MariaDB. La
migration de MySQL vers MariaDB est facile car elle a été pensé pour
être prête à être exécutée. Chez MariaDB tout est quasi identique à
MySQL (c'est la même core team) tous les fichiers de données sont
parfaitement compatibl
Anciennement un mix innodb/myisam qui est maintenant full innodb. On
utilise les build percona.
Coté matos c'est du r610 bi-x5650, 96G de ram et des disques sas. La RAM
c'est surtout important pour les index et les buffers MySQL afin de
s'assurer que les disques ne soient pas trop sollicités.
Mai
On a des bases de 4,5T sur du Percona Server (XtraDB), sur du Dell R620,
Perc H710 + SSD en RAID 10, 32 Go de ram
Pour répartir la taille (les SSD c'est pas gros) et les performances on
fait du sharding sur plusieurs couples Master+Slave
Benjamin
Le 9 octobre 2013 08:29, Greg a écrit :
> B
Salut,
Le 9 oct. 2013 à 08:29, Greg a écrit :
> Bonjour,
>
> intéressant, avec quel moteur ? ARCHIVE ? et quel matériel ?
Je me rappelle un jour d'avoir hébergé sur une de mes machines un base MySQL
assez large (pas autant que 6To), qui allais plus vite sur un core 2 duo
@1.8Ghz sur un FreeB
Bonjour,
intéressant, avec quel moteur ? ARCHIVE ? et quel matériel ?
Le 8 octobre 2013 20:11, Nathan delhaye a écrit
:
> Certes... Pour avoir une instance de 6To (une des bases fait 4To) c'est un
> peu galère a administrer. Par contre t'est toujours obligé de sortir des
> tricks de l'espace p
Bonsoir,
Le 08/10/2013 20:11, Nathan delhaye a écrit :
Certes... Pour avoir une instance de 6To (une des bases fait 4To) c'est
un peu galère a administrer. Par contre t'est toujours obligé de sortir
des tricks de l'espace pour faire des opé sans down la base. Mais ça
fonctionne et ça fonctionne
Le 8 oct. 2013 à 18:12, Greg a écrit :
> Bonjour,
>
> Vous utilisez quoi en dehors de Google Analytics pour analyser votre trafic
> web ?
> Pour un site web à assez fort trafic (environ 1000 à 2000 hits/s) j'ai des
> contraintes de perf et d'espace disque pour stocker les données, mais aussi
Certes... Pour avoir une instance de 6To (une des bases fait 4To) c'est un
peu galère a administrer. Par contre t'est toujours obligé de sortir des
tricks de l'espace pour faire des opé sans down la base. Mais ça fonctionne
et ça fonctionne bien à 3000 write/s et 1 read/s
Au niveau réplication
Bonjour,
Le 8 oct. 2013 à 18:12, Greg a écrit :
>
> - piwik : permet de lire les logs, mais interface en PHP/MySQL, et avec la
> quantité de donnée un moteur NoSQL serait plus approprié
A la limite teste le...
Contrairement à ce que l'on peut penser, MySQL sait gérer de grosses bases.
Cordial
Bonjour,
Vous utilisez quoi en dehors de Google Analytics pour analyser votre trafic
web ?
Pour un site web à assez fort trafic (environ 1000 à 2000 hits/s) j'ai des
contraintes de perf et d'espace disque pour stocker les données, mais aussi
des contraintes de tracker : access log uniquement.
J'a
14 matches
Mail list logo
