Le mar. 20 nov. 2018 à 09:22, Duchet Rémy <r...@duchet.eu> a écrit :

> Par ici on gère avec ELK. Les logs sont insérés avec le minimum de
> traitement, et ensuite c'est un ou plusieurs daemon qui vont utiliser les
> API d'ELK pour extraire les infos avec des requêtes particulières et gérer
> le nombre d'occurrence pour déclencher des actions.
> C'est stable et très rapide malgré la volumétrie, et ça permet de gérer
> pas mal de scénario.
>
> Rémy
>


Hello,

@job on utilise également de l'ELK et je plussoie.

Petit warning pour les gens qui s'amuseraient à déployer ça autre part que
sur du bare-metal, ES est assez gourmant en IOPS quand tu scale-up. Donc
sur une infra ou les IOPS sont chères (a peu près tous les clouds
publics...) ça peux être un problème.

Pour 400 logs/sec en moyenne avec des pics à 15k logs/sec sur 3 nodes avec
des disques capés à 3000 iops ça passe juste. Et quand on a besoin de lire
sur une durée un peu longue (1 semaine par ex) ça galère un peu (~10 sec /
req).

@job-1 j'avais mis ça sur 3 serveurs avec des disques Nvme 150kIOps et 32GB
de RAM et après un peu de tunning et avec la bonne politique de rétention
(Voir: Elastic curator),  je n'en ai plus jamais entendu parler, le truc
ronronnais dans son coin.

-- 
Nathan Delhaye

---------------------------
Liste de diffusion du FRnOG
http://www.frnog.org/

Répondre à