Le 06/02/2017 à 14:44, Alexandre a écrit : > Bonjour à tous, > > je pense que se sujet a été abordés plusieurs fois mais je n'ai pas > trouvé d'informations. > > Nous souhaitons centraliser nos logs (applicatifs, systèmes ...). Nous > avons maquetté une solution standard avec Elasticsearh + Logstash + > Kibana. Le trio fonctionne très bien, nous créons des custom logs et en > y applique via logstash un template pour sortir tous les champs > intéressant. > > Cependant si nous devons mettre en production cette solution comme nous > l'avons maquetté, il faut que nous installation un logstash sur toutes > les machines. Le déploiement pose aucun problème, mais mettre du java > sur toutes mes machines sachant que le process mange du CPU et la RAM, > cela me plaît très moyennement.
Alexandre, (Réponse un peu OT, désolé) Il existe un autre moyen que tu voudra peut être tester: shipper tes logs avec filebeat directement dans un ingest node Elasticsearch. Un ingest node est juste un node qui a des pipelines d'ingestion qui vont faire le taf de logstash, en utilisant les expressions Grok habituelles.. Plus besoin de logstash, et plus besoin de bufferiser au milieu (filebeat est normalement capable de ralentir le shipping si Elasticsearch s'etouffe). J'ai testé un peu et ça marche plutôt pas mal. Filebeat est assez léger, et les pipelines ne font pas trop mal à Elasticsearch. La conf coté filebeat est vraiment souple, pour peu que l'on la creuse un peu (elle n'est pas forcément très bien organisée). Tu peux par exemple shipper sur des pipelines/index dynamiques en fonction du fichier de log lu assez facilement. Par contre il faut ES 5.x. https://www.elastic.co/guide/en/elasticsearch/reference/current/ingest.html https://www.elastic.co/guide/en/beats/filebeat/current/configuring-ingest-node.html A+ M -- { :github => "@leucos", :gpg => "0X24B35C22" } _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
