On Mon, Sep 30, 2013 at 05:26:19PM +0200, Remi Paulmier wrote: > Hello, > > petit retour d'XP sur logstash / kibana. Ici on injecte environ 40 millions > d'évènements / jour (logs http, logs applicatifs GELF et logs système / > réseeau rsyslog). Le système grossit environ de 40 Go / jour et ca tient > sur 10 instances amazon (4 noeuds ES, et le reste qui se répartit en > brokers redis, injecteurs et filtres logstash / syslog) > > On garde 15 jours d'historique environ (on voudrait garder +, mais bien > qu'ayant largement la place (qq To en stockage ephémère AWS et bien que > logstash faisant tourner les index (un par jour), si on garde trop d'index, > le cluster ES finit par mal se comporter. > > J'envisage de séparer les différents types de log dans des index > différents, afin de régler un historique différent par type de log (http vs > syslog par exemple).
Hello, Par curiosité, tu utilises l'output elasticsearch ou elasticsearch_http ? Pourquoi baser l'historique sur la création d'index quotidiens ? -- Kevin Decherf - @Kdecherf GPG C610 FE73 E706 F968 612B E4B2 108A BD75 A81E 6E2F http://kdecherf.com _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
