Ciao , non ho letto tutto quanto ma ad occhio e croce dovresti usare gli strumenti che il sistema operativo ti mette a disposizione per il logging.
ruota i log, file da 1G non hanno tantissimo senso, processo il file che non ha in append imput sarà più agile per la memoria della macchina. e invece che mandare su un db tipo relazionale usare db nosql tipo mongoDB o strumenti tipo ELK https://www.elastic.co/ Ciao Io faccio cosi... e funziona abbastanza bene Il giorno 7 dicembre 2016 19:43, Manlio Perillo <manlio.peri...@gmail.com> ha scritto: > 2016-12-07 17:17 GMT+01:00 Lorenzo Mainardi <lorma...@gmail.com>: > >> Message: 7 > >> Date: Wed, 7 Dec 2016 16:02:10 +0100 > >> From: Manlio Perillo <manlio.peri...@gmail.com> > >> > >> Scrive sempre sullo stesso file, che quindi cresce indefinitivamente? > > > > > > Sì, lo posso ruotare ogni ora od ogni giorno (a seconda di come mi fa > > comodo). > > > > In questo caso puoi fare quello che fa `tail -f`. > > Una veloce ricerca con "python read logfile realtime" produce: > http://stackoverflow.com/questions/3290292/read-from-a- > log-file-as-its-being-written-using-python > http://stackoverflow.com/questions/11908919/python- > parsing-log-file-to-extract-events-in-real-time > > > > >> > >> > >> > Vorrei parsare il file in tempo reale riga per > >> > riga e poi inserire i dati in un DB. > >> > Come posso fare? > >> > >> Non mi sembra troppo complesso, cosa hai provato a fare? > > > > > > > > Per ora niente, volevo capire se con python potevo "seguire" un file per > poi > > parsarle. > > Come detto, "seguire" un file in tempo reale non è un problema. > > > Le linee sono raggruppate per ogni autenticazione e separate da > > una linea bianca. Dovrò quindi aggregarle per ogni autenticazione, > infilarle > > in un dizionario, fare delle elaborazioni e buttarle nel DB. > > > >> > >> > >> > Ho letto un po' di documentazione del modulo io nella > >> > libreria standard, ma non so se è lo strumento adatto. > >> > > >> > >> Non ti basta leggere il file linea per linea, parsare (eventualmente) > >> i dati e inviarli tramite un INSERT nel database? > > > > > > La mia unica paura è che non ce la possa fare a stargli dietro (il file è > > circa 1 milione di righe al giorno). > > > > Il collo di bottiglia dovrebbe essere l'I/O, in particolare il > database, quindi se non riesci a stargli dietro in Python > probabilmente non ci riuscirai nemmeno se riscrivi il programma in C. > Ma con una semplice bozza dovresti capire se la cosa è fattibile. > > Che database devi usare? > > > Ciao Manlio > _______________________________________________ > Python mailing list > Python@lists.python.it > http://lists.python.it/mailman/listinfo/python > -- @salvatoremonaco http://blog.smitsolution.net
_______________________________________________ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
