Il giorno 01 aprile 2013 01:08, Gianluca Sforna ha
scritto:
>
> Ti manca un pezzo nel ragionamento: può succedere benissimo che nelle
> 4 ore il 99% del tempo lo passa a leggere e scrivere su disco e l'1% a
> far lavorare la CPU.
>
> Quindi il primo passo è lasciare perdere le supposizioni e dedi
2013/4/1 Aplemaser :
>
> Sull'utilizzo della CPU la mia è una considerazione del tutto empirica,
> visto che non è solo lettura e scrittura dei file, evidentemente non è solo
> utilizzo di disco. Il mio ragionamento è molto semplice e forse sbagliato
> nella mia ingenuità: se nelle 4 ore in cui ese
Il giorno 01 aprile 2013 00:48, Gianluca Sforna ha
scritto:
>
> La butto là: stai già usando le transazioni?
>
Non le ho prese in considerazione, diciamo che grazie a voi sto
raccogliendo materiale per le mie indagini.
> Visto che parliamo di import su DB dubito la CPU sia un problema, la
> s
2013/3/31 Aplemaser :
> Attualmente il tempo di importazione è di 4 ore o poco meno. Voglio ridurre
> il tempo, ma non so fino a quanto posso arrivare. Tutto è nato perchè ho
> notato che 3 core su 4 dormono i sonni dei giusti mentre l'altro corse
> lavora come un pazzo e quindi vorrei impegnare la
Il giorno 31 marzo 2013 22:02, Manlio Perillo ha
scritto:
>
> Ok.
> Allora andiamo con ordine.
> Che database usi?
> Quanto tempo impiega il tuo codice, e quanto tempo vorresti impiegasse?
>
> Ciascun file CSV e vista ODBC serve per inserire i dati in una tabella
> diversa?
>
I dati dei CSV e le
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA1
Il 31/03/2013 21:49, Aplemaser ha scritto:
> [...]
>
> Il codice è molto lungo e diviso in diversi file, copiarlo su pastebin
> non è davvero possibile. In linea di massima da fonti diverse che sono
> file CSV in prevalenza, ma anche alcune viste logi
Il giorno 31 marzo 2013 20:32, Manlio Perillo ha
scritto:
>
> Alcuni database come PostgreSQL sono in grado di leggere direttamente
> files in formato CSV, ovviamente aggiungendo un header opportuno.
>
Sì lo so, ma non è il mio caso.
> In linea di massima, e in particolare considerando come h
-BEGIN PGP SIGNED MESSAGE-
Hash: SHA1
Il 31/03/2013 20:18, Aplemaser ha scritto:
> Ciao a tutti e buona pasqua.
>
> Dopo aver sviluppato, con estrema soddisfazione, un applicativo che
> importa/trasforma/riscrive una notevole mole di dati (almeno per me) da
> uno o più file CSV ad un data
Ciao a tutti e buona pasqua.
Dopo aver sviluppato, con estrema soddisfazione, un applicativo che
importa/trasforma/riscrive una notevole mole di dati (almeno per me) da uno
o più file CSV ad un database SQL, ora sto affrontando la difficile opera
di tuning, perché i tempi sono "importanti" dovendo
