On Sat, 12 Sep 2009 23:05:50 +0200, Daniele Forsi wrote: > Il 12 settembre 2009 09.03, David Paleino ha scritto: > > On Sat, 12 Sep 2009 01:43:07 +0200, Daniele Forsi wrote: > > >> (la query che è un banale > >> count(*) ci mette sui 20 secondi, sono le 2,5-3 ore per importare > >> l'italy.osm che mi scoraggiano...) > > > > Esattamente che query è? > > è quick and dirty, non ho nemmeno controllato quali sono gli indici
Ok, non importa, tranquillo :) Al momento, abbiamo *grossi* problemi a fare ricerche "complesse" (una d'esempio: beccare l'id delle relazioni boundary admin_level=4/6/8 ed associarle al name=) parsando l'XML.. Il "problema" è che sono riuscito a scrivere il codice (con XPath, per esempio), ma swappa comunque, perché carica l'XML in memoria. > ho installato postgres e osmosis seguendo più o meno > http://wiki.openstreetmap.org/wiki/Osmosis_PostGIS_Setup Ok, leggo. > [..] > > Al momento c'è uno script che non si appoggia a Postgres, ma parsa l'xml > > direttamente (con libxml2).. e l'intera esecuzione (parsing+risultati) > > impiega ~40 minuti su stats (~20min sul mio) -- sempre meglio delle > > 2,5-3h+20s :) > > certo :) il mio vecchio computer è più adatto per la videoscrittura > che per i database Anche stats.openstreetmap.it non è granché, ma dato che gli script non girano quotidianamente, a questo punto anche aspettare 2-3h andrebbe pure bene. Sempre meglio di non poter avere nulla causa swap. > io sono partito con l'idea di contare i ref, ma sarebbe più utile > l'elenco delle strade che NON hanno il ref per il necessario lavoro di > completamento Beh, come discrimini strade senza ref perché non ce l'hanno da quelle in cui manca per errore? > e l'elenco delle strade che hanno il ref per un eventuale lavoro di > omogeneizzazione/correzione degli errori, che in fin dei conti è comodo avere > nel wiki come una tabella singola, in modo che chi lo desidera può > aggiornarla senza rieseguire la query o commentarla, ma bisogna aggiungere in > qualche modo le nuove way che verranno create in futuro Beh, IMHO una pagina HTML auto-generata fa lo stesso sporco lavoro. Certo, non si può modificare come una wiki, ma è utile come riferimento. Considera poi che l'intenzione sarebbe di fare import+statistiche settimanali.. al più ti ritrovi una tabella vecchia di una settimana :-) > > (e: il parsing diretto ci consente anche di fare statistiche sugli utenti, > > che non vengono invece importati in PostGIS, AFAICT). > > con lo schema che ho usato gli utenti vengono importati: Che schema? Quando avevo sistemato PostGIS mesi fa non c'erano gli utenti... per questo ho iniziato questa folle ricerca del parsing XML senza far esplodere la RAM :) Ciao, David (che va a leggere la wiki) -- . ''`. Debian maintainer | http://wiki.debian.org/DavidPaleino : :' : Linuxer #334216 --|-- http://www.hanskalabs.net/ `. `'` GPG: 1392B174 ----|---- http://snipr.com/qa_page `- 2BAB C625 4E66 E7B8 450A C3E1 E6AA 9017 1392 B174
signature.asc
Description: PGP signature
_______________________________________________ Talk-it mailing list Talk-it@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-it
