Je ressors ce vieux sujet de la naphtaline, car Peter Körner vient d'annoncer du nouveau concernant les besoins en mémoire vive lors de l'import des extraits historiques, qui devenaient vite démesurés : http://lists.openstreetmap.org/pipermail/dev/2013-February/026598.html
*"Maybe even germany.osh.pbf or france.osh.pbf would work out with 6 GB or 8 GB.**I'd love to hear feedback about this."* Quelqu'un a les ressources ou serait prêt à tenter l'aventure sur un bout de serveur osm_fr ? à la clef, moultes animations et statistiques sur l'évolution d'OSM en France (métropolitaine) Le 16 octobre 2012 10:37, Ab_fab <gamma....@gmail.com> a écrit : > J'ai reposé la question sur dev hier, et Peter Körner m'a répondu en > privé. > Cela confirme le souci actuel concernant l'utilisation de la mémoire avec > de gros extraits historiques. Mais rien n'est perdu pour qui veut (et > surtout peut) s'attaquer au souci : > > *Hi > > Well, osm-history-renderer is - after all - a proof of concept. It's > impossible atm. to import a full country without having tons of RAM. > > If you are interested in optimizing the memory usage I could provide you > with plans about a memory layout frederik ramm and I once talked about; I > never came around to implement it, while the necessary interfaces are > already in place. > > Regards, > Peter* > > Le 12 juillet 2012 11:25, Aurélien FILEZ <kinj...@gmail.com> a écrit : > > Bonjour, >> >> J'ai téléchargé le fichier france.osh.pbf, qui date de juin il me semble, >> et n'ai pas fait de découpage, étant donné que je recherche à sortir des >> statistiques sur l'ensemble de la France. >> >> Puis j'ai tenté de l'importer comme suit : >> >> osm-history-importer france.osh.pbf >> >> Au fur et à mesure de la lecture, la mémoire se remplit, jusqu'à ne plus >> pouvoir allouer quoi que ce soit. >> >> Est-ce qu'il y aurait un mode qui irait écrire directement en base, sans >> garder tant d'information en mémoire ? >> >> 2012/7/12 Arnaud Vandecasteele <arnaud....@gmail.com> >> >>> Cela dépend de quel process tu aprles : >>> >>> - osm-history-splitter découpe la zone que tu désires >>> >>> - osm-history-importer importe les données en base >>> >>> - et osm-history-renderer génère les animations >>> >>> Concernant les perfs. >>> Pour ma part, j'ai un petit serveur qui tourne sur Ubuntu 12.04 avec >>> 2Go de Ram. >>> Chaque processus me prend 98% du CPU. Donc à ne pas faire sur un serveur >>> en prod. >>> >>> Ensuite la taille dépend essentiellement du nombre d'images générées (en >>> fonction du pas de temps) et de la dimension celles-ci. Difficile à dire >>> donc. >>> >>> Arnaud >>> >>> >>> >>> 2012/7/12 Aurélien FILEZ <kinj...@gmail.com> >>> >>>> Sur mon ubuntu server, de 8Go de RAM alors qu'il n'y a que ça qui >>>> tourne, ça me met encore une erreur par manque de mémoire. >>>> >>>> Ça n'écrit pas dans la BDD au fur et à mesure de la lecture ? >>>> >>>> >>>> 2012/7/12 Ab_fab <gamma....@gmail.com> >>>> >>>>> Cool, >>>>> >>>>> Tu nous tiens au courant des choses que tu as mis en pratique avec ? >>>>> Et sinon, quels sont les besoins en mémoire de cet import, au final ? >>>>> et l'espace disque nécessaire ? >>>>> (Mêmes questions pour Arnaud) >>>>> >>>>> Le 12 juillet 2012 10:18, Aurélien FILEZ <kinj...@gmail.com> a écrit : >>>>> >>>>> Non en fait j'étais en session a distance et ça ne m'avais pas >>>>>> renvoyé le message d'erreur. Une fois sur le pc physique, j'ai vu un >>>>>> problème de mémoire. >>>>>> >>>>>> Alors j'ai redémarré le serveur, et relancer le truc, tout seul, ça >>>>>> tourne ;) >>>>>> >>>>>> >>>>>> 2012/7/12 Ab_fab <gamma....@gmail.com> >>>>>> >>>>>>> As-tu bien donné à la bdd que tu as créée le même nom que le nom de >>>>>>> l'utilisateur unix ? >>>>>>> >>>>>>> Selon le tuto : >>>>>>> >>>>>>> *"next we'll get that data into the database. Oh wait: which >>>>>>> database? * >>>>>>> *We'll first have to setup our postgres database. It's best if you >>>>>>> use your user-database (that's database-name = your unix username)"* >>>>>>> >>>>>>> Je crois que j'avais du recommencer à cause de cette "subtilité" >>>>>>> >>>>>>> On continue l'investigation sur dev-fr ? >>>>>>> >>>>>>> Le 11 juillet 2012 19:07, Aurélien FILEZ <kinj...@gmail.com> a >>>>>>> écrit : >>>>>>> >>>>>>> Après avoir exécuté "osm-history-importer france.osh.pbf", j'obtiens >>>>>>>> des tables hist_point, hist_line et hist_polygon vides (0 rows) >>>>>>>> >>>>>>>> >>>>>>>> 2012/7/11 Christian Quest <cqu...@openstreetmap.fr> >>>>>>>> >>>>>>>>> Mis sous forme de graphique c'est plus parlant (document >>>>>>>>> LibreOffice)... http://dl.free.fr/pUraG0Fan >>>>>>>>> >>>>>>>>> On voit que le réseau autoroutier a été complet dès 2009, que les >>>>>>>>> voies rapides n'évoluent plus beaucoup depuis 2010, que le réseau >>>>>>>>> primaire est stable depuis 2011. >>>>>>>>> >>>>>>>>> >>>>>>>>> Le 11 juillet 2012 15:48, Christian Quest <cqu...@openstreetmap.fr> >>>>>>>>> a écrit : >>>>>>>>> > Pour des stats il y a aussi ceci: http://length.osm4people.org/ >>>>>>>>> > >>>>>>>>> > Et pour la France : http://length.osm4people.org/france.html >>>>>>>>> > On y apprend qu'en novembre 2006, il y avait 2846km de routes et >>>>>>>>> qu'en >>>>>>>>> > mars dernier on en était à plus d'1 million de km. En 2011, plus >>>>>>>>> de >>>>>>>>> > 300.000km de routes on été ajoutés. >>>>>>>>> > >>>>>>>>> >>>>>>>>> -- >>>>>>>>> Christian Quest - OpenStreetMap France - >>>>>>>>> http://openstreetmap.fr/u/cquest >>>>>>>>> >>>>>>>>> _______________________________________________ >>>>>>>>> Talk-fr mailing list >>>>>>>>> Talk-fr@openstreetmap.org >>>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>>>> >>>>>>>> >>>>>>>> >>>>>>>> _______________________________________________ >>>>>>>> Talk-fr mailing list >>>>>>>> Talk-fr@openstreetmap.org >>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>>> >>>>>>>> >>>>>>> >>>>>>> >>>>>>> -- >>>>>>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> >>>>>>> "Il n'y a pas de pas perdus" >>>>>>> >>>>>>> _______________________________________________ >>>>>>> Talk-fr mailing list >>>>>>> Talk-fr@openstreetmap.org >>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>> >>>>>>> >>>>>> >>>>>> _______________________________________________ >>>>>> Talk-fr mailing list >>>>>> Talk-fr@openstreetmap.org >>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>> >>>>>> >>>>> >>>>> >>>>> -- >>>>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> >>>>> "Il n'y a pas de pas perdus" >>>>> >>>>> _______________________________________________ >>>>> Talk-fr mailing list >>>>> Talk-fr@openstreetmap.org >>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>> >>>>> >>>> >>>> _______________________________________________ >>>> Talk-fr mailing list >>>> Talk-fr@openstreetmap.org >>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>> >>>> >>> >>> >>> -- >>> -------------------------------------------------------------------- >>> Arnaud Van De Casteele >>> Mines Paris Tech - CRC >>> Sophia-Antipolis >>> 0698 24 25 29 >>> SIG - WebMapping - Spatial Ontology - GeoCollaboration >>> >>> Web Site >>> http://perso.crc.mines-paristech.fr/~arnaud.van_de_casteele/ >>> http://geotribu.net/ >>> http://www.i2c.eu/ >>> >>> _______________________________________________ >>> Talk-fr mailing list >>> Talk-fr@openstreetmap.org >>> http://lists.openstreetmap.org/listinfo/talk-fr >>> >>> >> >> _______________________________________________ >> Talk-fr mailing list >> Talk-fr@openstreetmap.org >> http://lists.openstreetmap.org/listinfo/talk-fr >> >> > > > -- > ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> > "Il n'y a pas de pas perdus" > -- ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> "Il n'y a pas de pas perdus", Nadja
_______________________________________________ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
