Et pendant pas longtemps, en plus, vu les super disques durs. Une fois l'import réalisé, (j'imagine que l') on doit pouvoir réduire la RAM allouée jusqu'à pas grand chose, puisqu'il n'y a pas de mise à jour permanente pour ces extraits
Je ne sais pas si l'intérêt de Peter sur la question pourrait aller jusqu'à faire le test lui même, si on lui laissait un peu de place pour une machine virtuelle et ses accès ? Si cela ne pose pas de cas de conscience au niveau de l'usage des ressources, on peut toujours lui proposer ? Le 20 février 2013 10:58, Christian Quest <cqu...@openstreetmap.fr> a écrit : > 8Go c'est 1/8 de serveur R610... ça doit pouvoir se trouver ;) > > > Le 20 février 2013 10:53, Ab_fab <gamma....@gmail.com> a écrit : > > Je ressors ce vieux sujet de la naphtaline, car Peter Körner vient >> d'annoncer du nouveau concernant les besoins en mémoire vive lors de >> l'import des extraits historiques, qui devenaient vite démesurés : >> http://lists.openstreetmap.org/pipermail/dev/2013-February/026598.html >> >> *"Maybe even germany.osh.pbf or france.osh.pbf would work out with 6 GB or 8 >> GB.**I'd love to hear feedback about this."* >> >> Quelqu'un a les ressources ou serait prêt à tenter l'aventure sur un bout >> de serveur osm_fr ? >> à la clef, moultes animations et statistiques sur l'évolution d'OSM en >> France (métropolitaine) >> >> Le 16 octobre 2012 10:37, Ab_fab <gamma....@gmail.com> a écrit : >> >> J'ai reposé la question sur dev hier, et Peter Körner m'a répondu en >>> privé. >>> Cela confirme le souci actuel concernant l'utilisation de la mémoire >>> avec de gros extraits historiques. Mais rien n'est perdu pour qui veut (et >>> surtout peut) s'attaquer au souci : >>> >>> *Hi >>> >>> Well, osm-history-renderer is - after all - a proof of concept. It's >>> impossible atm. to import a full country without having tons of RAM. >>> >>> If you are interested in optimizing the memory usage I could provide you >>> with plans about a memory layout frederik ramm and I once talked about; I >>> never came around to implement it, while the necessary interfaces are >>> already in place. >>> >>> Regards, >>> Peter* >>> >>> Le 12 juillet 2012 11:25, Aurélien FILEZ <kinj...@gmail.com> a écrit : >>> >>> Bonjour, >>>> >>>> J'ai téléchargé le fichier france.osh.pbf, qui date de juin il me >>>> semble, et n'ai pas fait de découpage, étant donné que je recherche à >>>> sortir des statistiques sur l'ensemble de la France. >>>> >>>> Puis j'ai tenté de l'importer comme suit : >>>> >>>> osm-history-importer france.osh.pbf >>>> >>>> Au fur et à mesure de la lecture, la mémoire se remplit, jusqu'à ne >>>> plus pouvoir allouer quoi que ce soit. >>>> >>>> Est-ce qu'il y aurait un mode qui irait écrire directement en base, >>>> sans garder tant d'information en mémoire ? >>>> >>>> 2012/7/12 Arnaud Vandecasteele <arnaud....@gmail.com> >>>> >>>>> Cela dépend de quel process tu aprles : >>>>> >>>>> - osm-history-splitter découpe la zone que tu désires >>>>> >>>>> - osm-history-importer importe les données en base >>>>> >>>>> - et osm-history-renderer génère les animations >>>>> >>>>> Concernant les perfs. >>>>> Pour ma part, j'ai un petit serveur qui tourne sur Ubuntu 12.04 avec >>>>> 2Go de Ram. >>>>> Chaque processus me prend 98% du CPU. Donc à ne pas faire sur un >>>>> serveur en prod. >>>>> >>>>> Ensuite la taille dépend essentiellement du nombre d'images générées >>>>> (en fonction du pas de temps) et de la dimension celles-ci. Difficile à >>>>> dire donc. >>>>> >>>>> Arnaud >>>>> >>>>> >>>>> >>>>> 2012/7/12 Aurélien FILEZ <kinj...@gmail.com> >>>>> >>>>>> Sur mon ubuntu server, de 8Go de RAM alors qu'il n'y a que ça qui >>>>>> tourne, ça me met encore une erreur par manque de mémoire. >>>>>> >>>>>> Ça n'écrit pas dans la BDD au fur et à mesure de la lecture ? >>>>>> >>>>>> >>>>>> 2012/7/12 Ab_fab <gamma....@gmail.com> >>>>>> >>>>>>> Cool, >>>>>>> >>>>>>> Tu nous tiens au courant des choses que tu as mis en pratique avec ? >>>>>>> Et sinon, quels sont les besoins en mémoire de cet import, au final >>>>>>> ? >>>>>>> et l'espace disque nécessaire ? >>>>>>> (Mêmes questions pour Arnaud) >>>>>>> >>>>>>> Le 12 juillet 2012 10:18, Aurélien FILEZ <kinj...@gmail.com> a >>>>>>> écrit : >>>>>>> >>>>>>> Non en fait j'étais en session a distance et ça ne m'avais pas >>>>>>>> renvoyé le message d'erreur. Une fois sur le pc physique, j'ai vu un >>>>>>>> problème de mémoire. >>>>>>>> >>>>>>>> Alors j'ai redémarré le serveur, et relancer le truc, tout seul, ça >>>>>>>> tourne ;) >>>>>>>> >>>>>>>> >>>>>>>> 2012/7/12 Ab_fab <gamma....@gmail.com> >>>>>>>> >>>>>>>>> As-tu bien donné à la bdd que tu as créée le même nom que le nom >>>>>>>>> de l'utilisateur unix ? >>>>>>>>> >>>>>>>>> Selon le tuto : >>>>>>>>> >>>>>>>>> *"next we'll get that data into the database. Oh wait: which >>>>>>>>> database? * >>>>>>>>> *We'll first have to setup our postgres database. It's best if >>>>>>>>> you use your user-database (that's database-name = your unix >>>>>>>>> username)" >>>>>>>>> * >>>>>>>>> >>>>>>>>> Je crois que j'avais du recommencer à cause de cette "subtilité" >>>>>>>>> >>>>>>>>> On continue l'investigation sur dev-fr ? >>>>>>>>> >>>>>>>>> Le 11 juillet 2012 19:07, Aurélien FILEZ <kinj...@gmail.com> a >>>>>>>>> écrit : >>>>>>>>> >>>>>>>>> Après avoir exécuté "osm-history-importer france.osh.pbf", >>>>>>>>>> j'obtiens des tables hist_point, hist_line et hist_polygon vides (0 >>>>>>>>>> rows) >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> 2012/7/11 Christian Quest <cqu...@openstreetmap.fr> >>>>>>>>>> >>>>>>>>>>> Mis sous forme de graphique c'est plus parlant (document >>>>>>>>>>> LibreOffice)... http://dl.free.fr/pUraG0Fan >>>>>>>>>>> >>>>>>>>>>> On voit que le réseau autoroutier a été complet dès 2009, que les >>>>>>>>>>> voies rapides n'évoluent plus beaucoup depuis 2010, que le réseau >>>>>>>>>>> primaire est stable depuis 2011. >>>>>>>>>>> >>>>>>>>>>> >>>>>>>>>>> Le 11 juillet 2012 15:48, Christian Quest < >>>>>>>>>>> cqu...@openstreetmap.fr> a écrit : >>>>>>>>>>> > Pour des stats il y a aussi ceci: >>>>>>>>>>> http://length.osm4people.org/ >>>>>>>>>>> > >>>>>>>>>>> > Et pour la France : http://length.osm4people.org/france.html >>>>>>>>>>> > On y apprend qu'en novembre 2006, il y avait 2846km de routes >>>>>>>>>>> et qu'en >>>>>>>>>>> > mars dernier on en était à plus d'1 million de km. En 2011, >>>>>>>>>>> plus de >>>>>>>>>>> > 300.000km de routes on été ajoutés. >>>>>>>>>>> > >>>>>>>>>>> >>>>>>>>>>> -- >>>>>>>>>>> Christian Quest - OpenStreetMap France - >>>>>>>>>>> http://openstreetmap.fr/u/cquest >>>>>>>>>>> >>>>>>>>>>> _______________________________________________ >>>>>>>>>>> Talk-fr mailing list >>>>>>>>>>> Talk-fr@openstreetmap.org >>>>>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>>>>>> >>>>>>>>>> >>>>>>>>>> >>>>>>>>>> _______________________________________________ >>>>>>>>>> Talk-fr mailing list >>>>>>>>>> Talk-fr@openstreetmap.org >>>>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>>>>> >>>>>>>>>> >>>>>>>>> >>>>>>>>> >>>>>>>>> -- >>>>>>>>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> >>>>>>>>> "Il n'y a pas de pas perdus" >>>>>>>>> >>>>>>>>> _______________________________________________ >>>>>>>>> Talk-fr mailing list >>>>>>>>> Talk-fr@openstreetmap.org >>>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>>>> >>>>>>>>> >>>>>>>> >>>>>>>> _______________________________________________ >>>>>>>> Talk-fr mailing list >>>>>>>> Talk-fr@openstreetmap.org >>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>>> >>>>>>>> >>>>>>> >>>>>>> >>>>>>> -- >>>>>>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> >>>>>>> "Il n'y a pas de pas perdus" >>>>>>> >>>>>>> _______________________________________________ >>>>>>> Talk-fr mailing list >>>>>>> Talk-fr@openstreetmap.org >>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>>> >>>>>>> >>>>>> >>>>>> _______________________________________________ >>>>>> Talk-fr mailing list >>>>>> Talk-fr@openstreetmap.org >>>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>>> >>>>>> >>>>> >>>>> >>>>> -- >>>>> -------------------------------------------------------------------- >>>>> Arnaud Van De Casteele >>>>> Mines Paris Tech - CRC >>>>> Sophia-Antipolis >>>>> 0698 24 25 29 >>>>> SIG - WebMapping - Spatial Ontology - GeoCollaboration >>>>> >>>>> Web Site >>>>> http://perso.crc.mines-paristech.fr/~arnaud.van_de_casteele/ >>>>> http://geotribu.net/ >>>>> http://www.i2c.eu/ >>>>> >>>>> _______________________________________________ >>>>> Talk-fr mailing list >>>>> Talk-fr@openstreetmap.org >>>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>>> >>>>> >>>> >>>> _______________________________________________ >>>> Talk-fr mailing list >>>> Talk-fr@openstreetmap.org >>>> http://lists.openstreetmap.org/listinfo/talk-fr >>>> >>>> >>> >>> >>> -- >>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> >>> "Il n'y a pas de pas perdus" >>> >> >> >> >> -- >> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> >> "Il n'y a pas de pas perdus", Nadja >> >> _______________________________________________ >> Talk-fr mailing list >> Talk-fr@openstreetmap.org >> http://lists.openstreetmap.org/listinfo/talk-fr >> >> > > > -- > Christian Quest - OpenStreetMap France > Week-end "SOTM-FR" à Lyon, les 23-24 février prochains: > http://openstreetmap.fr/sotmfr2013 > > _______________________________________________ > Talk-fr mailing list > Talk-fr@openstreetmap.org > http://lists.openstreetmap.org/listinfo/talk-fr > > -- ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab> "Il n'y a pas de pas perdus", Nadja
_______________________________________________ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
