8Go c'est 1/8 de serveur R610... ça doit pouvoir se trouver ;)

Le 20 février 2013 10:53, Ab_fab <gamma....@gmail.com> a écrit :

> Je ressors ce vieux sujet de la naphtaline, car Peter Körner vient
> d'annoncer du nouveau concernant les besoins en mémoire vive lors de
> l'import des extraits historiques, qui devenaient vite démesurés :
> http://lists.openstreetmap.org/pipermail/dev/2013-February/026598.html
>
> *"Maybe even germany.osh.pbf or france.osh.pbf would work out with 6 GB or 8 
> GB.**I'd love to hear feedback about this."*
>
> Quelqu'un a les ressources ou serait prêt à tenter l'aventure sur un bout
> de serveur osm_fr ?
> à la clef, moultes animations et statistiques sur l'évolution d'OSM en
> France (métropolitaine)
>
> Le 16 octobre 2012 10:37, Ab_fab <gamma....@gmail.com> a écrit :
>
> J'ai reposé la question sur dev hier, et Peter Körner m'a répondu en
>> privé.
>> Cela confirme le souci actuel concernant l'utilisation de la mémoire avec
>> de gros extraits historiques. Mais rien n'est perdu pour qui veut (et
>> surtout peut) s'attaquer au souci :
>>
>> *Hi
>>
>> Well, osm-history-renderer is - after all - a proof of concept. It's
>> impossible atm. to import a full country without having tons of RAM.
>>
>> If you are interested in optimizing the memory usage I could provide you
>> with plans about a memory layout frederik ramm and I once talked about; I
>> never came around to implement it, while the necessary interfaces are
>> already in place.
>>
>> Regards,
>> Peter*
>>
>> Le 12 juillet 2012 11:25, Aurélien FILEZ <kinj...@gmail.com> a écrit :
>>
>> Bonjour,
>>>
>>> J'ai téléchargé le fichier france.osh.pbf, qui date de juin il me
>>> semble, et n'ai pas fait de découpage, étant donné que je recherche à
>>> sortir des statistiques sur l'ensemble de la France.
>>>
>>> Puis j'ai tenté de l'importer comme suit :
>>>
>>> osm-history-importer france.osh.pbf
>>>
>>> Au fur et à mesure de la lecture, la mémoire se remplit, jusqu'à ne plus
>>> pouvoir allouer quoi que ce soit.
>>>
>>> Est-ce qu'il y aurait un mode qui irait écrire directement en base, sans
>>> garder tant d'information en mémoire ?
>>>
>>> 2012/7/12 Arnaud Vandecasteele <arnaud....@gmail.com>
>>>
>>>> Cela dépend de quel process tu aprles :
>>>>
>>>>   - osm-history-splitter découpe la zone que tu désires
>>>>
>>>>   - osm-history-importer importe les données en base
>>>>
>>>>   - et osm-history-renderer génère les animations
>>>>
>>>> Concernant les perfs.
>>>> Pour ma part, j'ai un petit serveur qui tourne sur  Ubuntu 12.04 avec
>>>> 2Go de Ram.
>>>> Chaque processus me prend 98% du CPU. Donc à ne pas faire sur un
>>>> serveur en prod.
>>>>
>>>> Ensuite la taille dépend essentiellement du nombre d'images générées
>>>> (en fonction du pas de temps) et de la dimension celles-ci. Difficile à
>>>> dire donc.
>>>>
>>>> Arnaud
>>>>
>>>>
>>>>
>>>> 2012/7/12 Aurélien FILEZ <kinj...@gmail.com>
>>>>
>>>>> Sur mon ubuntu server, de 8Go de RAM alors qu'il n'y a que ça qui
>>>>> tourne, ça me met encore une erreur par manque de mémoire.
>>>>>
>>>>> Ça n'écrit pas dans la BDD au fur et à mesure de la lecture ?
>>>>>
>>>>>
>>>>> 2012/7/12 Ab_fab <gamma....@gmail.com>
>>>>>
>>>>>> Cool,
>>>>>>
>>>>>> Tu nous tiens au courant des choses que tu as mis en pratique avec ?
>>>>>> Et sinon, quels sont les besoins en mémoire de cet import, au final ?
>>>>>> et l'espace disque nécessaire ?
>>>>>> (Mêmes questions pour Arnaud)
>>>>>>
>>>>>> Le 12 juillet 2012 10:18, Aurélien FILEZ <kinj...@gmail.com> a écrit
>>>>>> :
>>>>>>
>>>>>>  Non en fait j'étais en session a distance et ça ne m'avais pas
>>>>>>> renvoyé le message d'erreur. Une fois sur le pc physique, j'ai vu un
>>>>>>> problème de mémoire.
>>>>>>>
>>>>>>> Alors j'ai redémarré le serveur, et relancer le truc, tout seul, ça
>>>>>>> tourne ;)
>>>>>>>
>>>>>>>
>>>>>>> 2012/7/12 Ab_fab <gamma....@gmail.com>
>>>>>>>
>>>>>>>> As-tu bien donné à la bdd que tu as créée le même nom que le nom de
>>>>>>>> l'utilisateur unix ?
>>>>>>>>
>>>>>>>> Selon le tuto :
>>>>>>>>
>>>>>>>> *"next we'll get that data into the database. Oh wait: which
>>>>>>>> database? *
>>>>>>>> *We'll first have to setup our postgres database. It's best if you
>>>>>>>> use your user-database (that's database-name = your unix username)"
>>>>>>>> *
>>>>>>>>
>>>>>>>> Je crois que j'avais du recommencer à cause de cette "subtilité"
>>>>>>>>
>>>>>>>> On continue l'investigation sur dev-fr ?
>>>>>>>>
>>>>>>>> Le 11 juillet 2012 19:07, Aurélien FILEZ <kinj...@gmail.com> a
>>>>>>>> écrit :
>>>>>>>>
>>>>>>>> Après avoir exécuté "osm-history-importer france.osh.pbf",
>>>>>>>>> j'obtiens des tables hist_point, hist_line et hist_polygon vides (0 
>>>>>>>>> rows)
>>>>>>>>>
>>>>>>>>>
>>>>>>>>> 2012/7/11 Christian Quest <cqu...@openstreetmap.fr>
>>>>>>>>>
>>>>>>>>>> Mis sous forme de graphique c'est plus parlant (document
>>>>>>>>>> LibreOffice)... http://dl.free.fr/pUraG0Fan
>>>>>>>>>>
>>>>>>>>>> On voit que le réseau autoroutier a été complet dès 2009, que les
>>>>>>>>>> voies rapides n'évoluent plus beaucoup depuis 2010, que le réseau
>>>>>>>>>> primaire est stable depuis 2011.
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>> Le 11 juillet 2012 15:48, Christian Quest <
>>>>>>>>>> cqu...@openstreetmap.fr> a écrit :
>>>>>>>>>> > Pour des stats il y a aussi ceci: http://length.osm4people.org/
>>>>>>>>>> >
>>>>>>>>>> > Et pour la France : http://length.osm4people.org/france.html
>>>>>>>>>> > On y apprend qu'en novembre 2006, il y avait 2846km de routes
>>>>>>>>>> et qu'en
>>>>>>>>>> > mars dernier on en était à plus d'1 million de km. En 2011,
>>>>>>>>>> plus de
>>>>>>>>>> > 300.000km de routes on été ajoutés.
>>>>>>>>>> >
>>>>>>>>>>
>>>>>>>>>> --
>>>>>>>>>> Christian Quest - OpenStreetMap France -
>>>>>>>>>> http://openstreetmap.fr/u/cquest
>>>>>>>>>>
>>>>>>>>>> _______________________________________________
>>>>>>>>>> Talk-fr mailing list
>>>>>>>>>> Talk-fr@openstreetmap.org
>>>>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr
>>>>>>>>>>
>>>>>>>>>
>>>>>>>>>
>>>>>>>>> _______________________________________________
>>>>>>>>> Talk-fr mailing list
>>>>>>>>> Talk-fr@openstreetmap.org
>>>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr
>>>>>>>>>
>>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>> --
>>>>>>>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab>
>>>>>>>> "Il n'y a pas de pas perdus"
>>>>>>>>
>>>>>>>> _______________________________________________
>>>>>>>> Talk-fr mailing list
>>>>>>>> Talk-fr@openstreetmap.org
>>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr
>>>>>>>>
>>>>>>>>
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> Talk-fr mailing list
>>>>>>> Talk-fr@openstreetmap.org
>>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr
>>>>>>>
>>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab>
>>>>>> "Il n'y a pas de pas perdus"
>>>>>>
>>>>>> _______________________________________________
>>>>>> Talk-fr mailing list
>>>>>> Talk-fr@openstreetmap.org
>>>>>> http://lists.openstreetmap.org/listinfo/talk-fr
>>>>>>
>>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> Talk-fr mailing list
>>>>> Talk-fr@openstreetmap.org
>>>>> http://lists.openstreetmap.org/listinfo/talk-fr
>>>>>
>>>>>
>>>>
>>>>
>>>> --
>>>> --------------------------------------------------------------------
>>>> Arnaud Van De Casteele
>>>> Mines Paris Tech - CRC
>>>> Sophia-Antipolis
>>>> 0698 24 25 29
>>>> SIG - WebMapping - Spatial Ontology - GeoCollaboration
>>>>
>>>> Web Site
>>>> http://perso.crc.mines-paristech.fr/~arnaud.van_de_casteele/
>>>> http://geotribu.net/
>>>> http://www.i2c.eu/
>>>>
>>>> _______________________________________________
>>>> Talk-fr mailing list
>>>> Talk-fr@openstreetmap.org
>>>> http://lists.openstreetmap.org/listinfo/talk-fr
>>>>
>>>>
>>>
>>> _______________________________________________
>>> Talk-fr mailing list
>>> Talk-fr@openstreetmap.org
>>> http://lists.openstreetmap.org/listinfo/talk-fr
>>>
>>>
>>
>>
>> --
>> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab>
>> "Il n'y a pas de pas perdus"
>>
>
>
>
> --
> ab_fab <http://wiki.openstreetmap.org/wiki/User:Ab_fab>
> "Il n'y a pas de pas perdus", Nadja
>
> _______________________________________________
> Talk-fr mailing list
> Talk-fr@openstreetmap.org
> http://lists.openstreetmap.org/listinfo/talk-fr
>
>


-- 
Christian Quest - OpenStreetMap France
Week-end "SOTM-FR" à Lyon, les 23-24 février prochains:
http://openstreetmap.fr/sotmfr2013
_______________________________________________
Talk-fr mailing list
Talk-fr@openstreetmap.org
http://lists.openstreetmap.org/listinfo/talk-fr

Répondre à