On mardi 29 septembre 2009, David MENTRE wrote: > Salut Sylvain, re, > Oui, Kimsufi XL de l'année dernière (3e modèle de l'ancienne gamme). Ben, y'a déjà moyen de gagner en changeant de gamme > > - ne pas tout importer (laisser de coté certains poi/way/polygone de > > moindre > > importance) > > C'est une piste. Il faudrait qu'on détermine ce qui est utile pour > Mapnik ou pas. Et est-ce qu'on y gagnerait vraiment ? J'en sais franchement rien car moi, je n'ai fais qu'ajouter des trucs à importer, et oui, ça me prend plus de temps (bien que je n'ai pas de chiffres à fournir)
> Donc, pour aller plus vite, il nous faudrait un serveur plus cher avec > des disques qui poussent. :-( Les disques classiques, ça pousse toujours a peu prêt pareil (p'tet 30% qui se ballade) ce qu'il faut surtout c'est du RAID 0 ! (ou avec du fric, des SSD, j'ai vu une nouvelle offre chez OVH avec deux SSD de 80Go qu'on peut mettre en RAID0, ça, ça doit pousser au cul ) > En local chez OVH, on peut espérer avoir la patate, non ? P'tit bonheur la chance... si c'est pas le même datacenter. Sur mon serveur et celui de pieren, on a des interfaces gigabit, ben ça sature à 100Mbit/s > Déjà, > saturer du 100Mb/s au niveau applicatif... Je n'en suis pas si sûr. Sachant que le process d'import initial et diff est limité par... les i/o, ça revient à dire que le goulot d'étrangement c'est les disques. Or, sur mon serveur le raid0 peut fournir du 180Mo/s en linéaire, si je convertis bien ça fait du 1.4Gb/s, tu vois tout de suite le problème du rapport 0.1 / 1.4 ! Quelques tests à l'instant avec iostat semblent indiquer que durant l'import d'un diff, le traffic lecture des disques semble de l'ordre de 3Mo/s (en écriture c'est que dalle car finalement il n'y a pas temps que ça à écrire dans un diff) ce qui indiquerait que la congestion vient non seulement des disques, mais en fait de leur temps d'accès. Ajouter par dessus ça une couche réseau ne peux qu'aggraver le phénomène. Bien qu'on puisse penser que ce soit faible devant les autres délais, mais pour quel gain finalement ? > Ok. Pour la Bbox, il y en a de "bien connues" ? On prend le shapefile > de l'Europe sur geofabrik ? Moi je fais ça avec l'europe de géofabrik et --bbox -27,31,50,72 (c'est taillé à la hâche, mais ça me va) > > PS3:au fait, tant que l'import d'un diff est inférieur à 24h, où est le > > problème ? > > Ben pour l'instant ça prend 9h et pendant ce temps la machine est > inutilisable. Beuh ? ça c'est anormal. osm2pgsql utilise du transactionnel, durant tous ses petits calculs, la base reste accessible normalement (bien qu'un peu ralenti) donc vous avez surtout un problème à ce niveau. Une connexion à la main avec psql ça dit quoi ? -- sly Sylvain Letuffe sylv...@letuffe.org qui suis-je : http://slyserv.dyndns.org _______________________________________________ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
