Le 21/07/2017 à 17:12, marc marc a écrit :
ne serrais-ce pas plus efficace que l'overpass api français (ou
n'importe quel autre) exporte un minute-diff filtré ?
Le 21. 07. 17 à 16:53, Christian Quest a écrit :
> Pourquoi toujours mettre overpass dans la boucle ?
Parce que le filtre serrait plus économe en ressource s'il était situé
proche (au sens réseau) d'un serveur qui récupère déjà les diffs
Encore plus logique de remonter d'un cran et de prendre les diff à leur
source... ils sont produits pour cela et les télécharger prend la même
bande passante mais quasiment 0 ressource en CPU (les fichiers sont
statiques).
Un hourly-diff mondial c'est quelques Mo, les plus gros font dans les 5
à 6Mo: http://planet.openstreetmap.org/replication/hour/000/042/
Car à nouveau télécharger les diffs mondiales pour après filtre n'en
garder que l'un ou l'autre consomme plus de ressource que de faire
l'inverse (filtrer en amont et ne télécharger que le résultat)
Pour filtrer, c'est de la ressource locale qu'on consomme et donc on
assume avec ses propres ressources ses choix de filtrage.
Filtrer quelques Mo chaque heure c'est pas méchant.
Ceci dit un téléchargement d'un diff globale est de toute façon déjà un
gain gigantesque par rapport à un query global
et il a l'avantage d'être réalisable à court terme (créer un overpass
api local, un script d'appel au filtre, changer l'url de l'api dans le
mécanisme de syncro de la db), le reste restant inchangé.
Le mieux est peut-être de commencer par là.
La localisation du filtre est quasi un détail.
Oui et non, enfin ça dépend si on parle bien de la même chose...
Requêter overpass pour n'avoir que certaines infos, c'est une forme de
filtre mais on profite de ressources externes, partagées et donc à un
moment ça sature...
Récupérer les diff et les filtrer soit même ça bouffe un peu plus de
bande passante, mais quasiment pas de CPU autre que le nôtre... c'est
plus scalable.
> Les diff sont produits en daily, hourly et minute au niveau osm.org
> (planet)
> On a des diff dispo en daily sur les extraits régionaux proposés par
> geofabrik
En passant, lors du bug osmose, j'ai appris que osm-fr utilisait ceux de
geofabrik au moins en partie.
il y a une raison à utiliser geofabrik au lieu du planet pour osm-fr ?
C'est pour osmose que ça tourne comme ça, car les analyses osmose sont
faites sur un cluster de backends qui traitent une zone à la fois et les
extraits de geofabrik sont parfaits pour ça. Chaque backend récupère par
exemple un pays, applique les règles dessus (qui peuvent du coup être
spécifiques au pays).
Le découpage est déjà fait par géofabrik et il n'est fait qu'une fois.
La bande passante pour récupérer les données par extraits est similaire
à celle pour récupérer le planet qu'on redécouperait... on n'y gagnerait
rien au final, bilan quasi nul.
Pour les serveurs de tuiles, ce sont les diff monde qui sont récupérés
toutes les 5mn, car leur couverture est mondiale. Ce sont des
flux/usages totalement différents.
--
Christian Quest - OpenStreetMap France
_______________________________________________
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr
