Le 26/01/2020 à 21:29, marc marc a écrit :
Le 26.01.20 à 15:27, Thomas Gratier a écrit :
La version courte: l'ensemble de la communauté en récupérant des planet
complets finit par saturer la bande passante
question courte (de la discussion qui a lieu aussi sur la ml dev) :
pq 100 personnes ont besoin chaque semaine de télécharger le planet ?
je crois que certains ignorent ou trouvent trop compliqué la maj
cela implique de mieux informer et/ou rendre la maj + facile.
Je suis aussi étonné d'un besoin de téléchargement régulier du planet.
Il y a peut être une forme de paresse (plus simple) mais aussi une façon
de se rassurer sur le "j'ai une copie identique" vis à vis d'une copie
mise à jour avec les problèmes qui peuvent intervenir sur les mises à jour.
OpenStreetMap France pourrait créer un miroir et/ou une version torrent?
l'ironie c'est que pour le moment, faire un miroir doit se faire
par téléchargement d'un planet toute les semaine.
le planet osm.org lui meme n'est pas produit avec les diff.
après rien n'interdit de produire un planet non mirroir de l'original.
cela dépend de la réponse à la question précédente.
On peut effectivement le faire, mais on tombera dans la garantie d'avoir
quelque chose d'identique.
Un/des avis?
une piste est de comprendre le besoin (voir point 1)
une piste est la création d'un planet non miroir (voir point précédent)
une piste est la création d'un miroir à la volée : pas de dl automatique
entre osm.org et osm.fr chaque semaine mais si qlq clique sur le lien
osm.fr, cela télécharger le dernier planet osm.org et le met à
disposition pendant une semaine (puisqu'après il est "périmé")
ainsi si 2 personnes téléchargent le planet via osm.fr
il y a un gain, sans jamais provoquer de trafic inutile.
la piste d'un miroir osm.org me semble venir après même si perso je
serrai pour, surtout si geolimité pour favoriser l'efficacité (car il y
a deja un outil qui télécharge sur tous les miroirs en meme temps,
c'est très con de télécharger sur un miroir loin quand on en a un proche)
Un miroir "à la volé" ne présente de l'intérêt que si il est peu
utilisé, si il n'est régulièrement, autant mettre à dispo dès que
possible un fichier, pour favoriser l'usage du miroir (et simplifier son
fonctionnement).
Le 26.01.20 à 20:09, Christian Quest a écrit :
> Je viens de regénérer des torrents pour le fichier planet pbf:
> http://osm.cquest.org/torrents/
créer autant de torrent mono-seed initial que de personne ayant l'idée
d'héberger un planet en réduit l'intérêt. surtout combiné à la non
priorisation des sources proches.
c'est p'tre cela qui explique la non utilisation, faudrait au moins
avoir le lien depuis la page osm.fr en attend plus communautaire.
ton planet vient d'osm.org ou c'est une génération locale ?
Il vient d'un miroir, et je l'avais déjà sur disque car j'ai importé une
base monde cette semaine sur ma tour nord ;)
On peut même créer des torrents "hybrides" qui peuvent utiliser des
sources HTTP en seed... ce qui combine le téléchargement direct depuis
de multiples serveurs miroir et le p2p entre ceux qui téléchargent.
Ces torrents sont expérimentaux, histoire de tester et valider le
fonctionnement. Après validation et automatisation de tout ça, il
suffira de mettre ces petits fichiers sur planet.openstreetmap.org (et
les miroirs) pour leur donner de la visibilité et qu'ils soient
largement partagés et utilisés. On itère ;)
Pour le download par script, lftp est un wget/curl like qui intègre
aussi le protocole BitTorrent. A tester aussi...
La diffusion par torrent se fait déjà par exemple pour ubuntu. Lors des
sorties de releases semestrielles, le demande en download est énorme et
les torrents sont une bonne alternative. J'avais aussi testé la
diffusion des sorties de modèles de prévision de météo-france, qui eux
sont non seulement volumineux mais mis à jour toutes les 6h. Tout sort
des serveurs de MF à Toulouse et donc le lien est saturé... le p2p n'a
jamais été envisagé (bien que proposé comme solution) vu que c'est une
techno trop attachée au côté "piratage".
--
Christian Quest - OpenStreetMap France
_______________________________________________
Talk-fr mailing list
Talk-fr@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-fr
