Re: [OSM-talk-fr] Carte des emprunts toxiques
- Mail original - De: "Rodolphe Quiedeville" À: "Discussions sur OSM en français" Envoyé: Vendredi 23 Septembre 2011 12:21:00 Objet: Re: [OSM-talk-fr] Carte des emprunts toxiques Le 23/09/2011 11:34, Pieren a écrit : > Je reviens sur ce post car pas mal d'erreurs de placement ont été > signalées parmi les nombreux commentaires qui ont suivi cet article. > Il serait intéressant de savoir pourquoi la localisation automatique a > fait autant d'erreurs et si nous y avons notre part de responsabitlité > (mauvais codes postaux ? Erreurs de toponymes ?). Si les > informaticiens de Libe nous lisent, peut-être pourrions-nous tirer > ensemble les leçons de cette expérience. > Je vais leur remonter l'info. C'est fait :) Je suis bien sûr tout à fait disposé à vous raconter pourquoi on a eu des flottements sur la géolocalisation automatique. Là, je suis un peu speed, mais je peux essayer de faire une réponse un peu détaillée tant que c'est chaud ce week-end (si je vais pas faire du voilier...) Je remercie au passage Freed et Jocelyn, qui m'ont filé des coups de main très utiles sur #osm-fr :) Yohan -- Rodolphe Quiédeville http://cartosm.eu - Intégration de carte libre sur site web Blog : http://blog.rodolphe.quiedeville.org/ SIP/XMPP : rodol...@quiedeville.org ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr ___ Talk-fr mailing list Talk-fr@openstreetmap.org http://lists.openstreetmap.org/listinfo/talk-fr
Re: [OSM-talk-fr] Carte des emprunts toxiques
uot;SAINT LANGIS LES MORTAGNE", "SAINT-PAUL-DE-JARRAT"... Il est à noter que les codes postaux que nous avions dans le fichier ont généré plus de bruit en général qu'ils nous ont été utiles, et donc rapidement nous les avons ignorés pour la géolocalisation. En revanche, nous les avons affichés sur les popups des points, sur la carte, car cela nous aidait (et les internautes) à repérer les erreurs en la consultant. * Points ayant une adresse précise Il s'agit des syndicats mixtes, communautés de communes, communautés urbaines, organismes de logement, etc. C'est la catégorie qui nous a donné le plus de mal. Comme on a pu le voir plus haut, la colonne "adresse" avait des valeurs très polluées. La première étape fut donc de trouver le plus de règles possibles pour les nettoyer automatiquement. Néanmoins, 460 lignes ont dû être traitées à la main. "Traitées à la main", cela consistait à nettoyer la chaîne envoyée à Nominatim avant un nouvel envoi. Parfois cela revenait à corriger une faute (ajouter un "R" à "MITTERAND" par exemple), parfois c'était beaucoup plus laborieux, et il fallait en passer par une recherche internet, des essais sur Nominatim, etc. Souvent, nous avons dû mettre des données approchantes: par exemple, la rue d'à côté quand une rue n'existait pas, ou parfois même le nom du village seulement quand aucune rue n'était disponible. Le plus gros écueil de ce contournement est que parfois deux points on pu être géolocalisés au même endroit, et sont donc affichés l'un sur l'autre, sans pour l'instant de possibilité de les différencier, dès lors qu'ils sont dans la même catégorie de clients (sinon, bien sûr, il suffit de décocher une catégorie pour avoir accès à l'autre). Une fois toutes ces lignes traitées à la main, nous sommes tombés dans un autre piège. Pour une raison que je n'explique pas, même quand on précise lors de l'appel à Nominatim un osm_type, la réponse contient des items de tous les types. Or, selon les catégories des clients, notre script cherchait un osm_type précis: une "relation" pour les régions et les départements, un "node" pour les autres. Sauf que, et nous ne nous en sommes rendu compte que bien tard, quand on donne à Nominatim un nom de rue sans lui donner de numéro, la réponse est de type "way", et ce même si on précise "osm_type": "node" dans l'appel (j'ai aussi essayé avec la valeur "N", vu que je n'ai pas bien compris le point de la doc à ce sujet: http://open.mapquestapi.com/nominatim/ ; remarque: la page wiki, elle, laisse à penser que le paramètre ne serait utile que pour le reverse: http://wiki.openstreetmap.org/wiki/Nominatim). Par conséquent, de nombreux points étaient ignorés par le script, qui attendait des "node", mais ne trouvait que des "way". N'ayant pas anticipé ce point, ces erreurs n'étaient pas mises au jour par le script. Et nous avons mis un peu de temps à nous en rendre compte. La géolocalisation des adresses est, comme je disais, ce qui a coûté le plus de temps de contournement. Voici quelques exemples où l'on aurait pu attendre une réponse de Nominatim: - "BOULEVARD DE LATTRE DE TASSIGNY TARBES", il faut ajouter "DU GENERAL" pour avoir une réponse => "BOULEVARD DU GENERAL DE LATTRE DE TASSIGNY TARBES" - "42, CHEMIN POURPIER, SAINT-PAUL" => "42, CHEMIN DU GRAND POURPIER, SAINT-PAUL" - "16 AVENUE GEORGE LEVY, VENISSIEUX" => "16, AVENUE DU DOCTEUR GEORGES LEVY, VENISSIEUX" - "28/32 RUE DU XXE CORPS AMERICAIN METZ" => "28/32 AVENUE DU XXE CORPS AMERICAIN METZ" - "rue du 12eme arrondissement MORTAIN" => "rue du XIIeme arrondissement MORTAIN" Il y a aussi des erreurs parfois, par exemple "BOULEVARD SALVATOR ALLENDE", à SAINT-HERBAIN, au lieu de SalvaDor. Ajoutons à ça, donc, un grand nombre de rue tout simplement pas encore cartographiées. Malheureusement, on n'a pas noté systématiquement, lors de nos traitements manuels, pourquoi telle ou telle adresse avait posé problème. Et donc je ne cite ici que quelques exemples de mémoire. Je ne sais pas si ça peut aider, mais je dois pouvoir mettre à disposition les adresses en question, dans un fichier brut. == Bilan == Rapidement: - 5500 lignes à traiter, ça donne forcément un nombre de cas particuliers élevé... - si c'était à refaire, je pense que je partirais plutôt sur la piste d'installer un PostgreSQL avec les données OSM de la France en local (avec ma propre indexation) plutôt que d'interroger Nominatim ; mais peut-être que j'aurais dit l'inverse si j'avais suivi cette option ;) Par ailleurs, maintenant que j'ai en local toutes les co
Re: [OSM-talk-fr] Le journal "Libération" utilise OSM pour ses cartes interactives
Hé hé, je vois passer ce mail sur ma boîte perso, je ne résiste pas à l'idée de répondre, et j'en profite pour me présenter rapidement à la communauté. Je suis pour ainsi dire "animateur" de l'informatique éditoriale de Libération, et je confirme les propos de Camille : pour une fois ce ne sont pas nos brillants collègues d'Ecrans qui nous ont soufflé l'idée ! Mais ce n'est pas non plus un hasard si cette carte a été faite en utilisant les données OpenStreetMap et la librairie OpenLayer. Tâchons de faire court. Ce jour-là j'étais en congé. Un collègue me bippe, me signalant que Florent Latrive est venu voir l'équipe pour savoir si on pouvait faire une carte exploitant les données du ministère, sur la loi SRU. Comme presque partout dans notre société où tout le monde veut en faire toujours plus avec toujours moins et de plus en plus vite, on est en permanence débordés dans mon équipe, et donc mon collègue, sachant que ce n'était pas dans nos priorités officielles, a gentiment répondu à Florent par la négative. Mais c'est jamais agréable de dire non, particulièrement à Florent, et qui plus sur un dossier comme celui-ci (loi SRU) qui fait vraiment sens. Mon collègue m'a donc consulté pour savoir si on avait pas une possibilité, et pendant qu'on discutait il me dit quelque chose comme : "Laisse tomber, Flo a trouvé un widget Google qui crée une map depuis un tableur en ligne..." C'était justement ce que je ne voulais pas entendre ! Là encore je vais faire court : passer ses journées à Libé à courir derrière une roadmap toujours trop chargée, pour des objectifs qui ne sont pas toujours aussi nobles qu'on aimerait (c'est une litote), c'est déjà pas facile à avaler au quotidien, alors si la conséquence est qu'en plus on doit dire non aux projets intéressants, et qu'encore en plus les alternatives sont d'utiliser Google-le-gentil-monstre-qui-nous-aura-tous, autant retourner élever des chèvres dans mon Ariège natale. Si Libé, dont au moins les origines et le nom sont très proches du "libre", ne soutient pas un projet comme OSM quand il en a l'occasion, si moi, responsable de l'informatique éditoriale, je ne pousse pas une solution libre et saine comme OSM quand j'en ai l'opportunité, qui le fera ? Et quel sens a encore Libé ? Et quel sens a encore mon rôle à Libé ? Mon sang n'a fait qu'un tour, comme on dit en pareille occasion pour faire pompeux. J'ai enfourché mon vélo, et traversé Paris-sur-Béton jusqu'à la rue Béranger. J'ai retrouvé un Florent enthousiaste à l'idée, un graphiste et notre intégrateur nous on rejoints dans ladite warroom, puis mes collègues quand ils ont fini leurs tâches quotidiennes. On n'a pas seulement mis une carte en ligne, on a mis en place un module qui nous permettra, quand l'occasion se présentera, de créer facilement des cartes de ce type, et c'est tant mieux. C'est tant mieux parce que rien ne vaut un beau dessin, surtout quand il est interactif, pour un sujet pareil ; c'est tant mieux parce que ça fait du bien de vaincre le quotidien ; c'est tant mieux parce que Libé joue son rôle en exposant le travail d'OpenStreetMap ; c'est tant mieux parce que c'est un point de gagné pour la communauté du libre, et un point que Google-le-gentil-monstre-qui-veut-tout-manger n'aura pas. J'ai depuis eu des retours très intéressants, en particulier de Rodolphe, et je vais profiter d'un prochain jour de congé (il m'en reste) pour parfaire notre module :) Voilà pour le making-of. Désolé si c'est un peu long, un peu nombriliste, j'ai pas résisté à l'idée de répondre à ce mail tombé dans ma boîte perso. Ah oui, si je suis abonné à la liste c'est que je participe modestement au projet OSM, en particulier sur les voies fluviales (j'habite un bateau, et je me balade en été, donc je cartographie les ports et haltes où je m'arrête :) ) et quelques sentiers sardes (toujours les vacances...). Voilà pour la présentation. Me reste à dire deux choses : d'abord un grand bravo à tous les contributeurs du projet, les données sont vraiment utilisables aujourd'hui, ce n'est plus une utopie, c'est un espoir pour le monde libre. Ensuite, si vous avez des remarques, suggestions (sur la carte, mais aussi de manière générale si je peux être utile), n'hésitez pas à me bipper : y.bonif...@liberation.fr plutôt qu'ici si vous voulez une réponse rapide. Merci à tous, et encore bravo ! Yohan - Mail Original - De: "Camille Gévaudan" À: "Discussions sur OSM en français" Envoyé: Vendredi 21 Janvier 2011 02:03:39 GMT +01:00 Amsterdam / Berlin / Berne / Rome / Stockholm / Vienne Objet: Re: [OSM-talk-fr] Le journal "Libération" utilise OSM pour ses cartes interactives Le 20 janvier 2011 13:17, Pieren < pier...@gmail.com > a écrit : http://www.liberation.fr/societe/01012314799-la-carte-des-villes-en-manque-de-logements-sociaux voila, voila- Sans doute que ecrans.fr et surtout Camille G. y sont pour quelque chose ;-) Pieren Promis, je n'y suis pour rien (ou al
