[FRsAG] Système de fichier distribué
Salut la liste, J'aurai besoin de vos lumières pour mettre en place un volume de 12To sur un système de fichier distribué, pour augmenter les temps de réponse et la disponibilité des fichiers. Il s'agit de fichiers pesant entre 10kio et 30Gio, pour un volume total actuel de 6.5Tio. Est ce que vous auriez des idées sur un système de fichier distribué qui me permettrait d'envoyer du bois dans la chaudière ? Parce que l'actuel NFS commence à un peu à saturer vu le nombre de demandes simultanées qu'il a à traiter. J'ai entendu parler de GlusterFS, mais je voulais avoir l'avis de la communauté :) Merci Cdlt, Jonathan "bartoua" SCHNEIDER ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Le 18 octobre 2012 14:05, Jonathan SCHNEIDER a écrit : > Salut la liste, > > > J'aurai besoin de vos lumières pour mettre en place un volume de 12To sur > un système de fichier distribué, pour augmenter les temps de réponse et la > disponibilité des fichiers. Il s'agit de fichiers pesant entre 10kio et > 30Gio, pour un volume total actuel de 6.5Tio. > > Est ce que vous auriez des idées sur un système de fichier distribué qui > me permettrait d'envoyer du bois dans la chaudière ? Parce que l'actuel NFS > commence à un peu à saturer vu le nombre de demandes simultanées qu'il a à > traiter. > > J'ai entendu parler de GlusterFS, mais je voulais avoir l'avis de la > communauté :) > > > Merci > > Cdlt, > Jonathan "bartoua" SCHNEIDER > __**_ > Liste de diffusion du FRsAG > http://www.frsag.org/ > Bonjour, Il faudrait plus d'info sur les débits et la latence que tu souhaites atteindre, le matériel (réseau et stockage) dispo, etc... Sinon LUSTRE peut faire l'affaire. -- Méhdi Denou ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Le 18/10/2012 14:51, Méhdi Denou a écrit : > Bonjour, > > Il faudrait plus d'info sur les débits et la latence que tu souhaites > atteindre, le matériel (réseau et stockage) dispo, etc... > > Sinon LUSTRE peut faire l'affaire. Je rajoute aussi un autre critère, veux tu y accéder par un filesystem ou un stockage type abstrait clef/valeur suffit? En FS pur j'avais testé GlusterFS en 2009, c'était à peu près bien jusqu'à qu'un changement de branche et de configuration ne soit plus adapté à mon usage. A l'époque j'avais de gros stall un peu comme en NFS, je pense que cela s'est amélioré puisque on en parle de plus en plus de cette solution. Sinon en non posix que j'apprécie beaucoup car très performant, c'est MogileFS, 2 trackers, n nodes, des profils pour savoir combien de répliques tu souhaites pour les fichiers. Et tout le reste se fait en webdav, suffit de mettre un Nginx à la place du daemon perl et ça dépote plusieurs centaines de mo/sec sur deux serveurs. signature.asc Description: OpenPGP digital signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
J'ai vu passer GlusterFS, Ceph et MooseFS. Je n'ai de vraie expérience de prod avec aucun et je n'ai juste jamais testé Moose et Ceph, mais en gros : - Moose ressemble pas mal à GFS donc *s'il marche bien* ça devrait être un bon choix (encore une fois, jamais testé). Il est censé être fiable et scalable. - Gluster est simple à configurer et à comprendre niveau architecture, c'est juste un maitre + des esclaves. Par contre du coup il est très rapide en écriture, un peu moins scalable en lecture (mais bien plus que NFS). - Ceph est complètement distribué, donc pas de SPOF, par contre ça le rend assez compliqué, probablement un peu plus gourmand en espace et difficile à administrer. Ça m'a l'air un peu overkill pour tes besoins. Pour simplement remplacer un NFS qui a des problèmes de perfs, Gluster me parait pas mal (c'est probablement celui qui s'en approche le plus), sinon peut-être Moose (quelqu'un a testé ?). Les trois sont en standard dans le noyau Linux maintenant. À voir s'ils sont dispo selon les distributions par contre. ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Tiens, d'ailleurs ça me rappelait quelque chose... http://comments.gmane.org/gmane.org.user-groups.frsag/2106 -- Pierre 'catwell' Chapuis ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Le 18 oct. 2012 à 15:11, "Pierre Chapuis" a écrit : > J'ai vu passer GlusterFS, Ceph et MooseFS. Je n'ai de vraie expérience de > prod avec aucun et je n'ai juste jamais testé Moose et Ceph, mais en gros > : > > - Moose ressemble pas mal à GFS donc *s'il marche bien* ça devrait être un > bon choix (encore une fois, jamais testé). Il est censé être fiable et > scalable. > > - Gluster est simple à configurer et à comprendre niveau architecture, > c'est juste un maitre + des esclaves. Par contre du coup il est très > rapide en écriture, un peu moins scalable en lecture (mais bien plus que > NFS). > > - Ceph est complètement distribué, donc pas de SPOF, par contre ça le > rend assez compliqué, probablement un peu plus gourmand en espace et > difficile à administrer. Ça m'a l'air un peu overkill pour tes besoins. > > Pour simplement remplacer un NFS qui a des problèmes de perfs, Gluster me > parait pas mal (c'est probablement celui qui s'en approche le plus), sinon > peut-être Moose (quelqu'un a testé ?). Les trois sont en standard dans le > noyau Linux maintenant. À voir s'ils sont dispo selon les distributions > par contre. > Bonjour, J'ai du GlusterFS (une vieille version, 3.0.2) en production depuis 4 ans, sur des volumes assez importants, et notamment énormément de petits fichiers, avec un setup 2 master (full réplication) et une 20aine de noeuds. L'écriture se fait sur les noeuds, et ça réplique sur les masters. En termes de stabilité, aucun soucis. En termes de rapidité de lecture, sur les petits fichiers, une fois mis en cache sur les nodes, pas de soucis non-plus. Une désynchro master / slave en 4 ans due à un problème réseau => un coup de rsync et ça repart. Bonne journée -- Frédéric de Villamil / @fdevillamil I'm not strange, weird, off, nor crazy, my reality is just different from yours. Le Rayon UX – http://t37.net ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
On Thu, Oct 18 2012, Jonathan SCHNEIDER wrote: > J'aurai besoin de vos lumières pour mettre en place un volume de 12To sur un > système de fichier distribué, pour augmenter les temps de réponse et la > disponibilité des fichiers. Il s'agit de fichiers pesant entre 10kio et > 30Gio, pour un volume total actuel de 6.5Tio. Je peux conseiller Swift, mais qui est destiné à faire du object storage via une API REST: https://launchpad.net/swift Il a une couche de compatibilité API Amazon S3 et donc la possibilité d'être monté via FUSE au besoin (mais les perfs ne sont sans doutes pas les mêmes). -- Julien Danjou -- Free Software hacker & freelance -- http://julien.danjou.info pgpkQF6yVXBsw.pgp Description: PGP signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Le Thu, 18 Oct 2012 15:23:28 +0200, Pour ma part, j'ai eu la même problématique et j'ai testé de manière assez approfondie MooseFS et GlusterFS (dans la version sortie il y a quelques mois). Je trouve MooseFS particulièrement intéressant, l'ajout de disque ou de serveur se fait très simplement. Pas de possibilité d'erreur dans la configuration, possibilité d'isoler un disque defectueux, les données sont réparties sur les autres serveurs. Le montage de fait sous Linux et FreeBSd sans soucis avec les paquets. Une systeme de trash existe ainsi qu'une reprise après sinistre (pas automatisée). Je le met en prod sur 6To sans aucun souci. La principale différence avec GlsuerFS se situe au niveau de la données. Effet, MooseFS découpe le fichier en chunks alors que GluserFS les garde entier. Les débits sont bons, il faut prévoir une bonne config reseau au niveau hardware. Pour une utilisation à max (serveur de max sous forte charge), il est conseillé de mettre un switch dédié avec une config jumbo frame Bien cordialement, Jean-Christophe PAROLA ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Tu peux regarder du coté de tahoe lafs. Julien. ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Une autre piste moins bonne que celles données ici c'est pNFS qui une extension de NFS... Sinon je pense que tu peux regarder le doc ici : http://fr.slideshare.net/schubertzhang/distributed-filesystems-review Cordialement, JYL ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Au niveau de cette infra, c'est du full debian : il y a 3 serveurs physiques pour l'applicatif qui sont des conteneurs de VZ (les VZ contiennent soit un serveur nginx/PHP soit un MySQL) et 2 serveurs NFS en synchro drbd. Les serveurs hébergent des médiathèques qui sont par définition pompeuses de stockage et de bande passante. Il me faudrait un FS à monter directement sur les VZ, le système clef/valeur est pas possible sur le soft en question. Au niveau des stats, on est à ~50Gio en lecture par jour et ~60Gio en écriture par jour en moyenne, on peut avoir des rushs qui sont bien pire en montant à ~110Gio/jour en lecture, sur des débits de ~30Mbps. Bien sûr je cherche à booster le débit autant que possible :) Le volume de données risque d'augmenter de quelques Tio d'ici pas longtemps avec le volume de données échangé. Donc pour l'instant je retiens donc Gluster, Moose, swift et ceph. Cdlt, Jonathan "bartoua" SCHNEIDER ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
On 18/10/2012 16:23, Jonathan SCHNEIDER wrote: Au niveau de cette infra, c'est du full debian : il y a 3 serveurs physiques pour l'applicatif qui sont des conteneurs de VZ (les VZ contiennent soit un serveur nginx/PHP soit un MySQL) et 2 serveurs NFS en synchro drbd. Les serveurs hébergent des médiathèques qui sont par définition pompeuses de stockage et de bande passante. Il me faudrait un FS à monter directement sur les VZ, le système clef/valeur est pas possible sur le soft en question. Au niveau des stats, on est à ~50Gio en lecture par jour et ~60Gio en écriture par jour en moyenne, on peut avoir des rushs qui sont bien pire en montant à ~110Gio/jour en lecture, sur des débits de ~30Mbps. Bien sûr je cherche à booster le débit autant que possible :) Le volume de données risque d'augmenter de quelques Tio d'ici pas longtemps avec le volume de données échangé. Donc pour l'instant je retiens donc Gluster, Moose, swift et ceph. Cdlt, Jonathan "bartoua" SCHNEIDER A noter que CephFS n'est pas encore considéré comme stable par ses développeurs, et que la techno en question obtient les meilleurs résultats sous Btrfs, lui même non stable. Néanmoins entre (CephFS over ext4) et (Btrfs seul), je pense que le premier FS est plus fiable. Olivier ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Le 18/10/2012 14:05, Jonathan SCHNEIDER a écrit : > Salut la liste, > > > J'aurai besoin de vos lumières pour mettre en place un volume de 12To > sur un système de fichier distribué, pour augmenter les temps de > réponse et la disponibilité des fichiers. Il s'agit de fichiers pesant > entre 10kio et 30Gio, pour un volume total actuel de 6.5Tio. > > Est ce que vous auriez des idées sur un système de fichier distribué > qui me permettrait d'envoyer du bois dans la chaudière ? Parce que > l'actuel NFS commence à un peu à saturer vu le nombre de demandes > simultanées qu'il a à traiter. > > J'ai entendu parler de GlusterFS, mais je voulais avoir l'avis de la > communauté :) > > Bonjour, j'ai récemment écris un article sur Ceph, où je l'ai installé en production mais pour seulement 450GB : http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS NFSv4 j'en ai ras le bol, c'est très pénible coté client en cas de problèmes; GlusterFS j'en ai mangé aussi des problèmes, et la team qui développe ça est plus intéressée par les features que la stabilité, tout le contraire de Ceph. Pour moi, c'est Ceph l'avenir en FS distribué POSIX, même si je pense que les serveurs clefs/valeurs sont bien plus faciles/scalables/features++ que ces FS si on peut les utiliser... -- Greg ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Le 18/10/2012 16:33, Olivier Bonvalet a écrit : > On 18/10/2012 16:23, Jonathan SCHNEIDER wrote: >> Au niveau de cette infra, c'est du full debian : il y a 3 serveurs >> physiques pour l'applicatif qui sont des conteneurs de VZ (les VZ >> contiennent soit un serveur nginx/PHP soit un MySQL) et 2 serveurs NFS >> en synchro drbd. Les serveurs hébergent des médiathèques qui sont par >> définition pompeuses de stockage et de bande passante. >> >> Il me faudrait un FS à monter directement sur les VZ, le système >> clef/valeur est pas possible sur le soft en question. >> >> Au niveau des stats, on est à ~50Gio en lecture par jour et ~60Gio en >> écriture par jour en moyenne, on peut avoir des rushs qui sont bien pire >> en montant à ~110Gio/jour en lecture, sur des débits de ~30Mbps. >> >> Bien sûr je cherche à booster le débit autant que possible :) Le volume >> de données risque d'augmenter de quelques Tio d'ici pas longtemps avec >> le volume de données échangé. >> >> >> Donc pour l'instant je retiens donc Gluster, Moose, swift et ceph. >> >> >> Cdlt, >> Jonathan "bartoua" SCHNEIDER >> > > A noter que CephFS n'est pas encore considéré comme stable par ses > développeurs, et que la techno en question obtient les meilleurs > résultats sous Btrfs, lui même non stable. > A noter que GlusterFS et NFS se prétendent stable depuis des années, ce n'est qu'une question de point de vue ;) -- Greg ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
On 18/10/2012 16:40, Gregory Duchatelet wrote: Le 18/10/2012 16:33, Olivier Bonvalet a écrit : On 18/10/2012 16:23, Jonathan SCHNEIDER wrote: Au niveau de cette infra, c'est du full debian : il y a 3 serveurs physiques pour l'applicatif qui sont des conteneurs de VZ (les VZ contiennent soit un serveur nginx/PHP soit un MySQL) et 2 serveurs NFS en synchro drbd. Les serveurs hébergent des médiathèques qui sont par définition pompeuses de stockage et de bande passante. Il me faudrait un FS à monter directement sur les VZ, le système clef/valeur est pas possible sur le soft en question. Au niveau des stats, on est à ~50Gio en lecture par jour et ~60Gio en écriture par jour en moyenne, on peut avoir des rushs qui sont bien pire en montant à ~110Gio/jour en lecture, sur des débits de ~30Mbps. Bien sûr je cherche à booster le débit autant que possible :) Le volume de données risque d'augmenter de quelques Tio d'ici pas longtemps avec le volume de données échangé. Donc pour l'instant je retiens donc Gluster, Moose, swift et ceph. Cdlt, Jonathan "bartoua" SCHNEIDER A noter que CephFS n'est pas encore considéré comme stable par ses développeurs, et que la techno en question obtient les meilleurs résultats sous Btrfs, lui même non stable. A noter que GlusterFS et NFS se prétendent stable depuis des années, ce n'est qu'une question de point de vue ;) C'est pas faux. Mais typiquement on avait tenté un remplacement de NFS par Ceph il y a un an environ, mais on a rapidement eu des corruptions de données. Du coup on est repassé sur NFS en attendant que Ceph se stabilise. NFS scale mal, la tolérance aux pannes m'a l'air très capricieuse, mais on a encore rien perdu avec. ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Yop, > http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS tu as fait : - planter des mds/ods (pas juste un stop propre) ? - des tests de perfs ? ça m'intéresserait ;) -- Maxence DUNNEWIND Contact : maxe...@dunnewind.net Site : http://www.dunnewind.net + 33 6 32 39 39 93 GPG : 18AE 61E4 D0B0 1C7C AAC9 E40D 4D39 68DB 0D2E B533 signature.asc Description: Digital signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Le 18/10/2012 16:55, Maxence Dunnewind a écrit : > Yop, > >> http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS > tu as fait : > - planter des mds/ods (pas juste un stop propre) ? oui avec des reboot électrique par PDU notamment : même comportement qu'avec un stop propre. > - des tests de perfs ? non, je n'ai pas eu le temps et ce n'est pas un besoin primordiale pour l'utilisation que je vais en faire... Mais je peux en faire un, tu aimerai quoi comme tests ? :) -- Greg ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
> >> http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS > > tu as fait : > > - planter des mds/ods (pas juste un stop propre) ? > > oui avec des reboot électrique par PDU notamment : même comportement > qu'avec un stop propre. cool :) Et ça se remonte tout seul ? > > - des tests de perfs ? > > non, je n'ai pas eu le temps et ce n'est pas un besoin primordiale pour > l'utilisation que je vais en faire... Mais je peux en faire un, tu > aimerai quoi comme tests ? :) des trucs assez basiques pour commencer. J'ai fait un ptit cluster sur 4 noeuds (3 ods/1 mds) et j'avais des débits minables (genre 10Mbps sur un dd) Maxence -- Maxence DUNNEWIND Contact : maxe...@dunnewind.net Site : http://www.dunnewind.net + 33 6 32 39 39 93 GPG : 18AE 61E4 D0B0 1C7C AAC9 E40D 4D39 68DB 0D2E B533 signature.asc Description: Digital signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Ne pas oublier LUSTRE dans le lot. Il est utilisé dans pas mal de clusters HPC et est connu pour ses débits élevés (plusieurs centaines de Go/s sur de gros clusters). L'idée de lustre est de découper les fichiers et de les répartir (un raid 0 via le réseau en gros). Un serveur gère les métadonnées (le MDS). Les serveurs de fichiers (OSS object storage server) hébergent les données. La redondance est à assurer sur chaque élément (OST *object storage targets, *plusieurs OST par OSS*) *hébergeant les chunks. Le 18 octobre 2012 17:25, Maxence Dunnewind a écrit : > > >> http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS > > > tu as fait : > > > - planter des mds/ods (pas juste un stop propre) ? > > > > oui avec des reboot électrique par PDU notamment : même comportement > > qu'avec un stop propre. > > cool :) Et ça se remonte tout seul ? > > > > - des tests de perfs ? > > > > non, je n'ai pas eu le temps et ce n'est pas un besoin primordiale pour > > l'utilisation que je vais en faire... Mais je peux en faire un, tu > > aimerai quoi comme tests ? :) > > des trucs assez basiques pour commencer. J'ai fait un ptit cluster sur 4 > noeuds (3 ods/1 mds) et j'avais des débits minables (genre 10Mbps sur un > dd) > > Maxence > > -- > Maxence DUNNEWIND > Contact : maxe...@dunnewind.net > Site : http://www.dunnewind.net > + 33 6 32 39 39 93 > GPG : 18AE 61E4 D0B0 1C7C AAC9 E40D 4D39 68DB 0D2E B533 > > -BEGIN PGP SIGNATURE- > Version: GnuPG v1.4.9 (GNU/Linux) > > iEYEARECAAYFAlCAH00ACgkQTTlo2w0utTOS9gCfRZFyPKCIWfedrUCktPzcI33o > yOsAoLhjca0ke0rFCXr9wYfIxIJplSr3 > =HA2J > -END PGP SIGNATURE- > > ___ > Liste de diffusion du FRsAG > http://www.frsag.org/ > > -- Méhdi Denou Master 2 Architecture des Systèmes en Réseaux, Université d'Evry. 06 64 18 67 71 ___ Liste de diffusion du FRsAG http://www.frsag.org/
[FRsAG] Online / Dedibox problème ip flottante depuis Freebox
Bonjour, Lundi soir nos serveurs ont été redémarré sauvagement pour raison indéterminée. Si vous avez été concerné, je veux bien votre retour. Depuis, un certains nombre de client sur Freebox n'arrivent plus à joindre les ip flottantes présentes sur les serveurs. Mais phénomène étrange d'autres depuis le réseau Freebox y arrivent comme tout le reste d'internet. J'ai bien sur tenté, de ne pas allouer les ip flottantes, de les changer de serveurs, sans succès. En regardant de plus près avec un client qui tentait de se connecter pendant que j'étais au téléphone avec lui, je me suis rendu compte que chaque connexion de sa part générait des martian source dans le kern.log. Étonné de voir des ip privées arriver sur les interfaces publiques des serveurs, je me suis rendu compte que les ip privées étaient en fait les ip privées présentes sur ces différents postes informatiques, comme si le nat sortant de la Freebox ne se faisait pas en direction des subnets des ip flottantes. Car bien sur cela marche super bien sur les ip en dure des serveurs qui sont sur un autre subnet. voici un extrait du kern.log Oct 18 10:54:57 nodeXXX kernel: [225475.725267] IPv4: martian source 88.190.206.XXX from 192.168.1.99, on dev pub Oct 18 10:55:29 nodeXXX kernel: [225507.883737] IPv4: martian source 88.190.206.XXX from 192.168.0.67, on dev pub Ce qui est gênant c'est que depuis lundi j'assiste à un nombre considérable de connexion depuis les freebox et je vois toutes leurs adresses privées. Pour information technique, le serveur physique sous Debian a sa propre adresse ip publique sur pub (eth0 renommée) et les ip flottantes en alias en pub:0, pub:1 ... iptable gère ensuite la redirection des ports vers les bonnes vm sur le réseau privé. Le kern.log vient de la machine physique. Je doute que le souci vienne de ma configuration, je trouve complètement anormal de voir arriver des ip privées de derrière les freebox des gens qui viennent les ip flottantes. Si vous constatez la même chose ou si vous avez une idée de test ou d'autre piste pour investiguer nous sommes preneur. Merci signature.asc Description: OpenPGP digital signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
Bonsoir, Le 18 octobre 2012 18:19, Méhdi Denou a écrit : > Ne pas oublier LUSTRE dans le lot. > > Il est utilisé dans pas mal de clusters HPC et est connu pour ses débits > élevés (plusieurs centaines de Go/s sur de gros clusters). > L'idée de lustre est de découper les fichiers et de les répartir (un raid > 0 via le réseau en gros). > Un serveur gère les métadonnées (le MDS). > Le MDS dans Lustre est un SPOF. Même si en pratique Lustre est choisis en très grande majorité dans le TOP500 des grands calculateurs, ce qui en fait le n° 1 ? Greg > > > Le 18 octobre 2012 17:25, Maxence Dunnewind a > écrit : > >> > >> http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS >> > > tu as fait : >> > > - planter des mds/ods (pas juste un stop propre) ? >> > >> > oui avec des reboot électrique par PDU notamment : même comportement >> > qu'avec un stop propre. >> >> cool :) Et ça se remonte tout seul ? >> >> > > - des tests de perfs ? >> > >> > non, je n'ai pas eu le temps et ce n'est pas un besoin primordiale pour >> > l'utilisation que je vais en faire... Mais je peux en faire un, tu >> > aimerai quoi comme tests ? :) >> >> des trucs assez basiques pour commencer. J'ai fait un ptit cluster sur 4 >> noeuds (3 ods/1 mds) et j'avais des débits minables (genre 10Mbps sur un >> dd) >> >> Maxence >> >> -- >> Maxence DUNNEWIND >> Contact : maxe...@dunnewind.net >> Site : http://www.dunnewind.net >> + 33 6 32 39 39 93 >> GPG : 18AE 61E4 D0B0 1C7C AAC9 E40D 4D39 68DB 0D2E B533 >> >> -BEGIN PGP SIGNATURE- >> Version: GnuPG v1.4.9 (GNU/Linux) >> >> iEYEARECAAYFAlCAH00ACgkQTTlo2w0utTOS9gCfRZFyPKCIWfedrUCktPzcI33o >> yOsAoLhjca0ke0rFCXr9wYfIxIJplSr3 >> =HA2J >> -END PGP SIGNATURE- >> >> >> ___ >> Liste de diffusion du FRsAG >> http://www.frsag.org/ >> >> > > > -- > Méhdi Denou > Master 2 Architecture des Systèmes en Réseaux, > Université d'Evry. > 06 64 18 67 71 > > > ___ > Liste de diffusion du FRsAG > http://www.frsag.org/ > > -- Greg ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
> > qu'avec un stop propre. > > cool :) Et ça se remonte tout seul ? > tant qu'il y a au moins 2 mon et 1 ods et 1 mds, oui, c'est transparent ;) > > > > - des tests de perfs ? > > > > non, je n'ai pas eu le temps et ce n'est pas un besoin primordiale pour > > l'utilisation que je vais en faire... Mais je peux en faire un, tu > > aimerai quoi comme tests ? :) > > des trucs assez basiques pour commencer. J'ai fait un ptit cluster sur 4 > noeuds (3 ods/1 mds) et j'avais des débits minables (genre 10Mbps sur un > dd) > A interpréter ! # sur CephFS : perceval-01:/var/local/data# dd if=/dev/zero of=t count=1024000 1024000+0 records in 1024000+0 records out 524288000 bytes (524 MB) copied, 1.62767 s, 322 MB/s perceval-01:/var/local/data# dd if=/dev/zero of=t count=1024 1024+0 records in 1024+0 records out 524288 bytes (5.2 GB) copied, 66.4928 s, 78.8 MB/s # sur le disque : perceval-01:/var/local# dd if=/dev/zero of=t count=1024 1024+0 records in 1024+0 records out 524288 bytes (5.2 GB) copied, 30.5241 s, 172 MB/s Greg > > Maxence > > -- > Maxence DUNNEWIND > Contact : maxe...@dunnewind.net > Site : http://www.dunnewind.net > + 33 6 32 39 39 93 > GPG : 18AE 61E4 D0B0 1C7C AAC9 E40D 4D39 68DB 0D2E B533 > > -BEGIN PGP SIGNATURE- > Version: GnuPG v1.4.9 (GNU/Linux) > > iEYEARECAAYFAlCAH00ACgkQTTlo2w0utTOS9gCfRZFyPKCIWfedrUCktPzcI33o > yOsAoLhjca0ke0rFCXr9wYfIxIJplSr3 > =HA2J > -END PGP SIGNATURE- > > ___ > Liste de diffusion du FRsAG > http://www.frsag.org/ > > -- Greg ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Système de fichier distribué
On Thu, 18 Oct 2012 20:51:42 +0200 Greg wrote: > > A interpréter ! > > # sur CephFS : > perceval-01:/var/local/data# dd if=/dev/zero of=t count=1024000 > 1024000+0 records in > 1024000+0 records out > 524288000 bytes (524 MB) copied, 1.62767 s, 322 MB/s > perceval-01:/var/local/data# dd if=/dev/zero of=t count=1024 > 1024+0 records in > 1024+0 records out > 524288 bytes (5.2 GB) copied, 66.4928 s, 78.8 MB/s > > # sur le disque : > perceval-01:/var/local# dd if=/dev/zero of=t count=1024 > 1024+0 records in > 1024+0 records out > 524288 bytes (5.2 GB) copied, 30.5241 s, 172 MB/s C'est un peu plus jeune homme :) Tu peux faire un dbench ou un iozone ? Pour plus de 100 To, çà passe comme FS ? ++ -- Jérôme Benoit aka fraggle La Météo du Net - http://grenouille.com OpenPGP Key ID : 9FE9161D Key fingerprint : 9CA4 0249 AF57 A35B 34B3 AC15 FAA0 CB50 9FE9 161D signature.asc Description: PGP signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Online / Dedibox problème ip flottante depuis Freebox
On 18/10/2012 18:32, Wallace wrote: Bonjour, ../.. Étonné de voir des ip privées arriver sur les interfaces publiques des serveurs, je me suis rendu compte que les ip privées étaient en fait les ip privées présentes sur ces différents postes informatiques, comme si le nat sortant de la Freebox ne se faisait pas en direction des subnets des ip flottantes. Car bien sur cela marche super bien sur les ip en dure des serveurs qui sont sur un autre subnet. voici un extrait du kern.log Oct 18 10:54:57 nodeXXX kernel: [225475.725267] IPv4: martian source 88.190.206.XXX from 192.168.1.99, on dev pub Oct 18 10:55:29 nodeXXX kernel: [225507.883737] IPv4: martian source 88.190.206.XXX from 192.168.0.67, on dev pub Bonsoir, es-tu certain que ces ips privées sont bien celles de ton client ? Il parrait étrange qu'il ait changé de /24 en 32 secondes. Pour information technique, le serveur physique sous Debian a sa propre adresse ip publique sur pub (eth0 renommée) et les ip flottantes en alias en pub:0, pub:1 ... iptable gère ensuite la redirection des ports vers les bonnes vm sur le réseau privé. Le kern.log vient de la machine physique. Il me semble que les alias d'interface (:1 :2) sont deprecated en faveur de l'usage d'ip secondaires, malheureusement je n'arrive pas à retrouver une source fiable. Je doute que le souci vienne de ma configuration, je trouve complètement anormal de voir arriver des ip privées de derrière les freebox des gens qui viennent les ip flottantes. Si vous constatez la même chose ou si vous avez une idée de test ou d'autre piste pour investiguer nous sommes preneur. Quelques pistes que je te propose: 1/ dumper le traffic entrant sur ton serveur si possible afin de l'analyser à part. (tcpdump dans un fichier que tu vas ensuite décortiquer au besoin avec un wireshark sur une autre machine si tu préfères la belle gui). Si possible en demandant à ton contact de reproduire exactement au moment où tu dump 2/ Vérifier si cela se produit avec toutes les freebox (notament les gens qui sont en bridge avec leur propre routeur assurant le nat). Merci En espérant que ça t'aide. Luc. ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Online / Dedibox problème ip flottante depuis Freebox
On 18 Oct 2012, wall...@morkitu.org wrote: > Depuis, un certains nombre de client sur Freebox n'arrivent plus à > joindre les ip flottantes présentes sur les serveurs. Mais phénomène > étrange d'autres depuis le réseau Freebox y arrivent comme tout le reste > d'internet. > > J'ai bien sur tenté, de ne pas allouer les ip flottantes, de les changer > de serveurs, sans succès. Bonjour, Online travaille depuis quelques jours sur les IP fail-over. C'est surement un problème lié à cela. https://twitter.com/online_fr/status/258255117185331200 Cordialement -- Cyril Bouthors - Administration Système, Infogérance ISVTEC SARL, 14 avenue de l'Opéra, 75001 Paris 1 rue Émile Zola, 69002 Lyon Tél : 01 84 16 16 17 - Fax : 01 77 72 57 24 Ligne directe : 0xAFA310E ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Online / Dedibox problème ip flottante depuis Freebox
Le 18/10/2012 23:34, Bégault Luc a écrit :Bonsoir, > es-tu certain que ces ips privées sont bien celles de ton client ? Il > parrait étrange qu'il ait changé de /24 en 32 secondes. Il y a plusieurs ip flottantes et les services vont du mail au web, si je fais le calcul depuis lundi soir j'ai plusieurs centaines d'adresse privées différentes qui arrivent. Cela principalement pour la consultation de sites web. > Il me semble que les alias d'interface (:1 :2) sont deprecated en > faveur de l'usage d'ip secondaires, malheureusement je n'arrive pas à > retrouver une source fiable. Ha j'ai pas vu passer l'info, j'avais fait cela pour éviter tout souci avec les mac virtuelles et le blacklistage en cas de mauvaise manip. > Quelques pistes que je te propose: > 1/ dumper le traffic entrant sur ton serveur si possible afin de > l'analyser à part. (tcpdump dans un fichier que tu vas ensuite > décortiquer au besoin avec un wireshark sur une autre machine si tu > préfères la belle gui). Si possible en demandant à ton contact de > reproduire exactement au moment où tu dump Déjà fait, dès qu'une personne ayant le souci le fait quand je l'ai au téléphone, j'assiste bien à des communications depuis son ip privée. > 2/ Vérifier si cela se produit avec toutes les freebox (notament les > gens qui sont en bridge avec leur propre routeur assurant le nat). Je n'ai personne en bridge sur Free, clairement cela ne touche pas tous les clients freebox. Ceux qui ne sont pas concernés n'ont pas redémarré leurs freebox depuis quelque temps mais je doute que cela vienne du firmware. Ce soir j'ai procédé au déplacement des vms sur un autre noeud avec les ip alias, tout marche. Par contre le noeud qui pose souci, j'ai validé la configuration hyperviseur identique, réseau pareil, après un reboot (dans le doute je me suis dit que le serveur avait du démarrer plus vite que le switch) rien ne change toujours les même soucis. Il y a donc un lien entre ce serveur physique et les ip flottantes, à quel niveau par contre c'est plus délicat à trouver. signature.asc Description: OpenPGP digital signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Online / Dedibox problème ip flottante depuis Freebox
Le 19/10/2012 02:03, Cyril Bouthors a écrit : > On 18 Oct 2012, wall...@morkitu.org wrote: > >> Depuis, un certains nombre de client sur Freebox n'arrivent plus à >> joindre les ip flottantes présentes sur les serveurs. Mais phénomène >> étrange d'autres depuis le réseau Freebox y arrivent comme tout le reste >> d'internet. >> >> J'ai bien sur tenté, de ne pas allouer les ip flottantes, de les changer >> de serveurs, sans succès. > Bonjour, > > Online travaille depuis quelques jours sur les IP fail-over. C'est surement un > problème lié à cela. > > https://twitter.com/online_fr/status/258255117185331200 > > Cordialement Je n'avais pas vu passer la news, en effet cela peut coïncider. Merci signature.asc Description: OpenPGP digital signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Online / Dedibox problème ip flottante depuis Freebox
Le 19/10/2012 02:29, Wallace a écrit : > Ce soir j'ai procédé au déplacement des vms sur un autre noeud avec > les ip alias, tout marche. Par contre le noeud qui pose souci, j'ai > validé la configuration hyperviseur identique, réseau pareil, après un > reboot (dans le doute je me suis dit que le serveur avait du démarrer > plus vite que le switch) rien ne change toujours les même soucis. Il y > a donc un lien entre ce serveur physique et les ip flottantes, à quel > niveau par contre c'est plus délicat à trouver. Je corrige, mes contacts n'ont plus de soucis par contre des visiteurs des sites web en ont encore sur l'autre serveur. Ce n'est donc pas lié à la machine. signature.asc Description: OpenPGP digital signature ___ Liste de diffusion du FRsAG http://www.frsag.org/
