Re: [FRsAG] Système de fichier distribué

2012-11-20 Par sujet Aurélien
2012/11/20 Gregory Duchatelet : > Le 19/11/2012 19:15, Wallace a écrit : > > A part ça je me demande pourquoi tu forces l'utilisation de ipv6 pour le > réseau privé ? Simplement pour éviter le dual-stack ? > Hello, Sans avoir trop réfléchi à la question, je pense que c'est tout bêtement pour que

Re: [FRsAG] Système de fichier distribué

2012-11-20 Par sujet Gregory Duchatelet
Le 19/11/2012 19:15, Wallace a écrit : > J'ai eu beau retourner leurs docs, le support, les archives de mailing > list, le bugtracker, ipv6 a bien été ajouté dans le branche 3.3. > Bonjour Pierre-Henry, c'est ce que je reprochais à GlusterFS déjà en 2009 : proposer des tas de features, mais elles

Re: [FRsAG] Système de fichier distribué

2012-11-19 Par sujet Wallace
Je relance le sujet, avec notre volonté de ne plus utiliser d'adressage local RFC1918 sur notre nouvelle archi, je me suis retrouvé complètement coincé sur GlusterFS. J'avais gardé un mauvais souvenir de Gluster lors de la version 1, je me suis dit avec 2 major release de plus pourquoi ne pas rete

Re: [FRsAG] Système de fichier distribué

2012-10-19 Par sujet Jérôme Benoit
On Thu, 18 Oct 2012 21:02:41 +0200 Jérôme Benoit wrote: > C'est un peu plus jeune homme :) ^s/plus/court -- Jérôme Benoit aka fraggle La Météo du Net - http://grenouille.com OpenPGP Key ID : 9FE9161D Key fingerprint : 9CA4 0249 AF57 A35B 34B3 AC15 FAA0 CB50 9FE9 161D signature

Re: [FRsAG] Système de fichier distribué

2012-10-19 Par sujet Jérôme Benoit
On Fri, 19 Oct 2012 14:01:23 +0200 JC PAROLA wrote: > > A volume constant (ou bien anticipé), cela peut être une solution car > de mon côté, ça me fait toujours peur avec des solutions comme MooseFS, > Luste, Ceph de savoir mes fichiers coupés en rondelles (chunk) C'est une peur irrationnelle :p

Re: [FRsAG] Système de fichier distribué

2012-10-19 Par sujet JC PAROLA
autre FS qui n'est pas réellement distribué mais réparti est ChironFS. Le principe est simple, c'est un peu comme du NFS avec plusieurs serveurs maitres. La lecture se fait sur un des serveurs maîtres (augmentation de l'IOPS en fonction du nombre de serveurs maîtres). L'écriture se fait sur tou

Re: [FRsAG] Système de fichier distribué

2012-10-19 Par sujet Ludovic Cartier
> > > Pourquoi, parce que ce n'est pas distribué ? Car je pense que ça permet > d'augmenter sensiblement les IOs etc... > > Disons que le postulat de base était d'avoir un avis sur les FS distribués, or pour moi, NetAPP et EMC ne rentre pas dans cette catégorie. Après, je te rejoins sur un point, j

Re: [FRsAG] Système de fichier distribué

2012-10-19 Par sujet seb astien
Le 19 octobre 2012 12:23, Ludovic Cartier a écrit : > > > Le 19 octobre 2012 12:19, seb astien a écrit : > > >> Je suis étonné que personne ne parle de système type netapp ou autre >> emc, qui réponde également au besoin. >> >> Personnellement, j'aurai un peu peur de mettre ma production sur de

Re: [FRsAG] Système de fichier distribué

2012-10-19 Par sujet Ludovic Cartier
Le 19 octobre 2012 12:19, seb astien a écrit : > > Je suis étonné que personne ne parle de système type netapp ou autre emc, > qui réponde également au besoin. > > Personnellement, j'aurai un peu peur de mettre ma production sur des FS > "expérimentaux" type Ceph. > > Cordialement, > > Parce que

Re: [FRsAG] Système de fichier distribué

2012-10-19 Par sujet seb astien
Bonjour, 2012/10/18 Jérôme Benoit > On Thu, 18 Oct 2012 20:51:42 +0200 > Greg wrote: > > > > > A interpréter ! > > > > # sur CephFS : > > C'est un peu plus jeune homme :) > > Tu peux faire un dbench ou un iozone ? > > Pour plus de 100 To, çà passe comme FS ? > > Je suis étonné que personne ne

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Jérôme Benoit
On Thu, 18 Oct 2012 20:51:42 +0200 Greg wrote: > > A interpréter ! > > # sur CephFS : > perceval-01:/var/local/data# dd if=/dev/zero of=t count=1024000 > 1024000+0 records in > 1024000+0 records out > 524288000 bytes (524 MB) copied, 1.62767 s, 322 MB/s > perceval-01:/var/local/data# dd if=/dev

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Greg
> > qu'avec un stop propre. > > cool :) Et ça se remonte tout seul ? > tant qu'il y a au moins 2 mon et 1 ods et 1 mds, oui, c'est transparent ;) > > > > - des tests de perfs ? > > > > non, je n'ai pas eu le temps et ce n'est pas un besoin primordiale pour > > l'utilisation que je vais en faire

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Greg
Bonsoir, Le 18 octobre 2012 18:19, Méhdi Denou a écrit : > Ne pas oublier LUSTRE dans le lot. > > Il est utilisé dans pas mal de clusters HPC et est connu pour ses débits > élevés (plusieurs centaines de Go/s sur de gros clusters). > L'idée de lustre est de découper les fichiers et de les répar

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Méhdi Denou
Ne pas oublier LUSTRE dans le lot. Il est utilisé dans pas mal de clusters HPC et est connu pour ses débits élevés (plusieurs centaines de Go/s sur de gros clusters). L'idée de lustre est de découper les fichiers et de les répartir (un raid 0 via le réseau en gros). Un serveur gère les métadonnée

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Maxence Dunnewind
> >> http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS > > tu as fait : > > - planter des mds/ods (pas juste un stop propre) ? > > oui avec des reboot électrique par PDU notamment : même comportement > qu'avec un stop propre. cool :) Et ça se remonte tout seul ? > > - des tests d

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Gregory Duchatelet
Le 18/10/2012 16:55, Maxence Dunnewind a écrit : > Yop, > >> http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS > tu as fait : > - planter des mds/ods (pas juste un stop propre) ? oui avec des reboot électrique par PDU notamment : même comportement qu'avec un stop propre. > - des te

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Maxence Dunnewind
Yop, > http://www.duchatelet.net/blog/?post/2012/09/21/Ceph-et-CephFS tu as fait : - planter des mds/ods (pas juste un stop propre) ? - des tests de perfs ? ça m'intéresserait ;) -- Maxence DUNNEWIND Contact : maxe...@dunnewind.net Site : http://www.dunnewind.net + 33 6 32 39 39 93 GPG : 18A

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Olivier Bonvalet
On 18/10/2012 16:40, Gregory Duchatelet wrote: Le 18/10/2012 16:33, Olivier Bonvalet a écrit : On 18/10/2012 16:23, Jonathan SCHNEIDER wrote: Au niveau de cette infra, c'est du full debian : il y a 3 serveurs physiques pour l'applicatif qui sont des conteneurs de VZ (les VZ contiennent soit un

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Gregory Duchatelet
Le 18/10/2012 16:33, Olivier Bonvalet a écrit : > On 18/10/2012 16:23, Jonathan SCHNEIDER wrote: >> Au niveau de cette infra, c'est du full debian : il y a 3 serveurs >> physiques pour l'applicatif qui sont des conteneurs de VZ (les VZ >> contiennent soit un serveur nginx/PHP soit un MySQL) et 2 se

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Gregory Duchatelet
Le 18/10/2012 14:05, Jonathan SCHNEIDER a écrit : > Salut la liste, > > > J'aurai besoin de vos lumières pour mettre en place un volume de 12To > sur un système de fichier distribué, pour augmenter les temps de > réponse et la disponibilité des fichiers. Il s'agit de fichiers pesant > entre 10kio e

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Olivier Bonvalet
On 18/10/2012 16:23, Jonathan SCHNEIDER wrote: Au niveau de cette infra, c'est du full debian : il y a 3 serveurs physiques pour l'applicatif qui sont des conteneurs de VZ (les VZ contiennent soit un serveur nginx/PHP soit un MySQL) et 2 serveurs NFS en synchro drbd. Les serveurs hébergent des mé

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Jonathan SCHNEIDER
Au niveau de cette infra, c'est du full debian : il y a 3 serveurs physiques pour l'applicatif qui sont des conteneurs de VZ (les VZ contiennent soit un serveur nginx/PHP soit un MySQL) et 2 serveurs NFS en synchro drbd. Les serveurs hébergent des médiathèques qui sont par définition pompeuses

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet jean-yves
Une autre piste moins bonne que celles données ici c'est pNFS qui une extension de NFS... Sinon je pense que tu peux regarder le doc ici : http://fr.slideshare.net/schubertzhang/distributed-filesystems-review Cordialement, JYL ___ Liste de diffusi

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet juke
Tu peux regarder du coté de tahoe lafs. Julien. ___ Liste de diffusion du FRsAG http://www.frsag.org/

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet JC PAROLA
Le Thu, 18 Oct 2012 15:23:28 +0200, Pour ma part, j'ai eu la même problématique et j'ai testé de manière assez approfondie MooseFS et GlusterFS (dans la version sortie il y a quelques mois). Je trouve MooseFS particulièrement intéressant, l'ajout de disque ou de serveur se fait très simplement. P

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Julien Danjou
On Thu, Oct 18 2012, Jonathan SCHNEIDER wrote: > J'aurai besoin de vos lumières pour mettre en place un volume de 12To sur un > système de fichier distribué, pour augmenter les temps de réponse et la > disponibilité des fichiers. Il s'agit de fichiers pesant entre 10kio et > 30Gio, pour un volume

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Frédéric de Villamil
Le 18 oct. 2012 à 15:11, "Pierre Chapuis" a écrit : > J'ai vu passer GlusterFS, Ceph et MooseFS. Je n'ai de vraie expérience de > prod avec aucun et je n'ai juste jamais testé Moose et Ceph, mais en gros > : > > - Moose ressemble pas mal à GFS donc *s'il marche bien* ça devrait être un > bon ch

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Pierre Chapuis
Tiens, d'ailleurs ça me rappelait quelque chose... http://comments.gmane.org/gmane.org.user-groups.frsag/2106 -- Pierre 'catwell' Chapuis ___ Liste de diffusion du FRsAG http://www.frsag.org/

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Pierre Chapuis
J'ai vu passer GlusterFS, Ceph et MooseFS. Je n'ai de vraie expérience de prod avec aucun et je n'ai juste jamais testé Moose et Ceph, mais en gros : - Moose ressemble pas mal à GFS donc *s'il marche bien* ça devrait être un bon choix (encore une fois, jamais testé). Il est censé être fiable et sc

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Wallace
Le 18/10/2012 14:51, Méhdi Denou a écrit : > Bonjour, > > Il faudrait plus d'info sur les débits et la latence que tu souhaites > atteindre, le matériel (réseau et stockage) dispo, etc... > > Sinon LUSTRE peut faire l'affaire. Je rajoute aussi un autre critère, veux tu y accéder par un filesystem

Re: [FRsAG] Système de fichier distribué

2012-10-18 Par sujet Méhdi Denou
Le 18 octobre 2012 14:05, Jonathan SCHNEIDER a écrit : > Salut la liste, > > > J'aurai besoin de vos lumières pour mettre en place un volume de 12To sur > un système de fichier distribué, pour augmenter les temps de réponse et la > disponibilité des fichiers. Il s'agit de fichiers pesant entre 10

[FRsAG] Système de fichier distribué

2012-10-18 Par sujet Jonathan SCHNEIDER
Salut la liste, J'aurai besoin de vos lumières pour mettre en place un volume de 12To sur un système de fichier distribué, pour augmenter les temps de réponse et la disponibilité des fichiers. Il s'agit de fichiers pesant entre 10kio et 30Gio, pour un volume total actuel de 6.5Tio. Est ce q