>>Pas forcément beaucoup d'io, on tourne actuellement sur du vmware, avec du >>disque non SSD...
>>Du coup, pour ceph, je dois prévoir quoi? Style 2x500 go en SSD pour proxmox, >>et après style 4x1to SSD par serveur. Avec 4 serveur basé sur de l'amd epyc, >>ça me permettra d'avoir quoi on espace >>disponible pour les VM? 4*4to >>disponible, ça doit faire a minima 8to SSD, voir 12 si je me base sur un >>calcul type raid 5? sur ceph, pour les vms, il est recommandé de faire de la replication (x2 = raid1 , x3= raid1++). tu peux meme creer des pools avec des niveaux de replications différents (genre, vms de test, tu fais un pool sans replication, vm critiques replicat x3, etc...). il est recommandé de faire replication x3, mais replication x2 ca fonctionne également. (par contre, si tu perd 1disque il ne faut pas que tu en perde un 2eme dans l'interval de temps où le cluster rereplique les données) Egalement, pour les ssd, il faut absolument prendre une gamme datacenter, avec des ecritures syncrones rapides pour le journal de ceph https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/ (où à la limite, une paire de disques ssd/nvme en raid1 de qualité pour les journaux (il faut 4Go de journal pour chaque disque/os), et les datas sur des ssd moins chers) ----- Mail original ----- De: "Olivier Lange" <olang...@gmail.com> À: "aderumier" <aderum...@odiso.com> Cc: "Lucas Viallon" <lucas.vial...@gmail.com>, "frnog-misc" <frnog-m...@frnog.org> Envoyé: Dimanche 26 Mai 2019 21:43:28 Objet: Re: [FRnOG] [MISC] Solution de virtualisation Le dim. 26 mai 2019 à 20:17, Alexandre DERUMIER < [ mailto:aderum...@odiso.com | aderum...@odiso.com ] > a écrit : >>Tu préconise plutôt un nas syno en réplication, en full disques SSD ou plutôt >>des serveurs avec ses disques SSD en ceph? >> >>En terme de disponibilité, ha, scalabilité ? ceph sans hésiter. (perso, je ne mettrait pas de prod sur un nas syno, c'est bien pour la maison, mais pour mettre des vms..ouch...). je sais pas trop comment tu pourrais gérer la HA avec un syno ? (2 controlleurs qui bascule ? ca existe ? ou alors de la replication entre 2 NAS en syncrone ?) Oui, ils ont une solution de réplication entre certains de leurs nas racks. Ont est plus dans la gamme Home ;). Mais si je peux avoir de la haute disponibilité du stockage avec une solution interne a proxmox, je prends. BQ_BEGIN Avec ceph, 0 bascule en cas panne d'un noeud, en prod depuis 5ans, jamais eu un plantage ou lag. (il faut juste apprendre les concepts, mais après tout roule). Si tu dois faire vraiment beaucoup d'io, prévoit des cpu avec des grosses frequences et pas mal de coeurs. (mes benchs avec les cpu à 100%: lecture 4k : 700.000 iops/s , ecriture 4K: 150 000 iop/s, avec 3 noeuds 24cores 3,1ghz chacun). BQ_END Pas forcément beaucoup d'io, on tourne actuellement sur du vmware, avec du disque non SSD... Du coup, pour ceph, je dois prévoir quoi? Style 2x500 go en SSD pour proxmox, et après style 4x1to SSD par serveur. Avec 4 serveur basé sur de l'amd epyc, ça me permettra d'avoir quoi on espace disponible pour les VM? 4*4to disponible, ça doit faire a minima 8to SSD, voir 12 si je me base sur un calcul type raid 5? Jamais fait de ceph, mais ça fait un moment que ça me titille... Ceph + cluster proxmox me donne accès a tout ( live motion, Snapshot, redémarrage sur un autre host, etc...)? Merci de ton retour d'expérience. Ça fait 6-7 ans que je bosse avec succès avec proxmox, et la le projet un peu plus évolué me tente bien ;) BQ_BEGIN ----- Mail original ----- De: "Olivier Lange" < [ mailto:olang...@gmail.com | olang...@gmail.com ] > À: "aderumier" < [ mailto:aderum...@odiso.com | aderum...@odiso.com ] > Cc: "Lucas Viallon" < [ mailto:lucas.vial...@gmail.com | lucas.vial...@gmail.com ] >, "frnog-misc" < [ mailto:frnog-m...@frnog.org | frnog-m...@frnog.org ] > Envoyé: Dimanche 26 Mai 2019 18:56:12 Objet: Re: [FRnOG] [MISC] Solution de virtualisation Alexandre, Je profite que tu sembles maîtriser... Tu préconise plutôt un nas syno en réplication, en full disques SSD ou plutôt des serveurs avec ses disques SSD en ceph? En terme de disponibilité, ha, scalabilité ? Merci. Olivier Le dim. 26 mai 2019 à 18:48, Alexandre DERUMIER < [ mailto: [ mailto:aderum...@odiso.com | aderum...@odiso.com ] | [ mailto:aderum...@odiso.com | aderum...@odiso.com ] ] > a écrit : Salut, je suis un des principaux contributeurs sur proxmox, j'espère ne pas te donner un avis biaisé. (on gère 3000 vms sous proxmox + ceph au taff) Concernant openstack, ca depend vraiment de la taille de ton équipe, openstack, ca fait tout, mais c'est quand meme l'usine à gaz. (et les montée de version pas facile) (à moins de partir sur une distro qui package tout, style mirantis [ [ https://www.mirantis.com/software/openstack/ | https://www.mirantis.com/software/openstack/ ] | [ https://www.mirantis.com/software/openstack/ | https://www.mirantis.com/software/openstack/ ] ] ). Ovirt, ca fait un bail que je l'ai pas utilisé, les anciennes version étaient pas top, mais ca semble s'etre bien améliorer. Pour proxmox, je pense que c'est le stockage qui va te limiter les fonctionalité. (snapshot, thin provisining,...). Je ne sais pas quel est ton modèle de NAS/SAN, mais si les api ne sont pas implémenter dans proxmox, le seul moyen de le gérer, c'est de faire un gros lun + du lvm coté proxmox pour gérer les disques. (mais pas de thin provisining, pas de snapshots). (A la limite, tu peux toujours recupérer tes ssd, et faire un cluster ceph) N'hésites pas à me demander si tu as des besoins spécifiques. ----- Mail original ----- De: "Lucas Viallon" < [ mailto: [ mailto:lucas.vial...@gmail.com | lucas.vial...@gmail.com ] | [ mailto:lucas.vial...@gmail.com | lucas.vial...@gmail.com ] ] > À: "frnog-misc" < [ mailto: [ mailto:frnog-m...@frnog.org | frnog-m...@frnog.org ] | [ mailto:frnog-m...@frnog.org | frnog-m...@frnog.org ] ] > Envoyé: Vendredi 24 Mai 2019 13:21:19 Objet: [FRnOG] [MISC] Solution de virtualisation Bonjour, Bon je sais ce n'est pas trop réseau mais je pose quand même la question, n’hésitez pas a faire des retours en privés pour ne pas ennuyer. Après avoir externalisé nos serveurs dans des cloud de grand nom, nous souhaitons maintenant les ré-internaliser. Nous avons eu de trop mauvaise expérience (Attention, on ne cherche pas de nouveau prestataire ou cloud). Nous avons donc un NAS haut de gamme bourré de SSD et supportant ISCSI, plusieurs serveurs pour faire des nodes, des switch cisco nexus 100% 10G bref que du bonheur pour moi en terme d’équipement. Aujourd'hui je dois choisir la solution software, de base j'ai ProxMox dans la tête mais je voulais connaitre l'avis de ceux qui comme moi on rapatrié ou on gardé en interne. Proxmox, OVirt, OpenStack que choisir ? sachant que nous aimerions disposer de la Haute Disponibilité avec si possible déplacement des VM a chaud. merci d'avance Lucas --------------------------- Liste de diffusion du FRnOG [ [ http://www.frnog.org/ | http://www.frnog.org/ ] | [ http://www.frnog.org/ | http://www.frnog.org/ ] ] --------------------------- Liste de diffusion du FRnOG [ [ http://www.frnog.org/ | http://www.frnog.org/ ] | [ http://www.frnog.org/ | http://www.frnog.org/ ] ] BQ_END --------------------------- Liste de diffusion du FRnOG http://www.frnog.org/
