Re: [FRsAG] infrastructure web et montées en charge ponctuelles
Le sujet initiale a été mis de coté par rapport à des questions de performance Même optimiser au maximum, a un moment, le scaleout sera la seul solution si la montée en charge est trop forte. L'idée de machine prête à venir en soutien était intérressante... donc si j'ai bien compris le bottleneck est le traitement PHP, et les > caches Memcache ne sont pas une solution. Les accès DB ne sont pas le > bottleneck, right ? > bah non Si on reste dans le domaine de l'optimisation des perfs, du cache et d'un site qui répond mieux (sur la même machine), dans ce domaine, on retrouve souvent la phrase suivante (qui a déjà été largement évoqué lors de ce thread)... "Performance tuning is art not science" ;) Donc, globalement, il y a certaines "best practices" mais chaque cas est différent et va dépendre du site et de l'application... Gérer un dimensionnement et la répartition de charge et les perfs qui vont avec, c'est une compétence à part entière qui nécessite des connaissances, de l'analyse, de la réflexion, et une solution adaptée à chaque cas malheureusement ... Il n'existe pas de "apt-get install sitemarchemieux && /etc/init.d/sitemarchemieux start"... ;) ++ Le 22 janvier 2014 08:43, Greg a écrit : > Bonjour, > > donc si j'ai bien compris le bottleneck est le traitement PHP, et les > caches Memcache ne sont pas une solution. Les accès DB ne sont pas le > bottleneck, right ? > > Si c'est le cas, à mon avis il faut faire maigrir l'application. Ne pas > utiliser de framework lourd type Symfony ou ZF, mais plutôt du > micro-framework voir pas de framework du tout. > Phalcon ou HHVM sont des solutions alternatives, avec leurs avantages et > inconvénients. > > Des outils comme le profiler de Xdebug, NewRelic, Apps Dynamics, > permettent d'identifier les bottlenecks au sein de l'app php. > > Au niveau infra, migrer de CGI à FPM peut aider un peu. NGiNX a une > fonctionnalité utile dans ce cas, où il maintient la connexion avec les > processes PHP: fastcgi_keep_conn > http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive > > Greg > > > > Le 21 janvier 2014 21:51, Alexandre a écrit : > > On 21/01/14 15:11, Damien Wetzel wrote: >> >>> Bonjour Alexandre, >>> Pourquoi as tu arreté akamai ? >>> >> >> J'ai dit ca ? >> >> >> Si tu as du contenu statique cachable, je peux te proposer un solution >>> CDN à la demande >>> à prix compétitif, utilisable que dans ta période de pointe. >>> Je travaille avec les principaux CDN. >>> >> >> C'est noté. >> >> Merci. >> >> >> Cordialement, >>> >>> Alexandre writes: >>> > Bonjour à tous, >>> > >>> > c'est surement un sujet déjà abordé mais, je me permets de vous >>> reposer >>> > la question : >>> > >>> > Quelles sont les possibilités pour absorber les montées en charge >>> > ponctuelles d'une infrastructure web ? >>> > >>> > Actuellement, nous migrons une partie de l'infra web qui était >>> > principalement composée de serveurs apache + php5 + apc vers des >>> > serveurs lighttpd + php5-cgi + memcache. Cette migration partielle >>> nous >>> > a permis de maitriser la charge des machines. Cependant, lors d'un >>> > évènement ponctuel, le trafic est si important que notre >>> infrastructure >>> > est au maximum de sa puissance de calcul même après y avoir placé des >>> > revers proxy sous varnish. Le service est rendu mais lent. Nous >>> avons la >>> > possibilité de désactiver des fonctionnalités à la volée pour >>> soulager >>> > le traitement, mais cela reste une façon de contourner le problème. >>> Nous >>> > avions pensé à "muscler" notre infra en y ajoutant plus de machines. >>> > Au-delà du prix, je me demande l'intérêt d'avoir une puissance de >>> calcul >>> > aussi élevée pour 3 semaines max d'utilisation. J'ai donc pensé à des >>> > machines (type cloud) qui seraient préparées en amont et qui >>> pourraient >>> > être activées sur demande (via une api ?) avec une facturation à >>> > l'utilisation. >>> > >>> > Ce service doit surement exister chez amazon, gandi, ovh ... >>> L'avez-vous >>> > déjà utilisé ? En êtes-vous satisfait ? Quelles sont les limites de >>> ce >>> > service ? Avez-vous d'autres solutions qui seraient plus adaptées ? >>> > >>> > Alexandre. >>> > ___ >>> > Liste de diffusion du FRsAG >>> > http://www.frsag.org/ >>> > >>> >>> ___ >> Liste de diffusion du FRsAG >> http://www.frsag.org/ >> > > > ___ > Liste de diffusion du FRsAG > http://www.frsag.org/ > > ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Vos retours sur le stockage distribué / Glusterfs ?
Testé il y a 3 ans, GlusterFS n'a jamais passé le cap de la maquette chez moi. Sur le papier, c'est l'outil parfait dont tout le monde rêve, en réalité, c'est un gros bouzin qui n'en fait qu'a sa tête à base de surcouche applicative plus opaque les unes que les autres... > par exemple à base d'elasticsearch Comment ca se passe la réplication et reconstruction sur de gros volumes de données comme ce qu'il veut traiter ? Parceque c'est plus adapté pour de la donnée flat/json que du fichier... Dans le même genre, J'avais envie de monter un lab avec du couchdb (qui gère les attachements/medias avec le document JSON) mais j'ai lu (1 fois :\) que sur la syncrho avec bcq de gros attachements ca s'effondre... Les "clusters NOSQL" sont super pour la simplicité de mise en oeuvre mais pas forcément adapté à du binaire.. Le 12 décembre 2014 13:37, Greg a écrit : > > Bonjour, > > J'ai testé GlusterFS en production, ce fus une très mauvaise expérience. > Ceph était beaucoup plus stable même si j'ai eu quelques trucs bizarres. Au > final on utilise ce bon vieux NFSv4 qui est le plus mauvais niveau > performance, mais le plus stable ... > > Aujourd'hui, si possible, je pense que je partirais sur une solution très > différente, par exemple à base d'elasticsearch qui est ultra-stable, > performant, scalable, un bonheur pour les sysadmins, mais qui nécessite > plus d'adaptation coté application. > > Greg > > > Le 12 décembre 2014 13:21, Pierre Schweitzer a écrit > : > >> Bonjour, >> >> On 12/12/2014 12:32 PM, fr...@jack.fr.eu.org wrote: >> > glusterfs ne m'a pas donné l'impression d'être un projet "qui a classe". >> > J'ai plutôt eu l'impression d'avoir une paire de script, qui marchent, >> > mais pas trop >> >> C'est un peu ça oui. >> Pour avoir utilisé GlusterFS pendant un temps certain en production, >> c'est extrêment chaotique avec des situations où GlusterFS refuse >> purement et simplement de fonctionner sans messages d'erreurs d'aucune >> sorte nul part. >> >> Sans compter des applications qui finissent en D sur le GluterFS sans >> vraiment de raisons connues. Ce qui grève fortement les performances et >> la stabilité de l'ensemble. >> >> À noter également l'incompatibilité entre le NFS server utilisé par la >> distribution et celui de GlusterFS (si si) qui peut mener à de sacrés >> sketchs lorsque vous exportez du NFS hors de GlusterFS. >> >> Bref, autant dire que les backups ont servi plusieurs fois... >> >> Je déconseille fortement en production. >> >> > >> > On 12/12/2014 12:14, Jerome LE TANOU wrote: >> >> Bonjour, >> >> >> >> - Nous souhaitons mettre un oeuvre une solution de stockage d'au moins >> >> 200To utiles qui seront accédés en mode fichiers (NFS, CIFS). >> >> - Il faudrait que l'on puisse disposer d'une redondance permettant de >> >> pallier à la panne d'un ou plusieurs disques ou d'un noeud. >> >> - Il est acceptable d'avoir une interruption de service pour redémarrer >> >> le service en cas de panne majeure dans la limite de 4H. >> >> >> >> - A noter qu'actuellement nos utilisateurs utilisent énormément de >> >> petits fichiers (plus de 400 millions de fichiers de moins de 128ko). >> >> - A noter que pour convenance du service, les systèmes hôtes seront >> sous >> >> Debian. >> >> >> >> Au vue des différents articles, documentations que nous avons consulté, >> >> nous penchons vers le choix de GlusterFS. >> >> Toujours à la suite de nos lectures, nous pensons partir sur une >> >> implémentation en "Distributed Replicated Volume" basée sur 2 briques >> >> (qui seront hébergées sur 2 sites distants interconnectés en 10Gbps) >> >> composées chacune d'au moins 2 noeuds (voire 4). >> >> >> >> Bien entendu, avant d'investir et de partir en production nous allons >> >> maquetter cela. >> >> Toutefois, on se dit que plusieurs d'entre nous ont surement testés >> cela >> >> voire même mis en oeuvre ce type de solution et pourraient nous faire >> >> gagner du temps voire nous suggérer d'autres implémentations. >> >> >> >> Du coup, comme vous l'avez surement compris nous sommes intéressé pour >> >> tout retour sur l'utilisation de GlusterFS, notamment sur les choix que >> >> vous avez pu faire. >> >> De même nous serions intéressé pour avoir des retours sur un couplage >> >> GlusterFS et ZFS. >> >> >> >> Si vous avez également des retours heureux sur d'autres systèmes de >> >> stockage distribué qui pourraient satisfaire nos besoins, nous sommes >> >> intéressés. >> >> >> >> Merci d'avance. >> >> >> >> Jérôme LE TANOU >> > >> > >> >> >> -- >> Pierre Schweitzer >> System & Network Administrator >> Senior Kernel Developer >> ReactOS Deutschland e.V. >> >> >> ___ >> Liste de diffusion du FRsAG >> http://www.frsag.org/ >> >> > > > -- > Greg > > ___ > Liste de diffusion du FRsAG > http://www.frsag.org/ > > ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Vos retours sur le stockage distribué / Glusterfs ?
Quelqu'un a testé ca ? http://www.xtreemfs.org/ Je suis tombé dessus lorsque j'ai refait un tour du web la dernière fois sur "distribued file system", et j'avoue que c'est pariel, si je m'en tiens au site internet et la présentation, je me dis que mes soucis de stockage sont enfin terminés (belle utopie :) ).. Sinon, j'ai aussi la partie stockage d'openstack à tester (mais j'ai peur d'avance..) . OVH n'a plus de soucis avec hubic depuis qu'ils ont basculé là-dessus d'après les bruits de couloir :) je dérive un peu par rapport à ton besoin initial mais bon, une fois qu'on a un bon système clusterisé qui encaisse des To sur des To sans crainte... tu mets un point d'entrée NFS quelque part et t'es tranquille... Le 12 décembre 2014 15:49, Olivier DELHOMME < olivier.delho...@mines-paristech.fr> a écrit : > > Bonjour, > > - Mail original - > > De: "Pierre DOLIDON" > > À: frsag@frsag.org > > Envoyé: Vendredi 12 Décembre 2014 14:30:01 > > Objet: Re: [FRsAG] Vos retours sur le stockage distribué / Glusterfs ? > > > > Bonjour. > > > > J'ai effectivement pu constater des bugs sur glusterfs, particulièrement > sur > > des environnements web répliqués. Les serveurs partaient en sucette > > fréquemment. > > Cette histoire de NFS qui est assez pénible aussi. > > > > Actuellement je bench une solution articulée autour de DRDB en > > primary/primary avec un filesystem OCFS2 par dessus (monté sur les 2 > > serveurs bien sur). > > J'ai du DRDB actif/actif avec GFS2 dessus. L'arrêt d'une machine, > voulu ou non implique invariablement un split brain qu'il faut > résoudre manuellement ! > > J'ai par ailleurs une architecture avec GlusterFS en Distributed > Replicated Volume. Je dois dire que ce n'est pas beaucoup mieux > et que lorsque ça marche on n'y touche plus ! > > Je louche très fortement sur Ceph qui est en comparaison beaucoup > plus stable (le début du développement de Ceph date de 2004). > Je n'ai pas du tout testé CephFS dont la brique FS n'est pas > supportée au delà d'un seul noeud (pour le moment). > > Notez que lors de mes essais (avec du vieux matériel datant de > 2005) Ceph a été performant avec des tailles de bloc importantes > de l'ordre de 4Mo et 30x moins bon avec des tailles de bloc de 4ko. > > > A bientôt, > > Olivier DELHOMME. > > > ___ > Liste de diffusion du FRsAG > http://www.frsag.org/ > ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] cherche cas usage des regex dans la vraie vie
Nice one :)
Le 11 février 2015 11:40, Florian Vanneroy a écrit :
> Hello,
>
>
>
>par exemple dans le cadre de la mise en place d’un SIEM, quand tu
> redirige des dizaines de flux syslog vers une unique machine dans le but de
> les traiter, pour faire de la simple remontée d’alertes, du thread
> intelligence, ou encore pour faire de la corrélation de logs… Il te faut
> des regex assez pointues sinon soit tu catch rien, soit tu catch n’importe
> quoi ou trop de choses (et donc tu pourris ta DB).
>
>
>
> Ce que je veux catcher (proxy McAfee) :
>
>
>
> Feb 10 09:20:27 Mcxxx mwg: [10/Feb/2015:09:20:10 +0100] "Mcxxx" "Florian"
> 10.1.1.1 188.40.1.1 "secure.eicar.org" 403 "-" 374 461 "GET
> https://secure.eicar.org/eicar_com.zip HTTP/1.1" "Information Security"
> "Minimal Risk" 7 "Gateway Anti-Malware/Block If Virus was Found" 80
> "Malware found" true "McAfeeGW: EICAR test file" false "-" "-" "
> http://www.eicar.org/85-0-Download.html"; "Mozilla/5.0 (Windows NT 6.1;
> WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"
>
>
>
>
>
> Ma regex :
>
>
>
>
> .*(?P\w{3}\s+\d{1,2}\s+\d{2}\:\d{2}\:\d{2})\s.*\s\"(?P.*)\"\s+(?P[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})\s+(?P[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})\s+\"(?P.*)\"\s\d{3}\s\".*\"\s\d{1,5}\s\d{1,4}\s\"(?P[A-Z]+\s+.*?)\s[A-Z]+.*Malware\s+found\".*?\"(?P.*?)\"\s.*?\s\".*?\"\s+\".*?\"\s+\"(?P.*?)\"\s+\"(?P.*?)\".*
>
>
>
> Ma bible est https://www.regex101.com/, tu peux donc tester ma regex et
> voir ce que je récupère proprement J
>
>
>
> Florian.
>
>
>
> *De :* FRsAG [mailto:frsag-boun...@frsag.org ] *De
> la part de* Mihamina RAKOTOMANDIMBY
> *Envoyé :* mercredi 11 février 2015 06:29
> *À :* frsag@frsag.org
> *Objet :* [FRsAG] cherche cas usage des regex dans la vraie vie
>
>
>
> Bonjour,
>
> Je dois faire un mini exposé sur les regex.
> Ca m'interesserait de pouvoir donner des exemples sur les recherches dans
> les logs.
> Je cherche donc des cas d'usage, dans lesquels il faut utiliser des regex
> pour trouver ce qu'on veut.
> Les truc du genre " $grep Error access.log" me semblent inutile pour ce
> coup là :-) du fait de la trop facilité du pattern.
>
> Le public: des sysadmins juniors *et* des devs web à qui on souhaite
> introduire à la recherche des erreurs dans les fichiers d'erreur (Apache,
> Tomcat, MySQL, PGSQL, Postfix, Exim,...)
>
> Auriez-vous des cas d'usage (bonus: avec la résolution et un sample)?
>
> Merci bien.
>
> ___
> Liste de diffusion du FRsAG
> http://www.frsag.org/
>
>
___
Liste de diffusion du FRsAG
http://www.frsag.org/
Re: [FRsAG] Windows Server 2012R2 : connexion via telnet, mais pas via IE
F11 ou F12 je sais plus et l'inspecteur d'élements et ressources... Y'a une trace aussi des demandes réseaux que fait IE, tu verras si il essaye d'envoyer quelque chose... Autre point à vérifier, y'a que TON serveur cible qui plante ou toutes les pages web (y compris google) échoue ? ++ Le 23 mars 2015 19:03, Franck Routier a écrit : > Bonjour, > > Disclaimer: je suis un néophyte de Windows, et je suis confronté à un > problème qui devrait être trivial, et sur lequel je bute depuis plusieurs > jours... > > Sur un serveur Windows 2012R2, je parviens à me connecter à un serveur web > (sur le réseau local) via "telnet mon-ip 80". J'obtiens une connexion, et > sur un GET, je reçois le html attendu. > De la même façon, Invoke-WebRequest -OutFile index.html " > http://mon-ip/context/"; récupère bien le fichier concerné. > > Mais, depuis IE, j'obtiens "Cette page ne peut pas s’afficher". Le > diagnostic réseau m'indique "Le périphérique ou la ressource distant > n'accepte pas la connexion"... (et pourtant... :-) ) > > J'ai vérifié que les Enhanced Security Configuration de IE sont bien > désactivés. > J'ai regardé si IE utilise un proxy, et je ne pense pas (mais là il y a > peut-être des settings cachés ??) > J'ai récupéré un firefox-portable sur cette machine, et lui aussi échoue > au lancement en réclamant une connexion internet... > > J'ai tenté ma chance là http://superuser.com/questions/891955/on-windows- > server-2012-i-cannot-connect-with-ie-but-telnet-or-powershell-works mais > sans succès... > > Quelqu'un a une idée ? > > Merci d'avance > Franck > ___ > Liste de diffusion du FRsAG > http://www.frsag.org/ > ___ Liste de diffusion du FRsAG http://www.frsag.org/
Re: [FRsAG] Windows Server 2012R2 : connexion via telnet, mais pas via IE
Euh.. juste pour être sûr (parceque ca m'est déjà arrivé)... dans le IE, tu
tapes bien l'adresse IP aussi de la machine (comme en telnet), et pas son
nom DNS ? si DNS => vérifie que tu as un DNS opérationnel sur le poste...
Le 24 mars 2015 11:21, Franck Routier a écrit :
>
>
> Le 24/03/2015 10:42, RegisM a écrit :
>
> F11 ou F12 je sais plus et l'inspecteur d'élements et ressources... Y'a
> une trace aussi des demandes réseaux que fait IE, tu verras si il essaye
> d'envoyer quelque chose...
>
> Bonne idée, mais non : rien d'intéressant, si ce n'est qu'il m'affiche
> instantanément la page d'erreur res://ieframe.dll/dnserror.htm ("Cette ne
> peut pas s'afficher, vérifier que l'adresse est correcte, etc...")
>
>
> Autre point à vérifier, y'a que TON serveur cible qui plante ou toutes
> les pages web (y compris google) échoue ?
>
> Non, tout échoue, mais pour le net, c'est sans doute normal (je suis chez
> un hébergeur, et le serveur n'est pas sensé accéder à internet).
> Par contre je suis sensé accéder à mon autre serveur (Linux), et ça marche
> en effet, mais uniquement en ligne de commande (telnet ou
> Invoke§WebRequest), pas avec IE, ni avec Firefox-portable, qui m'affiche :
> - loading
> puis
> - Erreur de connexion Internet - Veuillez vous connecter à internet et
> cliquer sur OK pour continuer
>
> Mes vérifs :
> - le pare-feu Windows est inactif (Gestionnaire de serveur / Serveur local
> / Pare-feu Windows - Privé : inactif)
> - les ESC d'IE sont inactives (Gestionnaire de serveur / Serveur local /
> Configuration de sécurité renforcée d'Internet Explorer: inactif)
> - IE ne cherche pas à passer par un proxy (netsh winhttp show proxy :
> Accès direct (sans serveur proxy))
>
> J'ai tenté comme suggéré un tcpdump (en fait un netsh trace), mais je n'ai
> pas les droits requis...
>
> D'autres idées ?
>
>
> ++
>
> Le 23 mars 2015 19:03, Franck Routier a écrit :
>
>> Bonjour,
>>
>> Disclaimer: je suis un néophyte de Windows, et je suis confronté à un
>> problème qui devrait être trivial, et sur lequel je bute depuis plusieurs
>> jours...
>>
>> Sur un serveur Windows 2012R2, je parviens à me connecter à un serveur
>> web (sur le réseau local) via "telnet mon-ip 80". J'obtiens une connexion,
>> et sur un GET, je reçois le html attendu.
>> De la même façon, Invoke-WebRequest -OutFile index.html "
>> http://mon-ip/context/"; récupère bien le fichier concerné.
>>
>> Mais, depuis IE, j'obtiens "Cette page ne peut pas s’afficher". Le
>> diagnostic réseau m'indique "Le périphérique ou la ressource distant
>> n'accepte pas la connexion"... (et pourtant... :-) )
>>
>> J'ai vérifié que les Enhanced Security Configuration de IE sont bien
>> désactivés.
>> J'ai regardé si IE utilise un proxy, et je ne pense pas (mais là il y a
>> peut-être des settings cachés ??)
>> J'ai récupéré un firefox-portable sur cette machine, et lui aussi échoue
>> au lancement en réclamant une connexion internet...
>>
>> J'ai tenté ma chance là
>> http://superuser.com/questions/891955/on-windows-server-2012-i-cannot-connect-with-ie-but-telnet-or-powershell-works
>> mais sans succès...
>>
>> Quelqu'un a une idée ?
>>
>> Merci d'avance
>> Franck
>> ___
>> Liste de diffusion du FRsAG
>> http://www.frsag.org/
>>
>
>
>
___
Liste de diffusion du FRsAG
http://www.frsag.org/
Re: [FRsAG] Soutenir FRsAG
A payé... :) Le 18 mai 2016 à 14:41, SIMANCAS Hugo a écrit : > Fait aussi ^^ > > -Message d'origine- > De : FRsAG [mailto:frsag-boun...@frsag.org] De la part de Benoit Mortier > Envoyé : mercredi 18 mai 2016 14:39 > À : frsag@frsag.org > Objet : Re: [FRsAG] Soutenir FRsAG > > Le 18/05/16 à 14:12, Greg a écrit : > > Bonjour, > > Bonjour, > > > Je viens de renouveler les frais d'hébergement ainsi que les noms de > > domaines nécessaire au bon fonctionnement de FRsAG. > > > > Si vous souhaitez soutenir financièrement l'asso, vous pouvez faire un > > don Paypal, même 1€ car si tout le monde participe c'est suffisant ! > > => http://frsag.org/ > > done :) > > Bonne apres-midi > > -- > Benoit Mortier > CEO > OpenSides "logiciels libres pour entreprises" : http://www.opensides.eu/ > Promouvoir et défendre le Logiciel Libre http://www.april.org/ Main > developper in FusionDirectory : http://www.fusiondirectory.org/ Official > French representative for OPSI : http://opsi.org/ > > ___ > Liste de diffusion du FRsAG > http://www.frsag.org/ > ___ Liste de diffusion du FRsAG http://www.frsag.org/
