Bonjour, si j'ai bien compris, tu n'as en fait pas besoin d'un ordonnanceur mais plutôt d'un gestionnaire de grille de calcul. Son rôle est justement de gérer les ressources du parc de nœuds de calcul en fonction de paramètres variés et qui peuvent dépendre de l'architecture de ceux-ci : nombre de CPUs, taille de la RAM, bande passante réseau, softs installés, ... On pense souvent qu'une grille de calcul est un outil dédié à du traitement intensif (HPC par exemple), alors que c'est en réalité un gestionnaire de ressource : il doit trouver un nœud capable d'exécuter la tâche soumise en fonction des contraintes de ladite tâche. Il peut également être couplé à un ordonnanceur pour la planification. Ce qui nous donne : - une tâche est planifiée : elle doit démarrer à telle heure, ou après telle autre. Il faut un scheduler. - comme par hasard, la tâche est en réalité une soumission à la grille de calcul. - le master de la grille analyse les contraintes de la tâche, les résoud et choisit parmi ses nœuds celui qui va exécuter réellement. - le nœud choisi exécute la tâche. Le mode d'exécution peut être synchrone (la commande de soumission ne rend la main qu'après la fin d'exécution de la tâche) ou asynchrone (la main est rendu dès que la soumission est acceptée, l'exécution se déroulant plus tard).
J'ai une bonne expérience de Open Grid Scheduler (http://gridscheduler.sourceforge.net/), fork de Sun Grid Engine (SGE). Pas d'évolution depuis 2011, mais pour l'instant ça ne me pose aucun problème. Un autre fork de SGE est Son of Grid Engine (https://arc.liv.ac.uk/trac/SGE) qui connaît plus d'activité mais sur lequel je n'ai pas d'expérience. Et n'importe quel scheduler peut convenir, par exemple JobScheduler pour rester dans du libre, puisqu'on lui demande d'exécuter une commande à une heure donnée sans qu'il sache ce qu'il exécute. Peu lui importe que ce soit un "ls", une commande de compilation ou de soumission à une grille... Patrice -----Original Message----- From: FRsAG [mailto:frsag-boun...@frsag.org] On Behalf Of Alexandre Sent: Monday, June 19, 2017 2:59 PM To: Luc Didry <l...@didry.org> Cc: frsag@frsag.org Subject: Re: [FRsAG] Recherche ordonnanceur libre Merci à tous pour vos réponses, Si j'ai bien tout noté, voici la liste des différents outils que vous m'avez proposé : chronos : https://mesos.github.io/chronos/ rundeck : http://rundeck.org/plugins/index.html metronome : https://github.com/dcos/metronome JobScheduler : http://www.sos-berlin.com/jobscheduler airflow : http://airflow.incubator.apache.org/ + outils : puppets, ansible Je vous avouerai, je suis un peu perdu. Pour vous donner plus d'info, je souhaiterai quelque choses de centralisé qui puisse aiguiller les traitements. Je vais vous donner un peu plus de contexte. Toutes nos machines sont en Linux basées sur des procédures d'installation pour respecter les versions des packages gérés par le système mais aussi des binaires développés et compilés maison. Toutes les machines sont génériques, avec des montages centralisés et peuvent effectuer les mm tâches (ou presque en fonctions des ressources physiques). Ces tâches seraient à dispatcher en fonction des ressources disponibles. Pour faire très très simple : ->si tache 1 sur machine 1 OK |-> passe à la tache 2 sur machine 2 |-> et exécute la tâche 3 sur machine 3 en parralèle si l'ancien traitement de la machine 3 est fini sinon machine 4. C'est très très simplifié mais c'est le besoin. Du coup il me faut une machine qui sache l'état des différents traitements et sous traitement pour pouvoir organiser / planifier / aiguiller notre chaine applicative. Pensez-vous que JobScheduler / rundeck / chronos / metronome ... sont fait pour ca ? avez vous d'autres outils que je pourrais testés ? D'ailleurs je pourrais vous faire un retour si cela vous intéresse. Par avance merci pour vos retours. Alexandre. On Wed, 07 Jun 2017 21:12:42 +0200 Luc Didry <l...@didry.org> wrote: > mercredi 7 juin 2017, 21:03:18 CEST Guillaume Tournat wrote: > > Je n'ai pas du tout accroche Salt. > > Les packages Debian sont nuls (ils ne se mettent pas à jour par > > apt-cron), il faut 50 dépendances, qui changent à chaque version. > > > > Et on ne sait jamais trop ce qu'il fait ou pas. > > Alors soit je m'y suis pris comme un pied, ce qui n'est pas à > > exclure, soit vraiment c'est nase. > > Alors Ansible : il fonctionne sans agent, il se connecte en SSH aux > serveurs. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/ [http://corporate.airfrance.com/sites/default/images/af_logo_france-is-in-the-air.gif]<http://www.airfrance.com> -- Accédez aux meilleurs tarifs Air France, gérez vos réservations et enregistrez-vous en ligne sur http://www.airfrance.com Find best Air France fares, manage your reservations and check in online at http://www.airfrance.com ________________________________ Les données et renseignements contenus dans ce message peuvent être de nature confidentielle et soumis au secret professionnel et sont destinés à l'usage exclusif du destinataire dont les coordonnées figurent ci-dessus. Si vous recevez cette communication par erreur, nous vous demandons de ne pas la copier, l'utiliser ou la divulguer. Nous vous prions de notifier cette erreur à l'expéditeur et d'effacer immédiatement cette communication de votre système. Société Air France - Société anonyme au capital de 126 748 775 euros - RCS Bobigny (France) 420 495 178 - 45, rue de Paris, Tremblay-en-France, 95747 Roissy Charles de Gaulle CEDEX The data and information contained in this message may be confidential and subject to professional secrecy and are intended for the exclusive use of the recipient at the address shown above. If you receive this message by mistake, we ask you not to copy, use or disclose it. Please notify this error to the sender immediately and delete this message from your system. Société Air France - Limited company with capital of 126,748,775 euros - Bobigny register of companies (France) 420 495 178 - 45, rue de Paris, Tremblay-en-France, 95747 Roissy Charles de Gaulle CEDEX ________________________________ Pensez à l'environnement avant d'imprimer ce message. Think of the environment before printing this mail. _______________________________________________ Liste de diffusion du FRsAG http://www.frsag.org/
