Le 24/11/2014 16:10, Erwan Ben Souiden a écrit :
Bonjour,
Nos projets internes deviennent de plus en plus dépendants les uns des
autres : certains récupèrent des données, d'autres compilent ces
données, d'autres les analysent, d'autres les exportent, etc...
Du coup certains process sont bloquants pour que d'autres puissent
démarrer (bien entendu uniquement si ce dernier n'a pas rencontré de
problème).
J'aimerai savoir comment vous vous gérez ce genre de problématique de
scheduler gérant les dépendances entre plusieurs process sur
potentiellement plusieurs machines ?
- vous gérez simplement via cron
- vous testez si une ressource/notif/info quelconque soit ok et vous
bouclez en sleepant tant que ce n'est pas dispo (avec des gardes fous
pour éviter que ça sleep à l'infini)
- vous avez développé votre propre solution ?
- autre ?
En cherchant un peu, voici des solutions qui ont l'air pas mal (avec
des jolies interfaces pour suivre ce qui est lancé/fail/done) - les
avez vous testé?
- http://airbnb.github.io/chronos/ <http://airbnb.github.io/chronos/>
(une sorte de cron un peu plus poussé pour gérer de la dépendance avec
une GUI)
- https://github.com/spotify/luigi <https://github.com/spotify/luigi>
(la sollution home made de spotify)
J'ai pu lire aussi que certains utilisaient Jenkins pour faire ça,
mais ça me semble très lourd.
On se dirige vers une solution en interne mais j'aimerai bien avoir
votre retour et échanger sur comment vous faîtes de votre côté :)
Merci d'avance !
/Erwan
Je suppose que tu souhaites du libre, car il ya plein de gros tenors sur
ce créneau comme Control-M, $Univers...
Liste ici :
https://fr.wikipedia.org/wiki/Ordonnancement_de_t%C3%A2ches_informatiques#.C3.89diteurs
J'ai vu récemment une conf où ils parlaient de rundeck
(http://rundeck.org/), certainement à prendre en considération.
Sinon, à l'époque où j'ai aussi regarder ce genre de besoin, j'avais vu
qu'il y en avait quelques uns, mais assez orienté cluster de calcul.
Dans ma Debian, je trouve :
- Torque (http://www.clusterresources.com/pages/products/torque/)
- Grid Engine (http://gridengine.sunsource.net)
- OAR (http://oar.imag.fr/)
_______________________________________________
Liste de diffusion du FRsAG
http://www.frsag.org/
