Re: Job Scheduler (was: Re: File-Locking in Shellscripten auf NFS)

[Markus Hochholdinger <Markus@xxxxxxxxxxxxxxxxx>]

Hi,

in diesem Zusammenhang ist mir eben http://gearman.org/ ueber den Weg gelaufen:

Introduction
 Gearman provides a generic application framework to farm out work to other 
machines or processes that are better suited to do the work. It allows you to 
do work in parallel, to load balance processing, and to call functions 
between languages. It can be used in a variety of applications, from 
high-availability web sites to the transport of database replication events. 
In other words, it is the nervous system for how distributed processing 
communicates. A few strong points about Gearman: 
* Open Source  - It's free! (in both meanings of the word) Gearman has an 
active open source community that is easy to get involved with if you need 
help or want to contribute.
* Multi-language  - There are interfaces for a number of languages, and this 
list is growing. You also have the option to write heterogeneous applications 
with clients submitting work in one language and workers performing that work 
in another.
* Flexible  - You are not tied to any specific design pattern. You can quickly 
put together distributed applications using any model you choose, one of 
those options being Map/Reduce.
* Fast  - Gearman has a simple protocol and interface with a new optimized 
server in C to minimize your application overhead.
* Embeddable  - Since Gearman is fast and lightweight, it is great for 
applications of all sizes. It is also easy to introduce into existing 
applications with minimal overhead.
* No single point of failure  - Gearman can not only help scale systems, but 
can do it in a fault tolerant way.


Am 17.12.2010 um 18:39 Uhr schrieb Thomas Stiefel <Tom@xxxxxxx>:
> Hallo zusammen,
>
> ich bin neu hier und wollte auch mal meinen Senf dazu geben ;-)
>
> On Thu, Dec 09, 2010 at 10:23:03AM +0100, Alexander Holler wrote:
> > > Gibt es eine *einfache* Loesung basierend auf NFS?
> >
> >  Ich wuerde das eigentliche Problem beseitigen. D.h. die offensichtlich
> >  zentrale Aufgabe (sonst waere Mehrfachausfuehrung ja wohl kein
> >  Problem), zentral erledigen lassen, oder die Problemstellung so
> >  angehen, dass Mehrfachausfuehrung kein Problem ist.
>
> Ich sehe das genauso. Wenn es schon einen zentralen Server gibt, der fuer
> alle Jobs auf allen Clients benoetigt wird, dann sollten die Jobs am
> besten auch auf diesem zentralen Server laufen.
> Daher waere fuer mich die einfachste Loesung ein Script auf dem NFS-Server
> laufen zu lassen, das die Dateien von den Clients per rsync auf den
> NFS-Server kopiert.
>
> Dadurch muesste man nur auf einem Rechner einen Job per PID ueberwachen.
> Wenn einer der Clients nicht erreichbar ist, dann kann der Job einfach
> uebersprungen werden.
>
> Mi rsync und SSH-Keys ist sowas total easy einzurichten und das benutze
> ich eigentlich schon seit Jahren immer wieder in dieser Art.
>
> Gruss Tom


-- 
Gruss
                                                          \|/
       eMHa                                              (o o)
------------------------------------------------------oOO--U--OOo--
 Markus Hochholdinger
 e-mail  mailto:Markus@xxxxxxxxxxxxxxxxx             .oooO
 www     http://www.hochholdinger.net                (   )   Oooo.
------------------------------------------------------\ (----(   )-
Ich will die Welt veraendern,                           \_)    ) /
aber Gott gibt mir den Quelltext nicht!                      (_/



-- 
UUGRN e.V. http://www.uugrn.org/
http://mailman.uugrn.org/mailman/listinfo/uugrn
Wiki: https://wiki.uugrn.org/UUGRN:Mailingliste
Archiv: http://lists.uugrn.org/