Re: Oeffentliche FTP-Server per rsync spiegeln?

[Markus Hochholdinger <Markus@xxxxxxxxxxxxxxxxx>]

Hi,

Am Samstag, 30. Juni 2007 22:24 schrieb Christian Weisgerber:
> Alexander Holler <holler@xxxxxxxxxxxxx> wrote:
> In der Praxis sind rsync-Server typischerweise durch Disk-I/O
> begrenzt.

da ich in letzter Zeit haeufig Server umziehe (virtualisiere) habe ich ein 
wenig Erfahrung mit rsync (ueber ssh) gesammelt.
Der erste Sync dauert ziemlich lange, weil ja alle Metadaten von Platte 
gelesen werden muessen und natuerlich auch die Daten uebertragen werden muessen. 
(Man sieht ja mit --verbose sehr schoen wann rsync mit dem Erstellen der 
Dateiliste fertig ist und das Kopieren anfaengt.)
Ein zweiter Sync kurz danach laeuft sehr schnell, da ja noch das meiste im 
Cache haengt und auch nicht mehr so viele Daten uebertragen werden muessen.

(Ich arbeite normalerweise so, dass ich einen Sync mache, bereite die Kopie 
auf ihren neuen Aufenthaltsort vor und teste. Alle Aenderungen an der Kopie 
merke (Dateien) ich mir. Kurz bevor es los geht mache ich den letzten Test, 
Sync, Aenderungen einspielen, kopiertes System hochfahren und testen. Dann 
beende ich alle Dienste (ausser ssh) auf dem Quell-Server, mache den letzten 
Sync, spiele die Aenderungen ein, fahre die Kopie hoch und richte eine 
IP-Weiterleitung auf dem Quell-System zum kopierten System ein.)

Jetzt habe ich festgestellt, dass je nach Anzahl der Dateien und verfuegbarem 
Hauptspeicher auf dem Quell-System die ganze Performance zusammenbricht, wenn 
der Cache nicht alles halten kann. Bei mir ist das passiert bei ca. 100000 
Dateien und 2GB RAM. Dann muss naemlich wieder von Platte gelesen werden und 
das kostet Performance.

Also waere meine Schlussfolgerung dass es auf die Daten und den verfuegbaren 
Hauptspeicher ankommt ob man rsync oder ftp/http einsetzen sollte. Wenn z.B. 
ein Datenbestand mit wenigen Dateien haeufig ausgeliefert wird, dann waere wohl 
rsync das Mittel der Wahl. Werden jedoch grosse Datenbestaende mit vielen 
Dateien ausgeliefert und der Cache kann es nicht halten, dann waere wohl eher 
ftp/http gefragt.

Hier geht es ja hauptsaechlich um die Vorbereitung der Datenuebertragung. Ich 
denke wir sind uns einig dass die eigentliche Datenuebertragung mit rsync, ftp 
und http ungefaehr gleich schnell sein wird.


-- 
Gruss
                                                          \|/
       eMHa                                              (o o)
------------------------------------------------------oOO--U--OOo--
 Markus Hochholdinger
 e-mail  mailto:Markus@xxxxxxxxxxxxxxxxx             .oooO
 www     http://www.hochholdinger.net                (   )   Oooo.
------------------------------------------------------\ (----(   )-
                                                       \_)    ) /
                                                             (_/



-- 
http://mailman.uugrn.org/mailman/listinfo/uugrn