Изпечатай

[Oxy]

Здравейте колеги!
Имам странен проблем. Имаме един сървар убунту 8.04 ЛТС. Ситуацията е следната на сървара вървят няколко услуги които се ползват много и имат доста данни обем около 160 гигабайта заети. Имаме около 90 още свободни. Понеже се оказа бекъп системата за последни е извъртяла преди 8 месеца трябва да направим някакъв бекъп на всичко (+ конфигурационните файлове). Сега понеже сървара ще се мигрира на нова машина не върви да настройваме Бакула или нещо от типа. Някой има ли идея как да го източим този сървар? Сървара се достъпва през SSH и не е виртуалка. Да ходим до дейта центъра не върви. Имате ли идея как можем да го източим отностилено бързо? Бързо значи около 60 часа. Проблема е следния чрез scp не успя да докопа и 1/5 от данните за 20 часа. Връзката е много добра 10 мегабайта/секунда, но проблема е в многото на брой малки файлове. Примерно снимки от мероприятия. Другото лошо нещо е, че системите са пръснати, съхраняват си данните където си искат и понеже са писани от студенти като нас, нямат документация къде какво и защо....
Някакви идеи как да го извършим това? Евентуално си мисля за SFTP за да може да сваля паралелно файлове, но това ще скъси с 1/10 времето, защото се позволяват до 10 паралелни заявки. Другия вариант евентуално си мислихме е да направим копие на хард диска. Обаче е несъобразно защото ще получим и 60 гигабайта нули...

[bop_bop_mara]

За 160 ГБ мисля, че rsync би трябвало да свърши работа. Лятото претакахме около 60тина ГБ в домашен LAN с rsync и отне едноцифрено число часове.

[plamen_f]

Два лесни варианта:

1. както каза Марчето - rsync:
http://www.thegeekstuff.com/2010/09/rsync-command-examples/

2. в подобен на твоите случаи ползвам това - sbackup:
https://help.ubuntu.com/community/BackupYourSystem/SimpleBackupSuite


  - помага много!

[Intel]

rsync -avz -e "ssh -p number" remoteuser@remotehost:/var /home/user, изпълнена от машината, върху която бекъпваш. Има и по-добри варианти със снапшоти, но мисля, че трябва да имаш директен достъп до машината за тях, а и повече време отнема конфигурацията, която ще имаш с рсинк - другото може да се инсталира бързо.

[Drago_]

Мисля, че това също би ти свършило работа

http://compsoc.dur.ac.uk/~djw/tarpipe.html

[dejuren]

Мисля, че това също би ти свършило работа

http://compsoc.dur.ac.uk/~djw/tarpipe.html

//off Ау, до неткат ли го допряхме.... Работата е по-дебела, отколкото изглежда.

[Drago_]

Все още има хора които ползват некат и cat > file.txt ..... CtrlD   

[plamen_f]

Браво бе - голяма помощ му удряте на човека

[morbid_viper]

10 МБ/с не е кой знае колко за такива обеми. Все пак ходене на място с диск дори през USB ще даде по-добри резултати - например аз около 2 ТБ ги копирам за 10-тина часа на 3 ТБ диск 5400 rpm в USB кутия.

За по мрежата иначе лечението на малките файлове е:

tar -C /path/to/src/dir -jcf - ./ | ssh user@server 'tar -C /path/to/dest/dir -jxf -'

все пак rsync има предимството и че можеш да го спреш когато си искаш, а и добре се справя с малките файлове - просто се чака повечко в началото докато обходи двете дървета. аз ежедневно прехвърлям гигабайти архиви, но по гигабитова връзка  и ползвам rsync за целта.