образно: е сторадж1 на який йде 1 гігабіт з резервним живленням. Дебіан. Розташований у ДЦ. До нього по iscsi пыдключений veeam який туди складає бекапи. Цей єтап працює. З'явився synology з цілью якщо раптом що то хапати його з останніми бекапами та іхати відновлювати у другому місці. Сінолоджи мало того що підключений до ДЦ 100 мбіт та й ще й канал через відключення периодично лягає. Підкажіть чим можна сінхронізувати ці два стораджі? Умови - можливість докачки та видалення старої копіі на віддаленому сховищі тільки після повного копіювання нової версії щоб якщо час Ж приде під час копіювання не лишитись без жодної версії замість хочаб застарілої.
Якщо є Veeam, що керує резервними копіями, то повісити на нього ще виконання Backup Copy Job на цей новий репозитарій у вигляді Synology. Veeam й буде відслідковувати й показувати власне статус цієї реплікації.
-=ViC=- 25.01.2023 17:11 пишет: Якщо є Veeam, що керує резервними копіями, то повісити на нього ще виконання Backup Copy Job на цей новий репозитарій у вигляді Synology. Veeam й буде відслідковувати й показувати власне статус цієї реплікації.
Про копіюваноя ще не читав, але резервування не вміє докачуввти після розриву зв'язку. Якщо копіювання вміє то це вихід, Я поки з ним тільки розбираюсь, я вірно розумію що якщо у копіях поставити кількість версій 2 то буде по 2 копії як повного так й інкрементальнтх копій, та після синтетичної зборки повного воно попередню версію не затре до закінчення копіювання нової?
Якщо ваші яйця настільки сталеві, що не бояться лежати в кошику Veeam, то не ясно, чим він не підходить для бекапу на Synology. З розуміння цього питання можна придумувати якісь поради.
P.S. Півтора роки тому проводив моніторинг чим простіше забезпечити репліку+бекап віртуалок. Veaam переміг всюди, окрім країни походження його батьків засновників. Тому у мене він стоїть виключно в місцях, що не мають виходу до Інтернету та не на критичних задачах. Цікаво, що останній дзвінок з Пітера я отримав 23-лютого. Менеджер чудово все розуміла, і готова була навіть сказати ПТН-ПНХ.
у synology є опція розшарити папку по NFS , це, якщо э у сінолоджи білий стаціонарний айпі. У мене є убунту, але ніякого додаткової тулзи не маю, тому на колінці написав скрипт в звязці rsync + tar --gzip та переносом через примонтовану папку synology, а взагалі можна і через scp.
якщо коннект не стабільний, я б радив тоді прямо перед початком виклику rsync спробувати примаунтити папку NFS, якщо вдало - то тоді тупо rsync та і все, навіть без tar/scp.
Навіть якщо періодично падає звязок, rsync вміє ж докачувати та добавляти пропущені файли.
AL® 25.01.2023 18:01 пишет: у synology є опція розшарити папку по NFS , це, якщо э у сінолоджи білий стаціонарний айпі. У мене є убунту, але ніякого додаткової тулзи не маю, тому на колінці написав скрипт в звязці rsync + tar --gzip та переносом через примонтовану папку synology, а взагалі можна і через scp.
якщо коннект не стабільний, я б радив тоді прямо перед початком виклику rsync спробувати примаунтити папку NFS, якщо вдало - то тоді тупо rsync та і все, навіть без tar/scp.
Навіть якщо періодично падає звязок, rsync вміє ж докачувати та добавляти пропущені файли.
За rsync першим подумав але нюанс в тому що розмір +-4ТБ та може статись таке що воно ще не докачало попередню версію а вже створило нову. (синтеичний повний бекап раз у тиждень) Канал 100 мбіт, влан між ДЦ та локацією, світло нажаль непередбачувано є чи ні 2 Daugava - veeam лишився у спадок. При резервуванні воно точно не вміє докачувати а от при копіюванні? Бо https://helpcenter.veeam.com/docs/backup/vsphere/replica_resume_disconnect.html?ver=110 тут про це не вказано саме у варіанті backup copy job
VovkZ 25.01.2023 20:36 пишет: Можливо я промахнувся десь в розрахунках, але 4Тб через 100 МБітний канал в ідеальних умовах буде качатися біля 5 днів.
на практиці довше. Тут хоча б переносити повні бекапи без інкрементів, причому таки не видаляти попередній доки новий не докачається. За умови повного раз у тиждень воно як раз за цей тиждень можливо перекачає.
freefilesync.org - щнайшов випадково, на перший та другий погляд це воно. Тестую. Є й безпечна синхронізація через тимчасовий файл, робота по розкладу або зміні в папці, анонсують продовження після розриву з'єднання. Подивлюсь.
Djohny 26.01.2023 01:14 пишет: freefilesync.org - щнайшов випадково, на перший та другий погляд це воно. Тестую. Є й безпечна синхронізація через тимчасовий файл, робота по розкладу або зміні в папці, анонсують продовження після розриву з'єднання. Подивлюсь.
Подивись та роскажи - бо в мене навіть бекап третій місяц не робить - часу не вистачає Може якось на локальний диск буде встигати, а звідти щоб стягувало з папки на інші дзеркала та кіляло на основному.
З того що поки що вилізло: Для експерименту додав backup copy job , швидкість закачування 11 МБ/с Зробив донат на freesync, отримав платну версію, з можливістю настроювання швидкості, у два потоки швидкість скаче від 4 до 10, середня 7. На рахунок докачуввння поки не зрозумів у обох випадках.
Як на мене тут як раз сказано зворотнє, що Veeam всюди підтримує відновлення своїх процесів, при розриви зв'язку до 30 хвилин. Навіть наведений приклад, якщо віртуалка мала два диски А та Б, і до моменту розриву зв'язку по диску А вже передалося 20Гб, а по диску Б не передалося нічого, то при відновленні диск А буде передаватися з цих 20Гб, а Б поїде з нуля.
Практичний мій досвід з цим збігається. У нас досить часто (кілька разів на рік) канал між датацентрами зникає на кілька секунд. Проблем з докачкою не виникало. Щоправда у мене між датацентрами ходить тільки репліка. Full Backup робиться на резервному датацентрі з отриманої репліки по мережі 10Гб. З ним бували проблеми, коли пройшла репліка якоїсь віртуалкі в процесі її бекапу. Я просто розніс процеси по часу і проблема вирішилася.
Як на мене тут як раз сказано зворотнє, що Veeam всюди підтримує відновлення своїх процесів, при розриви зв'язку до 30 хвилин. Навіть наведений приклад, якщо віртуалка мала два диски А та Б, і до моменту розриву зв'язку по диску А вже передалося 20Гб, а по диску Б не передалося нічого, то при відновленні диск А буде передаватися з цих 20Гб, а Б поїде з нуля.
Практичний мій досвід з цим збігається. У нас досить часто (кілька разів на рік) канал між датацентрами зникає на кілька секунд. Проблем з докачкою не виникало. Щоправда у мене між датацентрами ходить тільки репліка. Full Backup робиться на резервному датацентрі з отриманої репліки по мережі 10Гб. З ним бували проблеми, коли пройшла репліка якоїсь віртуалкі в процесі її бекапу. Я просто розніс процеси по часу і проблема вирішилася.
Гм, може я в чомусь налажав , бо бекап копі джоб став як секондарі таргет в бекапі, але по факту зникало на 15 хвилин світло та цей джоб почався спочатку Найвища швидкість впо монітору мережі та лун вийшла через робокопі, майже стабільні 12,. Моніторити зміни в папці він вміє, робити по розкладу теж. Може на ньому й зупинюсь, бо дійсно швидше
По итогу пришел все таки к rsync Правда пришлось пободаться с cygwin чтоб наконец начал качать на всю скорость линка, но заработало, с докачкой, с удалением ПОСЛЕ успешной закачки нового, так что старожилам если надо могу поделиться по дружбе полной донатерской версией free sync (в соглашении написано не выкладывать в сети, for you and your friend) Теперь следующий вопрос с крон, девайс synology ds218, вначале внёс в таск рсинк в лоб, запускает его дважды !? Сваял скрипт с проверкой на Лок файл, руками запускает в одном экземпляре, но зараза из планировщика запускает все равно дважды. Никто не сталкивался? Причем что два скрипта что два рсинка в ps aux, кил любого из них останавливает ОБА! БРЕД.
bomber 05.02.2023 09:35 пишет: там rsync запускаэ субпроцес, наскільки пам'ятаю... глянути можна ps з відображенням субпроцесів ps -aux --forest
Дякую, вже на свіжу голову розібрався. Тепер б'юся з lock, щоб якщо дс-ка вимкнется то при старті воно продовжувало, при тому щоб якщо завдання виконане то його запускали кроном для перевірки. До того ще зробив exec 2>log , та хочеться щоб не писало туди кожен % або зміну швидкості а тільки актуальну, щоб у любий час можна було відкрити та подивитись прогрес. Для перевірки декілька разів переривав задачу, зараз докачає перевірю чи дійсно архів докачує цілим, та на всяк випадок подивлюся різницю по часу с та без перевірки checksum , якщо різниця буде 5-10% то краще увімкну, бо цілісність дорожча за швидкість.