autoua
×
Autoua.netФорумІнформатика та побутова електроніка

Підкажіть чим краще дзеркалити бекапи

V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Підкажіть чим краще дзеркалити бекапи
      25 января 2023 в 16:27 Гілками

образно:
е сторадж1 на який йде 1 гігабіт з резервним живленням. Дебіан. Розташований у ДЦ. До нього по iscsi пыдключений veeam який туди складає бекапи. Цей єтап працює. З'явився synology з цілью якщо раптом що то хапати його з останніми бекапами та іхати відновлювати у другому місці. Сінолоджи мало того що підключений до ДЦ 100 мбіт та й ще й канал через відключення периодично лягає. Підкажіть чим можна сінхронізувати ці два стораджі? Умови - можливість докачки та видалення старої копіі на віддаленому сховищі тільки після повного копіювання нової версії щоб якщо час Ж приде під час копіювання не лишитись без жодної версії замість хочаб застарілої.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
важничающий писатель ***
Киев
Сообщения: 2365
С нами с 03.10.2006

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      25 января 2023 в 17:11 Гілками

Якщо є Veeam, що керує резервними копіями, то повісити на нього ще виконання Backup Copy Job на цей новий репозитарій у вигляді Synology. Veeam й буде відслідковувати й показувати власне статус цієї реплікації.

Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: -=ViC=-]
      25 января 2023 в 17:24 Гілками

-=ViC=- 25.01.2023 17:11 пишет:

Якщо є Veeam, що керує резервними копіями, то повісити на нього ще виконання Backup Copy Job на цей новий репозитарій у вигляді Synology. Veeam й буде відслідковувати й показувати власне статус цієї реплікації.



Про копіюваноя ще не читав, але резервування не вміє докачуввти після розриву зв'язку. Якщо копіювання вміє то це вихід, Я поки з ним тільки розбираюсь, я вірно розумію що якщо у копіях поставити кількість версій 2 то буде по 2 копії як повного так й інкрементальнтх копій, та після синтетичної зборки повного воно попередню версію не затре до закінчення копіювання нової?


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P ***
52 года (24 года за рулем), Riga-Київ-Гурзуф
Сообщения: 14658
С нами с 24.07.2005

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      25 января 2023 в 17:51 Гілками

Якщо ваші яйця настільки сталеві, що не бояться лежати в кошику Veeam, то не ясно, чим він не підходить для бекапу на Synology. З розуміння цього питання можна придумувати якісь поради.

P.S. Півтора роки тому проводив моніторинг чим простіше забезпечити репліку+бекап віртуалок. Veaam переміг всюди, окрім країни походження його батьків засновників.
Тому у мене він стоїть виключно в місцях, що не мають виходу до Інтернету та не на критичних задачах.
Цікаво, що останній дзвінок з Пітера я отримав 23-лютого. Менеджер чудово все розуміла, і готова була навіть сказати ПТН-ПНХ.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
аццкая сотона **
25 лет за рулем, Киев
Сообщения: 17648
С нами с 23.04.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      25 января 2023 в 18:01 Гілками

у synology є опція розшарити папку по NFS , це, якщо э у сінолоджи білий стаціонарний айпі.
У мене є убунту, але ніякого додаткової тулзи не маю, тому на колінці написав скрипт в звязці rsync + tar --gzip та переносом через примонтовану папку synology, а взагалі можна і через scp.

якщо коннект не стабільний, я б радив тоді прямо перед початком виклику rsync спробувати примаунтити папку NFS, якщо вдало - то тоді тупо rsync та і все, навіть без tar/scp.

Навіть якщо періодично падає звязок, rsync вміє ж докачувати та добавляти пропущені файли.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: AL®]
      25 января 2023 в 20:27 Гілками

AL® 25.01.2023 18:01 пишет:

у synology є опція розшарити папку по NFS , це, якщо э у сінолоджи білий стаціонарний айпі.
У мене є убунту, але ніякого додаткової тулзи не маю, тому на колінці написав скрипт в звязці rsync + tar --gzip та переносом через примонтовану папку synology, а взагалі можна і через scp.

якщо коннект не стабільний, я б радив тоді прямо перед початком виклику rsync спробувати примаунтити папку NFS, якщо вдало - то тоді тупо rsync та і все, навіть без tar/scp.

Навіть якщо періодично падає звязок, rsync вміє ж докачувати та добавляти пропущені файли.



За rsync першим подумав але нюанс в тому що розмір +-4ТБ та може статись таке що воно ще не докачало попередню версію а вже створило нову. (синтеичний повний бекап раз у тиждень) Канал 100 мбіт, влан між ДЦ та локацією, світло нажаль непередбачувано є чи ні
2 Daugava - veeam лишився у спадок. При резервуванні воно точно не вміє докачувати а от при копіюванні? Бо https://helpcenter.veeam.com/docs/backup/vsphere/replica_resume_disconnect.html?ver=110 тут про це не вказано саме у варіанті backup copy job

Змінено Djohny (20:43 25/01/2023)


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
43 года,
Сообщения: 11747
С нами с 08.06.2015

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      25 января 2023 в 20:36 Гілками

Можливо я промахнувся десь в розрахунках, але 4Тб через 100 МБітний канал в ідеальних умовах буде качатися біля 5 днів.

Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: VovkZ]
      25 января 2023 в 20:47 Гілками

VovkZ 25.01.2023 20:36 пишет:

Можливо я промахнувся десь в розрахунках, але 4Тб через 100 МБітний канал в ідеальних умовах буде качатися біля 5 днів.



на практиці довше. Тут хоча б переносити повні бекапи без інкрементів, причому таки не видаляти попередній доки новий не докачається. За умови повного раз у тиждень воно як раз за цей тиждень можливо перекачає.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      26 января 2023 в 01:14 Гілками

freefilesync.org - щнайшов випадково, на перший та другий погляд це воно. Тестую. Є й безпечна синхронізація через тимчасовий файл, робота по розкладу або зміні в папці, анонсують продовження після розриву з'єднання. Подивлюсь.

Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Супер писатель! **
37 лет за рулем, Полтава
Сообщения: 3523
С нами с 01.11.2005

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      26 января 2023 в 07:57 Гілками

здається мені що це "морда" до rsync+cron...

Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Шкодоволгный Вазотавр *
53 года (32 года за рулем), Киев
Сообщения: 19465
С нами с 06.07.2001

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      26 января 2023 в 08:17 Гілками

Djohny 26.01.2023 01:14 пишет:

freefilesync.org - щнайшов випадково, на перший та другий погляд це воно. Тестую. Є й безпечна синхронізація через тимчасовий файл, робота по розкладу або зміні в папці, анонсують продовження після розриву з'єднання. Подивлюсь.


Подивись та роскажи - бо в мене навіть бекап третій місяц не робить - часу не вистачає
Може якось на локальний диск буде встигати, а звідти щоб стягувало з папки на інші дзеркала та кіляло на основному.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      26 января 2023 в 09:11 Гілками

З того що поки що вилізло:
Для експерименту додав backup copy job , швидкість закачування 11 МБ/с
Зробив донат на freesync, отримав платну версію, з можливістю настроювання швидкості, у два потоки швидкість скаче від 4 до 10, середня 7.
На рахунок докачуввння поки не зрозумів у обох випадках.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Супер писатель! **
37 лет за рулем, Полтава
Сообщения: 3523
С нами с 01.11.2005

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      26 января 2023 в 09:47 Гілками

теоретична пропускна спроможність 100 м-битного лінку - 12.5 Мб/с

11.- це нормальна швидкість для 100 Мбит/с


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: bomber]
      26 января 2023 в 09:58 Гілками

bomber 26.01.2023 09:47 пишет:

теоретична пропускна спроможність 100 м-битного лінку - 12.5 Мб/с

11.- це нормальна швидкість для 100 Мбит/с



та це ок, але чому в другому випадку +-7? джерело та ціль однакові


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Супер писатель! **
37 лет за рулем, Полтава
Сообщения: 3523
С нами с 01.11.2005

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      26 января 2023 в 10:55 Гілками

ну... це треба вивчати логіку роботи ПЗ ...

Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P ***
52 года (24 года за рулем), Riga-Київ-Гурзуф
Сообщения: 14658
С нами с 24.07.2005

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      26 января 2023 в 12:21 Гілками

Djohny 25.01.2023 20:27 пишет:


2 Daugava - veeam лишився у спадок. При резервуванні воно точно не вміє докачувати а от при копіюванні? Бо https://helpcenter.veeam.com/docs/backup/vsphere/replica_resume_disconnect.html?ver=110 тут про це не вказано саме у варіанті backup copy job



Як на мене тут як раз сказано зворотнє, що Veeam всюди підтримує відновлення своїх процесів, при розриви зв'язку до 30 хвилин.
Навіть наведений приклад, якщо віртуалка мала два диски А та Б, і до моменту розриву зв'язку по диску А вже передалося 20Гб, а по диску Б не передалося нічого, то при відновленні диск А буде передаватися з цих 20Гб, а Б поїде з нуля.

Практичний мій досвід з цим збігається. У нас досить часто (кілька разів на рік) канал між датацентрами зникає на кілька секунд. Проблем з докачкою не виникало. Щоправда у мене між датацентрами ходить тільки репліка. Full Backup робиться на резервному датацентрі з отриманої репліки по мережі 10Гб. З ним бували проблеми, коли пройшла репліка якоїсь віртуалкі в процесі її бекапу. Я просто розніс процеси по часу і проблема вирішилася.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: Daugava]
      26 января 2023 в 13:25 Гілками

Daugava 26.01.2023 12:21 пишет:

Djohny 25.01.2023 20:27 пишет:


2 Daugava - veeam лишився у спадок. При резервуванні воно точно не вміє докачувати а от при копіюванні? Бо https://helpcenter.veeam.com/docs/backup/vsphere/replica_resume_disconnect.html?ver=110 тут про це не вказано саме у варіанті backup copy job



Як на мене тут як раз сказано зворотнє, що Veeam всюди підтримує відновлення своїх процесів, при розриви зв'язку до 30 хвилин.
Навіть наведений приклад, якщо віртуалка мала два диски А та Б, і до моменту розриву зв'язку по диску А вже передалося 20Гб, а по диску Б не передалося нічого, то при відновленні диск А буде передаватися з цих 20Гб, а Б поїде з нуля.

Практичний мій досвід з цим збігається. У нас досить часто (кілька разів на рік) канал між датацентрами зникає на кілька секунд. Проблем з докачкою не виникало. Щоправда у мене між датацентрами ходить тільки репліка. Full Backup робиться на резервному датацентрі з отриманої репліки по мережі 10Гб. З ним бували проблеми, коли пройшла репліка якоїсь віртуалкі в процесі її бекапу. Я просто розніс процеси по часу і проблема вирішилася.



Гм, може я в чомусь налажав , бо бекап копі джоб став як секондарі таргет в бекапі, але по факту зникало на 15 хвилин світло та цей джоб почався спочатку
Найвища швидкість впо монітору мережі та лун вийшла через робокопі, майже стабільні 12,. Моніторити зміни в папці він вміє, робити по розкладу теж. Може на ньому й зупинюсь, бо дійсно швидше

Змінено Djohny (13:35 26/01/2023)


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      5 февраля 2023 в 00:41 Гілками

По итогу пришел все таки к rsync
Правда пришлось пободаться с cygwin чтоб наконец начал качать на всю скорость линка, но заработало, с докачкой, с удалением ПОСЛЕ успешной закачки нового, так что старожилам если надо могу поделиться по дружбе полной донатерской версией free sync (в соглашении написано не выкладывать в сети, for you and your friend)
Теперь следующий вопрос с крон, девайс synology ds218, вначале внёс в таск рсинк в лоб, запускает его дважды !? Сваял скрипт с проверкой на Лок файл, руками запускает в одном экземпляре, но зараза из планировщика запускает все равно дважды. Никто не сталкивался? Причем что два скрипта что два рсинка в ps aux, кил любого из них останавливает ОБА! БРЕД.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Супер писатель! **
37 лет за рулем, Полтава
Сообщения: 3523
С нами с 01.11.2005

Re: Підкажіть чим краще дзеркалити бекапи [Re: Djohny]
      5 февраля 2023 в 09:35 Гілками

там rsync запускаэ субпроцес, наскільки пам'ятаю...
глянути можна ps з відображенням субпроцесів
ps -aux --forest


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
V.I.P **
50 лет (21 год за рулем), Київ
Сообщения: 15534
С нами с 22.05.2007

Re: Підкажіть чим краще дзеркалити бекапи [Re: bomber]
      5 февраля 2023 в 11:23 Гілками

bomber 05.02.2023 09:35 пишет:

там rsync запускаэ субпроцес, наскільки пам'ятаю...
глянути можна ps з відображенням субпроцесів
ps -aux --forest



Дякую, вже на свіжу голову розібрався.
Тепер б'юся з lock, щоб якщо дс-ка вимкнется то при старті воно продовжувало, при тому щоб якщо завдання виконане то його запускали кроном для перевірки. До того ще зробив exec 2>log , та хочеться щоб не писало туди кожен % або зміну швидкості а тільки актуальну, щоб у любий час можна було відкрити та подивитись прогрес. Для перевірки декілька разів переривав задачу, зараз докачає перевірю чи дійсно архів докачує цілим, та на всяк випадок подивлюся різницю по часу с та без перевірки checksum , якщо різниця буде 5-10% то краще увімкну, бо цілісність дорожча за швидкість.


Роздрукувати   Нагадати!   Сповістити модератора   Відправити по E-mail
Autoua.netФорумІнформатика та побутова електроніка
Додаткова інформація
3 користувачів і 6 що побажали залишитися невідомими читають цей форум.

Модератор:  AlMat, Yorc, moderator 

Роздрукувати всю тему

Права
      Ви не можете створювати нові теми
      Ви не можете відповідати на повідомлення
      HTML дозволений
      UBBCode дозволений

Рейтинг:
Переглядів теми: 1273

Оціните цю тему

Перейти в

Правила конференції | Календар | FAQ | Карта розділу | Мобільна версія