Backup в альтернативу RAID1

Хочу перейти с RAID1 на резервирование по расписанию. Какие существуют системы по следующим требованиям:
- Полная заморозка работающей системы, пусть даже reboot и remount в ro
- Полный дубликат диска на другой диск, без всяких образов. Чтобы можно было просто заменить один диск другим и продолжить работу.

tar/dump не годятся, хочу копировать полностью диск, включая таблицу разделов + восстановление без распаковки чего-то, а просто заменой диска. Т.е. просто зеркало.

Первое что приходит в голову - это cron+dd обернуть скриптами, но думаю я не первый этим озадачиваюсь и уже есть готовые решения.

О, да не один ты такой замороченый ;)

http://clonezilla.org/

emacs — отличная операционка которой не хватает только хорошего текстового редактора.

и что? Limitations The

и что?
Limitations

The destination partition must be equal or larger than the source one.
Differential/incremental backup is not implemented yet.
Online imaging/cloning is not implemented yet. The partition to be imaged or cloned has to be unmounted.
Software RAID/fake RAID is not supported by default. It's can be done manually only.

Не вариант. Вам единственое что поможет это lvm, либо фс с поддержкой снапшотов. Делать снапшот и копировать его на второй диск.

И что тебя смущает?

Я так понимаю, что многобуковок на нерусском кинуть и вы*ой, поумничать это то, чего ты добивался?

Прочитаем-ка твои Лимитатионы :-/

Ограничения:
Партиция должна быть больше, либо равной по размеру = подходит под условия задачи, ибо разделяется raid-1.
Инкрементальный бэкап не поддерживается = подходит под условия задачи, ибо полный дубликат без образов.
Онлайн-клонирование недоступно = подходит под условия задачи, ибо предпологается выключение системы.
Совтварный рейд не поддерживается автоматом - только вручную = подходит под условия задачи, ибо рейда нет.

emacs — отличная операционка которой не хватает только хорошего текстового редактора.

raid1 и backup это две

raid1 и backup это две абсолютно параллельные системы с разными целями:
RAID служит для устойчиыости системы к сбоям, то есть умер один хард - система работает, это и есть главная цель рейда (см расшифровку понятия RAID).
backup это резервное копирование, это тоже совсем другое, главной целью его является сохранностиь данных.

Не придумывайте глупостей, raid1 и резервное копирование данных в сжатом tar-e (можно с таблицей разделов, если так хочется) на отдельный компьютер, ибо при сбое, например, в блоке питания, можно потерять оба жёстких диска.

Кроме того, правильно пригоотовленный raid1 быстрее по скорости чтения.

Ну и чем, учитывая поставленную задачу, не устраивает raid1?
Он по сути делает то же самое, только не раз в какое-то время а постоянно.
Можете прикупить контейнер для диска и его периодически втыкать/вытыкать из системы, зеркало при появлении диска будет синхронизироваться, при исчезании - ругаться что raid degraded.

Не знаю, что именно думает

Не знаю, что именно думает топикстартер, но имхо, вопрос и ответ находятся совсем рядом, только ответ нужно немного дополнить ;)
В: Ну и чем, учитывая поставленную задачу, не устраивает raid1?
О: Он по сути делает то же самое, только не раз в какое-то время а постоянно. Но:

  • Рейд защищает от физического разрушения данных, но никак не от программного.
    В случае нарушения структуры файловой системы, либо удаления файлов рейд абсолютно бесполезен в отличие от бекапа.
    Тотальный бэкап рабочего винта в принципе — удобная вещица. Как раз-таки для уменьшения вероятности программного сбоя неплохо бы его его создавать в режиме монопольного доступа к данным: перепроверено, что всё хорошо — спокойно создается бэкап.
  • Зеркало, в принципе, неплохой вариант, но длительный. Я ошибаюсь, или зеркалирование lvm производится посекторно для всей поверхности диска? ;)

Кроме того немаловажно, что lvm по своей сути — программное решение, в результате:

  • загрузка с lvm-блока если и возможна, то только после танцев с бубнами — ядро и загрузчик должны находиться в не оного,
    В результате этого ограничения бэкап загрузчика и ядра необходимо выполнять отдельно
  • при редком зеркалировании прослойка кода lvm становится просто избыточной — ибо не используется постоянно по прямому назначению, но без нее ни как не обойтись.

emacs — отличная операционка которой не хватает только хорошего текстового редактора.

В том-то и дело, raid это

В том-то и дело, raid это одно, а backup это совсем другое.
Нужно и то, и другое.

Абсолютно согласен. И

Абсолютно согласен.
И повторяю свое мнение. Для тотального бэкапа хорошо подходит уже созданный продукт clonezilla

emacs — отличная операционка которой не хватает только хорошего текстового редактора.

Отвечаю из корня, потому что всем сразу

Цитата:
http://clonezilla.org/

Согласен, что ограничения, указанные CoolSpirit мне не критичны. Вопрос в другом. Как именного этот продукт мне полезен. Точнее чем он лучше dd. Если он умеет делать только дамп, я с таким же успехом могу просто перегрузиться в gentoo-live cd и сделать так команду dd.
Я же ищу систему _автоматического_ бэкапа, т.е. которая скажем по cron'у подменит grub.conf (как hibernate-script), перегрузится в какой-то minimal, сделает дамп не суть чем dd или clinezilla, верёнт grub.conf и перегрузится обратно. Если существует возможность как-то "заморозить" диски - это было бы ещё лучше, но я себе не представляю как это возможно.
А просто система дампа диска на диск мне не нужна, для этого есть dd.

Цитата:
Вам единственое что поможет это lvm, либо фс с поддержкой снапшотов. Делать снапшот и копировать его на второй диск.

lvm, как писали выше, не вариант. Я не хочу городить избыточные программные слои, хочу делать чистый дамп на другой диск.
Снапшоты это интересно. Какие ФС это позволяют и как в принципе происходит дело. Если у меня какой-то процесс хочет запись на диск, что с ним будет, он блокируется в ожидании ресурса?

Цитата:
raid1 и backup это две абсолютно параллельные системы с разными целями: ...

Я в курсе.

Цитата:
Не придумывайте глупостей, raid1 и резервное копирование данных в сжатом tar-e (можно с таблицей разделов, если так хочется) на отдельный компьютер,

Я хочу иметь данные в прямом доступе, а не в tar архивах. Ноутбук на сервер я именно так и резервирую:

ftp ...
blah blah
put "| tar cvzf - $DIRS" `date +%y%m%d`.tar.gz
...

Но с сервером картина иная, это не вариант.

Цитата:
ибо при сбое, например, в блоке питания, можно потерять оба жёстких диска.

Я могу банально вытаскивать диск на шасси после резервирования, если посчитаю это существенным.

Цитата:
Кроме того, правильно пригоотовленный raid1 быстрее по скорости чтения.

Скорость чтения на сервере мне совсем не критична.

Цитата:
Ну и чем, учитывая поставленную задачу, не устраивает raid1? Можете прикупить контейнер для диска и его периодически втыкать/вытыкать из системы, зеркало при появлении диска будет синхронизироваться, при исчезании - ругаться что raid degraded.

Вариант интересный, но
1. Я хочу иметь возможность резервирования системы как с постоянно подключенным диском, так и с подключаемым только на время резервирования. Программно отключать тоже не вариант, я перегрузил сервер и пошёл авто-синк не по графику.
2. Я в целом не считаю правильным завязывать бэкап на RAID-систему. У меня нормального контроллера RAID нет (использую dmraid на ICH8), если мать сменить на без-RAID'ную, то придётся вообще переходить на полностью программный.

Цитата:
В том-то и дело, raid это одно, а backup это совсем другое.
Нужно и то, и другое.

Я, пожалуй, оставлю за собой право решать что мне нужно, а что нет.

Как именного этот продукт мне

vminko написал(а):
Как именного этот продукт мне полезен. Точнее чем он лучше dd.

Всё очень просто:
— он копирует только данные, пропуская свободное место, что по сути экономит время.
— исходники доступны и легко настраиваются-модернизируются.

emacs — отличная операционка которой не хватает только хорошего текстового редактора.

Цитата: он копирует только

Цитата:
он копирует только данные, пропуская свободное место, что по сути экономит время.

Разве что из-за этого. Может быть действительно полезно, т.к. у меня разделы не сильно забиты. Но всё равно моей проблемы в целом это не решает.

Вы используете dmraid? Тогда

Вы используете dmraid?
Тогда всё понятно...

>>Backup в альтернативу RAID1

>>Backup в альтернативу RAID1

Все таки для начала разберитесь что такое бэкап, и для чего изобрели raid массивы.

>>tar/dump не годятся, хочу копировать полностью диск, включая таблицу разделов + восстановление без распаковки чего-то, а просто заменой диска. Т.е. просто зеркало.

Вот тут следовало бы сходить на вики, где чорным по белом у прописано, что raid1 и есть зеркало. В свете этого желание отказаться от зеркала чтобы поиметь зеркало феерично.

Ежели вы хотите зеркало, то оно у вас есть в виде raid1. Без всяких кронов и расписаний. По определению. Устойчивость системы гарантирована при работоспособности хотя бы одного диска. Я предпочитаю шестые рейды, благо денег у конторы есть. Они выживают без двух винтов. В идеале на рейд неплохо было бы прицепить smartmontools и какую нить мониторилку с оповещалкой. Чтобы вовремя менять винты (особо критично для зеркал).
Рейд, однако, не избавляет вас от необходимости производить резервное копирование с целью поиметь НЕСКОЛЬКО предыдущих состояний.
Соответсвенно, исходя из поставленной задачи, определяется частота сохранения состояний системы (допустим 1 раз в час в течение рабочего дня) а так же срок хранения резервных копий (к примеру квартал). И вот тут оказывается что копирование диска как бы не подходит, даже со сжатием, и приходится думать о полных , инкрементальных и дифференциальных бэкапах.

Выбор программ резервирования достаточно богат. eix app-backup/ .На разный вкус и цвет.
Я использую bacula, потому что много серверов.

Очень много слов и ни одного

Очень много слов и ни одного по делу.

Цитата:
Все таки для начала разберитесь что такое бэкап, и для чего изобрели raid массивы.

Спасибо, Капитан Очевидность. Не надоело повторять то, что уже 10 раз писали выше?

Цитата:
Вот тут следовало бы сходить на вики, где чорным по белом у прописано, что raid1 и есть зеркало. В свете этого желание отказаться от зеркала чтобы поиметь зеркало феерично.
Ежели вы хотите зеркало, то оно у вас есть в виде raid1. Без всяких кронов и расписаний. По определению.

Опять таки спасибо, что открыли мне глаза, Капитан Очевидность. Но raid1 - это постоянное зеркало, а я хочу заиметь синхронизируемое периодами.

Цитата:
Рейд, однако, не избавляет вас от необходимости производить резервное копирование с целью поиметь НЕСКОЛЬКО предыдущих состояний.

Мне не нужно иметь несколько копий. Мне достаточно одной, но в открытом доступе (не в архивах).

В идеале на рейд неплохо было

В идеале на рейд неплохо было бы прицепить smartmontools и какую нить мониторилку с оповещалкой. Чтобы вовремя менять винты (особо критично для зеркал).

Ну как бе даже в mdadm есть фича по вводу резервного винта в рейд на автомате, если один из винтов упал, алсо алерты также есть.
Хардварные (не fake) контроллеры, имхо, имеют эти фичи более чем каждый.

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

Автору с таким тоном и

Автору с таким тоном и отношением предлагается вооружится перлом,седом,авком,гцц и родить требуемую ему функциональнось.
ибо,имхо,больше она нафик никому не нужна и аффтар "хочет странного".

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

Цитата: редлагается

Цитата:
редлагается вооружится...

Если ничего не найду, то да, придётся писать вручную.

Цитата:
ибо,имхо,больше она нафик никому не нужна и аффтар "хочет странного".

Не соглашусь. По-моему, мой вариант очень неплох для домашнего сервера и может быть полезен многим, кто не поскупится на второй винчестер.

Чем ваш вариант лучше чем

Чем ваш вариант лучше чем зеркало средствами mdadm? (не полусофтовое, а полностью софтовое)

1. Я согласен, что

1. Я согласен, что предложенный вариант интересен. За это Вам спасибо. Возможно, в результате я на нём и остановлюсь, но.
2. Я не считаю правильным добавлять программные прослойки лишь с целью выполнять резервирование. Например, программный RAID потребует initrd, которой вовсе не нужен, если ядро настроено правильно. Я хочу иметь "чистую" систему и один скрипт для резервирования. + как я писал выше, методика программного подключения/отключения резервного диска может быть не всегда удобна и даже мешать.

Для программного raid-а не

Для программного raid-а не нужно initrd, прекрасно работает с монолитным ядром.

Для домашнего сервера хватает

Для домашнего сервера хватает и простого копирования(возможно, перед ним придется какие-нибудь проги или сервисы остановить).

lvm может чуть упросить и ускорить включение после выхода из строя основного винча

ИМХО на комбайн удовлетворяющий Вашим вы потратите больше времени, чем будет экономия на времени и трудоемкости более простых вариантов.

Цитата: Для домашнего сервера

Цитата:
Для домашнего сервера хватает и простого копирования

Что есть "простое копирование"?

Cчитай тот же stage4, только

Cчитай тот же stage4, только не упакованный. "cp" с параметрами, что бы права скопировались правильно, так что при смене рабочего винча надо будет только загрузчик в бутсектор пихнуть
Можно конечно копировать MBR, таблицу разделов и т.д., но большого выигрыша это не даст

Чего-то я недопонял - чего

Чего-то я недопонял - чего желает автор?
Бэкапирования системы или бэкапирование данных.

С данными всё просто и можно обойтись без перезагрузки. С системой - не всё так просто, но можно решить - например, бэкапирование на старте.
Для последнего могу предложит намек на принцип работы проверки разделов при нахождении в корне файла - forcefsck.
Далее - пишется 1 сервис который пускается на старте и бэкапирует (пусть тем же dd).
А вот запуск такой процедуры по cron, наверняка, хотябы раз, но придется в самый неподходящий момент.

У меня и данные и система на

У меня и данные и система на одном винчестере.
С перезагрузкой идея интересная.
Я подумал можно разбить дамп на 2 части: система, которая значительно меньше по объёму, резервируется при загрузке, а данные - резервируются после отмонтирования раздела на рабочей системе.
Тогда весь процесс выглядит так:
- отмонтировать раздел с данными
- сделать dd if=/dev/sda2 of=/dev/sdb2
- перегрузить систему
- загрузочный сервис делает dd if=/dev/sda1 of=/dev/sda2 и что-то подобное для таблицы разделов.
Только сервис, по идее, использовать для этого не совсем корректно, поскольку корневой раздел при этом будет уже смонтирован. Наверное, правильно будет последний шаг вынести в initrd.

Сервис можно запустить пока

Сервис можно запустить пока корень находится в ro. (Так делает сервис проверки корневого раздела)
Много интересного можно добавить в init из initramfs созданного genkernel.

Может проще снять копию разбиения и бэкапировать по разделам?

В последнее время на глаза попадалось много информации о "смерти" RAID5. Основная суть - бытовые диски, с учетом террабайтных размеров, имеют очень высокую вероятность ошибки чтения/записи для операции копирования всего объема. Так что о возможности бытового примения dd диска на диск стоит задуматься. Оно может быть "не полезно" как для источника, так и для приемника.
Так и приходит на ум мысль, что нынешние "большие" диски рассчитаны на хранение информации, о полезности которой владелец находится в заблуждении.

Может кто-нибудь подскажет -
Решает ли lvm задачу проверки какие сектора (или какое у него там внутреннее представлении о единице размерности) были изменены за определенный промежуток времени?
(а то я ему по причине ненадобности не уделял никакого внимания)

PS.
1T hdd
60 Mбайт/сек
(1 000 000 / 60) / (60 сек * 60 минут) = 4 часа 40 минут
Думается мне, что железу будет мало полезен такой прогрев, а пользователю такой простой системы.

Цитата: Сервис можно

Цитата:
Сервис можно запустить пока корень находится в ro. (Так делает сервис проверки корневого раздела)

Спасибо за наводку.

Цитата:
Может проще снять копию разбиения и бэкапировать по разделам?

Я так и собирался, см. моё сообщение выше.

Цитата:
1T hdd
60 Mбайт/сек
(1 000 000 / 60) / (60 сек * 60 минут) = 4 часа 40 минут
Думается мне, что железу будет мало полезен такой прогрев, а пользователю такой простой системы.

Да, в целом вынужден согласиться, но:
1. Сервер будет простаивать только в процессе дампа корня, а это минут 10.
2. Винчестеры у меня Barracuda ES, т.е. по идее надёжные.
3. В принципе можно обмозговать вариант копии только изменившихся/новых файлов, хотя бы для раздела данных.

xfsdump/xfsrestore. Делается

xfsdump/xfsrestore. Делается на ходу. И не надо никаких велосипедов с отмонтированием.
Хуже другое. Топикстартер уверен, что делает нечто полезное и важное. На самом деле, в данном варианте использования, задача иметь два постоянно разных винта с непонятно какой информацией не имеет никакого практического смысла. Зеркало на рейде, по определению постоянно одинаковое, а его рассинхронизация это собсно сбой и есть.
Более того, отказ в обслуживании на 4 часа ради мифического спокойствия администратора - это нечто. Я могу понять что есть "домашние" сервера. Но это же не повод становиться "домашним" админом?

ЗЫ
Ну понятно, перед копированием можно провести проверку фс, на предмет того что она жива. Мне непонятно каким образом автор определяет целостность данных на исходном винте? Ну предположим некий "домашний" юзер грохнул нужное "домашнему" админу файло. "Домашний" админ в это время как бы занят. Ну а крон постоянно на месте и делает ему "копию". Точную. Как и просили.

Цитата: На самом деле, в

Цитата:
На самом деле, в данном варианте использования, задача иметь два постоянно разных винта с непонятно какой информацией не имеет никакого практического смысла.

Вполне понятно с какой информацией - один с текущей, другой - зеркало текущей на момент Х.

Цитата:
Более того, отказ в обслуживании на 4 часа ради мифического спокойствия администратора - это нечто.

Не 4 часа, а 10 минут, как писалось выше.

Цитата:
Мне непонятно каким образом автор определяет целостность данных на исходном винте? Ну предположим некий "домашний" юзер грохнул нужное "домашнему" админу файло. "Домашний" админ в это время как бы занят. Ну а крон постоянно на месте и делает ему "копию". Точную. Как и просили.

Во-первых, всё множество домашних пользователей - это я.
Во-вторых, не вижу проблемы просто остановить cron, если нет времени восстанавливать сейчас. Для совсем параноиков можно вытаскивать диск вручную утром в день после резервирования.

А за xfs наводку спасибо.

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".