Архивированиекрупных директорий
пытаюсь наладитьс остему бэкапа. лент и прочих радостей нет, по этому просто архивирую и кладу на винт другой другого сервака. т.к. сейчас файлопомойки у меня переезжают с винды на генту,
- нужена "удобная" работа с архивами, работаю с ними через mc
- размер шар 10-20Гб в среднем, 6-8 серверов,в сего порядка 30-40 шар
столкнулся с определёнными трудностями:
- zip отказывается рабоать с архивами больше 2Гб
- bz2 очень долго открывается, и что то противится нормально работать если архив лежит на подмонтированной шаре
- gz очень долго архивирует, 1,5 часа 10Гб
- 7z похоже не дружит с mc, по крайней мере откзывается у меня он отказывается открываться через mc
что посоветуете? в голову приходит что то из серии - архивируем зипом, бьёи архивы по 2Гб, но в итоге должны получить какой то индексный файл, в котором можно было бы легко найти нужный файл и достать его одной коммандой из архива...
- Для комментирования войдите или зарегистрируйтесь
10-20 гиг... Хм..
10-20 гиг... Хм.. при таких объемах (и главное ценности данных), я бы поставил второй винт и пользовался rsync'ом. потом, в случае сбоя, достаточно переставить резервный винт вместо основного - и мы имеем работающую систему всего за несколько минут. долго будет только первый rsyn. остальеные - по мере изменения файлов на основном диске.
все все 8
все все 8 серверов с рейдами так синхронизировать? нет, это простите не совсем то, что хотелось бы получить
а RAID какой?
а RAID какой? зеркальный? тогда архивировать только то что, изменилось за последние сутки. А лог архиватора - чем не индекс? Хотя, имхо, правильнее, ставить какой-либо софт, типа karry/beagle. об остальном RAID позаботится. или там и файлы КРУПНЫЕ?
ЗЫ. где-то на ru.gentoo-wiki.com видел статью, как сервера синхронизировать. но там отказоустойчивость во главу ставилась. на базе sys-cluster/heartbeat и второго пакета (не помню :( )
.
а mc с USE-флагом 7zip?
спасибо,
спасибо, попробую
mc собрал с
mc собрал с флагом 7z, но при попытке открыть 7z архив:
public.7z:340: warning [p 13, 8.2i]: can't break line
public.7z:342: warning [p 13, 8.3i]: cannot adjust line
public.7z:342: warning [p 13, 8.5i]: can't break line
public.7z:342: warning [p 13, 8.7i]: can't break line
и т.д.
По личному опыту:
При больших размерах архивов (даже жлкие десятки мегабайт, на гигабайтных архивах, да с сжатием - просто оставь надежду) прозрачная работа с ними из файломенагера практически невозможна.
tar + bzip2 = наше фсё!
--
Live free or die
А зачем нужен
А зачем нужен tar?
Почему нельзя просто bzip2 использовать?
tar собирает
tar собирает кучу файлов в один
bzip2 сжимает один файл
Пожалуйста, не описывайте своё железо в подписи
Если не сильно гнетёт лицензионность
У меня RAR из скриптов трудится.
Это для "хранения".
Для "оперативного бэкапа" - rsync. Просто и вполне надёжно, как спички.
emerge is not apt-get
+1
+1 действительно просто и надёжно :).
Если rar не приемлем, а сжимать всё равно нужно, большие файлы можно жать по отдельности bzip2, а оставшиеся tar+bzip2. Что есть большой файл лучше определять эксперементально, но, по идее, >20Мб уже можно считать большим. И, как уже сказали, лог архиватора вполне себе индекс.
>>пытаюсь
>>пытаюсь наладитьс остему бэкапа
Готовые системы бэкапа живут здесь: eix app-backup/ . Я выбрал bacula (15 серверов, полный бекап порядка 800 гиг, период восстановления - 1 месяц, частота бэкапов - 1 раз в полчаса)
В общем конечно же можно наваять нечто свое оригинальное. Но зачастую получается что такое уже есть, и работает порядок быстрее, стабильнее и безопаснее, а это, согласитесь, обидно.
>>лент и прочих радостей нет, по этому просто архивирую и кладу на винт другой другого сервака
Наличие стриммеров в большинстве случаев желательно но необязательно. Винт позволяет быстро восстановить данные ибо доступ произвольный. Надежность ниже ибо он, в отличие от ленты, постоянно в работе. А использовать рейдмассив для бэкапа дороговато.
>>нужена "удобная" работа с архивами, работаю с ними через mc
Эмце очень плохо работает с архивами и годиццо для обычного юзверя с запросами на пару тройку мег на архив. Суть в том что он тупо распаковывает архивы в /темп. Скорость можете оценить при открытии исходников ядра. Кстати некоторые версии эмце за собой мусор не убирали.
>>bz2 очень долго открывается, и что то противится нормально работать если архив лежит на подмонтированной шаре
O_o. Для справки. Работать с парутройкугиговым архивом на удаленной шаре при помощи эмце (и не только его) езьм правило плохого тона. Ибо тонну ненужного барахла тянем через узкий сетевой канал по каждому чиху дабы обработать его на убогом локальном камне. Кошерно использовать удаленную консоль через ссх для обработки архива на крутом серваке и забирать (по необходимости) готовый результат через sftp. Юниксвей однако.
Теперь по сути вопроса. Для прозрачной работы с архивами разрабатывают некие виртуальные фс. Замонтировал архив в каталог и вперед. Встречал ссылки на разные, тут гуглить надо. Одна из них представленна в портежах eix avfs. Впрочем вам имхо это не поможет ибо судя по описанию нужна система бэкапа.
Лучше всего
Лучше всего tar+gzip. Просто и эффективно. Bzip2 дает очень небольшой выигрыш по объему по сравнению с гзип, но работает гораздо дольше.
..................................................................
Unix - дружественная система, но своих друзей она хорошо выбирает.
>>tar+gzip Забыли
>>tar+gzip
Забыли еще указать крон для расписания, ссх для связи с удаленным хостом и сендмайл для рассылки админу уведомлений об успешном завершении операции. Да еще неплохо бы какой-никакой sql прикрутить, ибо без sql долго искать нужный файлик.
>>Просто и эффективно.
А теперь "просто и эффективно" соберите это в кучу при помощи скрипта и представте его в студию. Хотя бы на пяток серверов (win и lin). Не забудте про документацию, не стоит держать промышленных систем, с которыми только автор может работать(и то ежели не забыл). С месячным циклом восстановления к примеру. Насколько это все получится "просто и эффективно" обсудим позже.
>>Bzip2 дает очень небольшой выигрыш......
Для чего и где?
Вот пример http://mydebianblog.blogspot.com/2006/11/squashfs.html
Задача. Решаем и Сравниваем. Понятия "неболшой" и "гораздо" применяются менеджерами для пиара. Технарям ближе язык цифирей.