[SOLVED] Локальное зеркало
Jauhien 26 ноября, 2010 - 19:41
Добрый день, господа форумчане!
Есть вопрос.
Хочу создать в своей локалке зеркало, но не полное, а немного интеллектуальное: когда пакет нужной версии на нем есть, отдает его, если нет, то лезет в сеть и скачивает. Сразу говорю: гуглил, но нашел описания создания только полных зеркал, а 50 Гб скачивать как-то не хочется (даже учитывая анлим на предприятии).
Может кто-нибудь подскажет, в какую сторону посмотреть?
»
- Для комментирования войдите или зарегистрируйтесь
а вот ты как сам себе хотя бы
а вот ты как сам себе хотя бы чисто теоретически это представляешь? ))))
так и представляю - клиент коннектится к твоему серверу, чтобы скачать тарболл, а ему отвечают: "тарболл временно недоступен. попробуйте обратиться позже, когда я сам его скачаю" ))))
могу посоветовать только пару костылей:
1. если компы в сети будут с более менее одинаковым набором ПО, то выбери один комп, который будешь всегда обновлять первым... на нем подними ftp и расшарь его distfiles... на остальных компах просто добавь свой ftp-сервер первым в списке зеркал ;) получится, что, если на нем файла не будет, то он будет качаться из инета...
2. с помощью nfs сделай один общий каталог distfiles для всех компов в сети ;)
Да представляю очень
Да представляю очень просто:
скачивает и молча отдает )))
К тому же я знаю, что может потребоваться (сеть у меня маленькая).
За ответ спасибо, пожалуй, на первом костыле и остановлюсь, удивительно, что сам не додумался...
Или на втором.
А еще лучше отшарить через
А еще лучше отшарить через НФС весь портаж. Тогда нужно синхронизироваться только один раз. у меня он запускается за час до начала работы, кроме того выполняется (только!) закачка обновлений и очистка /дистфайлс от устаревших файлов.
пробуйте раз в день что то
раз в день комманду в крон
потом /локальное_зеркало расшарите у себя по ftp,http
и на клиентских узлах в make.conf добавите своё зеркало первым в списке..
так по идее будет искать сначало локально а потом ломится на другие distfiles.gentoo.org из списка..
net-proxy/http-replicator
net-proxy/http-replicator
+1
+1
вам зеркало не надо... как
вам зеркало не надо...
как уже сказали
это необходимое и достаточное условие....
при условии, что остальные компы имеют выход в инет....
в противном случае (как вариант) можно обрабатывать логи портаге на предмет "не удалось скачать файл" (или как там точно в логах), передавать этот URL на этот файл на сервер (вариантов много) и уже с сервера автоматом скачивать его в общую папку distfiles
пару\тройку строк на баше - и задача решаема
что-то добрый я сегодня ....
как уже сказали 2. с помощью
как уже сказали
Именно таким образом, только весь portage, целиком. И на локальных машинках цепляем.
При обновлении sync делается только на одной.
А обновления и прочее - на каждой индивидуально. :)
Плюс локальные оверлеи, если возникает необходимость.
emerge Your world
Gentoogle
/usr/portage/ через nfs —
/usr/portage/ через nfs — больно уж тормозновато, и если сервер недоступен, то внезапная засада случается.
Текстовый редактор vi имеет два режима работы: в первом он пищит, а во втором — всё портит.
У меня нормально работает уже
У меня нормально работает уже больше года
krigstask написал(а): и если
с чего бы ему быть недоступным в локальной то сети? ))
Если все нормально сделано,
Если все нормально сделано, никаких "вдруг" не бывает! :) Хотя, конечно, реально их (портажных серверов с НФС) не один, а два. Но и слейвов не 1, а 2 десятка! ;)
И тормозов, кстати, тоже нет! Уже лет 5 так (1 физ.портаж на 2 десятка серверов) крутится!
Не, ну если у вас вдруг сеть
Не, ну если у вас вдруг сеть быстрее винта, то пожалуйста. Но в моём мире такое случается нечасто (-%Е
Текстовый редактор vi имеет два режима работы: в первом он пищит, а во втором — всё портит.
Вы ничего не напутали? Мы,
Вы ничего не напутали?
Мы, вообще-то говорили о /usr/portage через НФС, а скорость доступа к носителю нужна в /tmp, /var/tmp.
На 100Мб/с уже нормально работает (конечно НФС надо хорошо настроить, не гнаться за модой (v4) - использовать рабочую лошадку (v3) и т.д.), а уже и 1000Мб/с никого не удивишь...
Если же вы пойдете через прокси, то будет еще медленнее, чем через НФС - здесь же слейвы НЕ синхронизируются. а имеют готовый портаж!
Я предпочитаю свой rsync
Я предпочитаю свой rsync держать.
Текстовый редактор vi имеет два режима работы: в первом он пищит, а во втором — всё портит.
не надо путать личные
не надо путать личные пристрастия с производственной целесообразностью.
БТВ: если вы с каждого из множества серверов будете синхронизироваться, то и забанить могут! :) А если через общий - то в чем профит? :) - только потеря времени...
ну дык ответ, обладающий
ну дык ответ, обладающий "минимальностью, полнотой и непротиворечивостью" уже был ;(
net-proxy/http-replicator
Всем спасибо за ответы. Моя
Всем спасибо за ответы.
Моя маленькая проблема решена.
Может признаетесь как? :)
Может признаетесь как? :)
Чисто для статистики...
Так сказали ж )))))) Для
Так сказали ж ))))))
Для rsync'a http://www.gentoo.org/doc/en/rsync.xml, что и так понятно.
Для дистфайлов http-replicator http://forums.gentoo.org/viewtopic.php?p=1138287#1138287 и http://www.niden.net/2009/12/faster-rsync-and-emerge-in-gentoo/ . В результате и имеем то что необходимо: файлы закачиваются из сети только один раз, причем только те, что необходимы.