Вы здесь

Кластер или типа того.

На подходе 2 новых сервера. Внешнего хранилища для них не планируется.
Хочется объединить мощности в одну систему виртуализации. Мигрировать на нее существующие KVM`ки и добавить к мощностям освободившиеся ресурсы (еще 2 похожих сервера).

С чего начать?

http://www.proxmox.com/en/

P.S. Пусть тебя не пугает коммерческая версия - если хочешь, там есть и бесплатный репозиторий (pve-no-subscription) для v3 или pvetest для v4. У нас кластера с бесплатной версией (v1/v2/v3) работали годами на боевых серверах (2 кластера по 4 сервера с SAN'ом и 8 кластеров по 2 сервера без SAN'а).

ganeti

undefined behavior " мощности в одну систему виртуализации "

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал:
undefined behavior " мощности в одну систему виртуализации "

Хотелось бы распределение нагрузки на процессоры и память, все под одним IP и обьедененное хранилище (свободное место).

Правильно заданный вопрос - половина ответа!
Логики и довода — недостаточно. Надо еще зачморить тех, кто думает не так как мы. (South Park)

LinuxID написал:
slepnoga написал:
undefined behavior " мощности в одну систему виртуализации "

Хотелось бы распределение нагрузки на процессоры и память, все под одним IP и обьедененное хранилище (свободное место).

Много денег, еще больше денег, еще финансирование - VmWareESX, vSphere datacentr, nexus, iscsi san multopath, veeame enterprise backup ....

Так что перестань тормошить бабушку и займись делом

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

Ага! И что мне делать с 2мя PowerEdge 820 укомплектованными по самый "не балуйся"?

Правильно заданный вопрос - половина ответа!
Логики и довода — недостаточно. Надо еще зачморить тех, кто думает не так как мы. (South Park)

Да ладно, не обращай внимания!

С большими деньгами много ума не надо, чтобы сделать хорошо, тем более, что он ссылается не на самое лучшее решение, хотя может быть самое популярное (типа как винда популярна). :)

Реально надо смотреть по задачам, как обычно. Если у тебя 2 машины справлялись, то на четырех, разумеется, все будет нормально с запасом работать. А то, что ты перечислил, прекрасно решится с помощью Proxmox, kak я уже писал. Может и ganeti подойдет, но я сам не пробовал. Что касается производительности, то она куда лучше, чем у VMware. Hапример, у нас кластер из 4 машин (каждая 24 ядра и около 100Гб RAM) тянул всю инфрастуктуру центрального офиса для компании разработчиков софта (около 500 чел.), кроме виндовых и билдовых машин, разумеется. Там же крутилась JIRA/CROWD/Confluence с базами на всю эту ораву...

Вот и у меня чуть меньше 500 пользунов. Просто все, что нужно для работы, уже есть.

пожалуй даже перечислю:

1й вирт. сервер.
Архив.
Обмен (файлопомойка)
1С - 7ка
1С - 8ка
GW - точка сбора трафика (NAT на 4 сегмента)
GW + firewall
postfix

2й вирт. сервер.
Zabbiх
syslog (snmptrapd)
proxy (squid)
web server
Samba 3 (AD)
Lineage
Minecraft

Может что еще полезного замутить? Есть идеи?
Ах да ... весь контенгент организации либо бывшие военные либо тетушки лет эдак по 50+. Вернее и те и другие в наличии.
Основная работа "Получить почту. Обработать в ворде/экселе. Отправить почту. Набрать бумажку, рапечатать, отдать на подпись."
Т.е. основные сервера - шлюз, 1С и файлопомойка. Остальные я как бы для себя делал.

Правильно заданный вопрос - половина ответа!
Логики и довода — недостаточно. Надо еще зачморить тех, кто думает не так как мы. (South Park)

LinuxID написал:
...GW + firewall...

Это что бы сказать, что он у тебя есть, что ли?.. :)
Даже если ты имел ввиду, что он на самом (физическом) хосте - это, как бы тебе по-корректней сказать, - не самый разумный вариант.

SysA написал:
Да ладно, не обращай внимания!

С большими деньгами много ума не надо, чтобы сделать хорошо, тем более, что он ссылается не на самое лучшее решение, хотя может быть самое популярное (типа как винда популярна). :)

Реально надо смотреть по задачам, как обычно. Если у тебя 2 машины справлялись, то на четырех, разумеется, все будет нормально с запасом работать. А то, что ты перечислил, прекрасно решится с помощью Proxmox, kak я уже писал. Может и ganeti подойдет, но я сам не пробовал. Что касается производительности, то она куда лучше, чем у VMware. Hапример, у нас кластер из 4 машин (каждая 24 ядра и около 100Гб RAM) тянул всю инфрастуктуру центрального офиса для компании разработчиков софта (около 500 чел.), кроме виндовых и билдовых машин, разумеется. Там же крутилась JIRA/CROWD/Confluence с базами на всю эту ораву...

Хотелось бы распределение нагрузки на процессоры и память, все под одним IP и обьедененное хранилище (свободное место).

Можно посмотреть на реализацию VRRP и миграции IP без обрыва соединений на Прохксмоксе ?
Можно посмотреть на реализацию миграции VM между нодами в зависимости от нагрузки cpu ?
Можно посмотреть на реализацию RDMA между нодами в зависимости от нагрузки RAM ?
Можно посмотреть на реализацию софтовой распределенной хранилки на Проксмоксе ?

П.С Решение было предложено по заданию. то, что задание абсолютно избыточно, я знал сразу.
П.П.С То, что варя - не чемпион по скорости виртуализации, известно любому человеку в теме.

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

Все общедоступно в отличии от... А по конкретной реализации:

slepnoga написал:
...
Можно посмотреть на реализацию VRRP и миграции IP без обрыва соединений на Прохксмоксе ?
Можно посмотреть на реализацию миграции VM между нодами в зависимости от нагрузки cpu ?
Можно посмотреть на реализацию RDMA между нодами в зависимости от нагрузки RAM ?

Поскольку пункты 2 и 3 были неактуальны в силу принятой политики отказа от автоматической миграции ВМ, даже автоматическое переключение на резервный датацентр было запрещено! :), поэтому обеспечение HA/LB для mission-critical систем (типа почты, баз данных, DNS, syslog и пр.) решалось путем кластеризации соответствующих подсистем с размещением нодов на разных нодах Proxmox'a. При этом пункт 1 обеспечивался штатными средствами вне системы виртуализации.

slepnoga написал:
Можно посмотреть на реализацию софтовой распределенной хранилки на Проксмоксе ?

Тут все просто - DRBD, однако! :) На 2 кластерах был еще и FC SAN (EMC VNX) с multipath для образов ВМ (там, где интенсивная работа с в/в: некоторые базы, самба-homes/profiles/файлопомойка и пр.), но системные штучки везде на DRBD (с выделенным bonded-каналом синхронизации).

slepnoga написал:
...
П.П.С То, что варя - не чемпион по скорости виртуализации, известно любому человеку в теме.

Ну, вообще-то похоже на то, что ТС не очень в теме, потому и просит совета.

Поскольку пункты 2 и 3 были неактуальны в силу принятой политики отказа от автоматической миграции ВМ,
A об этом в ТЗ ни слова :-D

При этом пункт 1 обеспечивался штатными средствами вне системы виртуализации.
Я очень, очень сильно сомневаюсь в знании аббривиатуры VRRP ТС. ;)

Тут все просто - DRBD, однако! :)
а) А причем тут проксмокс ? б) это не хранилка

П.С хотя да, я могу быть не совсем объективен, т.к про 0-й вопрос жду по привычке ( а хде в этой схеме биллинг и кнопка "Заказать" )

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

Похоже тебе тоже бы не помешало бы сначала взглянуть на предмет обсуждения, прежде чем декларировать что-то.

slepnoga написал:
Тут все просто - DRBD, однако! :)
а) А причем тут проксмокс ? б) это не хранилка

a) Удивись - Proxmox для собственного НА кластера (внутренних нужд) может (штатно!) использовать DRBD взамен классического SAN'a! :)
б) Ну поверх ставишь ФС по вкусу... а там уж файлы, ISO и/или VM образы и пр.. Или ты не это имел ввиду?

slepnoga написал:
П.С хотя да, я могу быть не совсем объективен, т.к про 0-й вопрос жду по привычке ( а хде в этой схеме биллинг и кнопка "Заказать" )

А причем тут биллинг и кнопка, если система для внутренних/собственных нужд?!..

Если надо продавать ВМ, то это уже совсем другая история, но вроде бы ни, я ни ТС о таком не упоминали. Или ты свою реальность переносишь на весь остальной мир? ;)

LinuxID написал:
Ага! И что мне делать с 2мя PowerEdge 820 укомплектованными по самый "не балуйся"?

Сначала купил машинки, теперь думаешь че с ними делать ?

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал:
Сначала купил машинки, теперь думаешь че с ними делать ?

Только нога обладает скиллом заочного и при этом безошибочного гадания по рекламным проспектам.

:wq
--
Live free or die

Обычно спецификацию заказываемого оборудования пишут сами и заранее, а не получают рандомный комплект!.. :)

SysA написал:
Обычно спецификацию заказываемого оборудования пишут сами и заранее, а не получают рандомный комплект!.. :)

Угу. Это самоочевидно.
Но я о понимании физического смысла заносимых в оную спецификацию попугаев и определении необходимого их количества.
Ибо без этого понимания что ни пиши — на выходе всяко получится «случайный набор». Особенно если учитывать тот факт, что IRL спецификация не догма, а дальше смотрим условие решаемости задачи многомерной оптимизации.

:wq
--
Live free or die

SysA написал:
Обычно спецификацию заказываемого оборудования пишут сами и заранее, а не получают рандомный комплект!.. :)

Закупка оборудования происходит на торговой площадке по тендеру, где можно указать только параметры. Кто дешевле, тот и выиграл. Вот и получаем "кота в мешке".

Правильно заданный вопрос - половина ответа!
Логики и довода — недостаточно. Надо еще зачморить тех, кто думает не так как мы. (South Park)

LinuxID написал:
можно нужно указать только параметры

И где тут кот?! :) Что просил, то и получил. А то, что рюшечки сбоку - по сути не мешает.

Не так важно, как будет называться ящик, важно что там внутри! А внутри то, что просили... Поэтому надо задание писать, понимая, что хочешь, а не формально! Никто не запрещает подробно детализировать техническую спецификацию, вплоть до пропускной способности шины, например. Нельзя только подгонять ТЗ под конкретного изготовителя.

Мысли вслух ...

Дети, прям дети.
Нужна интелевая сетевуха - напиши что требуется от 24-х до 32-х очередей.
Хош ксеон - нуна aes ( или что там еще )
Нужна EEC - напиши еще че нибудь вроде "коррекция ошибок"
Не хош получить десктопную ммаку - ставь "удаленное управления и консоль через выделенный езернет порт"

Нужна конкретная железка - открой ее описание и скопипасти.
Так что их ( спецификации ) нужно уметь писать, если работаешь не в айтишных конторах.

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал:

Нужна конкретная железка - открой ее описание и скопипасти.
Так что их ( спецификации ) нужно уметь писать, если работаешь не в айтишных конторах.

Да…
До осознания того факта, что выдвинутую спецификацию могут потребовать обосновать, а представленное обоснование — зафиксировать и проверить некоторые участники форума ещё не доросли…
Что уж тут говорить о творческих технологиях изыскания признаков коррупции?…

:wq
--
Live free or die

Вопроc был риторический, как я понимаю... :D

Такое ощущение что Вы, господа, между собой общаетесь. Я, честно, ни чего не понял кроме совета Proxmox.
За все непонятное я в инете почитал ... но до прозрения еще оч.далеко. А по сему прошу поделиться ссылками на базовые понятия по данной теме.

Правильно заданный вопрос - половина ответа!
Логики и довода — недостаточно. Надо еще зачморить тех, кто думает не так как мы. (South Park)

Извини, но это НЕ форум техподдержки, а тем более НЕ курсы заочного обучения. Об этом тут уже неоднократно говорилось.
Мы можем помочь/посоветовать/направить, но не делать за тебя работу или учить тебя, как ее сделать. Тебе надо самому читать и учиться.

Мы тут высказали основные идеи, а я даже конспективно рассказал об одной из реализаций. Для специалиста более, чем достаточно. Если ты еще не в этой лиге - учись!

Удачи!

Будут проблемы - всегда пожалуйста задать конкретный вопрос, чем сможем - поможем.

P.S. И замени свою первую фортунку - она дезориентирует, поскольку не соответствует твоим словам... ;)

SysA написал:
Извини, но это НЕ форум техподдержки, а тем более НЕ курсы заочного обучения. Об этом тут уже неоднократно говорилось.

Зря ты опускаешь самые пикантные подробности: по нонешним изобильным временам профессионалы от техподдержки (не говоря о бизнесменах от обучения — «кто может творить — творит, кто не может творить — учит…») не просто часто, но обычно просто не знают самого интересного, того, за что им деньги платят.

:wq
--
Live free or die

A это просто совсем другая история... :)

На основе drbd можно сделать кластерное хранилище. Поверх него clvm. На томах образы плюс кластерная файловая система для всякой мелочи типа исошек на gfs.
Либвирт для управления виртуалками, куэму в качестве виртуализатора. Все это под управлением pacemaker. И если без напильника - редхат, ибо у гентоо имхо весьма слабая команда по всяким кластерным штукам. В результате получается весьма устойчивая вещь, даже живая миграция присутствует .
В качестве спортивного интереса делал из двух узлов на гентоо. Работает второй год.

C четырьмя узлами собрать кластерное хранилище будет несколько сложней.