[SOLVED] Сравнение HBA+mdadm и апаратного рейда

Комрады добрый день, вопрос кто сравнивал?
Думаю что купить HBA и реализовать софтовый рейд, либо купить апаратный рейд

для чего:
Буду делать САН
железо такое мать s1200, проц e3, озу 4, корпуса супермикро 745. hdd wd re 3tb -4, wd re 250gb -2 (под систему), сеть интел 520da2 - 2 комплекта

железо еще не купил, но купить надо в ближайшую неделю.
хочу совета
1. для изытка по объему что использовать HBA +софт рейд, или RAID железячный? - минус при апаратном если адаптер сдохнет бежать за тем же вендором новой редакции.
1.1. что быстрее?
2. подскажите адекватные дисковые сас полки (думаю может имеет смысл поставить обычные системники по 10к в сборе внутрь контролеер и бекпленом в полку)
3. может из Вашего опыта есть более правильные модели реализации САН.

все написал. кроме

все написал. кроме контроллера :)

На самон деле без модели контроллера ничего сравнить не выйдет - промисе с чипом и ареча с 8ГБ на борту, линуксой и коре2дуо на ей - все едино контроллеры :)

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал(а):все

slepnoga написал(а):
все написал. кроме контроллера :)

На самон деле без модели контроллера ничего сравнить не выйдет - промисе с чипом и ареча с 8ГБ на борту, линуксой и коре2дуо на ей - все едино контроллеры :)

цена 20000р за штуку походу без батарейки производитель intel - цены жестоки стали
а по поводу полки дай совет, после последнего общения с тобой учебников перечитал килограм - спасибо нога.

Если решил итерировать -

Если решил итерировать - расказывай зачем тебе НАС и что ты будешь с ним делать

П.С
цена 20000р за штуку походу без батарейки - это очень, очень начальный уровень ;)

http://raidshop.ru/catalog/hba-raid-kontrollery/raid-6gb-s-sata-sas/arc-1882-ix-24.html

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал(а):Если

slepnoga написал(а):
Если решил итерировать - расказывай зачем тебе НАС и что ты будешь с ним делать

П.С
цена 20000р за штуку походу без батарейки - это очень, очень начальный уровень ;)

http://raidshop.ru/catalog/hba-raid-kontrollery/raid-6gb-s-sata-sas/arc-1882-ix-24.html

в одном здании стоит 1 гипервизор и 1 файлосервер,
во втором здании 1 гипервизор и 1 файло сервер.

на файлосерверах распределенная фс по твоему совету читаю сейчас про ceph, (соединяться они волс одномодом через intel 520da в гипервизор qsfp медь)
на файлосервере tgt и по iscsi вхд цепляются к гипервизору на котором qemu-kvm.

На квм виртуалки в количестве 4 штук с win2008 enterprice +линуксовые сервера (samba 3.6, samba4 ad,) .
надо ha, живую миграцию.

ceph, (N)RDB в кему, какой

ceph, (N)RDB в кему, какой нибудь *stack для управлялки. Опен не рекомендую - хорош, но избыточен.
Накрайняк либвирт и костыли.

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

поподробнее про *stack можно?

поподробнее про *stack можно? чую гугл найдет очень много ненужного по такому запросу

openstack, cloudstack, .... (

openstack, cloudstack, .... ( небула, чтотамещебыло ) .

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

по cephберем 2 пк с

по ceph
берем 2 пк с серверной начинкой втыкаем туда диски (даже разного объема), скармливаем диски демону осд, айноды мдс, карту на каждый сервак, ext4 для rbd и с клиента тяням rbd в квм, которым управляем через openstack?
если на каждом пк по 4 диска (не в рейде) по 3 Тб то максимальная скорость дисков будет (sata) на чтение 200x3=1200 мб\с то нужно скорость минимум 10Гб между ними,
получается каждый ceph storage втыкается в свич 10Гб вместе с гипервизорами. Единой точкой отказа будет свич. Если без нее то в каждый SAN по 2 порта и 4 порта в гипервизор?

если я правильно все понял то понадобится

2 самых дешевых корпуса под 4 диска
2 s1200 c самыми девомыми процами
8 гб озу
2 hba
6 hdd sata wd black
2 hdd 500 под систему.
2 millanox ConnectX-3 EN 2 порта
2 millanox ConnectX-3 EN 4 порта (или между гипервизоами хватит и 1Гб меди?)
1 свич если без резерва (какой посоветуете?) millanox посмотрел чуть не поплохело от цен.

можно посмотреть в сторону инфинибанд если есть что-то бюджетное.

3 пк - ибо кворум Еще раз -

3 пк - ибо кворум
Еще раз - транспортом L1 для SAN -IB. Если осилишь osd на голом IB ( L2-3 ) - будет круто, если нет - запустишь сверху езер.
IB карты по 30 баксов на ебее - а гонят 10G, по мелочи свич не нужен, сделаешь топологию кольцо. Почитай про IB, это не езернет, multipath там в стеке протоколов.
ссд под кеш osd, тот же интел530 80 гб,
карты hba из лысых чипов сейчас на мамках запаяны, только нужно немножко переписать 1 скриптик и повтыкать в /proc/interrupts
У меня старый циско IB, но у мну машинок много овер 5.

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал(а): 3 пк -

slepnoga написал(а):
3 пк - ибо кворум
Еще раз - транспортом L1 для SAN -IB. Если осилишь osd на голом IB ( L2-3 ) - будет круто, если нет - запустишь сверху езер.
IB карты по 30 баксов на ебее - а гонят 10G, по мелочи свич не нужен, сделаешь топологию кольцо. Почитай про IB, это не езернет, multipath там в стеке протоколов.
ссд под кеш osd, тот же интел530 80 гб,
карты hba из лысых чипов сейчас на мамках запаяны, только нужно немножко переписать 1 скриптик и повтыкать в /proc/interrupts
У меня старый циско IB, но у мну машинок много овер 5.

Про IB замучался искать информацию, то что было в поиске все перечитал осталось видимо только про opensm почитать, не поделишся ссылочками - самое толковое что нашел это http://mac.bog.pp.ru/hard/InfiniBand.html.
По поводу уровней оси, l2 понятно на сколько я понял определится по GUID, L3 - IPoIB?

Идея мне очень понравилась, но цена омрачило все... полез уже заказывать железо и не нашел ни чего, поискал hca IB забугорьем не нашел ничего из нового дешевле тридцатки. (посмотрел ссылку на адаптер hp они PCI_X, то что на псй експрес дорого не реально) - где поискать?

Денег у вас, по ходу дела,

Денег у вас, по ходу дела, куры не клюют. Берем пару серваков шоб тянуло виртуалки, внутри диски рейды и тп, меж ними - апплинк . Туда же drbd,clvm,libvirt,pacemaker. Скорость чтения==скорости шины, скорость записи == скорость апплинка. Территориально разносить кластер можно, но смысла особого нет, ибо две десятки дороже одной. Кусок лвм отдать по искайзи не особо сложно, для шар потребуется кластерная самба (я делал на gfs). Софт в готовом виде без напильника и с поддержкой можно купить/скачать у красной шапки. Под гентоо нужен напильник, но уже не такой большой как год-два назад. Все вместе в инете носит название "кластер для бедных", и при должном старании весьма неплохо работает. В настоящий момент у меня подобный кластер держит пяток виртуальных машин вот уже год как. Из косяков никак не могу победить запуск второго узла при работающих виртуалках. Он гад их всех гасит а затем по новой запускает. Из минусов - взлетает тяжеловато.При плановой остановке одного узла все дотстаточно резво мигрирует на другой.

Инфинибанд по ценам обойдется приблизительно так же как и 10g, только будет раза в четыре быстрей. Основной проблемой будет как обычно свич, сравнимый по ценам с 10G. Ну и я так полагаю что с дальнобойностью у него не очень, (метров пять - десять)

wi написал(а): Денег у вас,

wi написал(а):
Денег у вас, по ходу дела, куры не клюют. Берем пару серваков шоб тянуло виртуалки, внутри диски рейды и тп, меж ними - апплинк . Туда же drbd,clvm,libvirt,pacemaker. Скорость чтения==скорости шины, скорость записи == скорость апплинка. Территориально разносить кластер можно, но смысла особого нет, ибо две десятки дороже одной. Кусок лвм отдать по искайзи не особо сложно, для шар потребуется кластерная самба (я делал на gfs). Софт в готовом виде без напильника и с поддержкой можно купить/скачать у красной шапки. Под гентоо нужен напильник, но уже не такой большой как год-два назад. Все вместе в инете носит название "кластер для бедных", и при должном старании весьма неплохо работает. В настоящий момент у меня подобный кластер держит пяток виртуальных машин вот уже год как. Из косяков никак не могу победить запуск второго узла при работающих виртуалках. Он гад их всех гасит а затем по новой запускает. Из минусов - взлетает тяжеловато.При плановой остановке одного узла все дотстаточно резво мигрирует на другой.

Инфинибанд по ценам обойдется приблизительно так же как и 10g, только будет раза в четыре быстрей. Основной проблемой будет как обычно свич, сравнимый по ценам с 10G. Ну и я так полагаю что с дальнобойностью у него не очень, (метров пять - десять)

тут обсолютно другой подход, он мне более симпатичен. Про Ваш вариант я думал но отговорили от дрбд, и не зря - узнал многое, приятно. Еще помню oVirt приятно порадовал на теории из коробки миграция, glusterfs...

Дрбд (имхо) одно из лучших

Дрбд (имхо) одно из лучших бесплатных синхронизированных устройств. Работает надежно. Документация в порядке. Инструментарий на уровне. Единственный недостаток - при сплитбрайне надо минут на пять голову включить.
Почему "Для бедных". При совмещении службы сервиса (как то самба или тот же qemu) поток данных идет через шину и ограничен (только при записи данных) апплинком. Мне собственно хватает апплинка в ~ 1G (Образы читаются значительно чаще, чем пишутся), достаточно дешево можно поднять апплинк до 2-4G,но при наличии денег на 2 10G карточки (две штуки баксов) это тонкое место можно расширить существенно ( не всякий рейд способен слопать 20G). В вашем же подходе используются четыре (а вообще для кворума нужно пять и шестая наблюдалка, итого около 10 штук баксов на карты) , тут уже приходится задумываться о 10G свиче (лучше два, ибо кластер), что весьма и весьма недешево (мне не удавалось находить достойные образцы ценою менее полтора килобакса на порт). Для пятерых вируалок это (имхо) технически и экономически нецелесообразно, и ежели технарь витает в облаках рассматривая только симпатишные решения, то его коллега экономист может запросто спустить его на землю (тупо не дав денег).

ИМХО glusterfs/ceph не для админов локалхоста (скажем до 1000 юзверей). Такие заморочки и (соответсвенно) затраты более свойственны крупным датацентрам.

более свойственны крупным

более свойственны крупным датацентрам.
Wi, крупные сидят уже на сотке, и 40-ки с стойки наружу. SAN тоже по езеру, обычно Nx40G отдельной сетью.
IB сейчас это удел стоек у alexxy и прочих 'Ломоносов'ых. Ну а старье с 10-м запасом прочности на http://www.ebay.de/itm/Mellanox-InfiniHost-III-LX-HCA-PCIe-MHES14-XTC-10Gb-s-TOP-/271512504393?pt=DE_Computing_Interne_Netzwerkkarten&hash=item3f37680849">вторичке ....

То что я описывал - это макс 5 стоек на все включая бгп бордер. Больше - полезут другие проблемы ...

П.С
Если отмотать в самое начало .... и почитать целиком ....

П.П.С
Может быть глявно отличие в том, что я работаю в конторе, которая зарабатывает на IT, а не на выпуске недомой фигни станками по металлу и менеджерами ?

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

sharp написал(а):...Еще

sharp написал(а):
...Еще помню oVirt приятно порадовал на теории из коробки миграция...

Ага, в теории... а для конфигурации по теме - жуткий оверхед и тормоза при низкой надежности!

oVirt годен только когда есть (высоконадежная!) голова/master и много-много подчиненных узлов.

slepnoga написал(а):3 пк -

slepnoga написал(а):
3 пк - ибо кворум
карты hba из лысых чипов сейчас на мамках запаяны, только нужно немножко переписать 1 скриптик и повтыкать в /proc/interrupts
У меня старый циско IB, но у мну машинок много овер 5.

что за скриптик?

c интегрированными hba разобрался -
IR - Integrated RAID
IT - Initiator Target

Имеет смысл брать свич бу cx4? все таки единая точка

карты думаю Mellanox MHGA28-XTC и по меди соеденить в кольцо.
Может чушь спрошу но не очевидно мне - По любым карточкам infiniband можно гонять езернет, или только по VPI? (на карточках с портами CX4 не увидел MAC только GUID)

ИМХО, по любым - фреймы

ИМХО, по любым - фреймы езернета заворачиваются в кадры IB - это же инкасуляция. Другое дело, что есть чипы, умеющеиее нa уровне PHY одноеременно езер и IB и имеющие одно выч. ядро.

что за скриптик? - mtp_affinity.sh

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал(а): ИМХО, по

slepnoga написал(а):
ИМХО, по любым - фреймы езернета заворачиваются в кадры IB - это же инкасуляция. Другое дело, что есть чипы, умеющеиее нa уровне PHY одноеременно езер и IB и имеющие одно выч. ядро.

что за скриптик? - mtp_affinity.sh

mtp на сколько я понял от LSI софтинка, не в курсе матерей с интегрированным чипом LSI?
s1400 видал, но сокет какой то древний, а в s1200 хотят RMS25JB080 стоимостью 12-14К

у супермикро навалом с

у супермикро навалом с впаянным LSI

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал(а):у

slepnoga написал(а):
у супермикро навалом с впаянным LSI

искал что у intel что у supermicro нашел только двухпроцесорные. Еще инфинибенд там же есть, но платы уже серьезные...

еще вопрос созрел, ухожу от

еще вопрос созрел, ухожу от полноценных пк в сторону тонких клинтов, посему остался парк пк от h61 до Z77, вот и думаю может не покупать мать/проц/корпус/озу/хдд а взять то что есть...
Минусов не вижу могу как раз взять 3 пк (asus p8z77 pro(lx), 4gb, 1tb, i5), вставить туда hba LSI и в путь.

Хреново искал - X9SRH-7F/7TF

Хреново искал - X9SRH-7F/7TF

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал(а): Хреново

slepnoga написал(а):
Хреново искал - X9SRH-7F/7TF

спсибо, просмотрел ее, по поводу предыдущего поста с обычным железом что думаешь? а то скоро мариновать его придется ))

все решился пошел покупать4

все решился пошел покупать
4 x Mellanox MHQH29-XTC 40Gbps 2x QSFP
4 x LSI Logic MEGARAID SAS 9240-8i
и шнурки ко всему этому делу

для одного гипервизора (второй пока занят вмварью), остальное железо решил ставить от десктопов - т.к. его у меня в достатке, если сдохнет подмена есть.

еще вопрос - кворум нормально будет работать при выходе из строя одного сторожа?

Андрей подскажи подойдут ли

Андрей подскажи подойдут ли шнурки Amphenol QRD qsfp для mellanox? у некоторых продавцов на ебэе написано что только для того же вендора, и на форуме меланокса видел вопрос про несовместимость адаптера меланокса и шнурка Amphenol

Amphenol QRD qsfp - без

Amphenol QRD qsfp - без понятия, абсолютно не в курсе.

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

slepnoga написал(а):Amphenol

slepnoga написал(а):
Amphenol QRD qsfp - без понятия, абсолютно не в курсе.

спасибо за ответ, у местного интегратора сейчас узнаю... отпишусь как узнаю, а так запчастюльки в пути уже, контроллеры взял 9211 lsi, их под hba заточить можно в отличие от тех которые хотел.

9211 lsi - мм, это же ХРЖ, у

9211 lsi - мм, это же ХРЖ, у lsi все современные контроллеры точатся под hba стандартной перешивкой IP<->IR

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

ОбЪясните, пожалуйста,

ОбЪясните кто-нибудь, пожалуйста, отставшему от жизни, что такое ХРЖ.

Это не прикол, я уже часто в последнее время, читая РуНет, вынужден искать в Интернете значения отдельных слов, но на этот раз ни великий Гугл, ни уважаемый Яндекс ответа не дали... :)

ХРЖ - это из галактики, где

ХРЖ - это из галактики, где "мужики с бензином вместо крови". Обозначал марку стали , из которой с конца 80-х делали автомобили москвич, ваз и газ ( заз-1102 кстати из нее никогда не делали).
Расшифровывается как Хреновое Ржавое Железо.

Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".