Главная » Форум » Gentoo Linux » Системное администрирование

qla2xxxx extremly slow perfomance

vinetic 23 сентября, 2009 - 10:25

Добрый день, может быть кто-то сталкивался с такими карточками ?
Есть NAS есть QLA2462 (2 4Gbps порта), нас на тупорылой винде с такой же карточкой показывает общую пропускную порядка 1Гб/с.
Gentoo Linux 2.6.31 (даже с новым dm-multipath) с трудоб добирается до 300мб/c, причем если идет чтение в 300мб/c попытка записи приводит к делению этой пропускной способности канала на 2, т.е. по 150мб/c. На оборудование грешить бесполезно проверенно. А 300мб/c да еще в таком "полу дуплексе" мне явно не подходит, пускать виртуалки по такому дохлому каналу, смерти подобно...

Есть идеи ?

‹ IMQ мониторинг загруженносити канала ›
»

Сталкивались с этим на HP +

Автор Namenloss, дата создания 23 сентября, 2009 - 17:18.

Сталкивались с этим на HP + Eva, сапорт железки долго парил на тему, что в их RHEL всё работает на ура, приехали, та же ерунда с тем же контроллером.
Решение:
Ядро не более 2.6.18.
Дрова и фирмварь с сайта самую последнюю в ядро воткнуть.

—

Сон разума порождает чудовищ, сон безумия – вечность…

»

новая

Автор Гость, дата создания 23 сентября, 2009 - 18:37.

новая вводная...

multipathing....
node0 etc # dd if=/dev/dm-0 of=/dev/null bs=64k
1696641+0 records in
1696640+0 records out
111190999040 bytes (111 GB) copied, 525.41 s, 212 MB/s

path0
node0 etc # dd if=/dev/sdb of=/dev/null bs=64k
130189+0 records in
130188+0 records out
8532000768 bytes (8.5 GB) copied, 34.1113 s, 250 MB/s

path1
node0 etc # dd if=/dev/sde of=/dev/null bs=64k
167357+0 records in
167356+0 records out
10967842816 bytes (11 GB) copied, 42.4518 s, 258 MB/s

Собственно наблюдается, то что мультипасинг работает медленнее любого из путей... Хотя в 31 ядре обещали мультипассинг поместит на уровень ниже шедулера, обещая увеличение скорости...

Спасибо, сейчас попробую... Но решение проблемы на новых ядрах приветствуется, ибо без них тоже вилы, правда в других местах.

NightNord: для гостей премодерация. Лучше все же залогинится. Ну и теги [code] освоить ;)

»

Поставил 2.6.18.8 qla2xxx

Автор vinetic, дата создания 23 сентября, 2009 - 19:28.

Поставил 2.6.18.8 qla2xxx которые с ядром работаю ни чуть не лучше...
Скорость чтения с лунов так же в районе 300мб/с
А вот с /dev/dm-0 так же 200мб/c
Еще и нету KVM,а под который все это и делается

»

Драйвера нужны не родные,

Автор Namenloss, дата создания 23 сентября, 2009 - 19:34.

Драйвера нужны не родные что в ядре, а те что на сайте qlogic, фирмварь родная с сайта qlogic.

—

Сон разума порождает чудовищ, сон безумия – вечность…

»

Namenloss

Автор vinetic, дата создания 23 сентября, 2009 - 19:46.
Namenloss написал(а):
Драйвера нужны не родные что в ядре, а те что на сайте qlogic, фирмварь родная с сайта qlogic.

Пока ищу версию дров с сайта, пока безуспешно, не собираются :(

А на счет dm_multipath что скажите ? Он у вас нормально работает ?
Ибо сейчас я вижу то что сама фибра если тянуть дэдей с двух лунов нормально дает 500-600Мб/с, как и должна, а вот посли мультипассинга падает до ~200, причем с провалами в скорости до 70мб/c. Такая же картина наблюдается и в 2.6.28-31. Причем в 31 обещались увеличить скорость, за счет переноса мультипассинга до шедулера.

И собственно, у вас не наблюдается эффект что при записи падает скорость чтения ? (типа как полу дуплекс)

»

vinetic

Автор Namenloss, дата создания 23 сентября, 2009 - 20:44.
vinetic написал(а):
Namenloss написал(а):
Драйвера нужны не родные что в ядре, а те что на сайте qlogic, фирмварь родная с сайта qlogic.

Пока ищу версию дров с сайта, пока безуспешно, не собираются :(

А на счет dm_multipath что скажите ? Он у вас нормально работает ?
Ибо сейчас я вижу то что сама фибра если тянуть дэдей с двух лунов нормально дает 500-600Мб/с, как и должна, а вот посли мультипассинга падает до ~200, причем с провалами в скорости до 70мб/c. Такая же картина наблюдается и в 2.6.28-31. Причем в 31 обещались увеличить скорость, за счет переноса мультипассинга до шедулера.

И собственно, у вас не наблюдается эффект что при записи падает скорость чтения ? (типа как полу дуплекс)

Завтра поговорю с коллегой, он добил до работоспособности, некоторые провалы остались, но сейчас стабильно работает. Было почти, что вы описываете, от отключения второго оптического кольца до eva скорость была как по маслу.

—

Сон разума порождает чудовищ, сон безумия – вечность…

»

Да, поговорите пожалуйста. И

Автор vinetic, дата создания 23 сентября, 2009 - 20:57.

Да, поговорите пожалуйста. И если можно точные версии ядра, драйверов и multipath-tools.
Потому что пока у меня все печально не могу заставить собраться эту гадость :)

»

Ядро -

Автор Namenloss, дата создания 24 сентября, 2009 - 13:03.

Ядро - 2.6.19-gentoo-r5.
Версия драйвера - 8.02.23. Танцов с бубном оказывается и не было, после замены прошивки Eve стало очень даже хорошо, настройка мультипафа по джентушной мануле...

—

Сон разума порождает чудовищ, сон безумия – вечность…

»

Спасибо попробую, но у меня

Автор vinetic, дата создания 24 сентября, 2009 - 15:32.

Спасибо попробую, но у меня тогда все похуже ... еву мы за нас не считаем свою :)
А мне с хитачей надо работать и прошивать ее точно не будем :-)
А версию multipath-tools можно ??

У меня сейчас вообще из git'а :-)

»

0.4.8 версия multipath-tools

Автор Namenloss, дата создания 24 сентября, 2009 - 17:00.

0.4.8 версия multipath-tools

—

Сон разума порождает чудовищ, сон безумия – вечность…

»

На 2.6.25-2.6.26 кстати все

Автор vinetic, дата создания 25 сентября, 2009 - 15:06.

На 2.6.25-2.6.26 кстати все ровно с карточкой без дров с кулоджика, 500мб/с чтение запись одновременно (чтение с двух лунов) запись на два луна.

А вот уже в 2.6.28 все плохо и печально становится и так вплоть до 2.6.31 :)
Сейчас сижу в kdiff3 =)) разбираюсь в каком месте отломали они ноги :((

»

Лучше воспользоватся git

Автор NightNord, дата создания 25 сентября, 2009 - 15:19.

Лучше воспользоватся git bisect и посмотреть на bugzilla.kernel.org на предмет открытого бага. Если нет - открыть, это регрессия (а git bisect единственно-правильный способ разборки с регрессиями).

»

Судя по тырнету, что-то

Автор vinetic, дата создания 25 сентября, 2009 - 15:37.

Судя по тырнету, что-то перемудрили или с scsi или irq/dma и иже с ними, потому что не однокрано встречал вопли что катострофически упали IOPS'ы на новых ядрах. Если учесть что этому багу уже больше года, то я думаю они знают и забили на него, уж не знаю по каким причинам.

Но то что в новых ядрах dm_multipath работает хуже тупого чтения с луна, это факт :-((
Да и вообще если честно я последнее время не понимаю что твориться с ядром ... лезем на 4096 процессорные системы, но в ядре нету нормального алгоритма селектора для мультипассинга, роунд дробинг конечно хорошо, но вот queue-length в ядро должен был бы войти еще лет так 5 назад, для тех кому важны IOPS'ы...

В общем как-то печально мне становится последнее время :-(

А на счет бисек, спасибо, знаю я про него. На выходных думаю заняться, сейчас хочу пробежаться по исходникам qla2xxx и что в нем можно подправить и вообще что он экспортирует в /sys :) Сейчас пока лучше глазами :)

»

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".