ARECA 1260 + 14x750Gb SATA HDD = array 9870Gb. Или как создать большой раздел (Very big partition).

Здравствуйте, уважаемые.

Прошла неделя в борьбе с пришедшим в эксплуатацию сервером.
Конфигурация:

1. Материнская плата MB Supermicro 2xSocket-771 i5000P
(Extended ATX,FSB 3730MHz, 8DDR II SDR,VGA,2xGbitLAN,Serial ATA II/300-RAID),X7DBE 1
2. Процессор Intel XEON 5050 (3000Mhz/667MHz/2x2Mb) Active/1U 2
3. Модуль памяти 1GB DDR2 PC5300 DIMM ECC Reg with Parity CL5
ValueRAM dual rank x8 Kingston 4
4. Винчестер HDD Western Digital 74GB Serial ATA, 10000 rpm, 16MB, 1
5. Винчестер HDD SEAGATE 750Gb 7200 Serial ATA NL35/ES 16Mb 15
6. Контроллер Tekram (Areca) ARC1260 SATA II, RAID 0,1,10,5,6,JBOD, 16 каналов,
cache 256MB SODIMM, PCI-Express X8 1
7. Корпус Supermicro CSE-836TQ-R800B (Black) 3U, SAS, Redundant 800W 1

На HDD Western Digital 74GB поставлена ОС:


Linux ftp-server 2.6.22-gentoo-r5 #1 SMP Fri Sep 14 14:07:39 MSD 2007 x86_64 Intel(R) Xeon(TM) CPU 3.00GHz GenuineIntel GNU/Linux

ftp-server ftp # df -k -H
Файловая система Разм Исп Дост Исп% смонтирована на
/dev/sda3 63G 2,1G 58G 4% /
udev 2,1G 631k 2,1G 1% /dev
/dev/sda1 104M 7,5M 91M 8% /boot
shm 2,1G 0 2,1G 0% /dev/shm

далее пытаюсь создать раздел sdb1 на /dev/sdb1, тот, что RAID5.
fdisk более 2Тб не видит, вернее видит, но после создания раздела форматируются только 2Тб и не более того.
почитал FAQ на сайте производителя Areca там рекомендовали parted. Поставил, начал разбиение, вроде получилось (gpt), пытаюсь отформатировать ext3 пишет, что более 8Тб разделы ext3 не понимаются. Пересоздал parted раздел под xfs, отформатировал, замонтировал:

ftp-server ftp # df -k -H
/dev/sdb1 9,8T 9,4G 9,8T 1% /home/ftp

mount
/dev/sdb1 on /home/ftp type xfs (rw)

вроде все нормально...
перезагружаюсь:


XFS: bad magic number
XFS: SB validate failed

соответственно массив больше не монтируется. Пересоздаю его parted, форматирую под xfs, все в порядке, первая же перезагрузка и массив больше не виден. Write Cache на Areca-1260 в BIOS отключен (батарейки на нем нет).

Есть ли выход из этой ситуации? Какой мне выход наиболее симпатичен? Такой при котором мой массив будет размером 9870 Гб. Подскажите, сталкивался ли кто с созданием Очень Больших дисков в Генте на аппаратном рейде?

Надеюсь тебе что-нибудь поможет

Блин, такой сервер и пожадничали РАЙД-контролер купить, чтоб не мозг не добивать... хотя...

Я не сталкивался с такими чудесами, максимальный массив который я создавал это 2Тб,
Выбор был не плохим, ведь в действительности хоть и XFS не показала нам высоты производительности по сравнению с ReiserFS но зато поддержка больших файловых систем и больших файлов поражает!

XFS дает возможность управлять файловыми системами и отдельными файлами размером до 1 эксабайт (1018), то есть в миллионы раз больше, чем самые крупные из современных файловых систем. При этом обеспечивается совместимость с популярными 64-разрядными платформами. Например, версия от SGI сетевой файловой системы NFS 5.3 позволяет экспортировать 64-разрядные файловые системы в другие типы файловых систем. Можно использовать поставляемый с XFS интерфейс для работы с 32-разрядными программами, которые в результате могут работать с 64-разрядными позициями и размерами файлов. Используя комбинацию NFS и XFS можно плавно преодолеть ограничения 32-разрядных систем, а все существующее программное обеспечение будет работать без перекомпиляции с XFS-файлами размером до 2 Гбайт. Однако, для работы с файлами большего размера могут потребоваться некоторые изменения.

Привожу пример конфигурирования взятый тогда мною с одного старого форума:

Цитата:
Команды XLV:
lv_make – создание нового логического тома, приписывая метки логического тома входящим в него устройствам;
lv_to_xlv – грамматический разбор файла, описывающего логические тома, используемые локальными машинами, генерация необходимых команд;
xlv_assemble – сканирование всех дисков локальной системы с целью поиска меток логических томов и сбора всех логических томов для генерации новой конфигурации структуры данных;
xlv_labd – установка логических томов для дисков;
xlv_plexed – создание «зеркальных» томов;
xlvd – обработка ввода/вывода на «зеркальных томах и выполнение восстановления данных в случае возникновения ошибок;
xlv_admin – модификация объектов файловой системы XLV (тома, «зеркальные» копии, элементы томов, метки логических дисков XLV).
Ограничения
Чувствительность к аппаратным ошибкам при работе без использования зеркальных копий.
Еще не реализовано квотирование дисков – индивидуальных ограничений для пользователя на дисковое пространство.
Установка XFS
Установить операционную систему с поддержкой XFS, сделать дампы всех существующих файловых систем.
Назначить зеркальные тома XFS, выбрать размеры блоков, выбрать размер и тип журнала XFS.
Выполнить проверки на наличие адекватного свободного пространства на физических носителях.
Выполнить разбиение дисков на разделы.
Создать новую файловую систему XFS с использованием команды
mkfs_xfs.
Восстановить необходимые данные из дампа с преобразованием их в файловые системы XFS.
Перезагрузить компьютер и получить удовольствие от работы с XFS.

Конкретная жизнь больших файлов на примере UnixWare
Сегодня считается дурным тоном не поддерживать в операционной системе работу с большими файлами, поэтому в описаниях Solaris, AIX и HP-UX также можно встретить указания на то, что эти системы работают с файлами до 1 Тбайт. Например, основная новая черта SCO UnixWare 7 – поддержка файлов размером почти 1 Тбайт (максимальный размер самой файловой системы установлен также на уровне 1 Тбайт).

Работа с большими файлами UnixWare возможна только в файловой системе vxfs, включаемой в момент создания файловой системы по команде

# mkfs .... -o largefiles
Если нет уверенности в том, какого типа файловая система была создана, то можно для исследования этого вопроса использовать команду

mkfs «-m»
Будет возвращена командная строка, которая использовалась для создания файловой системы. Аналогичным способом можно проверить, какая файловая система была создана при инсталляции операционной системы, например:

# mkfs -F vxf -m
Если вы не использовали команду mkfs с флагом «о» или хотите модифицировать файловую систему позднее (система в этот момент должна быть размонтирована), используйте, например, команду:

# fsadm -F vxfs -o largefiles
dev/rdsk/c0b0t0d0s1

В XFS FAQ обнаружилось :

XFS: bad magic number
XFS: SB validate failed

Имеется ввиду, монтирование не возможно из-за поврежденой файловой системы. лучше всего воспользоваться xfs_repair надеятся что всё загрузится. Это может быть из-за проблем с дисками или софтверным RAID масивом, также, повреждённых кабелей, DMA и всё такое.

---------------------------------------------
Intel P4/Xeon Extended MCE MSRs 3200 x2 SMP IBM Xseries 346 4Gb/chip video ATI Radeon QY 8Mb/
Portage 2.1.3.7 (default-linux/x86/2007.0, gcc-4.2.0, glibc-2.6.1-r0, 2.6.22-gentoo-r5 i686)

Quote: В XFS FAQ

Цитата:
В XFS FAQ обнаружилось :

XFS: bad magic number
XFS: SB validate failed

Имеется ввиду, монтирование не возможно из-за поврежденой файловой системы. лучше всего воспользоваться xfs_repair надеятся что всё загрузится. Это может быть из-за проблем с дисками или софтверным RAID масивом, также, повреждённых кабелей, DMA и всё такое.

1. 0a:0e.0 RAID bus controller: Areca Technology Corp. ARC-1260 16-Port PCI-Express to SATA RAID Controller - аппаратный RAID, сервер "нулевый", со шлейфами проблем точно нет, авот про "...DMA и все такое" поподробнее можно?
2. xfs_repair - делал, вроде полечилось все, но после этого диск вместо 9,9Тб стал опять 2Тб!

может и глупый

может и глупый вопрос - но...
а в ядре включена поддержка больших разделов?

Да, конечно.

Да, конечно. Более того, разделы по 4,8Тб я без проблем создавал, но это не решение проблемы. RAID создавался с поддержкой LBA.

(SOLVED)

ldy написал(а):
Цитата:
В XFS FAQ обнаружилось :

XFS: bad magic number
XFS: SB validate failed

Имеется ввиду, монтирование не возможно из-за поврежденой файловой системы. лучше всего воспользоваться xfs_repair надеятся что всё загрузится. Это может быть из-за проблем с дисками или софтверным RAID масивом, также, повреждённых кабелей, DMA и всё такое.

1. 0a:0e.0 RAID bus controller: Areca Technology Corp. ARC-1260 16-Port PCI-Express to SATA RAID Controller - аппаратный RAID, сервер "нулевый", со шлейфами проблем точно нет, авот про "...DMA и все такое" поподробнее можно?
2. xfs_repair - делал, вроде полечилось все, но после этого диск вместо 9,9Тб стал опять 2Тб!

Кароче вся проблема в контроллере он просто не поддерживает разделы больше 2ТБ!!!!!! Меняйте контроллер и всё будет о!к

USE="The SOURCE", Luke && emerge --syth --
Intel P4/Xeon Extended MCE MSRs 3200 x2 SMP IBM xSeries 346 ECY 4Gb/chip video ATI Radeon QY 8Mb/
Portage 2.1.4.4 (default-linux/x86/2007.0/server, gcc-4.2.2, glibc-2.7-r1, 2.6.23-gentoo-r2 i686)

>> Кароче вся

>> Кароче вся проблема в контроллере он просто не поддерживает разделы больше 2ТБ!!!!!!

:)))))))))))))

Значиццо пляски с бубном.

Для использования разделов объемом свыше 2TB необходимо сменить тип таблицы разделов. По умолчанию это таблица MSDOS (O_o).
1) При сборке ядра обязательно указать file systems->partition types->EFI GUID Partition support (пресловутый гпт)
2) Зарыть стандартный fdisk ибо не умеет gpt. Поставить parted. Вкурить ман как сменить тип таблицы разделов на гпт. Разбить диск на разделы
3) Не все фс держат разделы свыше двух тер. Стандартный Рейзер и екст (без патчей редхатаили джебиана) не может. Иногда советуют увеличить размер блока вдвое, но это не тру вей. Так что фс выбиорай. XFS держит.

4) Вилы с загрузчиками. Стандартный граб без патчей не умеет грузиццо с диска/рейда, у которого гпт таблица . Обещают в новых версиях граба.

Не очень хорошо

Не очень хорошо разбираюсь в вопросе, но что если создать несколько разделов по 3-4 Тб и объеденить их при помощи LVM (Logical Volume Manager)? По теме: http://gazette.linux.ru.net/rus/articles/taleLinuxLVM.html

root@Antarctic $ emerge -av penguins

Тогда ты создаш

Тогда ты создаш несколько разделов по 3-4 Тб и обьединишь их. Разве я не прав? Ток нафига???
-------------------------------------------------------------
USE="The SOURCE", Luke && emerge --syth

я нормально

я нормально форматировал раздел на 12Тб
да, разбивать надо через parted
А вот на счет файловой системы не скажу, я юзал там OCFS2 =)

Судя по этой

Судя по этой теме при больших размерах лучше пользоваться, XFS. Что тебя ещё заинтересует!? у меня вопрос почему бы не воспользоваться райд массивами, этот способ зарекомендовал себя временем...
-------------------------------------------------------------
USE="The SOURCE", Luke && emerge --syth

Обычная mbr

Обычная mbr таблица разделов не работает на дисках больше 2 тер
Вам надо создать gpt таблицу разделов
А уж на ней можете создавать lvm2 или любые другие разделы произвольного размера

___________________________________________
Gentoo GNU/Linux 2.6.24 GCC 4.2.3 Dual Xeon
Working on Gentoo for iPAQ hx4700 :-)

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".