(mdadm, raid5, grow). Скорость расширения масива.

Вот посмотрим, что делают две последовательности команд.

1. Первая серия команд:
a. mdadm --create /dev/md0 -l 5 -n 2 /dev/sda /dev/sdb

Создается RAID 1 с ДВУМЯ дисками. Это значит, что при -n 2 в параметре -l может быть КАКАЯ УГОДНО циферка, если она не равна 0. Все равно получишь RAID 1:

mdadm -A /dev/md0 /dev/vg_system/r{0,1}
mdadm -D /dev/md0 | grep ' Size '
     Array Size : 2095616 (2046.84 MiB 2145.91 MB)
  Used Dev Size : 2095616 (2046.84 MiB 2145.91 MB)
     Chunk Size : 512K

b. mdadm --add /dev/md0 /dev/sdc

Теперь ты добавляешь spare-устройство к RAID 1:

mdadm --add /dev/md0 /dev/vg_system/r2
mdadm -D /dev/md0
    Number   Major   Minor   RaidDevice State
       0     253        2        0      active sync   /dev/dm-2
       2     253        3        1      active sync   /dev/dm-3

       3     253        4        -      spare   /dev/dm-4

c. mdadm --grow /dev/md0 -n 3
Теперь ты увеличиваешь RAID1 до трех дисков, отчего делается reshape до RAID5:

mdadm --grow /dev/md0 -n 3
mdadm -D /dev/md0
     Array Size : 4191232 (4.00 GiB 4.29 GB)
  Used Dev Size : 2095616 (2046.84 MiB 2145.91 MB)
    Number   Major   Minor   RaidDevice State
       0     253        2        0      active sync   /dev/dm-2
       2     253        3        1      active sync   /dev/dm-3
       3     253        4        2      active sync   /dev/dm-4

2. Вторая серия команд
a. mdadm --create /dev/md0 -l 5 -n 3 /dev/sda /dev/sdb missing
Создаем RAID 5 в degraded режиме с одним отсутствующим диском:

mdadm --create /dev/md0 -l 5 -n 3 /dev/vg_system/r{0,1} missing
mdadm -D /dev/md0
    Number   Major   Minor   RaidDevice State
       0     253        2        0      active sync   /dev/dm-2
       1     253        3        1      active sync   /dev/dm-3
       2       0        0        2      removed

b. mdadm --add /dev/md0 /dev/sdc
Добавляем отсутствующий диск с восстановлением производительности и избыточности:

mdadm -add /dev/md0 /dev/vg_system/r2
mdadm -D /dev/md0
    Number   Major   Minor   RaidDevice State
       0     253        2        0      active sync   /dev/dm-2
       1     253        3        1      active sync   /dev/dm-3
       3     253        4        2      active sync   /dev/dm-4

Итак, что мы вынесли из этого познавательного урока? В первом случае делался изначально RAID1, а не RAID5. При расширении получаем RAID5 с ожидаемым ПАДЕНИЕМ производительности. Теперь понятно, почему в при "создании скорость была (в начале диска) - 110 Мб/с, то при расширении - была всего 30-35 Мб/с"? Потому что RAID1 (2) -> RAID5 (3), а не RAID5 (2) -> RAID5 (3), как ты тут ожидал. При дальнейшем наращивании дисков производительность не будет "при добавлении 4-го "тормозить" будет до 66,6%, 5-го - 75%, 6-го - 80%", потому что не будет смены типа RAID-массива. С добавлением дисков будет расти скорость чтения, но не записи.
Теперь ясно все по теории?

Как сказать... на мой взгляд - проблема c /dev/sde есть... точнее есть мелкие замечания, которые могут перерасти в проблему, надо смотреть СМАРТ. Вообше-то

MaxMultSect=16, MultSect=off

как бы странно и подозрительно... у меня такое было (нулевое значение и тоже не давало изменить даже принудительно!) перед тем, когда диск совсем сдох... посмотрите его на smartctl с тестами и попробуйте все-таки насильно выставить. В пределах MaxMultSect это безопасно на самом деле, если, конечно, диск не находится под большой нагрузкой в данный момент.
Да и unknown у параметров говорит о том, что диски левоватые, не все работает (усеченный набор комманд/доступ на уровне firmware)...
Посмотрите еще (для себя хотя бы)

dmesg |grep sde
grep sde /var/log/syslog
smartctl -a /dev/sde|less

И прежде чем читать антикварные статьи на форумах (которые вообще зачастую отражают лишь личное мнение автора) - прочтите man hdparm... :), - приведу лишь фрагмент (надеюсь, что про readahead, как я раньше советовал, прочтете сами):
-m Get/set sector count for multiple sector I/O on the drive. A setting of 0 disables this feature. Multiple sector mode (aka IDE Block Mode), is a feature of most modern IDE hard drives, permitting the transfer of multiple sectors per I/O interrupt, rather than the usual one sector per interrupt. When this feaтure is enabled, it typically reduces operating system overhead for disk I/O by 30-50%. On many systems, it also provides increased data throughput of anywhere from 5% to 50%. Some drives, however (most notably the WD Caviar series), seem to run slower with multiple mode enabled. Your mileage may vary. Most drives support the minimum settings of 2, 4, 8, or 16 (sectors). Larger settings may also be possible, depending on the drive. A setting of 16 or 32 seems optimal on many systems. Western Digital recommends lower settings of 4 to 8 on many of their drives, due tiny (32kB) drive buffers and non-optimized buffering algorithms. The -i option can be used to find the maximum setting supported by an installed drive (look for MaxMultSect in the output). Some drives claim to support multiple mode, but lose data at some settings. Under rare circumstances, such failures can result in massive filesystem corruption.

и ? у мну в тачке на другом краю света 1+0-ка ;) задача - сделать из них 5-ку на 4-х дисках.
примерно так и решал ;)
И судя в том числе и по fortunes.gentoo.ru - успешно