какая файловая система лучше для торрент клиента?
Dmitri 24 ноября, 2009 - 08:32
Какую файловую систему лучше использовать для торрент клиентов?
раздельный диск и партиция конечно хорошо, но не всегда возможно.
терял партиции и на reiserfs и на ext3. восстанавливал правда, но это удовольствие забирает много времени.
у кого какой опыт?
»
- Для комментирования войдите или зарегистрируйтесь
а как связан торрент клиент с
а как связан торрент клиент с типом ФС и потерей данных?
помнится некоторые клиенты не
помнится некоторые клиенты не дружили с определёнными фс, но вроде их уже вылечили.
:)
жижненный опыт
mldonkey мне убивал партицию
на днях ktorrent умирал после перезагрузки, после удаления настроек опять запускался, однако осадок остался, и на той же партиции где все остальные файлы лежат, страшновато ktorrent запускать ...
>>mldonkey мне убивал
>>mldonkey мне убивал партицию
>>на днях ktorrent умирал после перезагрузки, после удаления настроек опять запускался, однако осадок остался, и на той же партиции где >>все остальные файлы лежат, страшновато ktorrent запускать ...
По большому счету без разницы, какую из фс использовать. Пользовательские программы не умеют работать с фс, да и прав на это у них нет (ежели у админа на месте голова) ибо в гентоо право на запись в партицию (/dev/sd.. )имеет только рут и группа disk.
Более того ни одна из программ пользователя принципиально не знает на какой именно фс работает. Вся работа с фс наглухо отгорожена ядерными функциями. А обращение к последним происходит через определенный набор системных вызовов. В "убой" партиции наглухо, без возможности восстановления, при помощи осла верится с трудом. Постатвте smartmontools и посмотрите что творится на вашем харде, возможно проблемы в нем.
Торрент клиент штука капризная и не любит когда кто-то еще пишет в подконтрольные ему файлы. От того большинство из них суют локфайлы, наличие коих проверяется при каждом запуске. При некорректном выходе локфайл остается на диске, делая последующий запуск невозможным до удаления файла. При подобных проблемах неплохо было бы посмотреть в лог программы или в ее stderror ( запустив клиента с консоли,возможно с какими то хитрыми ключами).
Сам использую рейзер и xfs. Последняя в виде 4T хомы предприятия вертится несколько лет без каких либо нареканий. В качестве клиента испоьзую простой и достаточно надежный rtorrent.
bug?
после первых проблем, вынес торент раздел на отдельный диск и отдельный контроллер на reiserfs партиции, и все равно проблемы повторялись.
логика вполне понятная, ядро как и положено, выполняет прослойку между пользовательскими программами и железом, просто возможно я наткнулся на bug.
у меня 3.5 ТБ на xfs и не
у меня 3.5 ТБ на xfs и не жалуюсь... =) тока оперативы многа нада, но эт не проблема...
а вообще к выбору ФС подходят по-другому: выбирают не по программе, а по данным, которые будут на ФС храниться и требованиям к ним... мультимедиа-контент с частым (агрессивным) доступом лучше держать на xfs, если надо кучу мелких файлов хранить, которые существенно меньше размера кластера, то raserfs... если нужна немыслимая защита от потери данных, то использовать стоит ext3 с полным журналированием... про jfs ничего не скажу, судя по отзывам в инете ничего особого из себя не представляет... ext4 чистой воды пиарщина, сырая и ненадежная (имхо, спорить ни с кем не буду!!!)... ext2 устарела и отсутствует журналирование... остальные малоизвестные ФС типа похмелфса заточены под какие-то определенные задачи и широко не применяются...
а вообще так трудно почитать маны и обзоры в инете? ведь проблему выбора никто за вас не решит, т.к. на вкус ицвет все фламастеры разные!!! ))
/
За наезды на
ext2порву любого! :)))"Устарелость" --- не аргумент!
Требование журналирования --- суть банальность.
За которой опускаются вопросы: для чего (нафига), где и насколько оно нужно.
И (главное) чем за это заплачено (и, соответственно, где/насколько оно критично)?
ЗЫ: Говоря о торрентах неплохо бы указать режим (с учётом требований функционирования системы имеютс смысл два режима: обычный (входящий трафик примерно равен исходящему) и раздача (исходящий трафик заметно превышает входящий).
С точки зрения режима функционирования (и соответственно критериев выбора)файловой системы момент существенный.
:wq
--
Live free or die
чтение не критично
скорость чтения и отдачи в данном случае будет определятся скоростью слабого звена - wifi в данном случае и ограничивает - так что вопрос скорости чтения снимается
ext2/3 имеют фатальный баг —
ext2/3 имеют фатальный баг — фиксированное количество inode из-за чего люди использующие GPS-программы на openmoko даже флэшки начали форматировать в reiserfs — на большой площади карт иноды всё равно кончаются достаточно быстро.
Это не баг, это фича! ;)
Это не баг, это фича! ;)
Working on Gentoo Linux for Asus P535 and Qtopia :-)
ну файлопомойка на 500 гиг
ну файлопомойка на 500 гиг одним разделом имела 400к инодов, из 3,5кк возможных. но можно просто погуглить, и увидеть как народ сталкивается с проблемой заканчиваемости инодов на корневых разделах. ext3 имхо древний кактус, который большинство просто грызут по привычке. есть более совершенные ФС для различных задач.
Тыкшта-а-а...
Спорное утверждение. EXT3 весьма надёжна и проверена временем. "Тыкшта-а-а..."
emerge Your world
Gentoogle
ага... проверена временем как
ага... проверена временем как мой дедушка... если послать в магазин перед завтраком, то он 100% вернется (хоть даже третья мровая начнется), но не факт, что и к ужину успеет ;)
если бы ext3 была бы так идеальна (быстра, надежна и удобна), то других ФС не было бы, а их то на самом деле ооооййй как много ;)
/
Здесь уместен ответ цитатой с ibash.org.ru:
На самом деле проблема не столько в фиксированности количества инодов, сколько в неадекватности давно поросших мхом умолчательных значений параметров создания файловой системы ([coder]ext[/code]) конкретной задаче (области применения).
:wq
--
Live free or die
к сожалению, а может быть и
к сожалению, а может быть и счастью, я не буду цитировать километровые топики из рассылки Openmoko по подбору нужного количества inode при форматировании раздела, и последующем их неожиданном конце. С другой стороны, большое значение в этих проблемах имеет также опция tail рассовывающая "хвосты". В общем, пора вылезать из уютной пещерки.
P.S. Хотя, вот всёже одно из:
Anarchist написал(а): Говоря
у меня второй вариант (работаю сидером на провайдерском трекере), сам почти ничего не качаю
данных под терабайт, какую фс лучше использовать?
надеюсь все знают как торрент работает???
именно по этому и спрашиваю про торрент, так как выделяет сразу место под большие файлы, и потом часто и много в разных местах в размеченных файлах записывает.
до сих пор пользуюсь raiserfs, но опять таки, возможно я не оптимален, поэтому и спрашиваю
>>так как выделяет сразу
>>так как выделяет сразу место под большие файлы
не факт, это как настроить. ktorrent, нпаример, по умолчанию на не виндовых фс так не делает.
:)
К тому-же в Vuze достаточно
К тому-же в Vuze достаточно тонко настраивается как частота сброса кэша на диск, так и размер кэша. Так же, думается в любом нормальном клиенте можно выбрать политику — выделять место сразу или постепенно.
Юзаю rtorrent на raiserfs при
Юзаю rtorrent на raiserfs при добавлении торрента действительно появляются все файлы в своих конечных размерах, но вот реально место под данные выделяется только в момент записи, т.е. я могу поставить качаться существенно больше, чем объем диска и в mc увидеть все это лежащим(а df будет показывать кучу свободного места) и оно все будет качаться пока реальное место не кончится.
Смысл в том что есть
Смысл в том что есть sparse-файлы (вроде так зовут), ФС когда видит что файл забит нулями делает хитрый финт ушами и выходит что и файл есть нужного размера и место осталось свободно, от того что она «знает» что там одни нули.
Я это понимаю, и написал, к
Я это понимаю, и написал, к тому, что вне зависимости от количества и размера файлов в торренте писаться будет кусками размера выдаваемого торрент клиентом, т.е. почти пофиг какая ФС
Холивар в самом разгаре как я
Холивар в самом разгаре как я посмотрю
вполне по теме разговор
есть задача: много, часто, мелкими порциями записывать данные в разные части файла - какая fs будет лучше?
такого раньше еще обсуждали
похоже пора вводить голосовалку ...
ну судя по постам в этой теме
ну судя по постам в этой теме большинство за XFS, далее идет reiserfs и ext4.
хотя гдето видел тесты параллельной записли на винт в энное число потоков. и наименшую фрагнментацию продемострировала... JFS.
о какой фрагментации идет
о какой фрагментации идет речь, если пространство под файлы выделяется сразу? Оо
живучесть
вопрос не о фрагментации, а о живучести файловой системы.
проблемы с которыми столкнулся я уже назвал
живучесть выше у ext3/4 это
живучесть выше у ext3/4 это факт. если нет UPS, то лучше поствить ext4 и радоваться жизни. да и дефрагментатор уже почти допилили под нее.
ext4? не смешите!
ext4? не смешите!
Товарищ! Времена проблем
Товарищ! Времена проблем становления ext4 уже давно в прошлом!
:}
В gentoo-sources-2.6.30-r8
В gentoo-sources-2.6.30-r8 этого патча ещё нет.
Хм. В моем посте была доля
Хм. В моем посте была доля шутки, это во-первых. Полгода назад никак не есть "давно уже прошедшие" времена, а баг тот в ext4 был, прямо скажем, летальный. Потому как бы я имел ввиду, что как ни хороша собой ext4, а все ж молода и неопытна.
Ну а относительно патча, ту лажу исправляющего, -- что вам обновиться-то мешает?
:}
SMOKEING написал(а): Ну а
2.6.30-r8 - последнее стабильное ядро, куда обновляться?
Скоро будет 2.6.31-r6
Скоро будет 2.6.31-r6 стабильным.
Текстовый редактор vi имеет два режима работы: в первом он пищит, а во втором — всё портит.
плюсую за xfs. встроенный
плюсую за xfs.
встроенный дефрагментатор и отличная работа с большими файлами для файлопомойки торрента идеальны.
рейзер использую в остальных случаях. все таки на корневом разделе он рулит.
вообще пользуюсь в тестовом режиме для /usr/portage reiser4. скорость бешенная, но пока к сожалению UNSTABLE.
ext3/4 имхо кактус. есть смысл только для очень важных данных, ибо по своему опыту скажу ext3 неубиваема, хоят и тормознута.
ах да зыбыл - даже с учетом отключения резевирования 5% на ext3/4 для системных нужд, свободного места на диске у xfs и reiser после форматирования больше.
Не знаю что это значит, но в
Не знаю что это значит, но в Vuze есть галочка «выделять место для файлов, используя специальный метод файловой системы XFS». Ещё она славится невозможностью уменьшить размер раздела и проблемами при потерями файлов при сбоях питания, нужен UPS.
Да, UPS нужен, в остальном —
Да, UPS нужен, в остальном — я за XFS.
Текстовый редактор vi имеет два режима работы: в первом он пищит, а во втором — всё портит.
ups нужен в любом случае!!!
ups нужен в любом случае!!! ;)
/
А как же дизель-генератор?!?
:wq
--
Live free or die
Anarchist написал(а): А как
ага, дома возле кровати... пыхтит себе тихонечко, дезодорирует воздух ;)
кстати, покажется странным,
кстати, покажется странным, но у меня дома есть и УПС на серваке и генератор. правда бензиновый :)
ну да. энергозависимость этой
ну да. энергозависимость этой ФС известна. но также известно, что комп, который работает в режиме 24/7 (закачка торрентов) фактически обязан иметь UPS. :) это ИМХО.
у меня его как не было так и
у меня его как не было так и нет, 5й год купить собираюсь.
после очередного скачка за
после очередного скачка за 250В в сети, изза которого сгорел БП, мне надоело это и я пошел купил UPS. было это 2 года назад )
только нужно очень серьезно
только нужно очень серьезно отнестись к проблеме выбора, а то у меня на работе от APCшных бесперебойников компы погорели... инженеы ахнули, когда додумались ВАХ на выходе посмотреть... это ужас просто! бесперебойник APC Back-UPS ES-700 серии... вот тут неплохая статья на эту тему... у меня же дома IPPON Smart Winner 1000 полтора года фигачит без остановки и дарит радость его обладателю =)
Упс...
Хм-м... Имею прямо противоположную статистику... Видимо, сильно зависит от страны-изготовителя ;)
emerge Your world
Gentoogle
Кстати
ИБП, сцуко, внимания к себе требует.
Подход: поставил -- забыл, увы, не канает.
Ибо аккумулятор имеет свойство терять ёмкость с течением времени.
И, опять же, параметр режима работы (аккумулятора).
:wq
--
Live free or die
xfs
xfs,imho
Compute:
Bosch M2.8.1 -> custom Bosch M2.8.3 clone from Russia.
Speed about 260 km,Ram 2 pers.,HDD - 70 kg,210 FLOPS ;)
Имхо тоже xfs. Если это
Имхо тоже xfs.
Если это торренты, то не чего морочиться в вполный журналинг, потому как там куча мизерных записей.
Olek написал(а): Имхо тоже
ups + xfs без журналинга?
хмм, любопытный подход
ну про ups я ничего не писал.
ну про ups я ничего не писал. У меня не было проблем с xfs'ом после вырубания питания.
А про журналинг, то я могу ошибаться, но мне когда что-то обилось о уши, что его можно врубить только на метаданные. И совсем не юзать полного журнала.
ups добавил
про ups это я уже добавил, обобщил тему так сказать
btrfs?
кстати на предмет btrfs никто ничего не слышал по теме вопроса? (про то что ну устаканилось я знаю)
Если учесть что дисковый
Если учесть что дисковый формат метаданных её не устоялся, то говорить особо не о чем, в таком ракурсе ext4/reiser4 лучше - у хотя-бы формат метаданных стабилен.
Именно! У меня хомяк на ext4,
Именно! У меня хомяк на ext4, где и располагается файлопомойка. Быстро и шустро, по крайней мере проблем пока не замечал.
Сколько лет? В смысле -
Сколько лет?
В смысле - "сколько лет работает домашняя станция на EXT4"?
Моя домашняя станция работает на reiserfs 4 года... Подряд...
emerge Your world
Gentoogle
btrfs намного медленнее
btrfs намного медленнее файлсистем о которых мы тут говорим. Эта файловая система делалась для того чтоб быть ни в себе надежной и полной фичеров, но для торрентов, где много хаотичных операций записи и чтения она медленная.
вы когда проверяли?
вы когда проверяли?
Тормозила xfs
Был раздел 250 Gb с xfs. Закачал rtorrent-ом под завязку и получил на этом разделе фрагментацию 98%.
Когда переносил файлы на архивный винт скорость с винта на винт была не более 16 Mb и дикие тормоза при том, что при отсутсвии фрагментации скорость была под 90 Mb.
Сейчас там ext3 и таких проблем нету.
я думаю такую степень
я думаю такую степень фрагментации все ФС так перенесут...
crypton написал(а): я думаю
Сейчас этот этот раздел работает под ext3 и скорость держится в пределах 40-50 Мб с раздела в архив.
тоесть ты перенес данные
тоесть ты перенес данные сохранив фрагментацию? волшебник!
crypton написал(а): тоесть ты
Да нет. Просто скаченные фильмы перенес на архивный винт и сменил файловую систему c xfs на ext3.
Теперь проблема фрагментации практически нет.
ну хз. имею 2 винта по 500
ну хз. имею 2 винта по 500 гиг на ext3 с файлопомойкой забитых на 300 и 410 гигов соотв. и 1 винт 320 гиг на xfs забитый на 260гиг. xfs на больших файлах намного быстрее. хотя мб это еще и потому, что на тем компе где xfs 4гига памяти и xfs пишет в основомо не фрагментированные файлы... xfsовский онлайн-дефрагментатор тоже помогает неплохо.
вообще я облизываюсь в сторону reiser4 или btrfs... жду када допилят, а пока на корневых системах везде reiserfs. на файлопойках я выше написал.
/
Только мне кажется, что
xfs--- не лучший выбор для "закачивания торрентами под завязку" (для раздачи уже закачанных фильмов --- ИМХО вполне себе вариант)?:wq
--
Live free or die
Anarchist
Anarchist написал(а): Только
с чего такие мысли вообще? прекрасная файловая система! но опять же, выбирать надо не столко от выбора программы, сколько от типа основномо контента и нагрузки на ФС... для этого полно обзоров, тестов исравнений в инете (в том числе и на русском языке) ;)
Theli написал(а): с чего
Я и не спорю для больших файлов без фрагментации xfs идеальна. Только rtorrent создает большую фрагментацию и скорость упала в разы на xfs, не любит она фрагментацию.
а торрент резервирует сразу
а торрент резервирует сразу весь размер скачиваемого файла?
даже если и так, если он
даже если и так, если он зарезервирует его нулями то ФС создаст sparse-файл.
evadim написал(а): даже если
Только если специально попросить.
dd if=/dev/zero of=file count=1024 bs=1M создаст обычный файл
dd if=/dev/zero of=file count=0 bs=1 seek=1024M создаст sparse файл
alexgray написал(а): Только
1. для xfs есть стандартный дефрагментатор в отличие от всех остальных файловых систем
2. xfs на фрагметацию в общем-то плевать, а вот на малое количество оперативной памяти совсем нет... она очень ее любит... без оперативы собственно и смысла ее ставить нету! ;) т.ч. 5 тыщ руб отсчитать и поменять на 8 гигов оперативы и будет вам истинная сказка )))))
Возможно это не в тему, но
У каких из файловых систем можно менять размер без потери содежимого? То есть какие ФС можно растягивать (а то я перевожу данные из NTFS раздела при ограничении на место)?
По поводу потери информации в файлах на XFS.
Эта ФС может незаметно испортить только файлы дескриторы которых открыты на запись или и те, что на чтение тоже?
Могут ли в испортиться файлы раздаваемые в ktorrent, если при его запуске они уже были полностью загружены и только сидировались (это вопрос скорее по ktorrent, как он там файлы открывает, но может кто в курсе) ?
Заранее спасибо.
http://en.wikipedia.org/wiki/Gentoo_penguin
1. Да вроде все можно
1. Да вроде все можно расширять.
2. Судя по тому, почему она теряет открытые файлы, то потеряться могут только недозаписанные на диск файлы.
Текстовый редактор vi имеет два режима работы: в первом он пищит, а во втором — всё портит.
Вроде-бы расширять можно
Вроде-бы расширять можно любые доступные в linux ФС, а вот урезать XFS не выйдет.
да, это ее минус, что ужимать
да, это ее минус, что ужимать нельзя без переформатирования :(
Theli написал(а): 1. для xfs
Пробовал дефрагментировать этот раздел с xfs, лучше бы я этого не делал - очень долго ждать.
8 Гбайт оперативы в том компе.
для торента чаво
reiserfs, раз уж совсем недоверие к xfs.
xfs разреженные файлы. Думаю, для, скажем, тяжелого самое оно.
И какое у fs время монтирования на терабайтный винт?
У reiserfs навскидку секунд двадцать.
У xfs проблемы с повреждениями файлов при отключении питания. Я дома никогда у людей бесперебойников не видел.
Повреждение файла было бы не особо страшно, если бы система сообщала какого именно...
Крупные файлы (образы DVD дисков, HDRipы) любой торрент клиент может перезакачивать по частям.
Вообще получается, что выбора-то особо и нет - ext3.
Странный тест с фороникса
http://www.phoronix.com/scan.php?page=article&item=ext4_btrfs_nilfs2&num=1
Offtopic: В идеале, нужно написать для файловых дополнение для связи с файлообменными клиентами для автоматической перезаливки файлов присутствующих в списке закачек/раздач.
http://en.wikipedia.org/wiki/Gentoo_penguin
Повреждение уже скаченного
Повреждение уже скаченного файла - слабореально, т.к. в него ничего не пишется, а если во время закачки пропало питание, так после завершения закачки торрент клиент проверит хэши и найдет не правильные куски и перекачает.
MoonLight написал(а): Я дома
Фотографию показать? (-:Е
Текстовый редактор vi имеет два режима работы: в первом он пищит, а во втором — всё портит.
MoonLight написал(а): У
У меня, правда, не терабайтный (/dev/mapper/lvm2-home 820G 669G 152G 82% /home), но монтируется меньше секунды, так что что-то у Вас не так :P
Боже мой! Это же первое, что надо покупать, как Вы без него живёте??
Повреждение файла было бы не особо страшно, если бы система сообщала какого именно...
Крупные файлы (образы DVD дисков, HDRipы) любой торрент клиент может перезакачивать по частям.
Вообще получается, что выбора-то особо и нет - ext3.
Вот всегда так: нет, чтобы в бенче сразу все ФС были, тут же про райзер забыли (третий и четвёртый), а было бы интересно посмотреть на сводную таблицу.
XFS. Главное преимущество
XFS. Главное преимущество мгновенное резервирование места под файлы, и последующие отсутствие их фрагментации.
Использовал кроме нее reiserfs и виндовую ntfs - при их использовании или очень-очень долгое резервирование (особенно ntfs) под аккомпанемент тормозов системы, или, при отключении резервирования, ужасная фрагментация.
ext3 + deluged уже больше
ext3 + deluged уже больше года крутится на нескольких винтах ext3, + c них же файлопомойка ftp работает, всё это без ипб, раз в неделю стабильный ребут ;) и ничего живет, и файлы целые.
LinuxDrom написал(а): XFS.
Только rtorrent почему то после резервирования места создавал дикую фрагментацию.
кстати выражение
кстати выражение "многновенное резервирование места" не совсем правильное, оно реально быстрее, чем у всех других ФС, но тоже занимает время ;) Очень хорошо чувствуется на HD контенте ;)
Theli написал(а): кстати
Ок, приукрасил немного.
Но, если смотреть на соотношение, оно таки мгновенное - ~20 секунд для хfs против ~30 минут на ntfs для 30 ГБ файла.
а как вам такой вариант: для
а как вам такой вариант: для закачки одна фс(без резервирования), а потом перемещается на другой раздел и там с резервированием уже.
Есть пара минусов: надо откусить часть места под закачку и при переносе на другой раздел могут быть тормоза дисковой подсистемы.
Да я чайник ;)
можно еще на deposifiles
можно еще на deposifiles заливать перед переносом, а потом скачивать оттуда, предварительно купив Gold аккаунт ;)