Главная » Форум » Gentoo Linux » Общие вопросы

Поиск дубликатов файлов [solved]

olegon 5 января, 2008 - 16:24

Озадачился тут разгребанием помойки, убился, не могу найти подходящий инструмент.
Есть замечательная надстройка в GQView, но она почему-то только на картинки расчитана, а у меня их не так много...
Чем можно поискать в каталоге дублирующиеся файлы по контрольной сумме хотя бы?

‹ Обработка MP3 тэгов Переменование файлов (кодировка) [solved] ›
»

KleanSweep Sony Vaio SZ460

Автор developer, дата создания 5 января, 2008 - 16:32.

KleanSweep

Sony Vaio SZ460 Premium, Core2Duo 2.0, hdd=160G, mem=2G, hybrid video: nvidia 7400 + GMA 950

»

[I] app-misc/fdupes

Автор Шаманыш, дата создания 5 января, 2008 - 18:19.
[I] app-misc/fdupes
     Available versions:  1.40
     Installed versions:  1.40(13:59:14 17.04.2007)
     Homepage:            http://netdial.caribe.net/~adrian2/fdupes.html
     Description:         identify/delete duplicate files residing within specified directories

[I] app-arch/hardlink++
     Available versions:  (~)0.02
     Installed versions:  0.02(15:15:02 17.04.2007)
     Homepage:            http://www.sodarock.com/hardlink/
     Description:         Save disk space by hardlinking identical files.

:)

»

fdupes генитально

Автор olegon, дата создания 5 января, 2008 - 21:41.

fdupes генитально работает, сравнивает по именам...
а в kleansweep интересная методология, он предназначен для того, чтобы при обнаружении дупов убить их обоих зачем-то :) Но за kleansweep спасибо, хоть ручками, но можно бороться :) Кстати, в нем тоже странности, он файлы разного размера и имени иногда считает одинаковыми.

»

Не надо гнать!

Автор Шаманыш, дата создания 6 января, 2008 - 01:53.

Searches the given path for duplicate files. Such files are found by comparing file sizes and MD5 signatures,fol- lowed by a byte-by-byte comparison.

man fdupes, цуко! =)

»

Все,

Автор olegon, дата создания 6 января, 2008 - 14:21.

Все, родился:

#!/bin/bash
echo $1
fdupes -rf $1 | tee dupes.lst
sort dupes.lst | uniq | grep -v '^$' > dupes2.lst
cat dupes2.lst |while read line; do rm -r "${line}"; done
rm -r dupes.lst
rm -r dupes2.lst

»

была у меня

Автор raskapulk, дата создания 5 января, 2008 - 21:57.

была у меня мысль сделать инструмента, который пробежавшись по разделам составил дерево хэшей файлов, потом на основе хэшей дропил бы дубликаты, оставляя орегинал(образно), вознакла проблама с поиском дубликатов при наличии десятков миллионов файлов... уж долго процесс идет...
_______________________________________
грех обманывать компиляторы в субботу

»

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".