А можно ли через wget закачивать (зеркалировать) сайты??

man wget

 -k
--convert-links
After the download is complete, convert the links in the document to make them suitable for local viewing.  This affects not only the visible hyperlinks, but any part of the document that links to external content, such as embedded images, links to style sheets, hyperlinks to non-HTML content, etc.

--page-requisites

Recursive Accept/Reject Options
-A acclist --accept acclist
-R rejlist --reject rejlist
Specify comma-separated lists of file name suffixes or patterns to accept or reject (@pxref{Types of Files} for more details).

и ещё вагон и маленькая тележка про куки, время, прокси, ДНС и ещё чёрт зает что.
ну что - трудно на ман глянуть?

если не осилите вгет, то есть замечательная тулза httrack к ней вебморда прилагается :D

Кое чего начинает вырисовываться...

$ wget -r -v -A docs*.html http://site/folder/

т.о. сливаю только docs*.html файлы из всех директорий.

Почему сливается файл "robots.txt"? Под какие правила он подпадает?

Почему-то закачиваются ещё пустые папки (они не подпадают под правило!). Они действительно есть на сайте. Но нафига их качать?
(там они не пустые, у меня пустые)

как такое можно реализовать?

Хм.. а поведение в целом интересное..

Командую:

$ wget -r -v -A docs*.html -R file*.html http://site/folder/
...
02:07:02 (46.25 MB/s) - `http://site/folder/file-30.html' saved [29699]
Removing file-30.html since it should be rejected.
....

А почему же он его вообще сохраняет, если адрес у меня в отрицательных правилах??
Что-то совсем не в курю в управление вгэтом.. Ман читаю, не помогает (-:

Реально ли указать ему чтобы он НЕ ХОДИЛ по определённым ссылкам, не то что даже сохранял..?? Вроде указал ему как надо, а такое впечатление что указал я ему "только по этим и ходи" (-: Он всё равно продолжает уверенно топать по ним..

Народ, скажите пожалуйста, а можно ли WGet заставить ходить только по ссылкам удовлетворяющим правилам?? Он ходит по всем абсолютно, сохраняет, а потом удаляет тут же - типа под правило не подошло.

Как ему поставить так, чтобы он ходил только по ссылкам где присутствует подстрока "str"?