6. 4. 1999

ObΦas je pot°eba z nejr∙zn∞j╣φch d∙vod∙ stßhnout obsah n∞jakΘho webu z Internetu na lokßlnφ poΦφtaΦ. Progrßmk∙, kterΘ toto umo╛≥ujφ existuje celß °ada, podφvejme se dnes na jeden z nich. (Pro ost°φlenΘ linuxovΘ matadory to nenφ ╛ßdnß novinka, ale dobrΘ v∞ci zajistΘ neu╣kodφ, obΦas ji p°ipomenout.)

Pro p°enos cel²ch adresß°∙ mezi servery jsem jeden Φas zkou╣el script mirror, ale nedokßzal jsem jej doladit tak, aby mi vyhovoval. Proto jsem zaΦal pou╛φvat program Wget. S parametrem -m se z n∞j stßvß ideßlnφ nßstroj pro noΦnφ mirrorovßnφ FTP adresß°∙. Wget v╣ak umφ mirrorovat i WWW strßnky. Dφky tΘto vlastnosti je mo╛no jej pou╛φt i k off-line brouzdßnφ. Program Wget automaticky navazuje, kdy╛ vypadne spojenφ, pokud to zdrojov² server podporuje (NT to bohu╛el nepodporujφ).

Nejzßkladn∞j╣φ pou╛itφ je na p°φkazov² °ßdek napsat:

wget URL1 URL2 ....

URL m∙╛e b²t i v t∞chto formßch:

ftp://host[:port]/path
ftp://user:password@host/path
http://user:password@host/path

Tak╛e ho lze pou╛φvat i na neanonymnφch FTP a na privßtnφch WWW strßnkßch.

N∞kterΘ mo╛nosti programu wget:

wget -r --tries=10 http://fly.cc.fer.hr/ -o log
stßhne rekurzφvn∞ v╣echno z fly.cc.fer.hr, v p°φpad∞ chyb 10x vyzkou╣φ ka╛d² soubor a zapφ╣e v²sledn² log.

wget -i FILE
soubor FILE m∙╛e b²t normßlnφ textov² soubor se seznamem URL odd∞len²ch mezerou nebo nov²m °ßdkem, ale m∙╛e to b²t i libovoln² HTML soubor, ze kterΘho si program wget "vytßhne" v╣echny odkazy a ty stßhne. Soubor FILE m∙╛e dokonce b²t i souΦßstφ URL - nap°. wget -i http://www.neco.cz/index.html

wget -N URL
Stßhne URL pouze pokud datum poslednφ modifikace je nov∞j╣φ, ne╛ datum u souboru, ktery u╛ je "doma".

wget -r URL
Rekurze - rozli╣uje http-URL a ftp-URL. Http-URL stßhne rekuzivn∞ podle odkaz∙ a ftp-URL podle adresß°∙. Podle p∙vodnφho nastavenφ stahuje do hloubky 5. To se dß zm∞nit nastavenφm -l. Tak╛e wget -rl 2 URL stßhne rekuzivn∞ pouze dal╣φ ·rove≥.

wget -m URL
Mirror - je to toto╛nΘ s wget -rN URL, tj. rekurzivn∞ stßhne v╣echno co je nov∞j╣φ ze zadanΘho URL.

Program wget toho ale umφ daleko vφce, nap°. se p°i stahovßnφ dajφ vylouΦit odkazy na r∙znΘ typy soubor∙, nebo domΘny atd.

Autor: Martin Patka (jinΘ Φlßnky tohoto autora)
Sekce: Software

Diskuse

16. 4. 1999 12:10:33 - Rad bych udelal trochu reklamu... (Headman)
Rad bych udelal trochu reklamu programu pavuk slovaka Stefana Ondrejicka http://www.idata.sk/~ondrej/pavuk/ Je myslim jeste propracovanejsi nez wget a funguje dobre