Contents
Web Downloader

for Intranets.

Tento program byl vytvořen pro náš intranet, aby umožnil uživatelům rychlý a pohodlný přístup k některým často používaným informacím na internetu. Hlavní funkcí  Web Downloaderu je kopírování HTML stránek s obrázky a odkazy na náš Web server. Protože na našem intranetu máme firewall, musel jsem implementovat přístup přes proxy server. Web Downloader nyní podporuje JavaScript now.

Tento program je freeware. Funkční možnosti tohoto programu lze samozřejmě nadále rozšiřovat. Vaše připomínky a návrhy na vylepšení programu jsou vítány stejně tak jako zprávy o případných chybách.

Moje e-mailová adresa: arny@saransk.sitek.net.

Pokud vás tento program zaujal, pošlete mi prosím e-mail a budete infirmováni o nových verzích programu.

Čas vývoje - 1 týden (pro verzi 1.00.20).

Současná verze - 2.2  Build 43

Operační systém - Windows 95 nebo Windows NT 4.0. Vyžadované knihovny DLL - wsock32.dll.

Autor - Oleg Černavin. Rusko

Lokalizace (ve spolupráci s autorem) - Tomáš Valůšek, Česká republika, e-mail: tvalusek@vs.inext.cz

Domovská stránka - http://www.saransk.sitek.net/pages/arny/

nebo http://www.geocities.com/SiliconValley/Vista/2865/

Začínáme

Návod k použití

Historie programu


FirstStep
Začínáme

Instalace Web Downloaderu je jednoduchá - prostě spusťte soubor WebDown.exe. V systémovém registru vznikne položka HKEY_LOCAL_MACHINE\ SOFTWARE\ Arny O. Chernavin\ WebDownloader1, do níž budou zapsány výchozí parametry programu.Všechny informace o položkách určených ke stahování jsou uloženy v souboru WebDown.datuloženém v aktuálním adresáři.

Prvním krokem je otevření dialogového okna Nastavení (menu Soubor | Nastavení). Objeví se čtyři záložky:

1. Stahování

Adresář  určuje cestu k místu, kde budou uloženy stažené stránky. Musíte vložit úplnou cestu včetně jména disku, cesty a zpětného “\” lomítka na konci. Tato cesta může být lokální nebo síťová. Výchozí nastavení - “c:\temp\”.

Předpona URL.Tento parametr je významný jen pokud budete ukládat stažené stránky na váš Web server. V tom případě musíte zadat jméno virtuálního adresáře. Na vašem serveru můžete například vytvořit virtuální adresář servers.  Nastavte tedy tento parametr na “/servers/”. Lomítka “/” na začátku a konci jsou povinná.

Výchozí dokument určuje jméno souboru pro nepojmenované stránky.  URL jako  “http://www.server.com/” nebo “http://www.server.com/News/” například žádné jméno souboru neobsahují. V tom případě použijeWeb Downloader zde uvedené jméno. Výchozí nastavení - “default.htm”.

Protokolovat spojení.  Označte tuto volbu, chcete-li vést záznam o průběhu stahování zobrazovaném ve spodním rámečku hlavního okna.

Ikona v Hlavním panelu. Umožňuje minimalizovat Web Downloader do ikony v Hlavním panelu Windows 95/Windows NT 4.0. Menu této ikony vyvoláte stiskem pravého tlačítka myši. Toto menu obsahuje položkyObnovit, vyvolávající hlavní okno programu a Konec, ukončující Web Downloader.

2. Internet

Časový interval paketů určuje čas čekání (v sekundách) na odpověď vzdáleného serveru během stahování. Pokud server mlčí déle než je zde uvedeno, spojení se zruší. Výchozí nastavení - 300 sekund (5 minut).

Počet spojení. Web Downloader může přijímat několik (2 až 100) souborů současně. Výchozí nastavení - 5 souborů zároveň.

Opakovat, je-li server nedosažitelný. Je-li tato volba nastavena, Web Downloader bude znovu zkoušet spojení na internetový server, které se nezdařilo či stahování skončilo neúspěchem. Může být užitečné na nespolehlivých linkách.

3. Proxy server

Typ  určuje, zda se k internetu připojujete přes proxy server nebo ne. Máte-li proxy server, označte jeho typ. HTTP proxy server obvykle pracuje trochu rychleji než SOCKS4 proxy server.

Adresa a Port. Nastavte tyto údaje podle nastavení vašeho proxy serveru.

4. Táhni a pusť

Zvolte požadované chování Web Downloaderu  při pouštění či vkládání nové položky Ze schránky. Rámeček Při vložení odkazu obsahuje následující volby:

Automaticky vytvořit položku - nová položka bude vytvořena okamitě bez dalších dotazů.

Zobrazit menu pro volbu hloubky stahování - zobrazí se kontextové menu umožňující zadat hloubku stahování nebo zobrazit dialog Přidat položku, kde můžete upřesnit další parametry.

Otevřít dialog 'Přidat položku' - zobrazí dialog Přidat položku umožňující zadat další parametry.

Všimněte si, že všechny parametry pro novou položku budou převzaty z dialogu Výchozí parametry (menu Soubor/Parametry ).

Je-li volba Přijmout pouze položky s předponou 'http://'označena, vytvoří Web Downloader novou položku jen tehdy, bude-li URL začínat znaky ‘http://’.

Po nastavení všech potřebných voleb můžete začít program používat. Přejděte k Návodu k použití.


HowToUse
Návod k použití

Nečekejte nic složitého.

Hlavní okno programu obsahuje v levém horním rohu panel složek a vedle něj je panel položek. V tomto panelu se zobrazuje seznam položek pro stahování. Je rozdělen na několik sloupců: URL, indikátor stahování obrázků (Ano/Ne), Hloubka stahování, Indikátor stahování z jiných serverů (Ano/Ne), Stav stahování and počet dosud nestažených souborů.

Pod těmito panely najdete okno stavu spojení. Zde můžete sledovat průběh stahování. Počet řádků zobrazených v okně odpovídá hodnotě Počtu spojení nastaveném v dialogu Nastavení. Každý řádek začíná HTTPx:, kde x je celé číslo od nuly výše.

Pokud jste v dialogu Nastavení ozačili volbu Protokolovat připojení,najdete ve spodní části hlavního okna (neoznačený) rámeček Protokol připojení. Obsah jednotlivých řádků je stejný jako ve stavovém okně. Jediný rozdíl je v tom, že staré řádky nejsou mazány, nové řádky se místo toho připojují na konec seznamu.

Na okrajích jednotlivých oblastí se kurzor myší změní na dvojitou šipku. Pokud v tuto chvíli stisknete levé tlačítko myši, budete moci změnit velikost těchto oblastí tažením hraničních čar.

Přidání nového URL: v adresářové části okna vyberte složku, v níž má být nová položka umístěna (pokud žádná neexistuje, musíte ji vytvořit) a vyberte příkaz Položky/Přidat nebo stiskněte klávesu Ins nebo klepněte pravým tlačítkem myši v oblasti položek a zvolte Přidat. Objeví se dialog Přidat/Upravit položku. Parametry pro něj budou převzaty z dialogu Výchozí parametry (příkaz Soubor/Výchozí parametry). Novou položku můžete také přidat přetažením textového odkazu (grafické odkazy najsou zatím podporovány) z WWW prohlížeče do oblasti položek. Příkazem Položky/Vložit ze schránky (nebo klávesou Ctrl-P) lze převzít URL ze schránky. Jak se Web Downloader po zadání tohoto příkazu zachová, závisí na nastavení voleb ‘Při vložení odkazu’ v dialogu Nastavení.

Chcete-li stáhnout WWW stránky, zvolte příslušnou položku v Oblasti položek a Spusťte je (příkaz Položky/Spustit nebo klávesa F5). Stav vybrané položky se změní na Stahuje se.... Po ukončení stahování bude stav položky Hotovo. Ve slupci Zbývá souborů je zobrazen počet souborů, které budou staženy. Toto číslo se může zvětšovat či zmenšovat podle obsahu stahovaných dokumentů a nastavené Hloubky stahování.

Web Downloader vytváří na lokálním disku během stahování kopii adresářové struktury vzdáleného serveru v Adresáři pro stahování. Příklad: chcete stáhnout URL http://www.server.com/page.html. Program vytvoří všechny potřebné adresáře počínaje www.server.com. Odkazy jako http://www.server.com.... a /images/pict.gif budou konvertovány do tvaru /servers/www.server.com/...  a /servers/www.server.com/images/pict.gif  (při zapnuté volbě Konvertovat odkazy pro Web server). Znak “:” (předpona čísla portu v URL) bude převeden na “+”. URL končící znakem “/” (výchozí dokument) budou převedena na “...../default.htm” (lze změnit v poli Výchozí dokument dialogu Nastavení ). Soubory “descr.dat” a “*.primary” jsou důležité - ve vlastním zájmu je nemažte.

Během stahování můžete sledovat informace o všech spojeních. Hlášení jsou podobná těm v Netscape Navigatoru.

Vytvořit či smazat složku lze příkazy Položky/Přidat složku a Položky/Smazat složku nebo klikněte pravým tlačítkem myši v oblasti složek a zvolte příkaz z kontextové nabídky. Položky z oblasti položek lze myší přesouvat do jiných adresářů.

Program umožňuje zahájit stahování ihned po spuštění. Chcete-li využít této možnosti, zadejte pořadová čísla položek (počínaje 0) oddělená mezerami na příkazové řádce. Chcete-li například stáhnout první, třetí a čtvrtou položku ze seznamu URL v oblasti položek, spusťte program příkazem WebDown.exe 0 2 3

 Máte-li několik složek, Web Downloader zahájí automatické stahování z první složky. Stahovat z jiné složky lze také - uveďte složku/číslo na příkazové řádce. Příklad: stáhnout druhou položku ze složky “Auto” lze příkazovým řádkem WebDown.exe Auto/1

Poznámka: Web Downloader NEBUDE po automatickém stahování ukončen.


AddModify
Dialog Přidat/Upravit položku

 Parametry jsou rozděleny do čtyř skupin:

1. Parametry

URL udává internetovou adresou WWW stránky.

Označte volbu Stahovat obrázky, chcete-li stahovat obrázky, animace, komponenty ActiveX, třídy jazyka Java atd.

Neoznačujte volbu Stahovat z jiných serverů, chcete-li stahovat soubory pouze z udaného WWW serveru.

Je-li označena volba  Stahovat pouze tuto složku a jí podřízené, Web Downloader bude ignorovat soubory uložené mimo uvedenou oblast.

Hloubka ovlivňuje počet stažených WWW stránek.

Nastavte volbu Konvertovat odkazy pro na hodnotu Web server, chcete-li vystavit stažené stránky na svém Web serveru nebo na Offline prohlížení, pokud je chcete prohlížet ze svého disku.

2. Plánování

Použijte tyto volby k automatickému stahování v určitém čase. Ručně znamená bez plánování.

3. Přihlášení

Zde uveďte uživatelské jméno a heslo pro stahování WWW stránek chráněných heslem. Zatím je podporováno jen základní (Basic) přihlašovací schéma.

4. Další volby

Označte volbu Maximální velikost souboru, nechcete-li stahovat příliš velké soubory. Požadovaný limit (v kilobajtech) uveďte do vstupního pole.

Je-li povoleno Provádění skriptů, Web Downloader se pokusí zjistit a použít odkazy v JavaScriptových a VBScriptových oddílech HTML souboru.

Oddíl Vynechat/zahrnout typy souborů  určuje, které typy souborů budou stahovány. Vložte příponu souboru do pole Přípona a stiskněte tlačítko Přidat >> - přípona bude zařazena do seznamu přípon. Tlačítko Odebrat << odebere ze seznamu přípon označenou příponu. Zástupné znaky (* a ?) nejsou zatím podporovány.


Author
Hledám trvalé zaměstnání

Hledám stálé zaměstnání mimo Rusko.

Je mi 24 let, jsem ženatý a mám 10ti měsíční dceru. Jsem absolventem Mordovské univerzity v Rusku. S IBM PC kompatibilními počítači pracuji 7 let. Jsem vývojář v Borland Pascalu / Borland Delphi. Pracuji v Saranské elektrárně jako programátor a systémový administrátor sítě (Windows NT, Linux). Mám zkušenosti s upgradováním a testováním počítačů, TCP/IP, programováním klient-server, znám HTML, CGI, ISAPI, nyní studuji Javu, JavaScript, VBScript.

Oleg  Černavin.

E-mail: arny@saransk.sitek.net

26 července 1997


WhatJava
Řada serverů obsahuje dynamickou grafiku a reklamu. Některé stránky obsahují menu a další ovládací prvky. Většina těchto zpestření je implementována v JavaScriptu. Řada offline prohlížečů obvykle nezobrazí grafiku obsaženou ve skriptech. Web Downloader 2.1 a vyšší vám umožňuje takovou grafiku nahrát. Vše, co proto musíte udělat, je označit volbu Povolit provádění skriptů v dialogu Přidat/upravit položku , záložka Další volby. Tato volba je ve výchozím nastavení vypnuta.


AddItemURL
Sem vložte URL stahovaného dokumentu.

Příklady:

http://www.infoart.ru/it/news/index.htm

http://www.somehost.com/


AddItemImg
Označte tuto volbu, chcete-li automaticky stahovat obrázky na této stránce.


AddItemLevel
Ovlivňuje počet stahovaných Web stránek.

With Hloubka = 0 program stáhne jen stránku uvedenou v poli URL.

With Hloubka = 1 - výše uvedená stránka a všechny stránky odkazované z této stránky.

With Hloubka = 2 - totéž co Hloubka 1 plus každá stránka odkazovaná ze stažených stran.

A tak dále...


AddItemServers
Je-li tato volba označena, Web Downloader nahraje všechna URL, i když ukazují na jiné servery.

Vypněte ji, chcete-li stahovat pouze dokumenty z vámi uvedeného serveru.


AddItemThisWay
Při označení této volby bude Web Downloader stahovat jen dokumenty ve stejné úrovni nebo podřízené cestě v URL.


AddItemTranslate
Zde můžete určit, zda chcete stahovat stránky pro váš WWW server nebo pro offline prohlížení, což má vliv na způsob, jakým je zacházeno s odkazy.

Pro Web server:

http://www.server.com/...  /servers/www.server.com/...;

/images/image.gif   /servers/www.server.com/images/image.gif

Pro Offline prohlížení:

http://www.server.com/...  file:///c:\temp\www.server.com/...;

/images/image.gif   file:///c:\temp/www.server.com/images/image.gif

Tak můžete otevřít dokument ve vašem prohlížeči a užívat surfování po pevném disku.


AddItemAuth
Vložte uživatelské jméno a heslo pro stahování chráněných WWW stránek. Zatím je podporováno jen základní Basic přihlašovací schéma.


AddItemWhen
Ručně - bez plánování.

Denně - stahovat každý den v určenou dobu.

Týdně - stahovat jednou týdně v Den týdne v určenou dobu.

Měsíčně a Ročně  - totéž jednou měsíčně či ročně.

Vždy po - opakovaně stahovat s přestávkou uvedenou v okně Čas (každých Hodin : Minut).


AddItemFileSize
Označte volbu Maximální velikost souboru, nechcete-li stahovat příliš velké soubory. Povolenou velikost v kilobajtechuveďte do vstupního pole.


AddItemScript
Je-li označeno volba Povolit provádění skriptů, Web Downloader se pokusí zjistit a použít odkazy uvedené v JavaScript a VBScript oddílech HTML souboru.


AddItemInEx
Zde můžete určit typy souborů pro stahování.

Stahovat všechny soubory vypíná filtrování.

Zvolíte-li Stahovat jen následující soubory nebo Nestahovat následující soubory, pak budou soubory s příponou ze seznamu vpravo odpovídajícím způsobem filtrovány.

Chcete-li přidat příponu do seznamu, vepište ji do pole Přípona a stiskněte tlačítko Přidat >>. Přípona se objeví v seznamu vpravo.

Chcete-li odebrat příponu, označte ji a stiskněte tlačítko Odebrat <<.


OptionsPathPrefix
Uveďte adresář pro ukládání stažených souborů.

Nezapomeňte na zpětné lomítko “\” na konci.


OptionsURLPrefix
Určuje virtuální adresář pro stažené soubory na vašem WWW serveru.

Každý odkaz ve stažených HTML souborech začínající “http://www.server....” bude konvertován na “/servers/www.server.....”, kde “/servers/” je obsah tohoto řádku.

Lomítka “/” na začátku a konci řádku jsou povinná.


OptionsDefaultDoc
Výchozí dokument určuje jméno souboru pokud stažená stránka nemá jméno. Například URL jako “http://www.server.com/” a “http://www.server.com/News/” neobsahují jméno souboru. Web Downloader dá takovým souborům zde uvedené jméno. Výchozí nastavení - “default.htm”.


OptionsLog
Označte tuto volbu, chcete-li během stahování protokolovat každé HTTP spojení. Smazat tento ROSTOUCÍ protokol, zvolte příkaz Soubor/Smazat protokol.


OptionsRetry
Při označení této volby se Web Downloader pokusí znovu navázat spojení s WWW serverem v případě, že se nepodařilo nebo se stahování neočekávaně přerušilo. Může být užitečné při nespolehlivém spojení s Internetem.


OptionsUseProxy
Zvolte odpovídající Typ proxy serveru. Zvolíte-li položku HTTP nebo SOCKS4, musíte též vyplnit Adresu a Port proxy serveru.

Zatím podporuje Web Downloader jen proxy servery typu HTTP a SOCKS v.4. Tato volba byla testována s WinGate 1.3.17. HTTP Proxy je také implementován v Netscape Proxy Serveru.


OptionsTimeOut
Uplyne-li Časový interval paketů (v sekundách) bez odpovědi, Web Downloader zruší spojení a přesune příslušné URL na konec fronty čekajících souborů. Výchozí hodnota je 300 (5 minut).


OptionsHTTPCount
Současně může probíhat více než jedno spojení na internetový server. Více spojení znamená více současně přenášených souborů, ale může to snížit rychlost přenosu jednotlivých souborů. Výchozí hodnota - 5. Rozsah - od 2 do 100 souběžných spojení. Změna se projeví po novém spuštění programu.


OptionsOnDrop
Zvolte požadované chování při tvorbě nové položky přetažením nebo vložením ze schránky do Web Downloaderu. Rámeček Při vložení odkazu obsahuje následující volby:

Automaticky vytvořit položku - vytvoří položku bez dalších dotazů.

Zobrazit menu pro volbu hloubky stahování - objeví se menu, ze kterého můžete vybrat Hloubku stahováníl nebo zobrazit dialog Přidat položku, kde můžete upřesnit další parametry.

Otevřít dialog 'Přidat položku' - zobrazí dialog Přidat položku, kde lze upřesnit další parametry.

Všimněte si, že všechny parametry pro novou položku budou převzaty z dialogu Výchozí parametry (příkaz Soubor/Výchozí parametry).


OptionsSysTray
Po označení této volby se bude Web Downloader minimalizovat do ikony v Hlavním panelu Windows 95/Windows NT 4.0. Kliknutím na ikonu pravým tlačítkem myši vyvoláte kontextové menu s volbami Obnovit - zobrazí hlavní okno programu - a Konec - ukončení Web Downloaderu.


OptionsAcceptOnlyHTTP
Je-li označena volba Přijmout pouze položky s předponou 'http://', Web Downloader přijme upuštěnou nebo ze schránky vloženou položku jen tehdy, začíná-li její URL znaky ‘http://’.


History
Historie programu

4. 2. 1997 - Verze 1.00.20

První verze.

12. 2. 1997 - Verze 1.00.21

Opraveno URl přesměrování portu (znak ‘:’).

Opraveno stahování URL se zankem ‘?’.

Rámce jsou postaveny do stejné hloubky stahování.

Přídán příkaz Zastavit stahování do hlavního menu.

Přidána hodnota Počet spojení do dialoguNastavení.

Zdokonaleno uživatelské rozhraní.

6. 3. 1997 - Verze 1.00.22

Dvě opravy URL přesměrování portu (znak ‘:’)

Přidána volba Stahovat z jiných serverů do dialogu Přidat/Upravit položku.

14. 3. 1997 - Verze 1.00.23

Přidány volby příkazového řádku.

Přidán indikátor Zbývá souborů do oblasti položek.

Hodnota Časový interval paketů v dialogu Nastavení změněna na sekundy.

Volání GetHostByName a Connect se již neblokují.

Konverze HTML je nyní rychlejší.

Program vytváří soubory .primary pouze pro HTML.

18. 3. 1997 - Verze 1.00.24

Přidána volba Konvertovat odkazy pro... do dialogu Přidat/Upravit položku.

Nyní si pamatuje velikost a polohu hlavního okna (uloženo v Registru).

4. 4. 1997 - Verze 2.0 Build 27

Přidána volba Opakovat, je-li server nedostupný do dialogu Nastavení .

Added Outline view.

Přidáno pole Výchozí dokument v dialogu Nastavení.

9. 4. 1997 - Verze 2.0 Build 28

Přidány volby pro Plánování do dialogu Přidat/Upravit položku.

Přidána podpora SOCKS4 proxy serveru.

11. 4. 1997 - Verze 2.0 Build 30

Přidáno potvrzování Jméno/Heslo u chráněných WWW stránek (v dialogu Přidat/Upravit položku).

Přidána volba Stahovat pouze tuto složku a jí podřízené v dialogu Přidat/Upravit položku.

Opraveno podivné chování při vypnuté volbě Stahovat obrázky.

23. 4. 1997 - Verze 2.0 Build 31

Opravy chyb.

Přepsán soubor nápovědy.

Přidána podpora pro dalších 9 HTML značek, včetně podpory ActiveX a Javy.

Přídána podpora HTTP zprávy 302 Object moved.

30. 4. 1997 - Verze 2.0 Build 32

Opravy chyb (Přihlašování a stahování souborů z některých UNIX WWW serverů).

8. 5. 1997 - Verze 2.1 Build 33

Přidána podpora táhni a pusť odkazů z WWW prohlížečů.

Přidána funkce Vložit odkaz ze schránky.

19. 5. 1997 - Verze 2.1 Build 34

Oprava práce s pamětí.

Přidána podpora značky <BASE HREF=>.

Zvýšena rychlost konverze stažených HTML dokumentů.

Přidáno Přerušit/Obnovit stahování.

Přidána volba Maximální velikost souborů.

21. 5. 1997 - Verze 2.1 Build 35

Přidána podpora JavaScriptu (volba Povolit zpracování skriptů v dialogu Přidat/Upravit položku).

Opravena chyba při stahování dokumentů s URL obsahujícími znaky ‘?’ a ‘|’.

30. 5. 1997 - Verze 2.1 Build 37

Přidán příkaz Uložit protokol do souboru.

Přidány Výchozí parametry při vytváření/vkládání nové položky.

Změněno pole Heslo v dialogu Přidat/Upravit položku - zobrazuje hvězdičky místo znaků.

20. 6. 1997 - Verze 2.2 Build 38

Přidána funkce Zahrnout/Vynechat soubory v dialogu Přidat/Upravit položku.

Po změně hodnoty Počet spojení není nutno program znovu spouštět.

Odstraněn problém s chováním některých WWW serverů při oznámení jiného stavu než 200 OK.

Přidána možnost minimalizace do ikony v Hlavním panelu Win95 / WinNT4 (volba Ikona v Hlavním panelu v dialogu Nastavení).

27. 6. 1997 - Verze 2.2 Build 39

Přidána volba Stahovat vždy po... v dialogu Přidat/Upravit položku, záložka Plánování.

Opraven problém při stahování z NCSA Web serverů.

3. 7. 1997 - Verze 2.2 Build 40

opravovat chyba při stahování tříd jazyka Java.

Několik drobných vylepšení uživatelského rozhraní.

Lokalizační změny.

9. 7. 1997 - Verze 2.2 Build 41

Opravena chyba při vynecháváná některých typů souborů.

Zdokonalená podpora JavaScriptu.

Přidán příkaz Stáhnout složku (jednorázové stažení všech položek ve složce).

22 July 1997 - Version 2.2 Build 43

Fixed bug with <BASE HREF=> tag.

Fixed bugs with broken URLs.

Web Downloader now adds Default Document name to URLs ending with ‘/’.