HTTrack - Aspirateur de sites web

* 1.20 bient⌠t... *

Version 1.20beta19 disponible! (FΘvrier 1999) -Version finale 1.20: Mars 1999 (on espΦre!!!!..)- Quoi de neuf?

HTTrack est un aspirateur de sites web. Il vous permet de transfΘrer un site web d'Internet vers votre disque dur, en construisant rΘcursivement toute la structure, rΘcupΘrant html, images et fichiers du serveur vers votre ordinateur. Les liens sont reconstruits de maniΦre relative, de faτon α pouvoir browser librement le site local via votre butineur habituel. Vous pouvez transfΘrer (miroir) plusieurs sites ensembles de faτon α pouvoir passer de l'un α l'autre librement. Vous pouvez Θgalement mettre α jour
(update) un site existant, ou continuer un transfert interrompu. Le robot est entiΦrement configurable, avec une aide intΘgrΘe.
WinHTTrack est la version Windows9x de HTTrack. Elle est disponible dans l'archive ZIP de HTTrack.

VERSIONS SUN SOLARIS ET IBM AIX SEULEMENT:
Sur Sun Solaris et AIX, HTTrack est composΘ de deux programmes: le shell graphique, et le robot.
Le Shell vous permet de controller facilement le robot, via une interface graphique ; il est disponible α la page Shell HTTrack.
Vous trouverez ici seulement le robot, qui peut Ωtre utilisΘ comme un programme en ligne de commande.

de HTTrack

Fonctionne sous Windows, Linux, Sun Solaris et AIX
D'autres plateformes pourraient Ωtre ajoutΘes
Miroir d'un ou plusieurs sites ensembles (avec des liens partagΘs)
ou capture paramΘtrable avec nombre de niveaux de rΘcursivitΘ
Mise α jour rapide (update) d'un miroir
et possibilitΘ de continuer un transfert interrompu (rupture de connexion, crash, etc.)
Filtres: Type, position du lien, profondeur, taille des fichiers, taille du site, sites acceptΘs ou refusΘs (avec jokers ΘvoluΘs)..
Gestion du timeout et du taux de transfert minimum pour passer les sites les plus lents
Wizard permettant de choisir quels liens doivent Ωtre transfΘrΘs (accepter/refuser: lien, tout le domaine, le rΘpertoire tout
entier)
Connexions multiples (par dΘfaut: 8 connexions) pour augmenter la vitesse
Gestion de proxy pour amΘliorer les performances
Noms de fichiers: structure originale ou mode sΘparΘ (un rΘpertoire pour les html, un autre pour les images), gestion des
noms courts dos optionnel
Switch automatique pour les erreurs "Moved"
Cache DNS intΘgrΘ
Chemin dΘfinissable pour le miroir et les fichiers log
Fichier log (optionnel) avec erreurs et commentaires
Fonctionne en ligne de commande, ou via un shell pour une utilisation privΘe (capture) ou professionnelle (miroir on-line)
Version shareware non bridΘe (encouragez-nous en envoyant vos dons!)
..et plus pour bient⌠t

version 1.20beta (26/10/98) -BETA VERSION SANS FICHIER .hlp-

Si vous aimez ce programme, ou si vous avez une question, n'hΘsitez pas α nous contacter!
Les bugs signalΘs et les corrections sont listΘs ici.
La documentation est maintenant disponible pour WinHTTrack et HTTrack et contient Θgalement les FAQ.
Vous avez pris note que ce programme n'est en aucun cas garanti, et est livrΘ "tel que". Ceci est la version 1.x de HTTrack.
Vous pouvez trouver HTTrack sur beaucoup de ftps α travers le monde (nom: httrkXXX.zip, XXX=numΘro de version)
(exemple: miroirs simtel.net)

Plateforme	Cliquez sur le fichier correspondant pour tΘlΘcharger	Version actuelle
`Windows95/98`	httrack.zip	1.20BETA-19 (!!)
`SUN Solaris (5.6)`	httrack.tar.gz	1.20BETA-19'
`IBM AIX (4.0)`	httrack.tar.gz	1.20BETA-19'
`Linux PC`	httrack.tar.gz	1.20BETA-10

Sites alternatifs: Rechercher avec Ftp search la derniΦre version disponible sur ftp.

de HTTrack

La documentation est maintenant disponible pour WinHTTrack et HTTrack et contient Θgalement les FAQ.

Sur SUN/Solaris et IBM/AIX, le plus simple est d'utiliser le shell graphique, mais vous pouvez Θgalement passer par une simple ligne de commande.
Tapez httrack (sans aucun paramΦtres) pour lister la liste des options. ParamΦtres et adresses ne doivent pas nΘcessairement Ωtre placΘs dans un ordre donnΘ.
Il y a Θgalement des commandes speciales, comme l'option Nx.

Exemple:

httrack www.myweb.abc/mydir/index.hml httrack www.myweb.abc/mydir/index.hml www.otherweb.abc/~friend/cool/ httrack www.myweb.abc/mydir/index.html www.otherweb.abc/~friend/cool/ -N1 -P proxy.myweb.abc:1234 httrack www.myweb.abc/mydir/index.html +www.otherweb* +www.hisweb*.net* -*.com*

Le premier exemple transfΘrera le site partant de 'www.myweb.abc/mydir/index.hml' (et pas tout www.myweb.abc, Θvidemment, bien que ce soit possible!)
Le second effectuera le miroir de 'www.myweb.abc/mydir/index.hml' et de 'www.otherweb.abc/~friend/cool/" ensembles. (le troisiΦme sΘparera html et images en 2 rΘpertoires (option N1), et utilisera un proxy (option P))
Le quatriΦme exemple montre l'utilisation de jokers (*) pour accepter ou refuser des types d'adresses spΘcifiques. Si aucun '*' n'est utilisΘ aprΦs le '+' ou le '-' (si vous spΘcifiez donc une adresse complΦte), l'adresse en question sera acceptΘe/refusΘe lorsqu'elle sera rencontrΘe.

Les options par dΘfaut sont fixΘes de faτon α ce que vous n'ayez que trΦs peu d'options α indiquer.

: ENVOYEZ-NOUS UN MESSAGE!

Nous espΘrons que vous apprΘcierez cet utilitaire et que vous prendrez autant de plaisir α l'utiliser que nous en avons eu α le dΘvelopper. Si vous l'aimez, encouragez nous en envoyant vos commentaires et vos remarques. Les problΦmes et les reports de bugs sont Θgalement les bienvenus, pour le shell et pour le robot.

et correction de bugs

A faire & ProblΦmes connus:
- Euhh... quelques fichiers d'aide... on est un peu... en retard...
- Nous avons quelques problΦmes avec la version Unix (protocole ftp buggΘ) et toujours pas de version Linux (crash disk)

VERSION BETA AVANT FINALE, SIGNALEZ-NOUS TOUT BUG OU PROBLEME SVP
1.20
+ CorrigΘ: Plantages (div par 0/instruction illΘgale) alΘatoires en cas de fichiers de taille nulle
+ Nouveau: Gestion limitΘe du ftp (fichier par fichier) (cαd que +ftp://* fonctionne dΘsormais)
+ CorrigΘ: ProblΦmes de connexion avec certains serveurs ou proxy
+ Nouveau: Option par dΘfaut qui sauve un rapport en html sur les erreurs (404..)
+ Shell: PossibilitΘ de voir le miroir et les fichiers log α la fin
+ Nouveau: Authentification de proxy (ex: guest:star@monproxy.com:8080)
+ Shell: Interface amΘliorΘe (notamment durant un miroir)
+ CorrigΘ: Les noms de fichiers ambigus sont renommΘs (asp,cgi->html/gif..)
+ Shell: Nouvelle option "test links"
+ Nouveau: Authentification sur un site (ex: guest:star@www.myweb.com/index.html)
+ CorrigΘ: Bugs mineurs corrigΘs
+ Shell: Visualisation des fichiers log durant un miroir
+ CorrigΘ: Certains problΦmes avec des cgi (noms de fichiers)
+ CorrigΘ: Options pour aller plus bas/haut dans les rΘpertoires et filtres
+ CorrigΘ: "Store html first" ne fonctionnait pas
+ Nouveau: L'option -F ("Browser ID") dΘguise HTTrack en un butineur
+ Nouveau: Nouveau systΦme de filtres
+ Shell: Nouveaux boutons "Save as default" pour enregistrer une configuration
+ CorrigΘ: "Build options" ne fonctionnait PAS! (fichiers remplacΘs ou manquants)
+ CorrigΘ: Champ "User agent" corrigΘ
+ Shell: Options "Skip"
+ Shell: Meilleur contr⌠le de l'interface durant un miroir
+ Shell: InstallShield et fichiers d'aide
+ CorrigΘ: Certains liens n'Θtaient pas filtrΘs parfois
+ CorrigΘ: Crash du miroir α fin

1.16b
+ Shell: Bug *stupide* qui rendait WinHTTrack trΦs leeeent
+ CorrigΘ: Crash si la premiΦre page n'a pas de titre corrigΘ
+ CorrigΘ: Options comme "Just scan" sauvaient des fichiers vides
+ CorrigΘ: Interdire tous les liens (*) sauf autorisΘs manuellement corrigΘ
+ Shell: Interface pour les filtres amΘliorΘe
1.16:
+ Nouveau : Classes Java et sous classes prises en compte!
+ Nouveau: Meilleure analyse JavaScripts
+ Nouveau: Option: Abandon des sites en cas de timeout/transfer trop lent
+ Shell: Interface amΘliorΘe

1.15b
+ CorrigΘ: Quelques bugs corrigΘs
1.15:
+ Shell: Interface amΘliorΘe
+ Nouveau: Robot amΘliorΘ (certyains fichiers via javascript sont dΘsormais dΘtectΘs!)
+ Nouveau: Jokers amΘliorΘs (par exemple, +www.*.com/*.zip)
+ Nouveau: fichier 'config' pour configurer proxy, chemins.. une seule fois

1.11
+ Nouveau: DΘmarrage α heure spΘcifique
+ Nouveau: Option temps de transfert maximum
+ Shell: Interface amΘliorΘe pour une utilisation simplifiΘe

1.10e
+ CorrigΘ: Les maps n'Θtaient pas correctement gΘrΘes (bug stupide)
1.10d:
+ CorrigΘ: Fichier index.html boguΘ
1.10c
+ Shell: Champ "time out" nΘcessitait le champ "transfer rate"
1.10b
+ CorrigΘ: Meilleure gestion mΘmoire
1.10
+ Nouveau: Option "Taux transfert minimum" ajoutΘ (Θviter les sites les plus lents)
+ Nouveau: Les sites "morts" ne gΦlent plus HTTrack
+ CorrigΘ: Encore des problΦmes avec les tags code/codebase
+ Nouveau: DΘtection des ruptures de liens amΘliorΘe

1.04
+ CorrigΘ : Certains liens n'Θtaient pas correctement lus (pages avec des tags "codebase")
+ Shell: Interface amΘliorΘe

1.03 (Pas de changements pour la version en ligne de commande)
+ Shell:Gros bug corrigΘ (taux de transfert TRES lents)

1.02
+ CorrigΘ: Certains fichiers java n'Θtaient pas correctement transfΘrΘs
+ Nouveau: La vitesse a ΘtΘ amΘliorΘe
+ CorrigΘ: Fichiers log plus prΘcis
+ Shell: L'interface a ΘtΘ amΘliorΘe

1.01
+ CorrigΘ: Erreurs lors de la construction de la structure des fichiers

1.00 - The 1.00, Yeah!
+ Nouveau: base et codebase sont maintenant scannΘs

0.998 beta-2
+ CorrigΘ: Bug des fichiers multiples (fichiers ayant le mΩme nom dans un rΘpertoire identique) avec l'option -O corrigΘ

0.997 beta-2
+ CorrigΘ: Les noms de fichiers avec des '%' n'Θtaient pas correctement renommΘs
+ CorrigΘ: bug deΘtectΘ dans la 0.996: certains fichiers ne sont pas Θcrits sur disque!!

0.996 beta-2
+ Nouveau: Option -O (chemin pour muroir/fichiers log)
+ Nouveau: L' heure/date des fichiers inchangΘs reste inchangΘe durant une update

0.99 beta-2
+ Nouveau: Champ "User-agent"
+ Nouveau: Raccourcis (--spider etc.)
+ Nouveau: Les liens non tΘlΘchargΘs sont reconstruits de maniΦre absolue
+ Nouveau: L'option 'g' (juste get files in current directory) a ΘtΘ ajoutΘe
+ Nouveau: Analyse des liens primaires a ΘtΘ amΘliorΘe
+ Fixed: bug du "304" corrigΘ

0.25 beta-2
+ CorrigΘ: Plantages durant certains miroirs corrigΘ!
+ Nouveau: Plus d'options 'N' (filenames type)

0.24 beta-2
+ CorrigΘ: Restart/Update avec un cache ne fonctionnait pas (pas du tout..)
+ CorrigΘ: Les jokers fonctionnent correctement (cαd. +www.abc.com* fonctionne)
+ Nouveau: L'option 'n' (get non-html files near a link) a ΘtΘ ajoutΘe!

0.23 beta-2
+ CorrigΘ: L'option 'M' (site size) ne fonctionnait pas
+ CorrigΘ: Les fichiers dΘpassant 65Ko n'Θtaient pas correctement Θcrits

Shell graphique dΘveloppΘ par Yann Philippot
Robot dΘveloppΘ par Xavier Roche
Project digirΘ by Patrick Ducrot et Daniel CarrΘ

HTTrack a ΘtΘ dΘveloppΘ en C et C++, en approximativement 10,000 lignes de code source. Nous avons dΘpensΘ de trΦs, trΦs nombreuses heures α tester et α dΘbugger ce programme, de telle faτon α ce qu'il soir le plus performant possible. Nous pensons que nous avons fait du bon boulot ;-)

Projet dΘveloppΘ α l'ENSI Caen - ISMRa
⌐1998 Xavier Roche & Yann Philippot, tous droits rΘservΘs.

HTTrack