Heiko's Homepage

lin-server:~ # wget -t 5 -r -m -c -nH ftp://ftp.htwk-leipzig.de/pub/suse.com/ftp.suse.com/suse/i386/update/8.1 –limit-rate=65k –proxy=off –cut-dirs=2

(GNU) wget ist ein HTTP- und FTP-Download-(Kommandozeilen)-Programm. Es ist eine OpenSourceSoftware unter der GPL. In der Zwischenzeit ist 'wget' außer für Linux auch für viele andere Betriebssysteme erhältlich. So existiert ein Port auf Windows. Ergänzend zum Windows-Port des Kommandozeilenprogramms gibt es das GUI-Frontend Easy-Wget. In dieser Verbindung erhält man einen sehr leistungsfähigen „Website“-Grabber zum Nulltarif.

Das Programm ist extrem flexibel und kann auch die kompliziertesten Aufgaben erfüllen - sofern man die Syntax beherrscht. Deshalb zu Beginn ein paar Syntax-Grundlagen:

- Grundschema eines Aufrufes <pre class=„code“> wget [option]… [url]… </pre>

1. Varianten der „URL“ f&uuml;r HTTP- und FTP-Server-Abrufe

<pre class=„code“> http://host[:port]/verzeichnis/datei ftp://host[:port]/verzeichnis/datei </pre>

1. „URL“ f&uuml;r HTTP- und FTP-Server-Abrufe mit eingebundenem Username:Passwort-Paar f&uuml;r eine

evtl. notwendige Authentifizierung (am Web- oder FTP-Server) <pre class=„code“> http://username:passwort@host[:port]/verzeichnis/datei ftp://username:passwort@host[:port]/verzeichnis/datei </pre>

1. wenn bei FTP-Verbindung kein Username mitgegeben wird, wird automatisch 'anonymous'

verwendet, wenn nicht angegeben wird als Passwort die eigene E-Mail-Adresse verwendet.<br>

1. Achtung! Die hier angegebenen Daten werden unverschl&uuml;sselt,

im Klartext &uuml;ber das Netzwerk &uuml;bertragen!<br> </p> <p>

    <h3><a name="syntax_2_2">2.2 einfache Optionen f&uuml;r den Anfang</a></h3>
    Die Optionen sind, wie auch bei anderen Linux-Programmen und -Befehlen in einer kurzen
    (mit einem "Minus") oder in einer langen Schreibweise (mit zwei "Minus") m&ouml;glich.

<pre class=„code“> '-V' '–version'

 Anzeige/Abfrage der verwendeten Programmversion.

</pre> <pre class=„code“> '-h' '–help'

 Anzeige der Kommandozeilenoptionen und kurzer Überblick zur
 anzuwendenden Syntax.

</pre> <pre class=„code“> `-b' `–background'

 Das Programm geht nach dem Start mit dieser Option in den
 Hintergrund. Wenn keine Ausgabedatei (mit Option '-o')
 angegeben wurde, wird die Ausgabe standardmäßig nach
 'wget-log' geleitet.

</pre> <pre class=„code“> `-e command' `–execute command'

 Führt einen Befehl aus als wenn dieser in der Optionsdatei
 '.wgetrc' stehen würde. Der so angegebene Befehl wird nach
 den in der Datei '.wgetrc' stehenden Befehlen ausgeführt,
 so dass der hier angegebene Befehl faktisch "über" denen
 aus der Optionsdatei steht.

</pre> </p> <p>

    <h3><a name="syntax_2_3">2.3 Optionen zum Logging und Eingabe- /Ausgabe-Datei</a></h3>

<pre class=„code“> '-V' '–version'

 Anzeige/Abfrage der verwendeten Programmversion.

</pre> <pre class=„code“> '-o Ausgabe-Datei' '–output-file=Ausgabe-Datei'

 Schreibt alle Logmeldungen (die sonst auf die Standardkonsole
 ausgegeben würden) in die Logdatei "Ausgabe-Datei"

</pre> <pre class=„code“> '-a Ausgabe-Datei' '–append-output=Ausgabe-Datei'

 Wie vorher. Aber: Wenn Ausgabe-Datei schon vorhanden ist,
 werden neue Meldungen nur angehängt (append), die alte Datei
 wird nicht überschrieben.

</pre> <pre class=„code“> '-d' '–debug'

 Ausgabe zusätzlicher "Debug"-Infos (Fehlersuche).
 Dazu muss 'wget' mit debug-Unterstützung kompiliert worden
 sein!

</pre> <pre class=„code“> '-q' '–quiet'

 Unterdrückung der Ausgabe von Meldungen.

</pre> <pre class=„code“> `-v' `–verbose'

 Schaltet die ausführliche Meldungsausgabe ein. Die
 Standardeinstellung ist 'verbose'.

</pre> <pre class=„code“> `-nv' `–non-verbose'

 Schaltet die ausführlichen Meldungen aus, ist aber nicht
 komplett "stumm". Dazu muss die Option '-q' oder '---quiet'
 benutzt werden.

</pre> <pre class=„code“> '-i Eingabe-Datei' '–input-file=Eingabe-Datei'

 Liest die abzurufenden Dateien/URL's aus der Textdatei
 "Eingabe-Datei".

</pre> <pre class=„code“> '-F' '–force-html'

 Eingabe-Datei als HTML-Datei behandeln. Ermöglicht das
 Verwenden relativer Links.

</pre> <pre class=„code“> '-B URL' '–base=URL'

 In Verbindung mit '-F' Angabe einer Basis-URL als Vorsatz
 für die relativen Links in der mit '-i' angegebenen
 URL-Quell-Datei.

</pre> </p> <p>

    <h3><a name="syntax_2_4">2.4 Download-Optionen</a></h3>

<pre class=„code“> '–bind-adress=ADDRESSE'

 Binden an bestimmte IP-Adresse. Hilfreich bei Rechnern
 mit mehreren IP-Adressen (Steuerung welche IP-Adresse
 als Quelle der Anfrage übergeben wird). Möglich als
 IP-Adresse oder Host-Name.

</pre> <pre class=„code“> '-t ANZAHL' '–tries=ANZAHL'

 Anzahl der Wiederholungsversuche angeben (bei
 nichterfolgreichen Abrufen).

</pre> <pre class=„code“> '-O Datei-Name' '–output-document=Datei-Name'

 Die abgerufenen Dateien werden aneinandergehängt
 und in eine große Datei 'Datei-Name' geschrieben.
 Wenn 'Datei-Name' schon vorhanden ist, wird die
 Datei überschrieben.
 Diese Option setzt '-t' automatisch auf 1.

</pre> <pre class=„code“> '-nc' '–no-clobber'

 Eine mehrfach abgerufene Datei, die in das selbe
 Verzeichnis geschrieben wird, bewirkt ein Überschreiben
 der Ursprungsdatei.
 Wenn 'wget' ohne '-N', '-nc' oder '-r' aufgerufen wird,
 wird die Originaldatei erhalten und jede weitere mit
 gleichem Namen mit einem jeweils um 1 erhöhten numerischen
 Zusatz, beginnend bei 1, in das Verzeichnis kopiert.
 (Bsp.: Datei Datei.1 Datei.2)

</pre> <pre class=„code“> '-c' '–continue'

 Fortsetzen von unterbrochenen Downloads.

</pre> <pre class=„code“> '–progress=[dot|bar]'

 Festlegung der Fortschritts-Anzeige-Elemente.
 Möglich sind 'dot' - Punkte, oder 'bar' - senkrechte
 Striche.

</pre> <pre class=„code“> '-N' '–timestamping'

 "Einschalten" der Überprüfung des Zeitstempels, d.h. es
 werden nur Dateien geladen deren Zeitstempel (letzte Änderung)
 neuer ist als bei der lokal vorhandenen Datei.

</pre> <pre class=„code“> '-S' '–server-response'

 Zeigt die zurückgesendeten Header der HTTP-Server und die
 Antworten der FTP-Server an.

</pre> <pre class=„code“> '–spider'

 Wget verhält sich wie ein 'Web-Spider'. Die Dateien werden
 nicht heruntergeladen, es wird nur das Vorhandensein der
 Datei überprüft.
 z.Bsp. Kontrolle der Gültigkeit der Bookmark-Links:
 wget --spider --force-html -i bookmarks.html

</pre> <pre class=„code“> '-T Sekunden' '–timeout=Sekunden'

 Setzt den Lese-Timeout auf 'Sekunden'. Standardmäßig ist
 dieser auf 900 s (15 min) gesetzt.

</pre> <pre class=„code“> '–limit-rate=Menge'

 Setzt ein max.-Limit für die Downloadrate. Dadurch Festlegung
 des Einflusses auf die anderen Download-User - man ist ja
 nicht allein im LAN!
 Angabe mit Zusatz 'k' -> kBytes/s, 'M' -> MBytes/s
 (Bsp.: --limit-rate=90k -> Begrenzung auf 90 kBytes/s)

</pre> <pre class=„code“> `-w seconds' `–wait=seconds'

 Wartet die angegebene Anzahl an Sekunden zwischen den
 Abrufen.
 Die Benutzung dieser Option ist zu empfehlen, um die Server-
 Last durch etwas seltenere Anfragen gering zu halten.
 Die Zeitangabe kann statt der standardmäßig verwendeten
 Zeiteinheit in Sekunden auch in Minuten (durch Verwendung
 des 'm' hinter der Zeitangabe), Stunden ('h'-Erweiterung)
 oder in Tagen ('d'-Erweiterung) erfolgen.

 Angabe eines großen Wertes ist empfehlenswert, wenn das
 Netzwerk oder der Ziel-Host u.U. "down" ist, so dass Wget
 lange genug mit einer wiederholten Anfrage wartet bis evtl.
 der Fehler behoben ist.

</pre> <pre class=„code“> `–waitretry=seconds'

 Wenn Sie nicht wollen, dass Wget zwischen jeder Abfrage so
 lange wartet, sondern nur bei fehlgeschlagenen Abrufen,
 dann benutzen Sie diese Option. Wget wird nach jedem
 fehlgeschlagenen Abruf die Wartezeit bis zum nächsten
 Versuch um 1 Sekunde erhöhen, bis die maximale, hier
 angegebene, Zeit erreicht ist.
 Bsp.: Wert = 10
       1 + 2 + ... + 10 = 55 Sekunden

 Beachte dass diese Option standardmäßig in der globalen
 'wgetrc'-Datei aktiviert ist.

</pre> <pre class=„code“> `–random-wait'

 Manche Web-Sites analysieren die Zeit zwischen den Abrufen
 von Downloads um solche Abruf-Programme wie Wget an den
 gleichmäßigen Mustern zu erkennen. Diese Option bewirkt
 eine variierende Wartezeit zwischen den Anfragen in einem
 Bereich von 0 bis 2 * 'wait' Sekunden.

</pre> <pre class=„code“> `-Y on/off' `–proxy=on/off'

 Aktivieren der Proxy-Unterstützung. Diese ist standardmäßig
 aktiviert, wenn die entsprechende Umgebungsvariable
 definiert ist.

</pre> <pre class=„code“> `-Q quota' `–quota=quota'

 Festlegen von Download-Quotas (Begrenzungen) für
 automatische Abrufe. Der Wert kann in Bytes (Standard),
 Kilobytes (mit 'k' Zusatz) oder Megabytes (mit
 'm'-Zusatz) angegeben werden.

 Beachte dass Quotas nie auf den Download einer einzelnen
 Datei wirken. Sie wirken nur wenn mehrere Dateien abgerufen
 werden sollen.

 Setzen des Quotas auf '0' oder 'inf' hebt das Download-
 Limit wieder auf.

</pre>