Hier werden die Unterschiede zwischen zwei Versionen angezeigt.
heiko:tipps:hilfsprogramme:tipp_wget_01 [2018/08/18 13:30] Heiko Teichmeier |
heiko:tipps:hilfsprogramme:tipp_wget_01 [2018/08/20 13:56] |
||
---|---|---|---|
Zeile 1: | Zeile 1: | ||
- | ~~NOCACHE~~ | ||
- | ~~META: | ||
- | date issued = 2008-01-01 | ||
- | ~~ | ||
- | {{tag> | ||
- | ===== wget (1) - Die Antwort auf alle HTTP- und FTP-Download-Fragen ===== | ||
- | __letzte inhaltliche Überarbeitung: | ||
- | ===== 1. Einführung ===== | ||
- | [[http:// | ||
- | |||
- | Das Programm ist extrem flexibel und kann auch die kompliziertesten Aufgaben erfüllen - sofern man die Syntax beherrscht. Deshalb zu Beginn ein paar Syntax-Grundlagen: | ||
- | |||
- | ===== 2. Syntax ===== | ||
- | ==== 2.1 Kommandozeile ==== | ||
- | * Grundschema eines Aufrufes | ||
- | <sxh bash; gutter: false> | ||
- | wget [option]... [url]... | ||
- | </ | ||
- | * Varianten der " | ||
- | <sxh bash; gutter: false> | ||
- | http:// | ||
- | ftp:// | ||
- | </ | ||
- | * " | ||
- | <sxh bash; gutter: false> | ||
- | http:// | ||
- | ftp:// | ||
- | </ | ||
- | * wenn bei FTP-Verbindung kein Username mitgegeben wird, wird automatisch ' | ||
- | * <hi red> | ||
- | |||
- | ==== 2.2 einfache Optionen für den Anfang ==== | ||
- | Die Optionen sind, wie auch bei anderen Linux-Programmen und -Befehlen in einer kurzen (mit einem " | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | Das Programm geht nach dem Start mit dieser Option in den | ||
- | | ||
- | | ||
- | ' | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-e command' | ||
- | ' | ||
- | | ||
- | ' | ||
- | den in der Datei ' | ||
- | so dass der hier angegebene Befehl faktisch " | ||
- | aus der Optionsdatei steht. | ||
- | </ | ||
- | |||
- | ==== 2.3 Optionen zum Logging und Eingabe- / | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-o Ausgabe-Datei' | ||
- | ' | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-a Ausgabe-Datei' | ||
- | ' | ||
- | Wie vorher. Aber: Wenn Ausgabe-Datei schon vorhanden ist, | ||
- | | ||
- | wird nicht überschrieben. | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | Dazu muss ' | ||
- | sein! | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-i Eingabe-Datei' | ||
- | ' | ||
- | Liest die abzurufenden Dateien/ | ||
- | " | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-B URL' | ||
- | ' | ||
- | In Verbindung mit ' | ||
- | für die relativen Links in der mit ' | ||
- | | ||
- | </ | ||
- | |||
- | ==== 2.4 Download-Optionen ==== | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | | ||
- | mit mehreren IP-Adressen (Steuerung welche IP-Adresse | ||
- | als Quelle der Anfrage übergeben wird). Möglich als | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-t ANZAHL' | ||
- | ' | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-O Datei-Name' | ||
- | ' | ||
- | Die abgerufenen Dateien werden aneinandergehängt | ||
- | und in eine große Datei ' | ||
- | Wenn ' | ||
- | Datei überschrieben. | ||
- | Diese Option setzt ' | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | Eine mehrfach abgerufene Datei, die in das selbe | ||
- | | ||
- | der Ursprungsdatei. | ||
- | Wenn ' | ||
- | wird die Originaldatei erhalten und jede weitere mit | ||
- | | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | " | ||
- | | ||
- | neuer ist als bei der lokal vorhandenen Datei. | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | ' | ||
- | Zeigt die zurückgesendeten Header der HTTP-Server und die | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | Wget verhält sich wie ein ' | ||
- | nicht heruntergeladen, | ||
- | Datei überprüft. | ||
- | | ||
- | wget --spider --force-html -i bookmarks.html | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-T Sekunden' | ||
- | ' | ||
- | Setzt den Lese-Timeout auf ' | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | Setzt ein max.-Limit für die Downloadrate. Dadurch Festlegung | ||
- | des Einflusses auf die anderen Download-User - man ist ja | ||
- | nicht allein im LAN! | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-w seconds' | ||
- | ' | ||
- | | ||
- | | ||
- | Die Benutzung dieser Option ist zu empfehlen, um die Server- | ||
- | Last durch etwas seltenere Anfragen gering zu halten. | ||
- | Die Zeitangabe kann statt der standardmäßig verwendeten | ||
- | | ||
- | des ' | ||
- | oder in Tagen (' | ||
- | |||
- | | ||
- | | ||
- | lange genug mit einer wiederholten Anfrage wartet bis evtl. | ||
- | der Fehler behoben ist. | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | Wenn Sie nicht wollen, dass Wget zwischen jeder Abfrage so | ||
- | lange wartet, sondern nur bei fehlgeschlagenen Abrufen, | ||
- | dann benutzen Sie diese Option. Wget wird nach jedem | ||
- | | ||
- | | ||
- | | ||
- | Bsp.: Wert = 10 | ||
- | 1 + 2 + ... + 10 = 55 Sekunden | ||
- | |||
- | | ||
- | ' | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | ' | ||
- | | ||
- | von Downloads um solche Abruf-Programme wie Wget an den | ||
- | | ||
- | eine variierende Wartezeit zwischen den Anfragen in einem | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-Y on/ | ||
- | ' | ||
- | | ||
- | | ||
- | | ||
- | </ | ||
- | <sxh bash; gutter: false> | ||
- | '-Q quota' | ||
- | ' | ||
- | | ||
- | | ||
- | | ||
- | ' | ||
- | |||
- | | ||
- | Datei wirken. Sie wirken nur wenn mehrere Dateien abgerufen | ||
- | | ||
- | |||
- | | ||
- | Limit wieder auf. | ||
- | </ | ||
- | |||
- | ==== 2.5 Beispiele ==== | ||
- | === Spiegelung des SuSE-update-Mirrors: | ||
- | <sxh bash; gutter: false> | ||
- | lin-server: | ||
- | wget -t 5 -r -m -c -nH ftp:// | ||
- | </ | ||
- | |||
- | === Spiegelung der Mcafee-Update-Verzeichnisse für 4.x: === | ||
- | <sxh bash; gutter: false> | ||
- | lin-server:/ | ||
- | wget -t 5 -m -c ftp:// | ||
- | </ | ||
- | <pre> | ||
- | -- Optionen: | ||
- | | | ||
- | +-- "-t 5" - es wird 5x versucht die Dateien zu holen | ||
- | | | ||
- | +-- " | ||
- | | | ||
- | +-- " | ||
- | | | ||
- | +-- " | ||
- | | ||
- | | ||
- | | | ||
- | +-- " | ||
- | - es wird kein Proxy benutzt | ||
- | </ | ||
- | |||
- | __Ergebnis: | ||
- | * im aktuellen Verzeichnis wird folgende Struktur angelegt: | ||
- | |||
- | ||--/ | ||
- | | | ||
- | | ||
- | | | ||
- | | ||
- | | | ||
- | +--datfiles | ||
- | | | ||
- | +--4.x -- Dateien | ||
- | |||
- | - es werden die Dateien und Unterverzeichnisse aus dem " | ||
- | |||
- | |||
- | ~~~~~~~~~~~~~~~~~~ | ||
- | lin-server:/ | ||
- | wget -t 5 -m -c -nH ftp:// | ||
- | |||
- | Ergebnis: | ||
- | ========= | ||
- | - im aktuellen Verzeichnis wird folgende Struktur angelegt: | ||
- | |||
- | --/pub-+ | ||
- | | | ||
- | | ||
- | | | ||
- | +--datfiles | ||
- | | | ||
- | | ||
- | |||
- | |||
- | ~~~~~~~~~~~~~~~~~~ | ||
- | lin-server:/ | ||
- | wget -t 5 -m -c -nH ftp:// | ||
- | |||
- | Ergebnis: | ||
- | ========= | ||
- | - im aktuellen Verzeichnis werden nur im Verzeichnis " | ||
- | angelegt | ||
- | |||
- | |||
- | lin-server:/ | ||
- | wget -t 5 -m -c ftp:// | ||
- | |||
- | |||
- | lin-server:/ | ||
- | wget -t 5 -m -c ftp:// | ||
- | |||
- | lin-server:/ | ||
- | wget -t 5 -m -c -nH ftp:// | ||
- | |||
- | ~~~~~~~~~~~~~~~~~~ | ||
- | lin-server:/ | ||
- | wget -t 5 -m -c -A .zip ftp:// | ||
- | | | ||
- | +--> Option "-A .zip" | ||
- | | ||
- | | | ||
- | | ||
- | |||
- | |||
- | ~~~~~~~~~~~~~~~~~~ | ||
- | lin-server:/ | ||
- | wget -t 5 -m -c -A .zip,.ini ftp:// | ||
- | | | ||
- | +--> Option "-A .zip, | ||
- | | ||
- | | | ||
- | | ||