A következő cikkben megnézzük a Wget-et. El kell mondani, hogy a GNU Wget egy ingyenes eszköz amely lehetővé teszi a tartalom letöltését a webszerverekről egyszerű és gyors módon. Neve a világhálóról származik (w) és a get szó (angolul kap). Ez a név ezt jelenti: kap a WWW-től.
Ma már több tucat alkalmazással lehet fájlokat letölteni nagyon hatékonyan. Legtöbbjük webes és asztali interfészeken alapul, és minden operációs rendszerre kifejlesztve. Gnu / Linux rendszeren (van egy Windows-verzió is) ott van a hatékony letöltéskezelő a wget fájlokból. A létező legerősebb letöltőként tartják számon. Támogatja az olyan protokollokat, mint a http, a https és a ftp.
Fájlok letöltése a wget segítségével
Fájl letöltése
Az eszköz használatának legegyszerűbb módja a letöltés az állomány megjelölésével Amit akarunk:
wget http://sitioweb.com/programa.tar.gz
Töltse le különböző protokollok segítségével
Jó letöltéskezelőként lehetséges egyszerre több letöltést kérhet. Akár különböző protokollokat is használhatunk ugyanabban a sorrendben:
wget http://sitioweb.com/programa.tar.gz ftp://otrositio.com/descargas/videos/archivo-video.mpg
Letöltés kiterjesztéssel
A letöltés másik módja fájlok, amelyek ugyanazt a kiterjesztést használják, a helyettesítő csillagot fogja használni:
wget<code class="language-bash" data-lang="bash">-r -A.pdf</code>http://sitioweb.com/*.pdf
Ez a parancs nem mindig működik, mivel egyes szerverek blokkolhatják a hozzáférést wget.
Töltse le a fájllistát
Ha azt akarjuk, hogy letöltsük a megtalált fájlokat, akkor csak azokat kell mentenünk URL egy fájlban. Létrehozunk egy nevű listát files.txt és megadjuk a lista nevét a parancsnál. Szükséges soronként csak egy URL-t tegyen fájlok belsejében.txt.
A létrehozott lista letöltésére és a .txt fájlokba mentésre használt parancs a következő lesz:
wget -i archivos.txt
Indítsa újra a letöltést
Ha bármilyen okból megszakadt a letöltés, akkor képesek leszünk rá onnan folytassa a letöltést, ahol abbahagyta használni a c lehetőség a wget paranccsal:
wget -i -c archivos.txt
Adjon hozzá naplót a letöltésről
Ha naplót akarunk szerezni a letöltésről, annak érdekében irányítani az eseteket rajta hozzá kell adnunk a -o opció amint azt a következők mutatják:
wget -o reporte.txt http://ejemplo.com/programa.tar.gz
Korlátozza a letöltési sávszélességet
Nagyon hosszú letöltések esetén tudjuk korlátozza a letöltési sávszélességet. Ezzel megakadályozzuk, hogy a letöltés a sávszélességet a letöltés ideje alatt elhasználja:
wget -o /reporte.log --limit-rate=50k ftp://ftp.centos.org/download/centos5-dvd.iso
Letöltés felhasználónévvel és jelszóval
Ha olyan webhelyről akarunk letölteni, ahol felhasználónév / jelszó szükséges, akkor csak a következő lehetőségeket kell használnunk:
wget --http-user=admin --http-password=12345 http://ejemplo.com/archivo.mp3
Letöltési kísérletek
Default, ez a program 20 kísérletet tesz a kapcsolat létrehozására és indítsa el a letöltést, nagyon telített webhelyeken lehetséges, hogy még 20 próbálkozással sem sikerült elérni. A ... val t lehetőség több kísérletre növekszik.
wget -t 50 http://ejemplo.com/pelicula.mpg
Töltsön le egy weboldalt a wget segítségével
Segítsen az embernek
A Wget nem csak a fájlletöltésekre korlátozódikTeljes oldalt tudunk majd letölteni. Csak valami ilyesmit kell írnunk:
wget www.ejemplo.com
Töltsön le egy weboldalt és annak további elemeit
az opció o le is töltjük az összes extra elemek szükségesek az oldalon mint például a stíluslapok, a belső képek stb.
Ha hozzáadjuk a r opció se rekurzív módon akár 5 szintet is letölt a helyszínről:
wget -r www.ejemplo.com -o reporte.log
Linkek konvertálása helyi nyelvre
Alapértelmezés szerint a webhelyen lévő linkek a teljes tartomány címére mutatnak. Ha rekurzívan töltjük le az oldalt, majd offline módon tanulmányozzuk, használhatjuk a convert-links opciót ettől lesznek helyi linkek:
wget --convert-links -r http://www.sitio.com/
Szerezzen be egy teljes példányt a webhelyről
Lehetőségünk lesz egy webhely teljes másolatát beszerezni. A –Tükör opció megegyezik a opciók -r -l inf -N ami végtelen szintű rekurziót és az egyes letöltött fájlok eredeti időbélyegének megszerzését jelzi.
wget --mirror http://www.sitio.com/
Transform kiterjesztések
Ha a teljes webhelyet offline megtekintés céljából tölti le, előfordulhat, hogy több letöltött fájl nem nyílik meg olyan kiterjesztések miatt, mint a .cgi, .asp vagy .php. Ezután lehetséges a –Html-extension opció Minden fájlt konvertálunk .html kiterjesztéssé.
wget --mirror --convert-links --html-extension http://www.ejemplo.com
Ezek csak általános irányelvek mint amit Wget-tel tehetsz. Aki akar, konzultálhat a online kézikönyv hogy konzultáljon minden lehetőséggel, amelyet ez a csodálatos letöltéskezelő kínál számunkra.
Ami a „Letöltés kiterjesztéssel” -t illeti, abbahagytam az olvasást. Nem töltheti le azt, amit nem ismer. Hacsak a kért könyvtár nem engedélyezi a fájlok felsorolását, és hiányzik belőle egy index (és mindkettőnek egyszerre kell történnie), az Ön által mondottakat nem lehet megtenni. Micsoda szint.
Helló Rubén, a tudatlanság kissé merész.
Amit megjegyez, azt megteheti egy egyszerű paranccsal a google-ra:
fájltípus:pdf webhely:ubunlog.com
Ebben a példában ebben a blogban nincs pdf, de változtassa meg a kívánt domaint a kívánt weben, és meglátja, milyen egyszerű az összes típusú fájl megtekintése.
Legyen szép napod.
De a wget nem kapcsolódik a Google-hez, hogy megtalálja az URL-ben lévő pdf-eket. A webkönyvtárnak nyitva kell lennie, és egy indexoldalnak kell lennie, amelyet a mod_autoindex vagy hasonló generál, amint Rubén Cardenal mondja.
"Ez a parancs nem mindig működik, mivel egyes szerverek blokkolhatják a wget elérését."
Ez a módosítás, amelyet erre a cikkre tettek, mivel nem értek egyet vele (bár technikailag lehetséges blokkolni bizonyos webes ügynököket a http fejléc-kéréseknél, és visszaadni egy 403-as "nem engedélyezett" üzenetet), és elmagyarázom, hogy miért:
Alapértelmezés szerint az összes Apache webszerver (és a szerverek jelentős százalékáról beszélek) lehetővé teszi a hobbantást (kiváló Wikipedia-cikk: https://es.wikipedia.org/wiki/Glob_(inform%C3%A1tica) .
Ez a gyakorlatban azt jelenti, amint azt mr. Rubén (és igaza van), HA NINCS HÍVÓ "index.php" vagy "index.html" (vagy egyszerűen csak "index" -nek nevezett fájl), a szerver csendben visszaadja a fájlok és könyvtárak listáját (természetesen formában egy HTML-oldal, amely az információkat fájl linkként tartalmazza. A legtöbb webszerver a .htacces fájlban (szigorúan véve az Apache2-t) a biztonsági okokból letiltja ezt a funkciót.
Itt található a wget sokoldalúsága (lásd még egyszer a Wikipedia történetét, amelyet a legjobban ismersz: https://es.wikipedia.org/wiki/GNU_Wget ) elemezni vagy "elemezni" az ilyen információkat, és csak az általunk kért bővítményeket kell kibontani.
Most, ha ez nem működik, egy vagy másik okból megpróbálhatunk más speciális wget funkciókat is, közvetlenül angolul idézek:
Az összes GIF-fájlt le szeretné tölteni egy HTTP-kiszolgálón található könyvtárból. Megpróbáltad a wget-et http://www.example.com/dir/*.gif’, de ez nem működött, mert a HTTP-lekérés nem támogatja a GLOBBING-et (én betettem a nagybetűket). Ebben az esetben használja:
wget -r -l1 –no-szülő -A.gif http://www.example.com/dir/
Bővebben, de a hatás ugyanaz. Az '-r -l1' azt jelenti, hogy rekurzív módon kell letölteni (lásd: Rekurzív letöltés), maximális mélysége 1. '–no-parent' azt jelenti, hogy a szülő könyvtárra történő hivatkozásokat figyelmen kívül hagyják (lásd: Directory-Based Limits), és '-A. gif 'csak a GIF fájlok letöltését jelenti. '-A «* .gif»' is működött volna.
HA EZEN AZ UTOLSÓ FUTAMON fut, a wget létrehoz egy mappát számunkra a kért webcímmel az alapértelmezett mappában, ahol dolgozunk, és szükség esetén alkönyvtárakat készít, és ott elhelyezi például a .gif képeket, amelyeket mi kérés.
--------
Ha azonban továbbra sem lehet csak bizonyos típusú fájlokat beszerezni (például * .jpg), akkor a «–page-requisites» paramétert kell használnunk, amely egy html oldal összes belső elemét (képeket, hangokat, css, stb.), magával a html oldallal együtt (a „–page-requisites” rövidítése „-p” lehet), és ez egyenértékű lenne az „mhtml” -hez hasonló letöltéssel https://tools.ietf.org/html/rfc2557
Remélem, hogy ez az információ hasznos lesz az Ön számára.
Köszönöm a jegyzeteket. Salu2.
Szerintem hibája van, az első két sor ugyanaz a parancs.
Nagyon köszönöm, nagyon jó bemutató!