Järgmises artiklis heidame pilgu Wgetile. Tuleb öelda, et GNU Wget on a tasuta tööriist mis võimaldab veebiserveritest sisu alla laadida lihtsal ja kiirel viisil. Selle nimi tuleneb veebist (w) ja sõna get (inglise keeles saama). See nimi tähendab: saada WWW-st.
Praegu on failide väga tõhusaks allalaadimiseks kümneid rakendusi. Enamik neist põhinevad veebi- ja töölaua liidestel ning on välja töötatud kõigi opsüsteemide jaoks. Kuid Gnu / Linuxis (seal on ka Windowsi versioon) on olemas võimas allalaadimishaldur wget-failidest. Seda peetakse kõige võimsamaks allalaadijaks, mis on olemas. Toetab protokolle nagu http, https ja ftp.
Laadige failid alla wgetiga
Laadige fail alla
Lihtsaim viis selle tööriista kasutamiseks on allalaadimine mis tähistab faili Mida me tahame:
wget http://sitioweb.com/programa.tar.gz
Laadige alla erinevate protokollide abil
Hea allalaadimishaldurina on see võimalik taotleda korraga mitut allalaadimist. Me võime isegi kasutada erinevaid protokolle samas järjekorras:
wget http://sitioweb.com/programa.tar.gz ftp://otrositio.com/descargas/videos/archivo-video.mpg
Laadige alla laienduse abil
Teine võimalus mitme allalaadimiseks failid, mis kasutavad sama laiendust, kasutab ta metamärki:
wget<code class="language-bash" data-lang="bash">-r -A.pdf</code>http://sitioweb.com/*.pdf
See käsk ei tööta alati, kuna mõned serverid võivad juurdepääsu blokeerida wget.
Laadige alla failide loend
Kui soovime alla laadida leitud failid, peame ainult nende salvestama URL failis. Loome loendi nimega files.txt ja näitame käsule loendi nime. Vajalik sisestage rea kohta ainult üks URL sees failid.txt.
Käsk, mida kasutame loodud loendi allalaadimiseks ja salvestame .txt-failidesse, on järgmine:
wget -i archivos.txt
Taaskäivitage allalaadimine
Kui mingil põhjusel allalaadimine katkestati, saame seda teha jätkake allalaadimist sealt, kus see pooleli jäi kasutades variant c käsuga wget:
wget -i -c archivos.txt
Lisage logi allalaadimise kohta
Kui soovime hankida logi allalaadimise kohta, selleks kontrollida kõiki vahejuhtumeid sellele peame lisama -o variant nagu see on näidatud järgmises:
wget -o reporte.txt http://ejemplo.com/programa.tar.gz
Piirake allalaadimise ribalaiust
Väga pikkade allalaadimiste korral saame piirata allalaadimise ribalaiust. Sellega takistame allalaadimisel kogu ribalaiust kogu allalaadimise ajaks:
wget -o /reporte.log --limit-rate=50k ftp://ftp.centos.org/download/centos5-dvd.iso
Laadige alla kasutajanime ja parooliga
Kui soovime alla laadida saidilt, kus on vaja kasutajanime / parooli, peame kasutama ainult neid valikuid:
wget --http-user=admin --http-password=12345 http://ejemplo.com/archivo.mp3
Allalaadimiskatsed
Vaikimisi see programm teeb ühenduse loomiseks 20 katset ja alustage allalaadimist, väga küllastunud saitidel on võimalik, et isegi 20 katsega ei õnnestunud seda saavutada. Koos variant t suureneb rohkemate katseteni.
wget -t 50 http://ejemplo.com/pelicula.mpg
Laadige alla veebileht wgetiga
Wget ei piirdu ainult failide allalaadimistegaSaame alla laadida terve lehe. Peame lihtsalt kirjutama midagi sellist:
wget www.ejemplo.com
Laadige alla veebisait ja selle lisaelemendid
Mis valik lk laadime alla ka kõik lehel vajalikud lisaelemendid näiteks stiililehed, pildisisesed pildid jne.
Kui lisame variant r se laadib rekursiivselt alla 5 taset saidilt:
wget -r www.ejemplo.com -o reporte.log
Teisendage lingid kohalikeks
Vaikimisi osutavad saidi lingid kogu domeeni aadressile. Kui laadime saidi rekursiivselt alla ja uurime seda siis võrguühenduseta, saame seda kasutada linkide teisendamine see muudab need kohalikud lingid:
wget --convert-links -r http://www.sitio.com/
Hankige saidi täielik koopia
Meil on võimalus saada saidi täielik koopia. The –Peegli variant on sama mis valikud -r -l inf -N mis näitab rekursiooni lõpmatul tasemel ja iga allalaaditud faili algse ajatempli saamist.
wget --mirror http://www.sitio.com/
Teisenda laiendused
Kui laadite kogu saidi võrguühenduseta vaatamiseks alla, ei pruugi mitu allalaaditud faili avada selliste laienduste tõttu nagu .cgi, .asp või .php. Siis on võimalik tähisega –Html-laienduse valik Kõik failid teisendatakse .html laiendiks.
wget --mirror --convert-links --html-extension http://www.ejemplo.com
Need on vaid üldised juhised kui saate Wgetiga teha. Kes soovib, saab nõu veebijuhend tutvuda kõigi võimalustega, mida see imeline allalaadimishaldur meile pakub.
Mis puutub "Laadi laiendiga alla", siis olen selle lugemise lõpetanud. Te ei saa alla laadida seda, mida te ei tea. Välja arvatud juhul, kui taotletud kataloog lubab faile loetleda ja puudub indeks (ja mõlemad peavad toimuma korraga), ei saa teie öeldut teha. Milline tase.
Tere Rubén, teadmatus on natuke julge.
Mida kommenteerite, saab teha lihtsa käsu abil google'ile:
failitüüp:pdf sait:ubunlogCom
Selles näites pole selles ajaveebis pdf-faili, kuid muutke eelistatud veebi otsas olev domeen ja näete, kui lihtne on kõiki veebitüüpi faile näha.
Head päeva.
Kuid wget ei loo ühendust Google'iga, et leida URL-ist pdf-faile. Veebikataloog peab olema avatud ja seal peab olema mod_autoindexi vms loodud indeksleht, nagu ütleb Rubén Cardenal.
"See käsk ei tööta alati, kuna mõned serverid võivad blokeerida juurdepääsu wgetile."
See muudatus, mis lisati sellele artiklile, kuna ma pole sellega nõus (kuigi tehniliselt on võimalik teatud veebiagendid blokeerida http-päisepäringute jaoks ja tagastada 403-sõnum "pole lubatud"), selgitan, miks:
Kõik Apache veebiserverid (ja ma räägin märkimisväärsest protsendist serveritest) lubavad vaikimisi globbida (suurepärane Wikipedia artikkel, loe: https://es.wikipedia.org/wiki/Glob_(inform%C3%A1tica) .
See tähendab praktikas, nagu hr. Rubén (ja tal on õigus), KUI FILEID NIMETAMATA "index.php" või "index.html" (või isegi lihtsalt "index") nimetatakse server vaikselt failide ja kataloogide loendit (muidugi kujul HTML-lehe teave, mis sisaldab teavet iga faili veebilingina). Enamik veebiteenuseid keelab selle funktsiooni turvalisuse tagamiseks .htacces-faili (rangelt öeldes Apache2) kaudu.
Siin on wgeti mitmekülgsus (vaata selle lugu uuesti Vikipeedias, see, mida sa kõige rohkem tunned: https://es.wikipedia.org/wiki/GNU_Wget ) nimetatud teabe analüüsimiseks või "parsimiseks" ja eraldage ainult laiendused, mida me palume.
Nüüd, kui see ei toimi, võime ühel või teisel põhjusel proovida muid täiustatud wget-funktsioone, tsiteerin otse inglise keeles:
Soovite alla laadida kõik GIF-failid HTTP-serveri kataloogist. Proovisite wget http://www.example.com/dir/*.gif’, kuid see ei töötanud, kuna HTTP-otsing ei toeta GLOBBINGI (panin suurtähed). Sellisel juhul kasutage:
wget -r -l1 –no -parent -A.gif http://www.example.com/dir/
Täpsem, kuid mõju on sama. '-r -l1' tähendab rekursiivset allalaadimist (vt Rekursiivne allalaadimine) maksimaalse sügavusega 1. '–no-parent' tähendab, et eiratakse viiteid vanemkataloogile (vt Directory-Based Limits) ja '-A. gif - tähendab ainult GIF-failide allalaadimist. '-A «* .gif»' oleks ka töötanud.
KUI JOOKSTE SELLE VIIMASEL TEEL, loob wget meile kausta, kus soovitud veebiaadress asub vaikekaustas, kus töötame, ja teeb vajaduse korral alamkatalooge ning paigutab sinna näiteks .gif-pildid taotlus.
--------
KUIDAS ikkagi pole võimalik hankida ainult teatud tüüpi faile (näiteks * .jpg), peame kasutama parameetrit «–page-rekvisiidid», mis laadib alla kõik HTML-lehe sisemised elemendid (pildid, helid, css jne) koos html-lehega endaga ("–lehekülje-rekvisiidid" võib lühendada "-p") ja see oleks samaväärne "mhtml" -laadse allalaadimisega https://tools.ietf.org/html/rfc2557
Loodan, et see teave on teile kasulik.
Täname märkmete eest. Salu2.
Ma arvan, et teil on viga, kahel esimesel real on sama käsk.
Suur aitäh, väga hea õpetus!