Wget, mõned näited selle tööriistaga tehtavate võimaluste kohta

Umbes wget

Järgmises artiklis heidame pilgu Wgetile. Tuleb öelda, et GNU Wget on a tasuta tööriist mis võimaldab veebiserveritest sisu alla laadida lihtsal ja kiirel viisil. Selle nimi tuleneb veebist (w) ja sõna get (inglise keeles saama). See nimi tähendab: saada WWW-st.

Praegu on failide väga tõhusaks allalaadimiseks kümneid rakendusi. Enamik neist põhinevad veebi- ja töölaua liidestel ning on välja töötatud kõigi opsüsteemide jaoks. Kuid Gnu / Linuxis (seal on ka Windowsi versioon) on olemas võimas allalaadimishaldur wget-failidest. Seda peetakse kõige võimsamaks allalaadijaks, mis on olemas. Toetab protokolle nagu http, https ja ftp.

Laadige failid alla wgetiga

Laadige fail alla

Lihtsaim viis selle tööriista kasutamiseks on allalaadimine mis tähistab faili Mida me tahame:

wget http://sitioweb.com/programa.tar.gz

Laadige alla erinevate protokollide abil

Hea allalaadimishaldurina on see võimalik taotleda korraga mitut allalaadimist. Me võime isegi kasutada erinevaid protokolle samas järjekorras:

wget http://sitioweb.com/programa.tar.gz ftp://otrositio.com/descargas/videos/archivo-video.mpg

Laadige alla laienduse abil

Teine võimalus mitme allalaadimiseks failid, mis kasutavad sama laiendust, kasutab ta metamärki:

wget<code class="language-bash" data-lang="bash">-r -A.pdf</code>http://sitioweb.com/*.pdf

See käsk ei tööta alati, kuna mõned serverid võivad juurdepääsu blokeerida wget.

Laadige alla failide loend

Kui soovime alla laadida leitud failid, peame ainult nende salvestama URL failis. Loome loendi nimega files.txt ja näitame käsule loendi nime. Vajalik sisestage rea kohta ainult üks URL sees failid.txt.

Käsk, mida kasutame loodud loendi allalaadimiseks ja salvestame .txt-failidesse, on järgmine:

wget -i archivos.txt

Taaskäivitage allalaadimine

Kui mingil põhjusel allalaadimine katkestati, saame seda teha jätkake allalaadimist sealt, kus see pooleli jäi kasutades variant c käsuga wget:

wget -i -c archivos.txt

Lisage logi allalaadimise kohta

Kui soovime hankida logi allalaadimise kohta, selleks kontrollida kõiki vahejuhtumeid sellele peame lisama -o variant nagu see on näidatud järgmises:

wget -o reporte.txt http://ejemplo.com/programa.tar.gz

Piirake allalaadimise ribalaiust

Väga pikkade allalaadimiste korral saame piirata allalaadimise ribalaiust. Sellega takistame allalaadimisel kogu ribalaiust kogu allalaadimise ajaks:

wget -o /reporte.log --limit-rate=50k ftp://ftp.centos.org/download/centos5-dvd.iso

Laadige alla kasutajanime ja parooliga

Kui soovime alla laadida saidilt, kus on vaja kasutajanime / parooli, peame kasutama ainult neid valikuid:

wget --http-user=admin --http-password=12345 http://ejemplo.com/archivo.mp3

Allalaadimiskatsed

Vaikimisi see programm teeb ühenduse loomiseks 20 katset ja alustage allalaadimist, väga küllastunud saitidel on võimalik, et isegi 20 katsega ei õnnestunud seda saavutada. Koos variant t suureneb rohkemate katseteni.

wget -t 50 http://ejemplo.com/pelicula.mpg

Laadige alla veebileht wgetiga

Wget abimees

Wget abimees

Wget ei piirdu ainult failide allalaadimistegaSaame alla laadida terve lehe. Peame lihtsalt kirjutama midagi sellist:

wget www.ejemplo.com

Laadige alla veebisait ja selle lisaelemendid

Mis valik lk laadime alla ka kõik lehel vajalikud lisaelemendid näiteks stiililehed, pildisisesed pildid jne.

Kui lisame variant r se laadib rekursiivselt alla 5 taset saidilt:

wget -r www.ejemplo.com -o reporte.log

Teisendage lingid kohalikeks

Vaikimisi osutavad saidi lingid kogu domeeni aadressile. Kui laadime saidi rekursiivselt alla ja uurime seda siis võrguühenduseta, saame seda kasutada linkide teisendamine see muudab need kohalikud lingid:

wget --convert-links -r http://www.sitio.com/

Hankige saidi täielik koopia

Meil on võimalus saada saidi täielik koopia. The –Peegli variant on sama mis valikud -r -l inf -N mis näitab rekursiooni lõpmatul tasemel ja iga allalaaditud faili algse ajatempli saamist.

wget --mirror http://www.sitio.com/

Teisenda laiendused

Kui laadite kogu saidi võrguühenduseta vaatamiseks alla, ei pruugi mitu allalaaditud faili avada selliste laienduste tõttu nagu .cgi, .asp või .php. Siis on võimalik tähisega –Html-laienduse valik Kõik failid teisendatakse .html laiendiks.

wget --mirror --convert-links --html-extension http://www.ejemplo.com

Need on vaid üldised juhised kui saate Wgetiga teha. Kes soovib, saab nõu veebijuhend tutvuda kõigi võimalustega, mida see imeline allalaadimishaldur meile pakub.


Jäta oma kommentaar

Sinu e-postiaadressi ei avaldata. Kohustuslikud väljad on tähistatud *

*

*

  1. Andmete eest vastutab: Miguel Ángel Gatón
  2. Andmete eesmärk: Rämpsposti kontrollimine, kommentaaride haldamine.
  3. Seadustamine: teie nõusolek
  4. Andmete edastamine: andmeid ei edastata kolmandatele isikutele, välja arvatud juriidilise kohustuse alusel.
  5. Andmete salvestamine: andmebaas, mida haldab Occentus Networks (EL)
  6. Õigused: igal ajal saate oma teavet piirata, taastada ja kustutada.

  1.   Ruben Cardenal DIJO

    Mis puutub "Laadi laiendiga alla", siis olen selle lugemise lõpetanud. Te ei saa alla laadida seda, mida te ei tea. Välja arvatud juhul, kui taotletud kataloog lubab faile loetleda ja puudub indeks (ja mõlemad peavad toimuma korraga), ei saa teie öeldut teha. Milline tase.

    1.    Anonüümne arvuti DIJO

      Tere Rubén, teadmatus on natuke julge.
      Mida kommenteerite, saab teha lihtsa käsu abil google'ile:
      failitüüp:pdf sait:ubunlogCom
      Selles näites pole selles ajaveebis pdf-faili, kuid muutke eelistatud veebi otsas olev domeen ja näete, kui lihtne on kõiki veebitüüpi faile näha.
      Head päeva.

      1.    Nalja DIJO

        Kuid wget ei loo ühendust Google'iga, et leida URL-ist pdf-faile. Veebikataloog peab olema avatud ja seal peab olema mod_autoindexi vms loodud indeksleht, nagu ütleb Rubén Cardenal.

    2.    Jimmy olano DIJO

      "See käsk ei tööta alati, kuna mõned serverid võivad blokeerida juurdepääsu wgetile."
      See muudatus, mis lisati sellele artiklile, kuna ma pole sellega nõus (kuigi tehniliselt on võimalik teatud veebiagendid blokeerida http-päisepäringute jaoks ja tagastada 403-sõnum "pole lubatud"), selgitan, miks:

      Kõik Apache veebiserverid (ja ma räägin märkimisväärsest protsendist serveritest) lubavad vaikimisi globbida (suurepärane Wikipedia artikkel, loe: https://es.wikipedia.org/wiki/Glob_(inform%C3%A1tica) .

      See tähendab praktikas, nagu hr. Rubén (ja tal on õigus), KUI FILEID NIMETAMATA "index.php" või "index.html" (või isegi lihtsalt "index") nimetatakse server vaikselt failide ja kataloogide loendit (muidugi kujul HTML-lehe teave, mis sisaldab teavet iga faili veebilingina). Enamik veebiteenuseid keelab selle funktsiooni turvalisuse tagamiseks .htacces-faili (rangelt öeldes Apache2) kaudu.

      Siin on wgeti mitmekülgsus (vaata selle lugu uuesti Vikipeedias, see, mida sa kõige rohkem tunned: https://es.wikipedia.org/wiki/GNU_Wget ) nimetatud teabe analüüsimiseks või "parsimiseks" ja eraldage ainult laiendused, mida me palume.

      Nüüd, kui see ei toimi, võime ühel või teisel põhjusel proovida muid täiustatud wget-funktsioone, tsiteerin otse inglise keeles:

      Soovite alla laadida kõik GIF-failid HTTP-serveri kataloogist. Proovisite wget http://www.example.com/dir/*.gif’, kuid see ei töötanud, kuna HTTP-otsing ei toeta GLOBBINGI (panin suurtähed). Sellisel juhul kasutage:

      wget -r -l1 –no -parent -A.gif http://www.example.com/dir/

      Täpsem, kuid mõju on sama. '-r -l1' tähendab rekursiivset allalaadimist (vt Rekursiivne allalaadimine) maksimaalse sügavusega 1. '–no-parent' tähendab, et eiratakse viiteid vanemkataloogile (vt Directory-Based Limits) ja '-A. gif - tähendab ainult GIF-failide allalaadimist. '-A «* .gif»' oleks ka töötanud.

      KUI JOOKSTE SELLE VIIMASEL TEEL, loob wget meile kausta, kus soovitud veebiaadress asub vaikekaustas, kus töötame, ja teeb vajaduse korral alamkatalooge ning paigutab sinna näiteks .gif-pildid taotlus.

      --------
      KUIDAS ikkagi pole võimalik hankida ainult teatud tüüpi faile (näiteks * .jpg), peame kasutama parameetrit «–page-rekvisiidid», mis laadib alla kõik HTML-lehe sisemised elemendid (pildid, helid, css jne) koos html-lehega endaga ("–lehekülje-rekvisiidid" võib lühendada "-p") ja see oleks samaväärne "mhtml" -laadse allalaadimisega https://tools.ietf.org/html/rfc2557

      Loodan, et see teave on teile kasulik.

      1.    Damian Amoedo DIJO

        Täname märkmete eest. Salu2.

  2.   Järelpangad DIJO

    Ma arvan, et teil on viga, kahel esimesel real on sama käsk.

  3.   Mike DIJO

    Suur aitäh, väga hea õpetus!