Wget, несколько примеров того, что можно сделать с помощью этого инструмента

В следующей статье мы рассмотрим Wget. Надо сказать, что GNU Wget - это бесплатный инструмент что позволяет загружать контент с веб-серверов простым и быстрым способом. Его название происходит от World Wide Web (w) и слово get (на английском получить). Это имя означает: получить из WWW.

Сегодня существуют десятки приложений для очень эффективной загрузки файлов. Большинство из них основаны на веб-интерфейсах и интерфейсах рабочего стола и разработаны для всех операционных систем. Однако в Gnu / Linux (также есть версия для Windows) Здесь мощный менеджер загрузок файлов wget. Считается самым мощным из существующих загрузчиков. Поддерживает такие протоколы, как http, https и FTP.

Скачивание файлов с помощью wget

Скачать файл

Самый простой способ использовать этот инструмент - скачать с указанием файла Что мы хотим:

wget http://sitioweb.com/programa.tar.gz

Скачивание по разным протоколам

Как хороший менеджер закачек, можно запрашивать более одной загрузки за раз. Мы даже можем использовать разные протоколы в одном порядке:

wget http://sitioweb.com/programa.tar.gz ftp://otrositio.com/descargas/videos/archivo-video.mpg

Скачать по расширению

Другой способ скачать несколько файлы с одинаковым расширением, будет использоваться подстановочный знак звездочки:

wget<code class="language-bash" data-lang="bash">-r -A.pdf</code>http://sitioweb.com/*.pdf

Эта команда не всегда работает, так как некоторые серверы могли заблокировать доступ к Wget.

Скачать список файлов

Если мы хотим загрузить файлы, которые мы находим, нам нужно будет только сохранить их URL в файле. Мы создадим список под названием files.txt а название списка мы укажем команде. Необходимо размещать только один URL в строке внутри files.txt.

Команда, которую мы будем использовать для загрузки созданного списка и который мы сохраним в файлах .txt, будет следующей:

wget -i archivos.txt

Перезапустить загрузку

Если по какой-либо причине загрузка была прервана, мы сможем продолжить загрузку с того места, где она была остановлена используя вариант c с помощью команды wget:

wget -i -c archivos.txt

Добавить логи о скачивании

Если мы хотим получить журнал о загрузке, чтобы контролировать любой инцидент на нем нам нужно будет добавить -o вариант как показано ниже:

wget -o reporte.txt http://ejemplo.com/programa.tar.gz

Ограничить скорость загрузки

При очень долгих загрузках мы можем ограничить скорость загрузки. Таким образом мы предотвратим загрузку всей полосы пропускания на время загрузки:

wget -o /reporte.log --limit-rate=50k ftp://ftp.centos.org/download/centos5-dvd.iso

Скачать с логином и паролем

Если мы хотим загрузить с сайта, где требуется имя пользователя / пароль, нам нужно будет использовать только следующие параметры:

wget --http-user=admin --http-password=12345 http://ejemplo.com/archivo.mp3

Попытки скачивания

По умолчанию, эта программа делает 20 попыток установить соединение и начать загрузку, на очень насыщенных сайтах возможно, что даже при 20 попытках это не удалось. С вариант t увеличивается до большего количества попыток.

wget -t 50 http://ejemplo.com/pelicula.mpg

Загрузите сайт с помощью wget

Wget не ограничивается только загрузкой файловМы сможем скачать полную страницу. Нам просто нужно будет написать что-то вроде:

wget www.ejemplo.com

Скачать веб-сайт и его дополнительные элементы

с вариант p мы также загрузим все дополнительные элементы, необходимые на странице такие как таблицы стилей, встроенные изображения и т. д.

Если мы добавим вариант r se будет скачивать рекурсивно до 5 уровней с сайта:

wget -r www.ejemplo.com -o reporte.log

Преобразуйте ссылки в местные

По умолчанию ссылки на сайте указывают на адрес всего домена. Если мы загружаем сайт рекурсивно, а затем изучаем его в автономном режиме, мы можем использовать опция convert-links что превратит их в местные ссылки:

wget --convert-links -r http://www.sitio.com/

Получите полную копию сайта

У нас будет возможность получить полную копию сайта. В –Зеркальный вариант то же самое, что и использование параметры -r -l inf -N что указывает на рекурсию на бесконечном уровне и получение исходной отметки времени каждого загруженного файла.

wget --mirror http://www.sitio.com/

Преобразовать расширения

Если вы загрузите весь сайт для просмотра в автономном режиме, некоторые загруженные файлы могут не открываться из-за таких расширений, как .cgi, .asp или .php. Тогда можно указать с помощью –Html-extension параметр Все файлы преобразуются в расширение .html.

wget --mirror --convert-links --html-extension http://www.ejemplo.com

Это просто общие рекомендации чем вы можете сделать с Wget. Кто хочет может проконсультироваться онлайн-руководство чтобы ознакомиться со всеми возможностями, которые предлагает нам этот замечательный менеджер загрузок.