في المقالة التالية سوف نلقي نظرة على Wget. يجب أن يقال أن GNU Wget هو ملف أداة مجانية يسمح بتنزيل المحتوى من خوادم الويب بطريقة بسيطة وسريعة. اسمها مشتق من شبكة الويب العالمية (w) والكلمة get (باللغة الإنجليزية دولار فقط واحصل على خصم XNUMX% على جميع ). هذا الاسم يعني: الحصول عليها من WWW.
يوجد اليوم العشرات من التطبيقات لتنزيل الملفات بكفاءة عالية. يعتمد معظمها على واجهات الويب وسطح المكتب ، وتم تطويرها لجميع أنظمة التشغيل. لكن في Gnu / Linux (هناك أيضًا إصدار لنظام التشغيل Windows) هنالك ال مدير تنزيل قوي من ملفات wget. يعتبر أقوى برنامج تنزيل موجود. يدعم بروتوكولات مثل http و https و بروتوكول نقل الملفات.
قم بتنزيل الملفات باستخدام wget
تنزيل ملف
إن أبسط طريقة لاستخدام هذه الأداة هي التنزيل مشيرا إلى الملف ماذا نريد:
wget http://sitioweb.com/programa.tar.gz
التنزيل باستخدام بروتوكولات مختلفة
كمدير تنزيل جيد ، هذا ممكن طلب أكثر من تنزيل في وقت واحد. يمكننا حتى استخدام بروتوكولات مختلفة بنفس الترتيب:
wget http://sitioweb.com/programa.tar.gz ftp://otrositio.com/descargas/videos/archivo-video.mpg
التنزيل حسب الامتداد
طريقة أخرى لتنزيل ملفات الملفات التي تستخدم نفس الامتداد، سيتم استخدام علامة النجمة البدل:
wget<code class="language-bash" data-lang="bash">-r -A.pdf</code>http://sitioweb.com/*.pdf
لا يعمل هذا الأمر دائمًا ، حيث قد تكون بعض الخوادم قد حظرت الوصول إلى مجلد مشترك.
قم بتنزيل قائمة الملفات
إذا كان ما نريده هو تنزيل الملفات التي نعثر عليها ، فسيتعين علينا فقط حفظ ملفات URL في ملف. سنقوم بإنشاء قائمة تسمى files.txt وسنشير إلى اسم القائمة للأمر. ضروري ضع عنوان url واحدًا فقط في كل سطر داخل files.txt.
سيكون الأمر الذي سنستخدمه لتنزيل القائمة التي تم إنشاؤها والتي نحفظها في ملفات .txt كما يلي:
wget -i archivos.txt
أعد تشغيل التنزيل
إذا تمت مقاطعة التنزيل لأي سبب من الأسباب ، فسنكون قادرين على ذلك تابع التنزيل من حيث توقفت باستخدام الخيار ج باستخدام الأمر wget:
wget -i -c archivos.txt
أضف سجل حول التنزيل
إذا أردنا الحصول على سجل حول التنزيل ، من أجل السيطرة على أي حادث عليه ، سيتعين علينا إضافة -o الخيار كما هو موضح في الآتي:
wget -o reporte.txt http://ejemplo.com/programa.tar.gz
الحد من عرض النطاق الترددي للتنزيل
في التنزيلات الطويلة جدا نستطيع الحد من عرض النطاق الترددي للتنزيل. سيمنع هذا التنزيل من شغل كل النطاق الترددي طوال مدة التنزيل:
wget -o /reporte.log --limit-rate=50k ftp://ftp.centos.org/download/centos5-dvd.iso
تحميل مع اسم المستخدم وكلمة المرور
إذا أردنا التنزيل من موقع مطلوب اسم مستخدم / كلمة مرور ، فسنضطر فقط إلى استخدام هذه الخيارات:
wget --http-user=admin --http-password=12345 http://ejemplo.com/archivo.mp3
محاولات التنزيل
إفتراضي، يقوم هذا البرنامج ب 20 محاولة لتأسيس الاتصال وبدء التنزيل ، في مواقع مشبعة جدًا ، من الممكن أنه حتى مع 20 محاولة لم يتم تحقيقها. مع ال الخيار ر يزيد لمزيد من المحاولات.
wget -t 50 http://ejemplo.com/pelicula.mpg
قم بتنزيل موقع ويب باستخدام wget
Wget مساعدة الرجل
لا يقتصر Wget على تنزيلات الملفات فقطسنكون قادرين على تحميل صفحة كاملة. سيتعين علينا فقط كتابة شيء مثل:
wget www.ejemplo.com
قم بتنزيل موقع ويب وعناصره الإضافية
مع الخيار ص سنقوم أيضًا بتنزيل جميع ملفات العناصر الإضافية المطلوبة في الصفحة مثل أوراق الأنماط والصور المضمنة وما إلى ذلك.
إذا أضفنا ال الخيار ص se سيتم تنزيله بشكل متكرر يصل إلى 5 مستويات من الموقع:
wget -r www.ejemplo.com -o reporte.log
تحويل الروابط إلى السكان المحليين
بشكل افتراضي ، تشير الروابط داخل الموقع إلى عنوان النطاق بأكمله. إذا قمنا بتنزيل الموقع بشكل متكرر ثم درسناه في وضع عدم الاتصال ، فيمكننا استخدام ملف خيار تحويل الروابط من شأنها أن تحولهم إلى الروابط المحلية:
wget --convert-links -r http://www.sitio.com/
احصل على نسخة كاملة من الموقع
سيكون لدينا إمكانية الحصول على نسخة كاملة من الموقع. ال خيار المرآة هو نفس استخدام ملف خيارات -r -l inf -N مما يشير إلى العودية على مستوى لانهائي والحصول على الطابع الزمني الأصلي لكل ملف تم تنزيله.
wget --mirror http://www.sitio.com/
تحويل الامتدادات
إذا قمت بتنزيل الموقع بالكامل لعرضه في وضع عدم الاتصال ، فقد لا يتم فتح العديد من الملفات التي تم تنزيلها ، بسبب امتدادات مثل .cgi أو .asp أو .php. ثم يمكن الإشارة بامتداد –html- خيار التمديد يتم تحويل جميع الملفات إلى امتداد .html.
wget --mirror --convert-links --html-extension http://www.ejemplo.com
هذه مجرد إرشادات عامة مما يمكنك فعله مع Wget. من يريد يمكنه استشارة دليل على الإنترنت لاستشارة كل الاحتمالات التي يوفرها لنا مدير التنزيل الرائع هذا.
بالنسبة إلى "التنزيل بالامتداد" لقد توقفت عن القراءة. لا يمكنك تنزيل ما لا تعرفه. ما لم يسمح الدليل المطلوب بإدراج الملفات ويفتقر إلى فهرس (ويجب أن يحدث كلاهما في نفس الوقت) ، فلا يمكن فعل ما تقوله. يا له من مستوى.
مرحباً روبين ، الجهل جريء بعض الشيء.
ما تعلق عليه يمكن القيام به بأمر بسيط إلى google:
نوع الملف:pdf الموقع:ubunlogكوم
في هذا المثال ، لا يوجد ملف pdf في هذه المدونة ، ولكن قم بتغيير المجال في النهاية إلى الويب الذي تفضله وسترى مدى سهولة رؤية جميع ملفات نوع الويب.
طاب يومك.
لكن wget لا يتصل بـ google للعثور على ملفات pdf في عنوان url. يجب أن يكون دليل الويب مفتوحًا ويجب أن يكون هناك صفحة فهرس تم إنشاؤها بواسطة mod_autoindex أو ما شابه ، كما يقول روبين كاردينال.
"هذا الأمر لا يعمل دائمًا ، لأن بعض الخوادم قد تمنع الوصول إلى wget."
تم وضع هذا التعديل على هذه المقالة ، لأنني لا أتفق معه (على الرغم من أنه من الممكن تقنيًا حظر وكلاء ويب معينين لطلبات رأس http وإرجاع رسالة 403 "غير مسموح بها") وسأشرح السبب:
جميع خوادم الويب Apache (وأنا أتحدث عن نسبة كبيرة من الخوادم) بشكل افتراضي تسمح بالتصفح (مقالة Wikipedia ممتازة ، اقرأ: https://es.wikipedia.org/wiki/Glob_(inform%C3%A1tica) .
هذا يعني في الممارسة العملية ، على النحو المحدد من قبل السيد. روبين (وهو على حق) ، إذا لم يتم استدعاء ملف "index.php" أو "index.html" (أو حتى يُسمى ببساطة "index") ، فسيعيد الخادم بهدوء قائمة بالملفات والأدلة (بالطبع في النموذج لصفحة html تحتوي على المعلومات كرابط ويب لكل ملف). تقوم معظم خوادم الويب بتعطيل هذه الميزة من خلال ملف .htacces (بالمعنى الدقيق للكلمة Apache2) لأسباب أمنية.
إليك تعدد استخدامات wget (انظر قصتها ، مرة أخرى على ويكيبيديا ، أكثر ما تعرفه: https://es.wikipedia.org/wiki/GNU_Wget ) لتحليل أو "تحليل" المعلومات المذكورة واستخراج الامتدادات التي نطلبها فقط.
الآن ، في حالة عدم نجاح ذلك ، لسبب أو لآخر ، يمكننا تجربة وظائف wget المتقدمة الأخرى ، أقتبس منها مباشرة باللغة الإنجليزية:
تريد تنزيل جميع ملفات GIF من دليل موجود على خادم HTTP. لقد حاولت 'wget http://www.example.com/dir/*.gif’، ولكن هذا لم ينجح لأن استرجاع HTTP لا يدعم GLOBBING (أضع الأحرف الكبيرة). في هذه الحالة ، استخدم:
wget -r -l1 – no-parent -A.gif http://www.example.com/dir/
أكثر تفصيلاً ، لكن التأثير هو نفسه. يعني "-r -l1" الاسترداد بشكل متكرر (راجع التنزيل التكراري) ، بأقصى عمق 1. يعني "– no-parent" أنه يتم تجاهل المراجع إلى الدليل الأصلي (انظر الحدود المستندة إلى الدليل) ، و "-A. gif 'يعني تنزيل ملفات GIF فقط. '-A «* .gif»' كانت ستنجح أيضًا.
إذا كنت تعمل بهذه الطريقة الأخيرة ، فسيقوم wget بإنشاء مجلد لنا بعنوان الويب المطلوب في المجلد الافتراضي حيث نعمل ، وسيقوم بإنشاء أدلة فرعية إذا لزم الأمر ، وهناك سيضع ، على سبيل المثال ، صور gif. طلب.
--------
ومع ذلك ، إذا كان لا يزال من غير الممكن الحصول على أنواع معينة فقط من الملفات (* .jpg ، على سبيل المثال) ، فسيتعين علينا استخدام المعلمة «–page-Requisites» التي تقوم بتنزيل جميع العناصر الداخلية لصفحة html (الصور ، الأصوات ، css ، إلخ) مع صفحة html نفسها ("–page-Requisites" يمكن اختصارها "-p") وهذا يعادل تنزيل شيء مثل "mhtml" https://tools.ietf.org/html/rfc2557
اعتقد ان هذه المعلومات مفيدة لك.
شكرا على الملاحظات. سالو 2.
أعتقد أن لديك خطأ ، أول سطرين لهما نفس الأمر.
شكرا جزيلا لك ، تعليمي جيد جدا!