بعد عام ونصف من التطوير ، أصدرت Apache Software Foundation إطلاق الإصدار الجديد من Apache Hadoop 3.3.0 ، الإصدار حيث أضافت تحسينات لمنصات ARM ، دعم جدولة عمليات إطلاق الحاويات وأشياء أخرى.
موقع Apache Hadoop نفسه كمنصة مجانية لتنظيم توزيع معالجة كميات كبيرة من البيانات باستخدام نموذج الخريطة / تقليل ، حيث يتم تقسيم المهمة إلى العديد من الأجزاء الصغيرة المعزولة ، يمكن تشغيل كل منها على عقدة عنقودية منفصلة.
التخزين القائم على Hadoop يمكن أن تمتد آلاف العقد وتحتوي على إكسابايت من البيانات.
حول اباتشي هادوب
Hadoop يتضمن تطبيق نظام الملفات الموزعة Hadoop (HDFS) ، والذي يوفر تكرارًا للبيانات تلقائيًا ويتم تحسينه لتطبيقات MapReduce.
تتمثل الوظيفة الرئيسية في أنه من أجل جدولة المهام الفعالة ، يجب أن يعرف كل نظام ملفات موقعه ويقدمه ، واسم الحامل (بشكل أكثر دقة ، للمحول) حيث توجد عقدة العامل.
يمكن لتطبيقات Hadoop استخدام هذه المعلومات لتشغيل العمل على العقدة حيث توجد البيانات ، وفشل ذلك ، على نفس الرف / المحول ، وبالتالي تقليل حركة مرور الشبكة.
لتبسيط الوصول إلى البيانات في تخزين Hadoop ، تم تطوير قاعدة بيانات HBase ولغة Pig التي تشبه SQL ، وهو نوع SQL لـ MapReduce ، والذي يمكن موازاة استعلاماته ومعالجتها بواسطة منصات Hadoop المختلفة.
تم تقييم المشروع على أنه مستقر تمامًا وجاهز للتشغيل الصناعي. يتم استخدام Hadoop بنشاط في المشاريع الصناعية الكبيرة ، مما يوفر إمكانات مماثلة لمنصة Google Bigtable / GFS / MapReduce ، بينما تفوض Google رسميًا Hadoop ومشاريع Apache الأخرى يحق لها استخدام التقنيات المغطاة ببراءات الاختراع المتعلقة بطريقة MapReduce.
يحتل Hadoop المرتبة الأولى بين مستودعات Apache من حيث عدد التغييرات التي تم إجراؤها وخامس أكبر قاعدة رمز (حوالي 4 ملايين سطر من التعليمات البرمجية).
ما الجديد في Apache Hadoop 3.3؟
هذه النسخة الجديدة من Hadoop يتم وضعه باعتباره الإصدار الأول الذي يحتوي على el دعم المنصات القائمة على ARM ، من خلاله سيتمكن المهتمون بالقدرة على تنفيذ هذا النظام الأساسي من العثور على ثنائي لـ ARM متاح بالفعل.
من التغييرات الرئيسية الأخرى التي تم تقديمها في هذا الإصدار الجديد هو تنفيذ الإصدار الجديد من تنسيق Protobuf (مخازن البروتوكول) المستخدمة في إجراء تسلسل للبيانات المهيكلة تم تحديثه إلى الإصدار 3.7.1 بسبب نهاية دورة حياة فرع protobuf-2.5.0.
بالإضافة إلى ذلك أيضًا لقد تم بالفعل توسيع قدرات موصل S3A التي لديه الآن إضافة دعم للمصادقة باستخدام الرموز المميزة ، تحسين الدعم للتخزين المؤقت للاستجابة برمز 404 وأداء S3guard أعلى وموثوقية تشغيلية محسّنة.
أيضا تمت إضافة خدمة محلل DNS بالنسبة للعميل لتحديد الخوادم عبر DNS بأسماء المضيف ، مما يسمح لك بالاستغناء عن قائمة جميع المضيفين في التكوين.
وكذلك دعم جدولة عمليات إطلاق الحاوية من خلال مدير موارد مركزي (ResourceManager) ، حتى مع القدرة على توزيع الحاويات مع مراعاة حمل كل عقدة.
من التغييرات الأخرى التي تبرز من هذا الإصدار الجديد:
- تم حل مشاكل الضبط التلقائي في نظام ملفات ABFS.
- تمت إضافة دعم أصلي لنظام ملفات Tencent Cloud COS للوصول إلى تخزين كائنات COS.
- تمت إضافة الدعم الكامل لـ Java 11.
- استقرت تنفيذ HDFS RBF (الاتحاد المعتمد على جهاز التوجيه). تمت إضافة عناصر التحكم في الأمان إلى جهاز توجيه HDFS.
- تمت إضافة دليل تطبيق YARN (مفاوض مورد آخر).
أخيرًا ، إذا كنت تريد معرفة المزيد عنها ، يمكنك التحقق من تفاصيل الإصدار الجديد على المنشور الأصلي.
بالنسبة لأولئك الذين يرغبون في الحصول على الإصدار الجديد ، يمكنهم تنزيل الثنائيات المعدة في الرابط التالي.