След година и половина развитие, Apache Software Foundation пусна стартирането на новата версия на Apache Hadoop 3.3.0, версия в който той добави подобрения за ARM платформи, поддръжка за планиране на стартиране на контейнери и други неща.
Apache Hadoop се позиционира като безплатна платформа за организиране на разпределена обработка на големи количества данни, използвайки парадигмата map / reduce, при която задачата е разделена на много по-малки изолирани парчета, всеки от които може да се изпълнява на отделен възел на клъстера.
Съхранение на базата на Hadoop тя може да обхваща хиляди възли и да съдържа екзабайти данни.
Относно Apache Hadoop
Hadoop включва внедряване на разпределената файлова система Hadoop (HDFS), който осигурява излишък на данни автоматично и е оптимизиран за приложения MapReduce.
Ключова функционалност е, че за ефективно планиране на работа, всяка файлова система трябва да знае и да предоставя своето местоположение, името на стелажа (по-точно на превключвателя), където е работният възел.
Приложенията на Hadoop могат да използват тази информация, за да стартират работа на възела, където са данните и, в противен случай, на същия стелаж / превключвател, като по този начин намаляват мрежовия трафик.
За опростяване на достъпа до данни в хранилището на Hadoop, Разработени са база данни HBase и подобен на SQL език Pig, което е тип SQL за MapReduce, чиито заявки могат да бъдат паралелизирани и обработвани от различни платформи на Hadoop.
Проектът се оценява като напълно стабилен и готов за промишлена експлоатация. Hadoop се използва активно в големи индустриални проекти, предоставяйки възможности, подобни на платформата Google Bigtable / GFS / MapReduce, докато Google официално делегира Hadoop и други проекти на Apache имат право да използват патентни технологии, свързани с метода MapReduce.
Hadoop се нарежда на първо място сред хранилищата на Apache по брой направени промени и петата по големина кодова база (приблизително 4 милиона реда код).
Какво е новото в Apache Hadoop 3.3?
Тази нова версия на Hadoop се позиционира като първата версия, която има el поддръжка на ARM-базирани платформи, с които тези, които се интересуват от възможността да внедрят тази платформа, ще могат да намерят вече наличния двоичен файл за ARM.
Друга от основните промени, която е представена в тази нова версия, е внедряване на новата версия на формата Protobuf (Протоколни буфери), използвани за сериализиране на структурирани данни е актуализиран до версия 3.7.1 поради края на жизнения цикъл на клона protobuf-2.5.0.
В допълнение към това, също възможностите на конектора S3A вече са разширени че сега го има добавена поддръжка за удостоверяване с помощта на жетони, подобрена поддръжка за кеширане на отговори с код 404, по-висока производителност на S3guard и подобрена оперативна надеждност.
също Добавена е услуга за разрешаване на DNS за да може клиентът да определя сървърите чрез DNS по имена на хостове, което ви позволява да се откажете от списъка с всички хостове в конфигурацията.
Както и поддръжка за планиране на стартиране на контейнери чрез централизиран мениджър на ресурси (ResourceManager), дори с възможност за разпространение на контейнери, като се отчита натоварването на всеки възел.
От останалите промени, които се открояват на тази нова версия:
- Проблемите с автоматичната настройка са разрешени във файловата система ABFS.
- Добавена е родна поддръжка за файловата система Tencent Cloud COS за достъп до съхранение на COS обект.
- Добавена е пълна поддръжка за Java 11.
- Стабилизира изпълнението на HDFS RBF (Router Based Federation). Контролите за сигурност са добавени към HDFS рутера.
- Добавена е дирекция за търсене на YARN (друг преговарящ ресурс).
И накрая, ако искате да научите повече за това, можете да проверите подробностите за новата версия на оригиналната публикация.
За тези, които се интересуват от възможността да получат новата версия, те могат да изтеглят подготвените двоични файлове В следващия линк.