После годину и по развоја, Апацхе Софтваре Фоундатион је објавила лансирање нове верзије Апацхе Хадооп 3.3.0, верзија у којој је додао побољшања за АРМ платформе, подршка за заказивање покретања контејнера и других ствари.
Апацхе Хадооп је позициониран као бесплатна платформа организовати дистрибуирана обрада великих количина података коришћењем парадигма мапе/редуце, у којој је задатак подељен на много мањих изолованих фрагмената, од којих се сваки може извршити на посебном чвору кластера.
Складиштење засновано на Хадооп-у може да обухвата хиљаде чворова и садржи ексабајте података.
О Апацхе Хадооп-у
Хадооп укључује имплементацију Хадооп дистрибуираног система датотека (ХДФС), који аутоматски обезбеђује редундантност података и оптимизован је за МапРедуце апликације.
Кључна функционалност је да за ефикасно распоређивање послова сваки систем датотека мора знати и обезбедити своју локацију, назив сталка (тачније, прекидача) где се налази радни чвор.
Хадооп апликације могу да користе ове информације да изврше рад на чвору где се налазе подаци, а ако то не успе, на истом рацк-у/прекидачу, смањујући на тај начин мрежни саобраћај.
Да бисте поједноставили приступ подацима у Хадооп складишту, Развијена је база података ХБасе и Пиг језик сличан СКЛ-у, који је врста СКЛ-а за МапРедуце, чији упити могу бити паралелизовани и обрађени од стране различитих Хадооп платформи.
Пројекат је оцењен као потпуно стабилан и спреман за индустријски рад. Хадооп се активно користи у великим индустријским пројектима, пружајући могућности сличне Гоогле Бигтабле /ГФС/МапРедуце платформи, док Гоогле званично делегирани Хадооп и други Апацхе пројекти имају право да користе технологије покривене патентима који се односе на МапРедуце методу.
Хадооп је на првом месту међу Апацхе репозиторијумима по броју унетих промена и на петом месту по величини кодне базе (приближно 4 милиона линија кода).
Шта је ново у Апацхе Хадооп 3.3?
Ова нова верзија Хадооп-а Позиционирана је као прва верзија која има el подршка за АРМ платформе, Са којим ће они који су заинтересовани да могу да имплементирају ову платформу моћи да пронађу бинарни фајл за АРМ који је већ доступан.
Још једна од главних промена која је представљена у овој новој верзији је имплементација нове верзије Протобуф формата (протоколски бафери) који се користе за серијализацију структурираних података је ажуриран на верзију 3.7.1 због краја животног циклуса гране протобуф-2.5.0.
Поред тога, такође Могућности С3А конектора су већ проширене који сада има додата подршка за аутентификацију помоћу токена, Побољшана подршка за кеширање одговора са 404 кодом, повећане С3гуард перформансе и побољшана оперативна поузданост.
такође Додата је услуга за решавање ДНС-а да би клијент одредио сервере преко ДНС-а према именима хостова, што вам омогућава да одустанете од навођења свих хостова у конфигурацији.
Као и подршка за заказивање покретања контејнера преко централизованог менаџера ресурса (РесоурцеМанагер), чак и са могућношћу дистрибуције контејнера узимајући у обзир оптерећење сваког чвора.
Од осталих промена које се истичу ове нове верзије:
- Проблеми са аутоматским подешавањем су решени у систему датотека АБФС.
- Додата је изворна подршка за Тенцент Цлоуд систем датотека ЦОС за приступ складишту ЦОС објеката.
- Додата је пуна подршка за Јаву 11.
- Стабилизована имплементација ХДФС РБФ (Роутер Басед Федератион). Сигурносне контроле су додате ХДФС рутеру.
- Додан директоријум ИАРН апликација који се може претраживати (још један преговарач ресурса).
Коначно, ако желите да сазнате више о томе, можете погледати детаље нове верзије на оригинална публикација.
За оне који су заинтересовани да добију нову верзију, можете преузети припремљене бинарне датотеке У следећем линку.