Po roku a pol vývoja vydala Apache Software Foundation uvedenie novej verzie systému Windows Apache Hadoop 3.3.0, verzia v ktorom pridal vylepšenia pre platformy ARM, podpora plánovania spustenia kontajnera a ďalších vecí.
Apache Hadoop sa umiestňuje ako bezplatná platforma organizovať distribuované spracovanie veľkého množstva údajov pomocou paradigma mapa / redukcia, v ktorej je úloha rozdelená na mnoho menších izolovaných častí, z ktorých každá môže bežať na samostatnom uzle klastra.
Úložisko založené na Hadoop môže pokrývať tisíce uzlov a obsahovať exabajty dát.
O spoločnosti Apache Hadoop
Hadoop zahŕňa implementáciu distribuovaného súborového systému Hadoop (HDFS), ktorý poskytuje redundanciu údajov automaticky a je optimalizovaný pre aplikácie MapReduce.
Kľúčovou funkciou je, že pre efektívne plánovanie úloh musí každý súborový systém poznať a poskytnúť jeho umiestnenie, názov stojana (presnejšie prepínača), kde je pracovný uzol.
Aplikácie Hadoop môžu tieto informácie použiť na spustenie práce na uzle, kde sú dáta, a pokiaľ tak neurobia, na rovnakom stojane / prepínači, čím znižujú sieťový prenos.
Na zjednodušenie prístupu k údajom v úložisku Hadoop, Bola vyvinutá databáza HBase a jazyk Pig podobný SQL, čo je typ SQL pre MapReduce, ktorého dotazy je možné paralelizovať a spracovávať rôznymi platformami Hadoop.
Projekt je hodnotený ako úplne stabilný a pripravený na priemyselnú prevádzku. Hadoop sa aktívne používa vo veľkých priemyselných projektoch a poskytuje možnosti podobné platforme Google Bigtable / GFS / MapReduce, zatiaľ čo Google oficiálne delegoval projekty Hadoop a ďalšie projekty Apache, sú oprávnené využívať patentované technológie súvisiace s metódou MapReduce.
Hadoop je na prvom mieste medzi úložiskami Apache, čo sa týka počtu vykonaných zmien a piatej najväčšej kódovej základne (približne 4 milióny riadkov kódu).
Čo je nové v Apache Hadoop 3.3?
Táto nová verzia softvéru Hadoop je umiestnená ako prvá verzia, ktorá má el podpora platforiem založených na ARM, pomocou ktorých budú môcť záujemcovia o implementáciu tejto platformy nájsť binárny súbor pre ARM, ktorý je už k dispozícii.
Ďalšou z hlavných zmien, ktoré sú prezentované v tejto novej verzii, je implementácia novej verzie formátu Protobuf (Vyrovnávacie pamäte protokolu) používané na serializáciu štruktúrovaných údajov bol aktualizovaný na verziu 3.7.1 z dôvodu ukončenia životného cyklu vetvy protobuf-2.5.0.
Okrem toho tiež možnosti konektora S3A už boli rozšírené že teraz ho má pridaná podpora autentifikácie pomocou tokenov, vylepšená podpora pre ukladanie do pamäte cache s kódom 404, vyšší výkon S3guard a vylepšená prevádzková spoľahlivosť.
tiež Bola pridaná služba DNS resolver pre klienta určiť servery prostredníctvom DNS podľa názvov hostiteľov, čo vám umožní upustiť od zoznamu všetkých hostiteľov v konfigurácii.
Rovnako ako podpora plánovania spustenia kontajnera prostredníctvom centralizovaného správcu zdrojov (ResourceManager), a to aj so schopnosťou distribuovať kontajnery pri zohľadnení zaťaženia každého uzla.
Z ďalších zmien, ktoré vynikajú tejto novej verzie:
- Problémy s automatickým ladením boli vyriešené v súborovom systéme ABFS.
- Pridaná natívna podpora pre súborový systém Tencent Cloud COS pre prístup k úložisku objektov COS.
- Bola pridaná plná podpora pre Java 11.
- Stabilizovaná implementácia HDFS RBF (Router Based Federation). Do smerovača HDFS boli pridané ovládacie prvky zabezpečenia.
- Bolo pridané hľadanie v adresári aplikácií YARN (iný vyjednávač zdrojov).
Nakoniec, ak sa o nej chcete dozvedieť viac, môžete si podrobnosti novej verzie skontrolovať na adrese pôvodný príspevok.
Pre tých, ktorí majú záujem o získanie novej verzie, si môžu stiahnuť pripravené binárne súbory Na nasledujúcom odkaze.