Apache Hadoop 3.3.0 leveres med forbedringer til ARM-platforme og mere

Efter halvandet år med udvikling, Apache Software Foundation har frigivet lanceringen af ​​den nye version af Apache Hadoop 3.3.0, udgave hvor han tilføjede forbedringer til ARM-platforme, support til planlægning af containerlanceringer og andre ting.

Apache Hadoop positionerer sig som en gratis platform at organisere distribueret behandling af store datamængder ved hjælp af kortet / reducer paradigmet, hvor en opgave er opdelt i mange mindre isolerede klumper, som hver kan køre på en separat klyngenode.

Hadoop-baseret opbevaring det kan spænde over tusinder af noder og indeholde exabyte data.

Om Apache Hadoop

Hadoop inkluderer en implementering af det distribuerede filsystem Hadoop (HDFS), som automatisk giver dataredundans og er optimeret til MapReduce-applikationer.

En nøglefunktionalitet er, at hvert filsystem til effektiv jobplanlægning skal kende og angive sin placering, navnet på stativet (mere præcist kontakten), hvor arbejdsknudepunktet er.

Hadoop-applikationer kan bruge disse oplysninger til at køre arbejde på den node, hvor dataene er, og i modsat fald på samme rack / switch, hvilket reducerer netværkstrafik.

For at forenkle adgangen til data i Hadoop opbevaring, HBase database og SQL-lignende svin sprog er blevet udviklet, som er en SQL-type til MapReduce, hvis forespørgsler kan paralleliseres og behandles af forskellige Hadoop-platforme.

Projektet vurderes som helt stabilt og klar til industriel drift. Hadoop bruges aktivt i store industriprojekter, der leverer funktioner svarende til Google Bigtable / GFS / MapReduce-platformen, mens Google officielt delegerede Hadoop og andre Apache-projekter har ret til at bruge patentdækkede teknologier relateret til MapReduce-metoden.

Hadoop rangerer først blandt Apache-arkiverne med hensyn til antallet af foretagne ændringer og den femte største kodebase (ca. 4 millioner linjer med kode).

Hvad er nyt i Apache Hadoop 3.3?

Denne nye version af Hadoop er placeret som den første version, der har el support til ARM-baserede platforme, Med hvilke de interesserede i at kunne implementere denne platform vil være i stand til at finde den binære til ARM, der allerede er tilgængelig.

En anden af ​​de vigtigste ændringer, der præsenteres i denne nye version, er implementering af den nye version af Protobuf-formatet (Protokolbuffere), der bruges til at serieisere strukturerede data er opdateret til version 3.7.1 på grund af afslutningen af ​​livscyklussen for protobuf-2.5.0-grenen.

Ud over det også S3A-stikkets muligheder er allerede blevet udvidet det har ham nu tilføjet support til godkendelse ved hjælp af tokens, forbedret understøttelse af responscaching med en 404-kode, højere S3guard-ydeevne og forbedret driftssikkerhed.

også DNS-resolvertjeneste tilføjet for klienten at bestemme serverne via DNS efter værtsnavne, så du kan dispensere fra listen over alle værter i konfigurationen

Samt support til planlægning af containerlanceringer gennem en central ressource manager (ResourceManager), selv med muligheden for at distribuere containere under hensyntagen til belastningen på hver node.

Af de andre ændringer, der skiller sig ud af denne nye version:

  • Problemer med automatisk tuning er løst i ABFS-filsystemet.
  • Tilføjet native support til Tencent Cloud COS-filsystemet for at få adgang til COS-objektlagring.
  • Fuld support til Java 11 blev tilføjet.
  • Stabiliserede implementeringen af ​​HDFS RBF (Router Based Federation). Sikkerhedskontrol er blevet tilføjet til HDFS-routeren.
  • Søg efter YARN-applikationsmappe (en anden ressourceforhandler) tilføjet.

Endelig, hvis du vil vide mere om det, kan du kontrollere detaljerne i den nye version på det oprindelige indlæg.

For dem, der er interesserede i at kunne få den nye version, kan de downloade de forberedte binære filer I det følgende link.


Vær den første til at kommentere

Efterlad din kommentar

Din e-mailadresse vil ikke blive offentliggjort. Obligatoriske felter er markeret med *

*

*

  1. Ansvarlig for dataene: Miguel Ángel Gatón
  2. Formålet med dataene: Control SPAM, management af kommentarer.
  3. Legitimering: Dit samtykke
  4. Kommunikation af dataene: Dataene vil ikke blive kommunikeret til tredjemand, undtagen ved juridisk forpligtelse.
  5. Datalagring: Database hostet af Occentus Networks (EU)
  6. Rettigheder: Du kan til enhver tid begrænse, gendanne og slette dine oplysninger.