Másfél év fejlesztés után az Apache Software Foundation kiadta új verziójának bevezetése Apache Hadoop 3.3.0, változat amelyben javításokat adott hozzá az ARM platformokhoz, a konténerindítások és egyéb dolgok ütemezésének támogatása.
Az Apache Hadoop szabad platformként pozícionálja magát megszervezni a nagy mennyiségű adat elosztott feldolgozása a térkép / csökkentés paradigma, amelyben a feladat sok kisebb, elszigetelt darabra van felosztva, amelyek mindegyike külön fürtcsomóponton futhat.
Hadoop-alapú tárolás több ezer csomóponton átívelhet és exabájt adatokat tartalmazhat.
Az Apache Hadoopról
Hadoop tartalmazza a Hadoop elosztott fájlrendszer megvalósítását (HDFS), amely automatikusan biztosítja az adatok redundanciáját és optimalizált a MapReduce alkalmazásokhoz.
A legfontosabb funkció az, hogy a hatékony ütemezés érdekében minden fájlrendszernek ismernie kell és meg kell adnia a helyét, az állvány (pontosabban a kapcsoló) nevét, ahol a munkavállalói csomópont található.
A Hadoop-alkalmazások felhasználhatják ezeket az információkat annak a csomópontnak a futtatásához, ahol az adatok találhatók, ennek hiányában ugyanazon a racken / kapcsolón, ezzel csökkentve a hálózati forgalmat.
Az adatokhoz való hozzáférés egyszerűsítése érdekében a Hadoop tárolóban, HBase adatbázist és SQL-szerű Pig nyelvet fejlesztettek ki, amely a MapReduce SQL-típusa, amelynek lekérdezéseit a Hadoop különféle platformjai párhuzamosíthatják és feldolgozhatják.
A projektet teljesen stabilnak és ipari üzemre késznek értékelik. A Hadoop-ot aktívan használják nagy ipari projektekben, amelyek a Google Bigtable / GFS / MapReduce platformhoz hasonló képességeket nyújtanak, míg a Google hivatalosan delegált Hadoop és más Apache projektek jogosultak a MapReduce módszerhez kapcsolódó szabadalom által lefedett technológiák használatára.
Hadoop az első helyet foglalja el az Apache tárolók között a végrehajtott változtatások száma és az ötödik legnagyobb kódbázis (kb. 4 millió kódsor) tekintetében.
Az Apache Hadoop 3.3 újdonságai
A Hadoop új verziója az első verzió, amely rendelkezik el ARM-alapú platformok támogatása, Ezzel a platform megvalósításában érdekeltek megtalálhatják az ARM számára már elérhető bináris verziót.
Az új verzióban bemutatott főbb változások egyike a a Protobuf formátum új verziójának bevezetése (Protokoll pufferek) a strukturált adatok sorosítására frissítve a 3.7.1 verzióra a protobuf-2.5.0 ág életciklusának vége miatt.
Ezen kívül még az S3A csatlakozó képességei már bővültek hogy most megvan neki hozzáadott támogatás a tokenek használatával történő hitelesítéshez, a válasz-gyorsítótár javított támogatása egy 404-es kóddal, magasabb S3guard teljesítmény és jobb működési megbízhatóság.
is DNS-megoldó szolgáltatás hozzáadva hogy az ügyfél DNS-en keresztül meghatározza a szervereket hosztnév alapján, ami lehetővé teszi, hogy mellőzze a konfigurációban található összes hoszt listáját.
Valamint a a konténerindítások ütemezésének támogatása egy központi erőforráskezelőn keresztül (ResourceManager), még a tárolók terjesztésének lehetőségével is, figyelembe véve az egyes csomópontok terhelését.
A többi kiemelkedő változás közül ennek az új verziónak:
- Az automatikus hangolással kapcsolatos problémák megoldódtak az ABFS fájlrendszerben.
- Hozzáadott natív támogatás a Tencent Cloud COS fájlrendszerhez a COS objektumtárolás eléréséhez.
- A Java 11 teljes támogatása hozzáadódott.
- Stabilizálta a HDFS RBF (Router Based Federation) megvalósítását. A HDFS útválasztóhoz biztonsági vezérlők kerültek.
- Keresés a YARN alkalmazáskönyvtárban (egy másik erőforrás-tárgyaló) hozzáadva.
Végül, ha többet szeretne megtudni róla, a következő címen ellenőrizheti az új verzió részleteit az eredeti bejegyzés.
Azok számára, akik érdeklődnek az új verzió megszerzése iránt, letölthetik az elkészített bináris fájlokat A következő linken.