Apache Hadoop 3.3.0帶有針對ARM平台的改進以及更多功能

經過一年半的發展, Apache Software Foundation已發布 新版本的發布 Apache Hadoop 3.3.0, 版本 他在其中添加了針對ARM平台的改進, 支持安排容器啟動等操作。

Apache Hadoop將自己定位為免費平台 組織 分佈式處理使用 map / reduce範式,其中任務被分為許多較小的孤立塊,每個塊都可以在單獨的群集節點上運行。

基於Hadoop的存儲 它可以跨越數千個節點並包含EB級數據。

關於Apache Hadoop

Hadoop的 包括Hadoop分佈式文件系統的實現 (HDFS),可自動提供數據冗餘,並針對MapReduce應用程序進行了優化。

一個關鍵功能是,為了進行有效的作業調度,每個文件系統必須知道並提供其位置,即工作程序節點所在的機架(更確切地說是交換機的機架)的名稱。

Hadoop應用程序可以使用此信息在數據所在的節點上運行工作,如果失敗,則可以在同一機架/交換機上運行,從而減少網絡流量。

簡化對數據的訪問 在Hadoop存儲中, 已經開發了HBase數據庫和類似SQL的Pig語言, 這是MapReduce的SQL類型,其查詢可以由各種Hadoop平台並行化和處理。

該項目被評估為完全穩定並已準備好工業運行。 Hadoop在大型工業項目中得到了積極使用,其功能類似於Google Bigtable / GFS / MapReduce平台,而Google正式授權的Hadoop和其他Apache項目則有權使用與MapReduce方法相關的專利技術。

Hadoop在所做的更改數量和第五大代碼庫(約4萬行代碼)方面,在Apache存儲庫中排名第一。

Apache Hadoop 3.3的新增功能是什麼?

Hadoop的新版本 被定位為具有 el 支持基於ARM的平台, 那些對能夠實現此平台感興趣的人將能夠找到適用於ARM的二進製文件。

此新版本中提出的另一個主要更改是 實現新版本的Protobuf格式 (協議緩衝區)用於序列化結構化數據 已更新至版本3.7.1 由於protobuf-2.5.0分支的生命週期已結束。

除了它,還 S3A連接器的功能已得到擴展 現在有他 增加了對使用令牌進行身份驗證的支持, 使用404代碼改進了對響應緩存的支持,提高了S3guard性能,並提高了操作可靠性。

DNS解析器服務已添加 使客戶端可以通過DNS通過主機名確定服務器,從而無需配置中的所有主機列表

以及 支持通過集中式資源管理器調度容器啟動 (ResourceManager),即使考慮到每個節點的負載也可以分發容器。

在其他突出的變化中 這個新版本:

  • 自動調整的問題已在ABFS文件系統中解決。
  • 添加了對騰訊雲COS文件系統的本機支持,以訪問COS對象存儲。
  • 完全支持Java 11。
  • 穩定了HDFS RBF(基於路由器的聯盟)實施。 安全控件已添加到HDFS路由器。
  • 搜索添加的YARN應用程序目錄(另一個資源協商程序)。

最後,如果您想了解更多信息,可以在以下位置查看新版本的詳細信息: 原始帖子。

對於那些有興趣獲得新版本的人,他們可以下載準備好的二進製文件 在下面的鏈接中。