hadoop是什麼-hadoop優點

hadoop是什麼-hadoop優點

Hadoop是基金會常用的程式之一。以下是PINCAI小編整理的關於Hadoop的相關內容，歡迎閱讀和參考!

hadoop是什麼_hadoop優點

Hadoop是什麼

Hadoop是一個由Apache基金會所開發的分散式系統基礎架構。

使用者可以在不瞭解分散式底層細節的情況下，開發分散式程式。充分利用叢集的威力進行高速運算和儲存。

Hadoop實現了一個分散式檔案系統(Hadoop Distributed File System)，簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來訪問應用程式的資料，適合那些有著超大資料集(large data set)的應用程式。HDFS放寬了(relax)POSIX的要求，可以以流的形式訪問(streaming access)檔案系統中的資料。

Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的資料提供了儲存，則MapReduce為海量的資料提供了計算。

Hadoop優點

Hadoop是一個能夠對大量資料進行分散式處理的軟體框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行資料處理。

Hadoop 是可靠的，因為它假設計算元素和儲存會失敗，因此它維護多個工作資料副本，確保能夠針對失敗的節點重新分佈處理。

Hadoop 是高效的，因為它以並行的方式工作，透過並行處理加快處理速度。

Hadoop 還是可伸縮的，能夠處理 PB 級資料。

此外，Hadoop 依賴於社群服務，因此它的成本比較低，任何人都可以使用。

Hadoop是一個能夠讓使用者輕鬆架構和使用的分散式計算平臺。使用者可以輕鬆地在Hadoop上開發和執行處理海量資料的應用程式。它主要有以下幾個優點：

高可靠性。Hadoop按位儲存和處理資料的能力值得人們信賴。

高擴充套件性。Hadoop是在可用的計算機集簇間分配資料並完成計算任務的，這些集簇可以方便地擴充套件到數以千計的節點中。

高效性。Hadoop能夠在節點之間動態地移動資料，並保證各個節點的動態平衡，因此處理速度非常快。

高容錯性。Hadoop能夠自動儲存資料的多個副本，並且能夠自動將失敗的'任務重新分配。

低成本。與一體機、商用資料倉庫以及QlikView、Yonghong Z-Suite等資料集市相比，hadoop是開源的，專案的軟體成本因此會大大降低。

Hadoop帶有用Java語言編寫的框架，因此執行在 Linux 生產平臺上是非常理想的。Hadoop 上的應用程式也可以使用其他語言編寫，比如 C++。

hadoop大資料處理的意義

Hadoop得以在大資料處理應用中廣泛應用得益於其自身在資料提取、變形和載入(ETL)方面上的天然優勢。Hadoop的分散式架構，將大資料處理引擎儘可能的靠近儲存，對例如像ETL這樣的批處理操作相對合適，因為類似這樣操作的批處理結果可以直接走向儲存。Hadoop的MapReduce功能實現了將單個任務打碎，並將碎片任務(Map)傳送到多個節點上，之後再以單個數據集的形式載入(Reduce)到資料倉庫裡。