hadoop到底是什麼,Hadoop和MapReduce究竟分別是做什麼用的

2022-03-02 05:14:46 字數 2171 閱讀 9567

1樓:大大的

hadoop是一個由apache**會所開發的分散式系統基礎架構。

1、使用者可以在不瞭解分散式底層細節的情況下,開發分散式程式。充分利用叢集的威力進行高速運算和儲存。

2、hadoop實現了一個分散式檔案系統(hadoop distributed file system),簡稱hdfs。hdfs有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來訪問應用程式的資料,適合那些有著超大資料集(large data set)的應用程式。hdfs放寬了(relax)posix的要求,可以以流的形式訪問(streaming access)檔案系統中的資料。

3、hadoop的框架最核心的設計就是:hdfs和mapreduce。hdfs為海量的資料提供了儲存,則mapreduce為海量的資料提供了計算。

2樓:加米穀大資料科技

hadoop是apache開源組織的一個分散式基礎框架,提供了一個分散式檔案系統 (hdfs)、分散式計算(mapreduce)及統一資源管理框架(yarn)的軟體架構。使用者可以在不瞭解分散式底層細節的情況下,開發分散式程式。

2023年專案成立的一開始,「hadoop」只代表了兩個元件——hdfs和mapreduce。如今,這個單詞代表的是「核心」(即core hadoop專案)以及與之相關的一個不斷成長的生態系統,包括資料儲存、執行引擎、程式設計和資料訪問框架等。和linux類似,都是由一個核心和一個生態系統組成。

網頁連結

hadoop和mapreduce究竟分別是做什麼用的

3樓:匿名使用者

hadoop是用來開發分散式程式的架構,是一個由apache**會所開發的分散式系統基礎架構。使用者可以在不瞭解分散式底層細節的情況下,開發分散式程式。

mapreduce是用來做大規模並行資料處理的資料模型。方便了程式設計人員在不會分散式並行程式設計的情況下,將自己的程式執行在分散式系統上。

擴充套件資料

hadoop是一個能夠讓使用者輕鬆架構和使用的分散式計算平臺。使用者可以輕鬆地在hadoop上開發和執行處理海量資料的應用程式。主要有以下幾個優點   :

1、高可靠性。hadoop按位儲存和處理資料的能力值得人們信賴   。

2、高擴充套件性。hadoop是在可用的計算機集簇間分配資料並完成計算任務的,這些集簇可以方便地擴充套件到數以千計的節點中  。

3、高效性。hadoop能夠在節點之間動態地移動資料,並保證各個節點的動態平衡,因此處理速度非常快  。

4、高容錯性。hadoop能夠自動儲存資料的多個副本,並且能夠自動將失敗的任務重新分配。

5、低成本。與一體機、商用資料倉儲以及qlikview、yonghong z-suite等資料集市相比,hadoop是開源的,專案的軟體成本因此會大大降低。

4樓:匿名使用者

1、hadoop是一種分散式系統的平臺,通過它可以很輕鬆的搭建一個高效、高質量的分佈系統,而且它還有許多其它的相關子專案,也就是對它的功能的極大擴充,包括zookeeper,hive,hbase等。

2、mapreduce是hadoop的核心元件之一,hadoop要分散式包括兩部分,一是分散式檔案系統hdfs,一部是分散式計算框,就是mapreduce,缺一不可,也就是說,可以通過mapreduce很容易在hadoop平臺上進行分散式的計算程式設計。

再詳細的話,你得多看些文件。

5樓:匿名使用者

hadoop是一種架構,用來搭建分散式平臺使用

mapreduce是一種程式設計模型,是一種程式設計方法,抽象理論來的

學習hadoop到底是部署偽分散式還是安裝叢集

6樓:

先回答你標題的提問:hadoop完全分散式:3個及以上的實體機或者虛擬機器元件的機群。

hadoop偽分散式:一個節點看了以上兩點相信你已經明白了,「用vm多裝幾個unbuntu配置完全分散式,然後做實驗」這是完全可行的。實際上我們通常也是這麼做的,當然可能要求你的電腦cpu和記憶體足夠支撐你這一計劃。

一點建議:如果你要開發基於hadoop的分散式程式,偽分散式足夠你實驗了。如果你要做很多其他事情,比如玩玩cm,玩玩oozie,玩玩hbase,建議裝多個虛擬機器。

愛情到底是什麼,到底是什麼,愛情到底是什麼

愛情也許就是當初一見鍾情時心動的感覺,愛情也許就是以身相許時的感覺,愛情也許就是生死與共的感覺 愛情是個說也說不完的話題。當你對一個人產生愛情的時候,你的心是惶恐而不安的,你不知道對方的感受,你要隱藏自己的心情,因為你是個矜持的人。也許你當初愛的根本就是你心中的一個影子,你給他披上了一件夢的衣裳,你...

幸福到底是什麼,到底是什麼?

對一個普通人來說,幸福有多遠 每個人的幸福觀點是不同的,就比如說乞丐,他看見路邊有一個小男孩在吃麵包和喝牛奶,他就認為像小孩那樣可以吃飽就是幸福.而小男孩看見一輛摩托車上有個小女孩正在吃肯德基,小男孩就覺得能吃肯德基就是幸福.而那個小女孩看見旁邊飛馳過一輛黑色的轎車,再看看自己爸爸開的只是一輛摩托車...

愛情到底是什麼,愛情 到底是什麼?

愛是包容而不是放縱 愛是關懷而不是寵愛 愛是相互交融而不是單相思 愛是百味而不全是甜蜜 真正的愛情並不一定是他人眼中的完美匹配 而是相愛的人彼此心靈的相互契合 是為了讓對方生活得更好而默默奉獻 這份愛不僅溫潤著他們自己,也同樣溫潤著那些世俗的心真正的愛情,是在能愛的時候,懂得珍惜 真正的愛情,是在無...