hadoop為什麼要從1 x公升到2 x

1樓：昆明

hadoop從公升級到的主要原因是為了提高系統的效能和可靠性。具體來說，hadoop 引入了yarn (yet another resource negotiator)資源排程器，這是乙個全新的架構，用於控制碧缺薯資源管理和作業排程。

在hadoop 中，mapreduce是整個系統的核心，它負責資料的計算和處理。但是，mapreduce的缺點是它只能處理批處理任務，並且難以處理多種型別的工作負載。此外，hadoop 還存在單點故障和資源利用率低的問題。

為了解決這些問題，hadoop 引入了yarn，它將資源管理和作業排程分離。這使得hadoop可以同時處理批處理、互動式和即時工作負載，並且可以更好地管理資源，提高資源利用率。此外，yarn還能夠提供更好的容錯能力，減少單點故障的風險。

在hadoop 中，除了yarn的引入外，還有其他一些重要的新功能，如支援hdfs的高可用性、支援分層儲存、扮蔽支援跨資料中心的複製等等。這些新功能和改進都使hadoop更加強大和靈活，使其能夠更好地應對大資料處理的挑戰。

總的來說，hadoop從公升悔者級到是為了提高系統的效能、可靠性和靈活性，使其能夠更好地應對不斷增長的大資料處理需求。

hadoop為什麼要從.2.x公升你到3x？

2樓：養基人

hadoop從公升級到有幾個主要原因：

改進架構和功能：hadoop 帶來了許多高階功能和改進，如容器化、gpu加速、高可用性、資料傳輸優化等，這些改進使得hadoop更加適合處理現代大規模資料應用。

提高效能：版本採用了新的erasure code編碼技術，相比版本的三倍複製儲存緩鎮慎方式，版本的編碼方式更加節省儲存空間。此外，hadoop 還進行了一些針對效能的重要優化和調整。

相容性：hadoop 通過支旅仿持更多的api和訪問方式，提供了更好的相容性和擾敬向後相容性，與其他開源工具更加無縫地整合。

總之，hadoop 提供了更先進、更高效、更穩定的解決方案，尤其適用於處理海量資料、分散式計算和大規模機器學習等場景。