小編的世界 優質文選 主機
字體大小:
2020年10月14日 -
:
大數據技術當中,分布式是非常核心的概念,從存儲到計算到分析,大數據處理的整個流程當中,分布式不可或缺。
關於分布式計算
對於如何實現大數據處理,有集中式和分布式兩種思路。
所謂集中式,就是通過不斷增加處理器的數量,來增加單個計算機的處理能力,從而實現處理大批量數據。但是集中式,需要昂貴的大型機,光是成本費用就不是一般的公司能夠承受得住的。
而分布式,則是通過把一組計算機串聯起來形成系統,然後將需要處理的大批量數據分散到各個機器上去執行,最後將分別計算的結構進行合並,得出最終結果。
在分布式系統內,單個計算機的能力不算強,但是每台機器負責一部分計算任務,多台機器同時並行計算,這樣處理數據的速度得到大大提升。隨著需求的提升,只需要在集群系統當中增加機器,就能實現更大規模的數據處理。
分布式計算,使得大數據處理的成本大大降低,所以才能支持大數據在更多企業更多場景下的應用落地。
關於服務器集群
服務器集群,由互相連接在一起的服務器群組成的一個並行式或分布式系統。
由於服務器集群中的服務器運行同一個計算任務,因此,從外部看,這群服務器表現為一台虛擬的服務器,對外提供統一的服務。
盡管單台服務器的運算能力有限,但是將成百上千的服務器組成服務器集群後,整個系統就具備了強大的運算能力,可以支持大數據分析的運算負荷。
Hadoop大數據集群,就是對分布式計算和服務器集群的一次成功的實踐,而學習大數據,Hadoop一直都是必學的一塊重點。
關於大數據技術基本概念,分布式計算與服務器集群,以上就為大家做了一個簡單的介紹了。大數據快速發展,大數據技術也在不斷迭代更新,但是分布式計算和服務器集群,仍然是必須掌握的重點技術概念。