Hadoop系統(tǒng)架構(gòu)
美國(guó)阿帕奇(Apache)軟件基金會(huì)開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶(hù)可以在不了解分布式底層細(xì)節(jié)的情況下,開(kāi)發(fā)分布式程序。
Hadoop由Apache軟件基金會(huì)于2005年秋正式引入。2006年3月,映射-化簡(jiǎn)(MapReduce)編程模型和Nutch分布式文件系統(tǒng)(Nutch distributed file system,NDFS)分別被納入Hadoop項(xiàng)目中。基于Hadoop的應(yīng)用與開(kāi)發(fā)非常廣泛,有很多公司開(kāi)始提供基于Hadoop的商業(yè)軟件、支持、服務(wù)以及培訓(xùn),如企業(yè)軟件公司、云計(jì)算基礎(chǔ)設(shè)施公司、數(shù)據(jù)安全公司等。
Hadoop由3部分組成:MapReduce負(fù)責(zé)計(jì)算,Hadoop分布式文件系統(tǒng)(Hadoop distributed file system,HDFS)負(fù)責(zé)存儲(chǔ)數(shù)據(jù),另一種資源協(xié)調(diào)者(yet another resource negotiator,YARN)為統(tǒng)一資源調(diào)度器,負(fù)責(zé)管理計(jì)算資源,如中央處理器和內(nèi)存等。
Hadoop的優(yōu)點(diǎn)主要有:①高可靠性。Hadoop按位存儲(chǔ)和處理數(shù)據(jù)的能力。②高擴(kuò)展性。Hadoop是在可用的計(jì)算機(jī)集群間分配數(shù)據(jù)并完成計(jì)算任務(wù)的,這些集群可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。③高效性。Hadoop能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù),并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡。④高容錯(cuò)性。Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本,并且能夠自動(dòng)將失敗的任務(wù)重新分配。⑤低成本。與一體機(jī)、商用數(shù)據(jù)倉(cāng)庫(kù)相比,Hadoop是開(kāi)源的,項(xiàng)目的軟件成本因此會(huì)大大降低。
免責(zé)聲明:本站詞條系由網(wǎng)友創(chuàng)建、編輯和維護(hù),內(nèi)容僅供參考。
以上內(nèi)容均為商業(yè)內(nèi)容展示,僅供參考,不具備專(zhuān)業(yè)問(wèn)題解決服務(wù),
如果您需要解決具體問(wèn)題(尤其在法律、醫(yī)學(xué)等領(lǐng)域),建議您咨詢(xún)相關(guān)領(lǐng)域的專(zhuān)業(yè)人士。
如您發(fā)現(xiàn)詞條內(nèi)容涉嫌侵權(quán),請(qǐng)通過(guò) 948026894@qq.com 與我們聯(lián)系進(jìn)行刪除處理!