大數(shù)據(jù)平臺(tái)規(guī)劃部署課件

1、大數(shù)據(jù)平臺(tái)規(guī)劃部署大數(shù)據(jù)系列培訓(xùn)H3C DataEngine提綱DataEngine 大數(shù)據(jù)平臺(tái)集群規(guī)劃 DataEngine 大數(shù)據(jù)平臺(tái)部署配置要求硬件配置要求不推薦使用虛擬內(nèi)存建議使用更多塊硬盤，2塊1T硬盤性能優(yōu)于1塊2T硬盤。建議單數(shù)據(jù)節(jié)點(diǎn)容量最大不超過24TB，否則節(jié)點(diǎn)失效后造成大量數(shù)據(jù)復(fù)本的復(fù)制。不建議使用SSD，Hadoop的磁盤IO多為順序讀寫，不能完全發(fā)揮適用于隨機(jī)讀寫的SSD的性能優(yōu)勢(shì)，同樣的采購?fù)度肟梢酝ㄟ^多個(gè)HDD提高并發(fā)量提高性能。最低配置要求推薦配置處理器12 核 2.0GHz26 核 2.0GHz或更多內(nèi)存32GB 128GB 或更多硬盤SAS 10k rpm，3

2、00GB *4SAS 10k rpm，1TB及以上，數(shù)量建議滿配網(wǎng)卡千兆網(wǎng)卡： 1GE SFP+2塊萬兆網(wǎng)卡做聚合配置要求硬盤RAID注意：共享存儲(chǔ)系統(tǒng)不適用于集群數(shù)據(jù)存儲(chǔ)，單點(diǎn)存儲(chǔ)是大數(shù)據(jù)集群的運(yùn)算性能瓶頸。集群類型操作系統(tǒng)配置數(shù)據(jù)存儲(chǔ)配置HDP2塊硬盤做RAID1剩余部分每塊做一個(gè)RAID0MPP2塊硬盤做RAID1剩余部分做成一個(gè)RAID5配置要求硬盤RAID（HDP集群）系統(tǒng)盤建議使用兩塊盤做成一個(gè)RAID1，保證系統(tǒng)運(yùn)行安全可靠。HDFS天然支持復(fù)本冗余存儲(chǔ)策略，數(shù)據(jù)盤無需做RAID，在必須配置RAID的情況下，每個(gè)數(shù)據(jù)盤單獨(dú)設(shè)置為RAID0。多塊盤做一個(gè)RAID0，會(huì)將HDFS并行

3、流式讀寫操作變成隨機(jī)讀寫，降低性能。多塊盤做一個(gè)RAID0，其讀寫性能受制于陣列中速度最慢的磁盤。從磁盤損壞率考慮，多塊盤做一個(gè)RAID0會(huì)帶來更大的數(shù)據(jù)損失，造成大量數(shù)據(jù)需要復(fù)制重建。配置要求硬盤RAID（MPP集群）系統(tǒng)盤建議使用兩塊盤做成一個(gè)RAID1，保證系統(tǒng)運(yùn)行安全可靠。受制于MPP數(shù)據(jù)存儲(chǔ)路徑只能指定一個(gè)，所以從存儲(chǔ)性能、數(shù)據(jù)安全和存儲(chǔ)成本綜合考慮，建議將數(shù)據(jù)盤做成一個(gè)RAID5 。配置要求操作系統(tǒng)要求不建議操作系統(tǒng)安裝Desktop版。操作系統(tǒng)版本Red Hat Enterprice Linux6.4/6.5(minimal最小安裝方式)64位Centos6.4/6.5(mini

4、mal最小安裝方式)64位配置要求支持的游覽器游覽器版本Google Chorme(推薦)26.0+FireFox18+Safari5+Internet Expoloer 10+配置要求集群軟件環(huán)境注意：DataEngine 會(huì)自動(dòng)安裝以上軟件環(huán)境。環(huán)境版本JavaOracle JDK 1.7.0_79 for LinuxPythonPython 2.6.6SSLopenssl-1.0.1e-30服務(wù)器網(wǎng)絡(luò)規(guī)劃業(yè)務(wù)交換機(jī)（堆疊）服務(wù)器管理交換機(jī)業(yè)務(wù)交換機(jī)采用堆疊服務(wù)器網(wǎng)卡配置聚合Ilo口組網(wǎng)規(guī)劃IRF業(yè)務(wù)網(wǎng)交換機(jī)管理網(wǎng)交換機(jī)服務(wù)器服務(wù)器Hadoop集群MPP集群推薦集群規(guī)劃 Hadoop集群低

5、配置：要求3臺(tái)物理服務(wù)器， Hadoop集群管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)共用物理服務(wù)器高配置：要求5臺(tái)及以上物理服務(wù)器，Hadoop集群管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)使用不同的物理服務(wù)器MPP集群若對(duì)數(shù)據(jù)安全性要求較低，選擇2個(gè)節(jié)點(diǎn)為1個(gè)safegroup，推薦配置4臺(tái)及以上服務(wù)器若對(duì)數(shù)據(jù)安全性要求高，選擇3個(gè)節(jié)點(diǎn)為1個(gè)safegroup，推薦配置6臺(tái)及以上服務(wù)器設(shè)備機(jī)柜規(guī)劃硬件物理部署和網(wǎng)絡(luò)規(guī)劃 電源高可用兩個(gè)機(jī)柜的電源是獨(dú)立的，互不影響的交換機(jī)高可用每個(gè)機(jī)柜上各包含2臺(tái)交換機(jī)，并且這兩臺(tái)交換機(jī)之間是互備的關(guān)系，當(dāng)其中一臺(tái)交換機(jī)發(fā)生故障，另一臺(tái)交換機(jī)立即提供服務(wù)節(jié)點(diǎn)高可用對(duì)于HDP，把HA服務(wù)所在的兩個(gè)服務(wù)器放在

6、不同的機(jī)架上對(duì)于MPP，把一個(gè)safegroup的不同成員放在不同的機(jī)架上Hadoop組件部署規(guī)劃支持高可用性的服務(wù)建議開啟HA，如NameNode、ResourceManager，防止單點(diǎn)故障造成的影響綠色 必裝 ，黃色為選裝， 紅色為不裝服務(wù)組件管理節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)主機(jī)一主機(jī)二主機(jī)三主機(jī)四主機(jī)五MetricsMetrics MonitorZooKeeperZooKeeper ServerZooKeeper Client HDFSNameNodeZKFailoverController DataNode JournalNodeYarn ResourceManager App Timeline S

7、erver NodeManager MapReduce2HistoryServer MPP組件部署規(guī)劃集群高可用方案safegroup配置1個(gè)節(jié)點(diǎn)為1個(gè)safegroup的方案不推薦使用 對(duì)數(shù)據(jù)安全性要求高，選擇3個(gè)節(jié)點(diǎn)為1個(gè)safegroup 對(duì)數(shù)據(jù)安全性要求較低，選擇2個(gè)節(jié)點(diǎn)為1個(gè)safegroup提綱DataEngine 大數(shù)據(jù)平臺(tái)集群規(guī)劃 DataEngine 大數(shù)據(jù)平臺(tái)部署DataEngine 大數(shù)據(jù)平臺(tái)部署原生Hadoop集群的開通和管理會(huì)是一個(gè)超復(fù)雜的工作，尤其是涉及成百上千臺(tái)主機(jī)時(shí)。DataEngine 大數(shù)據(jù)平臺(tái)部署方案應(yīng)用場(chǎng)景 定制部署：對(duì)于需要利用現(xiàn)有集群中的服務(wù)器和定制

8、化需求多樣的客戶，建議采用定制部署方式，這種方式可以滿足客戶對(duì)系統(tǒng)安全、組網(wǎng)環(huán)境、節(jié)點(diǎn)復(fù)用等方面的特殊需求。Zero部署：對(duì)于需要?jiǎng)?chuàng)建全新大數(shù)據(jù)集群的客戶，建議采用Zero部署方式，這種方式可以快速實(shí)現(xiàn)服務(wù)器操作系統(tǒng)的批量安裝、網(wǎng)段統(tǒng)一分配和DataEngine Manager的安裝。定制部署流程Zero部署流程服務(wù)器操作系統(tǒng)安裝網(wǎng)絡(luò)環(huán)境分配DataEngine Manager 安裝DataEngine HDP/MPP 集群部署DataEngine 大數(shù)據(jù)平臺(tái)部署流程Zero-Server 安裝自動(dòng)安裝完成操作系統(tǒng)，以及網(wǎng)絡(luò)配置DataEngine Manager 安裝DataEngine H

9、DP/MPP 集群部署安裝前準(zhǔn)備硬件準(zhǔn)備網(wǎng)絡(luò)規(guī)劃操作系統(tǒng)準(zhǔn)備安裝包準(zhǔn)備DataEngine 大數(shù)據(jù)平臺(tái)定制部署流程安裝包名稱獲取方式DataEngine安裝包DataEngine-.tar.gz由H3C提供當(dāng)前操作系統(tǒng)鏡像*.iso由用戶準(zhǔn)備步驟1：解壓DataEngine安裝包tar xvzf DataEngine-.tar.gz步驟2：拷貝系統(tǒng)鏡像文件將準(zhǔn)備的系統(tǒng)鏡像文件（*.iso）拷貝到解壓后文件夾的iso目錄中。步驟3：執(zhí)行安裝進(jìn)入解壓目錄，執(zhí)行 ./install.sh，將會(huì)啟動(dòng)安裝程序。DataEngine 大數(shù)據(jù)平臺(tái)Manager安裝步驟4：填寫安裝參數(shù)填寫集群節(jié)點(diǎn)IP地址列表

10、填寫節(jié)點(diǎn)操作系統(tǒng)root用戶密碼填寫節(jié)點(diǎn)命名后綴選擇“OK”開始安裝DataEngine ManagerDataEngine 大數(shù)據(jù)平臺(tái)Manager安裝步驟5：檢查安裝結(jié)果安裝通常會(huì)在15分鐘內(nèi)結(jié)束，具體執(zhí)行時(shí)間與機(jī)器性能、網(wǎng)絡(luò)性能有關(guān) 。安裝完成后，會(huì)有如下圖樣例的提示。以提示信息中提供的URL登錄DataEngine管理界面進(jìn)行HDP的安裝。DataEngine 大數(shù)據(jù)平臺(tái)Manager安裝步驟1 ：打開一個(gè)瀏覽器，輸入DataEngine Manager安裝完成后提供的 URL，初始賬號(hào)密碼為admin/admin。DataEngine 大數(shù)據(jù)平臺(tái)集群部署步驟2：登錄管理界面后點(diǎn)擊。步

11、驟3：在出現(xiàn)的文本輸入框中輸入集群名稱后，點(diǎn)擊。DataEngine 大數(shù)據(jù)平臺(tái)集群部署步驟4：進(jìn)入選擇版本頁面，選中要安裝的DataEngine版本，點(diǎn)擊。步驟5：然后在安裝選項(xiàng)里的目標(biāo)主機(jī)文本域輸入以下內(nèi)容（主機(jī)名后綴根據(jù)配置文件配置的為準(zhǔn)）：node1-3. 有幾臺(tái)就寫對(duì)應(yīng)的正則表達(dá)式。DataEngine 大數(shù)據(jù)平臺(tái)集群部署步驟6：到達(dá)確認(rèn)主機(jī)步驟后，等待 DataEngine Manager對(duì)所有節(jié)點(diǎn)進(jìn)行注冊(cè)并檢查，直到出現(xiàn)下圖，點(diǎn)擊。DataEngine 大數(shù)據(jù)平臺(tái)集群部署步驟7：在選擇服務(wù)頁面，選擇想要安裝的服務(wù)，點(diǎn)擊。DataEngine 大數(shù)據(jù)平臺(tái)集群部署步驟8：在服務(wù)分配頁面，選擇服務(wù)內(nèi)組件及客戶端安裝的對(duì)應(yīng)節(jié)點(diǎn)，點(diǎn)擊。DataEngine 大數(shù)據(jù)平臺(tái)集群部署步驟9：在定制服