Hadoop企業(yè)級(jí)大數(shù)據(jù)平臺(tái)-測(cè)試報(bào)告

1、第 頁(yè)Hadoop企業(yè)級(jí)大數(shù)據(jù)平臺(tái)測(cè)試報(bào)告 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc484846385 1.測(cè)試目的 PAGEREF _Toc484846385 h 3 HYPERLINK l _Toc484846386 2.測(cè)試環(huán)境 PAGEREF _Toc484846386 h 3 HYPERLINK l _Toc484846387 2.1.硬件環(huán)境 PAGEREF _Toc484846387 h 3 HYPERLINK l _Toc484846388 2.2.軟件環(huán)境 PAGEREF _Toc484846388 h 4 HYPERLINK l _Toc48

2、4846389 3.測(cè)試內(nèi)容 PAGEREF _Toc484846389 h 4 HYPERLINK l _Toc484846390 3.1.基本功能 PAGEREF _Toc484846390 h 4 HYPERLINK l _Toc484846391 3.1.1.HDFS功能驗(yàn)證 PAGEREF _Toc484846391 h 4 HYPERLINK l _Toc484846392 3.1.2.YARN功能驗(yàn)證 PAGEREF _Toc484846392 h 6 HYPERLINK l _Toc484846393 3.1.3.擴(kuò)容測(cè)試 PAGEREF _Toc484846393 h 8 H

3、YPERLINK l _Toc484846394 3.2.性能 PAGEREF _Toc484846394 h 9 HYPERLINK l _Toc484846395 3.2.1.HDFS性能測(cè)試 PAGEREF _Toc484846395 h 9 HYPERLINK l _Toc484846396 3.2.2.YARN性能測(cè)試 PAGEREF _Toc484846396 h 12 HYPERLINK l _Toc484846397 3.3.高可用 PAGEREF _Toc484846397 h 16 HYPERLINK l _Toc484846398 3.3.1.HDFS高可用測(cè)試 PAGE

4、REF _Toc484846398 h 16 HYPERLINK l _Toc484846399 3.3.2.YARN高可用測(cè)試 PAGEREF _Toc484846399 h 18 HYPERLINK l _Toc484846400 3.3.3.Kerberos高可用測(cè)試 PAGEREF _Toc484846400 h 21測(cè)試目的通過功能、性能、高可用測(cè)試，驗(yàn)證Hadoop是否滿足在大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)對(duì)精細(xì)化營(yíng)銷和客流分析應(yīng)用的需求。測(cè)試環(huán)境硬件環(huán)境硬件位置信息： 硬件配置清單：序號(hào)設(shè)備名稱設(shè)備數(shù)量設(shè)備用途說明操作系統(tǒng)設(shè)備類型設(shè)備配置備注CPU內(nèi)存硬盤1分布式內(nèi)存服務(wù)節(jié)點(diǎn)20部署分布式內(nèi)存

5、服務(wù)Redhat7.0X86機(jī)架服務(wù)器（華為 RH5885V3）32C512GB6*600GB SAS 部署docker、Redis cluster分布式內(nèi)存數(shù)據(jù)庫(kù)、SQLFire分布式內(nèi)存數(shù)據(jù)庫(kù)等服務(wù)2分布式協(xié)調(diào)及資源調(diào)度節(jié)點(diǎn)3實(shí)現(xiàn)分布式協(xié)調(diào)服務(wù)、資源調(diào)度服務(wù)Redhat6.5虛擬機(jī)16C40GB80GB部署zookeeper、yarn等服務(wù)硬件配置表：設(shè)備類型/型號(hào)單臺(tái)配置數(shù)量X86機(jī)架式服務(wù)器（華為 RH5885V3）單臺(tái)4路八核E7-4820V2 2.0GHz CPU/512GB 內(nèi)存/6*600GB SAS 硬盤/4*10GE 光/4*GE 電20軟件環(huán)境軟件名稱版本用途Red Ha

6、tRed Hat Enterprise Linux Server release 7.0服務(wù)器操作系統(tǒng)RedisRedis 3.0分布式內(nèi)存數(shù)據(jù)庫(kù)測(cè)試內(nèi)容基本功能HDFS功能驗(yàn)證用例名稱創(chuàng)建目錄/查詢/刪除/下載/上傳測(cè)試目的創(chuàng)建目錄/查詢/刪除/下載/上傳預(yù)置條件系統(tǒng)運(yùn)行正常系統(tǒng)中存在運(yùn)行狀態(tài)的主機(jī)測(cè)試過程預(yù)期結(jié)果執(zhí)行kinit test輸入密碼，完成用戶認(rèn)證。創(chuàng)建文件夾，執(zhí)行語(yǔ)句：hdfs dfs -mkdir /tmp/mydir查看文件夾，執(zhí)行語(yǔ)句：hdfs dfs -ls /tmp刪除文件夾，執(zhí)行語(yǔ)句：hdfs dfs -rm -r /tmp/mydir查看文件夾，執(zhí)行語(yǔ)句：hdfs

7、 dfs -ls /tmp上傳本地文件(指定本地存在的文件)，執(zhí)行語(yǔ)句：hdfs dfs -put /tmp/testAccess.txt /tmp/，再執(zhí)行查看指令檢查文件是否存在hdfs dfs -ls /tmp下載文件到本地，執(zhí)行語(yǔ)句：hdfs dfs -get /tmp/testAccess.txt /opt/刪除文件，執(zhí)行語(yǔ)句：hdfs dfs -rm /tmp/testAccess.txt，再執(zhí)行查看指令檢查文件是否存在hdfs dfs -ls /tmp測(cè)試結(jié)果通過部分操作需要超級(jí)用戶hdfs完成。mkdir, ls, rm, put, get 等操作均可執(zhí)行成功。備注建議: Ke

8、rbeross expire time is bigger then the renew time.需修改Kerberos配置完成。expire time = renew time如不修改，可能在任務(wù)執(zhí)行周期過長(zhǎng)（expire time）時(shí)導(dǎo)致認(rèn)證失敗，任務(wù)執(zhí)行不成功。測(cè)試截圖：YARN功能驗(yàn)證用例名稱提交/刪除/查詢Yarn任務(wù)測(cè)試目的驗(yàn)證支持提交/刪除/查詢Yarn任務(wù)預(yù)置條件1）系統(tǒng)運(yùn)行正常2）系統(tǒng)中存在運(yùn)行狀態(tài)的主機(jī)測(cè)試過程預(yù)期結(jié)果執(zhí)行kinit test輸入密碼，完成用戶認(rèn)證執(zhí)行hadoop自帶的測(cè)試程序TestDFSIO，提交一個(gè)MR任務(wù)hadoop jar /usr/hdp/cu

9、rrent/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles N -fileSize Size其中N指文件個(gè)數(shù)，Size指文件大小等待任務(wù)運(yùn)行結(jié)束，顯示執(zhí)行結(jié)果使用TestDFSIO重新提交一個(gè)MR任務(wù)。使用yarn application -list查看正在運(yùn)行的TestDFSIO任務(wù)的Application ID。使用yarn application kill 命令，kill正在運(yùn)行的任務(wù)。1、各個(gè)操作驗(yàn)證成功。測(cè)試結(jié)果通過任務(wù)執(zhí)行成功任務(wù)停止成功備注測(cè)

10、試截圖：擴(kuò)容測(cè)試用例名稱擴(kuò)容測(cè)試測(cè)試目的測(cè)試擴(kuò)容功能預(yù)置條件1）系統(tǒng)運(yùn)行正常2）系統(tǒng)中存在運(yùn)行狀態(tài)的主機(jī)測(cè)試過程預(yù)期結(jié)果打開集群管理頁(yè)面 HYPERLINK http:/host:8080/ http:/host:8080/，輸入用戶名密碼（默認(rèn)admin/admin）點(diǎn)擊Hosts-Actions-Add New Hosts根據(jù)提示輸入主機(jī)名、選擇主機(jī)在安裝HDFS、YARN組件等確認(rèn)后，等待集群后臺(tái)擴(kuò)容。1、集群擴(kuò)容成功。測(cè)試結(jié)果未測(cè)試備注性能HDFS性能測(cè)試用例名稱HDFS讀寫性能測(cè)試測(cè)試目的使用hadoop提供的TestDFSIO工具，對(duì)集群進(jìn)行寫性能測(cè)試預(yù)置條件系統(tǒng)運(yùn)行正常系統(tǒng)中存在

11、運(yùn)行狀態(tài)的主機(jī)測(cè)試過程預(yù)期結(jié)果執(zhí)行kinit test輸入密碼，完成用戶認(rèn)證。進(jìn)行hdfs寫性能測(cè)試hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles N -fileSize Size其中N指文件個(gè)數(shù)，Size指文件大小進(jìn)行hdfs讀性能測(cè)試hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclie

12、nt-tests.jar TestDFSIO -read -nrFiles N -fileSize Size其中N指文件個(gè)數(shù)，Size指文件大小進(jìn)行hdfs同時(shí)讀、寫性能測(cè)試5 啟動(dòng)多個(gè)MR進(jìn)行讀寫性能測(cè)試記錄讀寫的性能測(cè)試結(jié)果測(cè)試結(jié)果完成通過MR任務(wù)讀取2.8GB數(shù)據(jù)，時(shí)間為32.446秒通過MR任務(wù)寫入128*3GB數(shù)據(jù)，時(shí)間為697秒備注讀測(cè)試截圖：寫測(cè)試截圖：YARN性能測(cè)試用例名稱YARN性能測(cè)試測(cè)試目的測(cè)試YARN的性能。預(yù)置條件系統(tǒng)運(yùn)行正常系統(tǒng)中存在運(yùn)行狀態(tài)的主機(jī)測(cè)試過程預(yù)期結(jié)果采用開源的程序randomtextwriter生成wordcount數(shù)據(jù)hadoop jar /usr

13、/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar randomtextwriter /tmp/test.txt執(zhí)行開源的wordcount程序hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-examples.jar wordcount -Dmapreduce.job.reduces=15 /tmp/testword.txt /tmp/testresult.txt記錄MR任務(wù)執(zhí)行的總時(shí)長(zhǎng)測(cè)試結(jié)果測(cè)試MR任務(wù)并發(fā)執(zhí)行性能，同時(shí)

14、執(zhí)行5個(gè)MR任務(wù)；Wordcount任務(wù)讀取數(shù)據(jù)量：2.8GB備注測(cè)試截圖：高可用HDFS高可用測(cè)試用例名稱HDFS高可用測(cè)試測(cè)試目的當(dāng)HDFS個(gè)別進(jìn)程異常的時(shí)候，不影響集群的正常使用預(yù)置條件系統(tǒng)運(yùn)行正常測(cè)試過程預(yù)期結(jié)果執(zhí)行kinit test輸入密碼，完成用戶認(rèn)證。往HDFS上put一個(gè)大文件停止一個(gè)NameNode，觀察對(duì)寫文件的影響停止一個(gè)DataNode，觀察對(duì)寫文件的影響文件可以正常put到HDFS上測(cè)試結(jié)果通過停止一個(gè)NameNode，讀寫HDFS文件正常；停止一個(gè)DataNode，讀寫HDFS文件正常。備注測(cè)試截圖：YARN高可用測(cè)試用例名稱YARN進(jìn)程高可用測(cè)試測(cè)試目的當(dāng)YAR

15、N個(gè)別進(jìn)程異常的時(shí)候，不影響集群的正常使用預(yù)置條件系統(tǒng)運(yùn)行正常測(cè)試過程預(yù)期結(jié)果執(zhí)行kinit test輸入密碼，完成用戶認(rèn)證。執(zhí)行hadoop自帶的測(cè)試程序TestDFSIO，提交一個(gè)長(zhǎng)MR任務(wù)hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles N -fileSize Size其中N指文件個(gè)數(shù)，Size指文件大小停止一個(gè)ResourceManager，觀察對(duì)MR任務(wù)的影響停止一個(gè)NodeManager，觀察MR任務(wù)的影響MR任務(wù)可以正常執(zhí)行測(cè)試結(jié)果通過停止一個(gè)ResourceManager，MR任務(wù)正常運(yùn)行；停止一個(gè)NodeManager，MR任務(wù)正常運(yùn)行。備注測(cè)試截圖：Kerberos高可用測(cè)試用例名稱Kerberos高可用測(cè)試測(cè)試目的當(dāng)一個(gè)Kerberos server停止時(shí)，不影響集群的正常使用預(yù)置條件系統(tǒng)運(yùn)行正常，Kerberos主備均正常運(yùn)行。測(cè)試過程