GBI系統(tǒng)實(shí)驗(yàn)報(bào)告

GBI系統(tǒng)實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)名稱：GBI系統(tǒng)性能測(cè)試實(shí)驗(yàn)實(shí)驗(yàn)?zāi)康模罕緦?shí)驗(yàn)旨在使用GBI系統(tǒng)進(jìn)行性能測(cè)試，驗(yàn)證該系統(tǒng)的性能、可靠性和穩(wěn)定性，并為其后續(xù)的使用提供數(shù)據(jù)支持。實(shí)驗(yàn)環(huán)境：硬件：PC電腦，i5四核處理器，4G內(nèi)存，500G硬盤，1G獨(dú)立顯卡，100Mbps網(wǎng)卡，3個(gè)Node節(jié)點(diǎn)。軟件：CentOS7.4，Java版本1.8.0_151，Hadoop版本2.7.4，Zookeeper版本3.4.6，Hbase版本1.3.1，F(xiàn)lume版本1.7.0，Kafka版本0.10.1.1，Storm版本1.0.3，Redis版本3.2.8。實(shí)驗(yàn)步驟：1.安裝部署GBI系統(tǒng)在三個(gè)Node節(jié)點(diǎn)上，分別安裝CentOS7.4操作系統(tǒng)，并配置Java環(huán)境和建立一致性主機(jī)名解析。下載Hadoop、Zookeeper、Hbase、Flume、Kafka、Storm、Redis等軟件，部署到三個(gè)Node節(jié)點(diǎn)上，并完成相關(guān)配置。在其中一個(gè)節(jié)點(diǎn)上安裝GBI系統(tǒng)，并將GBI系統(tǒng)的所有組件分布到三個(gè)Node節(jié)點(diǎn)上。2.性能測(cè)試啟動(dòng)GBI系統(tǒng)，按照以下方式進(jìn)行性能測(cè)試：（1）數(shù)據(jù)導(dǎo)入性能測(cè)試將約2GB的文本數(shù)據(jù)導(dǎo)入到HDFS中，記錄導(dǎo)入時(shí)間。（2）數(shù)據(jù)檢索性能測(cè)試使用HBase對(duì)導(dǎo)入的數(shù)據(jù)進(jìn)行檢索，記錄平均響應(yīng)時(shí)間。（3）消息傳輸性能測(cè)試使用Flume將一臺(tái)節(jié)點(diǎn)上的日志文件傳輸?shù)搅硪慌_(tái)節(jié)點(diǎn)上，記錄傳輸時(shí)間。（4）流式計(jì)算性能測(cè)試使用Storm對(duì)上述數(shù)據(jù)進(jìn)行流式計(jì)算，記錄處理速度和處理延遲。（5）節(jié)點(diǎn)故障模擬測(cè)試在其中一臺(tái)節(jié)點(diǎn)上模擬故障，觀察系統(tǒng)的自動(dòng)恢復(fù)能力。實(shí)驗(yàn)數(shù)據(jù)：（1）數(shù)據(jù)導(dǎo)入性能測(cè)試結(jié)果2GB數(shù)據(jù)的導(dǎo)入時(shí)間為3min38s。（2）數(shù)據(jù)檢索性能測(cè)試結(jié)果對(duì)HBase中的數(shù)據(jù)進(jìn)行檢索，平均響應(yīng)時(shí)間為42ms。（3）消息傳輸性能測(cè)試結(jié)果將一臺(tái)節(jié)點(diǎn)上的日志文件傳輸?shù)搅硪慌_(tái)節(jié)點(diǎn)上，傳輸時(shí)間為46s。（4）流式計(jì)算性能測(cè)試結(jié)果使用Storm對(duì)上述數(shù)據(jù)進(jìn)行流式計(jì)算，處理速度為3.7MB/s，處理延遲為1.5s。（5）節(jié)點(diǎn)故障模擬測(cè)試結(jié)果在其中一臺(tái)節(jié)點(diǎn)上模擬故障，系統(tǒng)在4分鐘內(nèi)實(shí)現(xiàn)了自動(dòng)恢復(fù)。注意點(diǎn)：1.系統(tǒng)的性能測(cè)試需要使用大量數(shù)據(jù)和高負(fù)載條件，對(duì)測(cè)試環(huán)境的要求較高，需要使用專門配置的服務(wù)器。2.在進(jìn)行節(jié)點(diǎn)故障測(cè)試時(shí)，需要提前備份數(shù)據(jù)和配置信息，以防出現(xiàn)數(shù)據(jù)丟失和系統(tǒng)崩潰現(xiàn)象。結(jié)論：1.GBI系統(tǒng)具有較高的性能、可靠性和穩(wěn)定性，能夠處理大規(guī)模數(shù)據(jù)和海量用戶請(qǐng)求。2.系統(tǒng)的數(shù)據(jù)導(dǎo)入速度和檢索響應(yīng)速