電信人口大數(shù)據(jù)基本設(shè)計(jì)說明書

電信人口大數(shù)據(jù)項(xiàng)目基本設(shè)計(jì)說明書XX科技股份有限公司編制目錄電信人口大數(shù)據(jù)項(xiàng)目 31. 總體架構(gòu)設(shè)計(jì) 32. 網(wǎng)絡(luò)拓?fù)?43. 數(shù)據(jù)處理流程 5數(shù)據(jù)生產(chǎn)展示 5數(shù)據(jù)采集展示 6數(shù)據(jù)分析展示 7數(shù)據(jù)可視化展示 71. 權(quán)限管理： 72. 電信人口大數(shù)據(jù)分析： 8項(xiàng)目安排 11

電信人口大數(shù)據(jù)項(xiàng)目總體架構(gòu)設(shè)計(jì)總體架構(gòu)如下所示：整體系統(tǒng)架構(gòu)圖網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù)處理流程數(shù)據(jù)生產(chǎn)展示圖4獲取數(shù)據(jù)并去掉敏感詞通過函數(shù)生成電信人口大數(shù)據(jù)數(shù)據(jù)，需配置生成文件名和生成路徑。數(shù)據(jù)采集展示圖5flume采集圖6kafka集群待消費(fèi)數(shù)據(jù) 圖7HBASE存儲數(shù)據(jù)1圖8HBASE存儲數(shù)據(jù)2通過flume將客戶數(shù)據(jù)采集到kafka集群，然后使用Hbase消費(fèi)kafka集群數(shù)據(jù)。數(shù)據(jù)分析展示圖9Mysql分析數(shù)據(jù)使用MapReduce將HBASE中的數(shù)據(jù)，經(jīng)過清洗、分析之后存儲到MySQL數(shù)據(jù)庫中。數(shù)據(jù)可視化展示權(quán)限管理：角色管理：是系統(tǒng)角色信息管理地方，在此可對系統(tǒng)的角色進(jìn)行添加、刪除、修改等操作，以及可以修改角色的查看權(quán)限。圖10角色管理界面截圖用戶管理：對系統(tǒng)用戶進(jìn)行管理。圖11用戶管理界面截圖電信人口大數(shù)據(jù)分析：流動(dòng)人口年齡分析：使用圖形展示不同年齡階段的流動(dòng)人口的占比和數(shù)量情況。流動(dòng)人口學(xué)歷分析：使用圖形展示流動(dòng)人口中不同學(xué)歷的占比和數(shù)量情況。流動(dòng)人口分析：使用圖形展示一線城市中的流動(dòng)人口一年內(nèi)的數(shù)量變化趨勢情況。流入人口分析：使用圖形展示全國各大區(qū)域內(nèi)的流入人口一年內(nèi)的數(shù)量變化趨勢情況。流入人口性別分析：使用圖形展示流入人口性別和流出人口性別的占比和數(shù)量情況。流動(dòng)人口職業(yè)分析：使用圖形展示一年內(nèi)流動(dòng)人口的不同職業(yè)的數(shù)量趨勢情況。流出人口分析：使用圖形展示全國各大區(qū)域內(nèi)的流出人口一年內(nèi)的數(shù)量變化趨勢情況。人口流動(dòng)地區(qū)分析：使用圖形展示全國各地城市的流動(dòng)人口數(shù)量情況。項(xiàng)目安排階段步驟內(nèi)容時(shí)間備注需求分析初步調(diào)研根據(jù)商業(yè)需求確定網(wǎng)站平臺需求功能第一周詳細(xì)需求分析根據(jù)初步調(diào)研完成具體需求文檔第2-4周項(xiàng)目開發(fā)項(xiàng)目研發(fā)根據(jù)需求文檔進(jìn)行項(xiàng)目的設(shè)計(jì)以及開發(fā)工作第4-14周測試項(xiàng)目測試根據(jù)測試文檔進(jìn)行項(xiàng)目測試第15-17周安裝部