集團大數(shù)據(jù)平臺項目整體方案規(guī)劃

1、第集團大數(shù)據(jù)平臺項目整體方案規(guī)劃目錄 TOC o 1-3 f 1綜述 PAGEREF _Toc508651862 h 81.1項目背景 PAGEREF _Toc508651863 h 81.2建設目標 PAGEREF _Toc508651864 h 81.3需求分析 PAGEREF _Toc508651865 h 81.3.1基礎平臺 PAGEREF _Toc508651866 h 91.3.2企業(yè)畫像應用 PAGEREF _Toc508651867 h 102總體建設方案 PAGEREF _Toc508651868 h 112.1平臺框架設計理念 PAGEREF _Toc508651869

2、h 112.2功能架構 PAGEREF _Toc508651870 h 122.3技術架構 PAGEREF _Toc508651871 h 132.4產(chǎn)品覆蓋綜述 PAGEREF _Toc508651872 h 142.5數(shù)據(jù)分布架構 PAGEREF _Toc508651873 h 152.6關鍵技術說明 PAGEREF _Toc508651874 h 152.6.1云服務平臺 PAGEREF _Toc508651875 h 152.6.2Hadoop平臺 PAGEREF _Toc508651876 h 272.6.3元數(shù)據(jù)管理 PAGEREF _Toc508651877 h 282.6.4數(shù)

3、據(jù)治理 PAGEREF _Toc508651878 h 352.6.5爬蟲引擎 PAGEREF _Toc508651879 h 402.6.6數(shù)據(jù)探索 PAGEREF _Toc508651880 h 442.6.7自助分析 PAGEREF _Toc508651881 h 452.6.8企業(yè)畫像 PAGEREF _Toc508651882 h 463詳細技術方案 PAGEREF _Toc508651883 h 493.1方案總述 PAGEREF _Toc508651884 h 493.2云服務平臺產(chǎn)品 PAGEREF _Toc508651885 h 493.2.1產(chǎn)品功能介紹 PAGEREF _

4、Toc508651886 h 493.2.2服務框架 PAGEREF _Toc508651887 h 523.2.3后端服務標準 PAGEREF _Toc508651888 h 533.2.4應用框架 PAGEREF _Toc508651889 h 543.2.5應用標準 PAGEREF _Toc508651890 h 553.2.6計費框架 PAGEREF _Toc508651891 h 613.2.7應用遷移 PAGEREF _Toc508651892 h 633.2.8基于云服務平臺產(chǎn)品部署開發(fā) PAGEREF _Toc508651893 h 643.2.9管控中心功能集成 PAGERE

5、F _Toc508651894 h 683.3Hadoop平臺產(chǎn)品 PAGEREF _Toc508651895 h 713.3.1Hadoop平臺產(chǎn)品架構介紹 PAGEREF _Toc508651896 h 733.3.2Hadoop平臺主要功能組件 PAGEREF _Toc508651897 h 753.3.3平臺增強功能 PAGEREF _Toc508651898 h 803.3.4多集群統(tǒng)一管理能力 PAGEREF _Toc508651899 h 833.3.5Hadoop平臺與云服務平臺無縫整合 PAGEREF _Toc508651900 h 863.4數(shù)據(jù)治理產(chǎn)品 PAGEREF _

6、Toc508651901 h 873.4.1數(shù)據(jù)治理 PAGEREF _Toc508651902 h 873.4.2在線開發(fā)平臺 PAGEREF _Toc508651903 h 1163.4.3數(shù)據(jù)評估管理 PAGEREF _Toc508651904 h 1303.5ETL產(chǎn)品 PAGEREF _Toc508651905 h 1343.5.1ETL產(chǎn)品整體介紹 PAGEREF _Toc508651906 h 1343.5.2數(shù)據(jù)采集 PAGEREF _Toc508651907 h 1413.5.3數(shù)據(jù)清洗 PAGEREF _Toc508651908 h 1473.5.4數(shù)據(jù)加載 PAGEREF

7、 _Toc508651909 h 1513.5.5異構數(shù)據(jù)交換 PAGEREF _Toc508651910 h 1563.5.6統(tǒng)一調(diào)度 PAGEREF _Toc508651911 h 1583.6自助分析產(chǎn)品 PAGEREF _Toc508651912 h 1713.6.1產(chǎn)品總體介紹 PAGEREF _Toc508651913 h 1713.6.2自助取數(shù) PAGEREF _Toc508651914 h 1733.6.3數(shù)據(jù)處理 PAGEREF _Toc508651915 h 1803.6.4自助分析 PAGEREF _Toc508651916 h 1813.6.5配置管理 PAGEREF

8、 _Toc508651917 h 1883.6.6系統(tǒng)監(jiān)控 PAGEREF _Toc508651918 h 1923.7數(shù)據(jù)探索產(chǎn)品 PAGEREF _Toc508651919 h 1943.7.1數(shù)據(jù)挖掘建模 PAGEREF _Toc508651920 h 1963.7.2數(shù)據(jù)挖掘圖形展示 PAGEREF _Toc508651921 h 2043.7.3基礎管理 PAGEREF _Toc508651922 h 2053.8爬蟲引擎 PAGEREF _Toc508651923 h 2073.8.1爬蟲功能架構 PAGEREF _Toc508651924 h 2073.8.2輸入適配 PAGER

9、EF _Toc508651925 h 2073.8.3爬取模塊 PAGEREF _Toc508651926 h 2083.8.4抽取模塊 PAGEREF _Toc508651927 h 2083.8.5爬蟲防封策略 PAGEREF _Toc508651928 h 2093.8.6數(shù)據(jù)存儲模塊 PAGEREF _Toc508651929 h 2103.8.7配置模塊 PAGEREF _Toc508651930 h 2113.9圖像識別工具 PAGEREF _Toc508651931 h 2113.9.1Tesseract OCR 簡介 PAGEREF _Toc508651932 h 2123.9

10、.2Tesseract OCR 識別步驟 PAGEREF _Toc508651933 h 2123.9.3文本行和單詞的查找（Line and Word Finding） PAGEREF _Toc508651934 h 2133.9.4單詞的識別（word recognition） PAGEREF _Toc508651935 h 2143.9.5靜態(tài)字符識別（ Static Character Classifier） PAGEREF _Toc508651936 h 2163.9.6語法分析 PAGEREF _Toc508651937 h 2173.9.7自適應分類器（Adaptive Clas

11、sifier） PAGEREF _Toc508651938 h 2173.10全文檢索工具 PAGEREF _Toc508651939 h 2183.10.1Solr簡介 PAGEREF _Toc508651940 h 2183.10.2Solr原理 PAGEREF _Toc508651941 h 2193.10.3Solr體系結構 PAGEREF _Toc508651942 h 2213.10.4Solr工作方式 PAGEREF _Toc508651943 h 2223.11DataHub產(chǎn)品 PAGEREF _Toc508651944 h 2223.11.1Datahub產(chǎn)品概述 PAGE

12、REF _Toc508651945 h 2223.11.2Datahub產(chǎn)品功能 PAGEREF _Toc508651946 h 2233.11.3平臺關鍵技術 PAGEREF _Toc508651947 h 2273.11.4基于Datahub實現(xiàn)數(shù)據(jù)流通交換 PAGEREF _Toc508651948 h 2303.12企業(yè)畫像詳細方案 PAGEREF _Toc508651949 h 2333.12.1企業(yè)畫像外部數(shù)據(jù) PAGEREF _Toc508651950 h 2333.12.2企業(yè)畫像評估指標 PAGEREF _Toc508651951 h 2353.12.3企業(yè)畫像全景視圖 PA

13、GEREF _Toc508651952 h 2363.12.4企業(yè)畫像功能架構 PAGEREF _Toc508651953 h 2363.12.5企業(yè)畫像可視化展現(xiàn) PAGEREF _Toc508651954 h 2373.12.6企業(yè)畫像移動端應用 PAGEREF _Toc508651955 h 2373.13數(shù)據(jù)可視化方案 PAGEREF _Toc508651956 h 2483.13.1平臺運維可視化 PAGEREF _Toc508651957 h 2483.13.2大數(shù)據(jù)基礎能力可視化 PAGEREF _Toc508651958 h 2583.13.3大數(shù)據(jù)開發(fā)可視化 PAGEREF

14、_Toc508651959 h 2593.13.4自助BI可視化 PAGEREF _Toc508651960 h 2703.13.5應用開發(fā)與管理可視化 PAGEREF _Toc508651961 h 2913.13.6數(shù)據(jù)交換可視化 PAGEREF _Toc508651962 h 2983.13.7企業(yè)畫像可視化 PAGEREF _Toc508651963 h 3014大數(shù)據(jù)云服務平臺對典型應用的支撐能力 PAGEREF _Toc508651964 h 3134.1用戶與企業(yè)畫像支撐能力 PAGEREF _Toc508651965 h 3134.2物聯(lián)網(wǎng)數(shù)據(jù)分析能力 PAGEREF _Toc

15、508651966 h 3154.3互聯(lián)網(wǎng)數(shù)據(jù)應用支撐能力 PAGEREF _Toc508651967 h 3184.3.1爬蟲引擎 PAGEREF _Toc508651968 h 3184.3.2實時查詢 PAGEREF _Toc508651969 h 3194.4非結構化數(shù)據(jù)處理能力 PAGEREF _Toc508651970 h 3244.4.1文本識別 PAGEREF _Toc508651971 h 3244.4.2PDF圖像識別 PAGEREF _Toc508651972 h 3284.4.3全文檢索 PAGEREF _Toc508651973 h 3285技術方案特性 PAGERE

16、F _Toc508651974 h 3315.1平臺開放性 PAGEREF _Toc508651975 h 3315.2高性能 PAGEREF _Toc508651976 h 3325.2.1應用高性能 PAGEREF _Toc508651977 h 3325.2.2平臺系統(tǒng)資源高性能 PAGEREF _Toc508651978 h 3325.2.3實時數(shù)據(jù)抽取 PAGEREF _Toc508651979 h 3335.2.4壓縮流處理 PAGEREF _Toc508651980 h 3345.2.5庫外處理與計算 PAGEREF _Toc508651981 h 3345.2.6分布式處理 P

17、AGEREF _Toc508651982 h 3375.2.7多網(wǎng)卡支持 PAGEREF _Toc508651983 h 3385.3高可用性 PAGEREF _Toc508651984 h 3405.3.1Hadoop平臺高可用性 PAGEREF _Toc508651985 h 3405.3.2ETL高可用性 PAGEREF _Toc508651986 h 3445.3.3應用高可用性 PAGEREF _Toc508651987 h 3455.4高可靠性 PAGEREF _Toc508651988 h 3465.5開發(fā)易用性 PAGEREF _Toc508651989 h 3475.6可維護

18、性 PAGEREF _Toc508651990 h 3525.7彈性擴展能力 PAGEREF _Toc508651991 h 3565.8資源管控能力 PAGEREF _Toc508651992 h 3575.8.1多租戶資源管控 PAGEREF _Toc508651993 h 3575.8.2任務級資源管控 PAGEREF _Toc508651994 h 3595.9平臺監(jiān)控能力 PAGEREF _Toc508651995 h 3655.9.1Hadoop平臺監(jiān)控 PAGEREF _Toc508651996 h 3655.9.2ETL任務監(jiān)控 PAGEREF _Toc508651997 h

19、3675.10數(shù)據(jù)管控與平臺管理能力 PAGEREF _Toc508651998 h 3685.11統(tǒng)一開發(fā)平臺能力 PAGEREF _Toc508651999 h 3685.12前端展現(xiàn)能力 PAGEREF _Toc508652000 h 3695.13擴容及升級能力 PAGEREF _Toc508652001 h 3695.13.1平臺基礎能力擴容與升級 PAGEREF _Toc508652002 h 3695.13.2應用擴容與升級 PAGEREF _Toc508652003 h 3716平臺安全方案 PAGEREF _Toc508652004 h 3746.1系統(tǒng)環(huán)境安全 PAGERE

20、F _Toc508652005 h 3746.2物理環(huán)境安全 PAGEREF _Toc508652006 h 3746.3網(wǎng)絡安全 PAGEREF _Toc508652007 h 3756.3.1邊界防護 PAGEREF _Toc508652008 h 3756.3.2安全監(jiān)控中心 PAGEREF _Toc508652009 h 3766.3.3安全原則 PAGEREF _Toc508652010 h 3776.3.4安全威脅 PAGEREF _Toc508652011 h 3776.3.5安全策略 PAGEREF _Toc508652012 h 3786.3.6安全防護 PAGEREF _T

21、oc508652013 h 3786.4系統(tǒng)應用安全 PAGEREF _Toc508652014 h 3806.4.1系統(tǒng)安全需求 PAGEREF _Toc508652015 h 3806.4.2用戶身份認證 PAGEREF _Toc508652016 h 3806.4.3會話安全管理 PAGEREF _Toc508652017 h 3816.4.4用戶訪問控制 PAGEREF _Toc508652018 h 3816.4.5剩余信息保護 PAGEREF _Toc508652019 h 3816.5數(shù)據(jù)安全 PAGEREF _Toc508652020 h 3826.5.1數(shù)據(jù)安全建設目標 PA

22、GEREF _Toc508652021 h 3826.5.2全流程安全管控 PAGEREF _Toc508652022 h 3826.5.3平臺安全模塊分布 PAGEREF _Toc508652023 h 3836.5.4數(shù)據(jù)安全管理方案 PAGEREF _Toc508652024 h 3846.5.5數(shù)據(jù)去隱私化方案 PAGEREF _Toc508652025 h 3876.6日志采集 PAGEREF _Toc508652026 h 3956.6.1主機和數(shù)據(jù)庫日志采集 PAGEREF _Toc508652027 h 3956.6.2用戶日志采集 PAGEREF _Toc508652028

23、h 3976.7審計日志 PAGEREF _Toc508652029 h 3996.8安全管理 PAGEREF _Toc508652030 h 4007系統(tǒng)集成及軟硬件配置方案 PAGEREF _Toc508652031 h 4017.1部署拓撲架構 PAGEREF _Toc508652032 h 4017.2軟、硬件配置建議 PAGEREF _Toc508652033 h 4017.2.1硬件配置方案 PAGEREF _Toc508652034 h 4017.2.2軟件配置方案 PAGEREF _Toc508652035 h 4027.3第三方軟件說明 PAGEREF _Toc5086520

24、36 h 4028項目實施方案 PAGEREF _Toc508652037 h 4058.1實施方案 PAGEREF _Toc508652038 h 4058.1.1實施規(guī)范 PAGEREF _Toc508652039 h 4058.1.2項目實施 PAGEREF _Toc508652040 h 405開發(fā)工具： Visual Studio PAGEREF _Toc508652041 h 4468.1.3項目實施監(jiān)控與跟蹤 PAGEREF _Toc508652042 h 5138.2培訓 PAGEREF _Toc508652043 h 5198.2.1培訓總體介紹 PAGEREF _Toc50

25、8652044 h 5198.2.2培訓方案內(nèi)容 PAGEREF _Toc508652045 h 5218.2.3培訓組織實施 PAGEREF _Toc508652046 h 5248.3測試和驗收 PAGEREF _Toc508652047 h 5258.3.1驗收測試條件 PAGEREF _Toc508652048 h 5258.3.2驗收測試的范圍 PAGEREF _Toc508652049 h 5258.3.3驗收測試的責任 PAGEREF _Toc508652050 h 5258.3.4驗收測試地點 PAGEREF _Toc508652051 h 5268.3.5驗收測試的規(guī)范 PA

26、GEREF _Toc508652052 h 5268.3.6系統(tǒng)初驗功能測試 PAGEREF _Toc508652053 h 5268.3.7系統(tǒng)巡檢及試運行 PAGEREF _Toc508652054 h 5268.3.8系統(tǒng)終驗功能測試 PAGEREF _Toc508652055 h 5268.3.9操作維護手冊整理及移交 PAGEREF _Toc508652056 h 5278.3.10軟件安裝調(diào)試總結 PAGEREF _Toc508652057 h 5278.3.11項目文檔要求 PAGEREF _Toc508652058 h 5278.4知識轉移 PAGEREF _Toc508652

27、059 h 5278.4.1技術轉移范圍 PAGEREF _Toc508652060 h 5278.4.2技術轉移計劃 PAGEREF _Toc508652061 h 5288.5咨詢服務 PAGEREF _Toc508652062 h 5298.6售后服務方案 PAGEREF _Toc508652063 h 5308.6.1包修期 PAGEREF _Toc508652064 h 5308.6.2故障響應 PAGEREF _Toc508652065 h 5308.6.3保修條款 PAGEREF _Toc508652066 h 5318.6.4應急預案 PAGEREF _Toc508652067

28、 h 5328.6.5技術支持中心組織結構 PAGEREF _Toc508652068 h 5328.6.6公司的服務特點 PAGEREF _Toc508652069 h 5338.6.7熱線服務 PAGEREF _Toc508652070 h 5348.6.8遠程支持 PAGEREF _Toc508652071 h 5358.6.9工程巡檢 PAGEREF _Toc508652072 h 5358.6.10后續(xù)支持 PAGEREF _Toc508652073 h 5359承建優(yōu)勢 PAGEREF _Toc508652074 h 5369.1承建優(yōu)勢分析 PAGEREF _Toc5086520

29、75 h 5369.1.1公司介紹 PAGEREF _Toc508652076 h 5369.1.2組織架構 PAGEREF _Toc508652077 h 5369.1.3大數(shù)據(jù)研發(fā)優(yōu)勢 PAGEREF _Toc508652078 h 5379.1.4本地服務能力 PAGEREF _Toc508652079 h 5389.1.5產(chǎn)品成熟可靠 PAGEREF _Toc508652080 h 5389.2大數(shù)據(jù)產(chǎn)品測評報告 PAGEREF _Toc508652081 h 5399.2.1hadoop平臺性能測試報告 PAGEREF _Toc508652082 h 5399.2.2大數(shù)據(jù)平臺功能性

30、測試報告 PAGEREF _Toc508652083 h 5569.3豐富的數(shù)據(jù)交易運營經(jīng)驗 PAGEREF _Toc508652084 h 5739.3.1大數(shù)據(jù)資源目錄 PAGEREF _Toc508652085 h 5749.3.2運營商數(shù)據(jù)資源 PAGEREF _Toc508652086 h 5759.3.3傳統(tǒng)行業(yè)數(shù)據(jù)資源 PAGEREF _Toc508652087 h 5769.3.4互聯(lián)網(wǎng)數(shù)據(jù)資源 PAGEREF _Toc508652088 h 579綜述項目背景互聯(lián)網(wǎng)、云計算、物聯(lián)網(wǎng)、及時通訊工具和社交網(wǎng)絡的興起和普及，特別是大數(shù)據(jù)技術的應用，正深刻改變著當前市場格局。達沃斯世

31、界經(jīng)濟論壇發(fā)布的大數(shù)據(jù)，大影響：國際發(fā)展的新可能的報告宜稱，大數(shù)據(jù)已成為與貨幣和黃金一樣的一種新的經(jīng)濟資產(chǎn)類別。，美國總統(tǒng)辦事室（EOP）公布了大數(shù)據(jù)研究和發(fā)展規(guī)劃，把大數(shù)據(jù)研發(fā)應用從商業(yè)行為提升到國家戰(zhàn)略層面。在這種新形式下，大數(shù)據(jù)項目將會作為整個集團的跨公司、跨部門、跨內(nèi)外的數(shù)據(jù)綜合服務平臺，承載著互聯(lián)網(wǎng)+業(yè)務的核心樞紐。該平臺的主要建設目標是為集團及其全部相關機構提供全棧大數(shù)據(jù)服務，包括技術平臺、數(shù)據(jù)應用及產(chǎn)品、數(shù)據(jù)服務。該平臺的建設目標并不僅僅局限于使用大數(shù)據(jù)技術構建數(shù)據(jù)分析系統(tǒng)，而是基于云計算、云服務的理念，打造集團“數(shù)據(jù)即服務”的平臺理念。通過整合集團、子公司、互聯(lián)網(wǎng)+平臺、第三方

32、等數(shù)據(jù)，通過授權機制為集團本部、各子公司、合作伙伴、投資方等提供經(jīng)營、決策等所需的相關大數(shù)據(jù)能力和數(shù)據(jù)服務。建設目標本期項目建設目標：為集團及其全部相關機構提供全棧式大數(shù)據(jù)服務，包括技術平臺、數(shù)據(jù)應用及產(chǎn)品、數(shù)據(jù)服務；基于云計算、云服務的理念，打造集團“能力、數(shù)據(jù)即服務”的平臺理念；為集團本部、各子公司、合作伙伴、投資方等提供經(jīng)營、決策等所需的相關大數(shù)據(jù)基礎能力和數(shù)據(jù)服務。需求分析本期大數(shù)據(jù)云服務平臺項目包括大數(shù)據(jù)基礎平臺建設、企業(yè)畫像應用兩部分。其中數(shù)據(jù)云平臺接入中信云平臺，統(tǒng)一進行運營和對外提供服務?；A平臺基礎平臺提供一站式大數(shù)據(jù)解決能力和一站式數(shù)據(jù)分析能力。平臺系統(tǒng)支持PaaS層能力，

33、承載用戶創(chuàng)建、修改、刪除計算與存儲資源，創(chuàng)建、發(fā)布、與回收業(yè)務應用等平臺管理功能以及元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量等數(shù)據(jù)管控功能；平臺系統(tǒng)支持DaaS層能力，即支持數(shù)據(jù)采集、存儲（數(shù)據(jù)湖）、計算以及展現(xiàn)四大部分能力；平臺系統(tǒng)支持SaaS層能力，支持數(shù)據(jù)的分發(fā)、共享、探索、以及協(xié)作等功能。采集部分支持通過探針、爬蟲、ETL手段從數(shù)據(jù)源將數(shù)據(jù)錄入該平臺，從數(shù)據(jù)類型上看，采集部分支持結構化數(shù)據(jù)采集與非結構化數(shù)據(jù)采集；從實效性上看，平臺支持實時數(shù)據(jù)采集、初始化數(shù)據(jù)采集以及增量數(shù)據(jù)采集；從業(yè)務層面看平臺支持業(yè)務數(shù)據(jù)采集與第三方數(shù)據(jù)采集多個維度。存儲部分負責將采集端收集的數(shù)據(jù)，以及平臺內(nèi)部處理后生成的數(shù)據(jù)永久性存放

34、。從數(shù)據(jù)類型上看，平臺支持結構化存儲、半結構化存儲以及非結構化存儲；從使用方式上看可以平臺支持歸檔數(shù)據(jù)存儲、批處理數(shù)據(jù)存儲以及在線熱數(shù)據(jù)存儲；從業(yè)務層面來看平臺支持外部數(shù)據(jù)、子公司業(yè)務主數(shù)據(jù)以及互聯(lián)網(wǎng)+平臺數(shù)據(jù)存儲。計算部分負責對存儲區(qū)的數(shù)據(jù)進行操作，平臺支持增刪改查、分析統(tǒng)計、模糊檢索、挖掘預測等功能。從數(shù)據(jù)類型上看，平臺支持結構化數(shù)據(jù)計算（SQL）與半結構化/非結構化數(shù)據(jù)計算；而從使用方式上看，平臺支持離線計算、在線應用以及實時處理。數(shù)據(jù)展現(xiàn)層支持開發(fā)運維展現(xiàn)與應用展現(xiàn)能力。該平臺具有完整的可視化開發(fā)運維界面，能夠通過圖形的方式進行平臺的狀態(tài)與健康監(jiān)控、性能分析、日志查詢、資源管控等運維功

35、能，以及在線開發(fā)、調(diào)試、部署與診斷功能。平臺支持在BI報表，OLAP交互式分析、用戶自由查詢、交互式挖掘、模糊檢索、移動端展示等可視化功能。平臺基于云計算、云存儲的理念，打造集團“數(shù)據(jù)即服務”的平臺理念，該平臺能夠使集團將各個子公司、機構與部門的數(shù)據(jù)有機地結合到一起，能夠使用戶在該平臺中自由地創(chuàng)建、修改、刪除計算存儲資源，能夠有效靈活地訪問到其他用戶公開的數(shù)據(jù)，并自由定義自身需要的數(shù)據(jù)處理邏輯與報表展現(xiàn)方案，并將結果數(shù)據(jù)進行公開與共享。平臺需要能夠滿足用戶自定義數(shù)據(jù)加工與分析流程，包括：支撐用戶與企業(yè)畫像應用；提供物聯(lián)網(wǎng)數(shù)據(jù)分析能力；支撐互聯(lián)網(wǎng)數(shù)據(jù)應用；提供非結構化數(shù)據(jù)處理能力。企業(yè)畫像應用企

36、業(yè)畫像應用圍繞集團的子公司，整合集團內(nèi)外部數(shù)據(jù)從多個維度進行企業(yè)畫像，增強對子公司的洞察和智能管控。企業(yè)畫像將圍繞企業(yè)基本資料、股東信息、股權關系、關聯(lián)圖譜、管理層信息等維度展示，以及結合企業(yè)動態(tài)、其它動態(tài)信息等動態(tài)更新。內(nèi)部數(shù)據(jù)以從多個集團公司上報的股權結構、財務數(shù)據(jù)、合同文件等為主，同時結合外部數(shù)據(jù)服務、互聯(lián)網(wǎng)爬蟲收集的企業(yè)相關信息，對企業(yè)進行多維度深入分析，構建統(tǒng)一的企業(yè)畫像系統(tǒng)。應用具備良好的用戶體驗，提供移動端應用。總體建設方案平臺框架設計理念大數(shù)據(jù)云服務平臺整體可分為基礎能力、服務管理、應用及工具能力三個層次，基礎能力通過通用的服務框架供給出去，讓應用和工具無需關心底層細節(jié)；服務管

37、理起到承上啟下的作用，貫穿基礎能力和上層應用及工具；應用框架提供了應用及工具的開發(fā)管理、部署和運行服務，通過Docker實現(xiàn)最小化改動和便利部署。功能架構如上圖所示，大數(shù)據(jù)平臺功能需包括基礎能力服務、服務管理、應用和工具、數(shù)據(jù)可視化及管控中心五部分內(nèi)容：基礎能力服務包括中間件及數(shù)據(jù)庫等服務和大數(shù)據(jù)服務兩個方面，為滿足本期項目需求，中間件及數(shù)據(jù)庫服務包括Tomcat、Kafka、RabbitMQ、Redis、MongoDB、Greenplum、MySQL、Solr、Flume等基礎服務，大數(shù)據(jù)服務包括HDFS、HBase、Hive、Spark、R等基礎服務。服務管理包括多集群資源調(diào)度管理、服務管

38、理和容器編排管理功能。大數(shù)據(jù)應用包括企業(yè)客戶畫像應用，工具包括DataHub工具、企業(yè)級ETL工具、數(shù)據(jù)治理工具、自助分析工具、數(shù)據(jù)探索工具和非結構化數(shù)據(jù)處理工具。數(shù)據(jù)可視化包括平臺運維可視化、大數(shù)據(jù)基礎存儲與計算能力可視化、大數(shù)據(jù)開發(fā)可視化、自助BI可視化、應用與開發(fā)管理可視化、數(shù)據(jù)交換能力可視化及企業(yè)畫像應用可視化。管控中心功能包括租戶管理、資源管理、服務集群管理、計費管理、安全管理和系統(tǒng)管理功能。技術架構從技術上，本期提供的基礎服務能力包括Tomcat、Kafka、RabbitMQ、Redis、MongoDB、Greenplum、MySQL、Solr、Flume等，Hadoop基礎服務能

39、力包括HDFS、HBase、Hive、Spark、R等。服務管理核心技術包括Mesos（實現(xiàn)多集群資源調(diào)度管理）、ServiceBroker（實現(xiàn)基礎服務與應用統(tǒng)一的服務管理）、Kubernetes（實現(xiàn)容器編排管理）。應用與工具都是基于基礎服務能力構建起來的:企業(yè)客戶畫像應用:Web中間件采用Tomcat，數(shù)據(jù)處理能力采用Greenplum和Spark計算框架；DataHub工具：Web中間件采用Tomcat，消息中間件采用Kafka，數(shù)據(jù)庫采用MySQL、Redis和MongoDB；企業(yè)級ETL工具：Web中間件采用Tomcat，消息中間件采用Kafka和RebbitMQ，數(shù)據(jù)庫采用MyS

40、QL，數(shù)據(jù)處理采用Hive和Spark；數(shù)據(jù)采集使用flume；數(shù)據(jù)治理工具：Web中間件采用Tomcat，數(shù)據(jù)庫采用MySQL；自助分析工具：Web中間件采用Tomcat，數(shù)據(jù)庫采用Greenplum;數(shù)據(jù)探索工具：Web中間件采用Tomcat，數(shù)據(jù)庫采用MySQL，數(shù)據(jù)處理采用SparkR；非結構化數(shù)據(jù)處理工具：Web中間件采用Tomcat，數(shù)據(jù)庫采用MySQL，爬蟲采用HttpClient,全文檢索采用Solr，圖像識別采用OCR tesseract。數(shù)據(jù)可視化能力采用的核心技術包括HTML5、JQuery、BITools、JFreeChart、Canvas等。管控中心Web中間件采用T

41、omcat，數(shù)據(jù)庫采用MySQL，Hadoop集中式安全管理框架采用Ranger，Hadoop統(tǒng)一運維監(jiān)控告警采用Ambari。產(chǎn)品覆蓋綜述產(chǎn)品可完整覆蓋上述功能架構：大數(shù)據(jù)平臺整體框架采用云服務平臺產(chǎn)品，Hadoop平臺采用Hadoop平臺產(chǎn)品，企業(yè)客戶畫像采用企業(yè)畫像產(chǎn)品，DataHub工具采用DataHub產(chǎn)品，企業(yè)級ETL工具采用ETL產(chǎn)品，數(shù)據(jù)治理工具采用治理產(chǎn)品，自助分析工具采用自助分析產(chǎn)品，數(shù)據(jù)探索工具采用探索產(chǎn)品，非結構化數(shù)據(jù)處理工具采用非結構化數(shù)據(jù)處理產(chǎn)品，包括爬蟲工具、圖像識別工具和全文檢索工具。數(shù)據(jù)分布架構大數(shù)據(jù)平臺數(shù)據(jù)分布架構如上圖所示：接口機：承擔數(shù)據(jù)采集的功能，內(nèi)部

42、渠道數(shù)據(jù)包括合同文件、股東信息、物聯(lián)網(wǎng)數(shù)據(jù)等，外部數(shù)據(jù)包括工商數(shù)據(jù)、法務數(shù)據(jù)、運營商數(shù)據(jù)等，通過接口機進入HDFS文件系統(tǒng)；文件系統(tǒng)HDFS：存放企業(yè)合同附件（PDF），股東信息、企業(yè)關系、法務信息、工商稅務信息、數(shù)據(jù)交換信息等在HDFS上加工處理后入到HBase、Redis數(shù)據(jù)庫中；HBase：存放企業(yè)股東信息、企業(yè)關系等相關數(shù)據(jù)；外部數(shù)據(jù)（包括工商稅務及外部爬取的相關數(shù)據(jù)）；物聯(lián)網(wǎng)相關數(shù)據(jù)；Greenplum：存放在線匯總數(shù)據(jù)（如未來接入的物聯(lián)網(wǎng)數(shù)據(jù)二次匯總數(shù)據(jù)）；Redis：存放爬蟲引擎所需的實例庫及DataHub的數(shù)據(jù)信息；MySQL：平臺配置信息庫。關鍵技術說明云服務平臺應用封裝工具

43、Docker是一種容器技術，和Hypervisor（KVM/Xen這類）不同的是，Docker不會提供一整個操作系統(tǒng)，他能提供隔離的程序運行環(huán)境。對一個應用來說這已經(jīng)夠了。 作為一個開源的應用容器引擎，Docker讓開發(fā)者可以打包他們的應用以及依賴包到一個可移植的容器中，然后發(fā)布到任何流行的 linux 機器上，與KVM這類超級底層虛擬化方案相比，Docker是一種輕量級虛擬化方案，他不需要對內(nèi)核進行改變，他主要利用linux內(nèi)核特性實現(xiàn)虛擬化，所有容器運行在同一個內(nèi)核中。另外，docker還可以部署在KVM/XEN這類虛擬機中！容器與虛擬機對比如下圖。Docker使用客戶端-服務器(clie

44、nt-server)架構模式。Docker客戶端會與Docker守護進程進行通信。Docker守護 進程會處理復雜繁重的任務，例如建立、運行、發(fā)布你的Docker容器。Docker客戶端和守護進程可以運行在同一個系統(tǒng)上，當然你也可以使用 Docker客戶端去連接一個遠程的Docker守護進程。Docker客戶端和守護進程之間通過socket或者RESTful API進行通信。Docker主要有三個重要模塊：鏡像、倉庫和容器鏡像（Image）：Docker鏡像是一個只讀的模板。舉個例子，一個鏡像可以包含一個運行在Apache上的Web應用和其使用的ubuntu操作系統(tǒng)。鏡像是用來創(chuàng)建容器的。Do

45、cker提供了簡單的，你也可以下載別人已經(jīng)創(chuàng)建好的鏡像。倉庫（Image） ：Docker倉庫用來保存鏡像。其相當于一個代碼倉庫，同樣的，Docker倉庫也有公有和私有的概念。公有的Docker倉庫名字是Docker Hub。也可以自己創(chuàng)建倉庫。容器（Container）：一個Docker容器包含了某個應用運行所有的所需要的環(huán)境。每一個Docker容器都是從Docker鏡像創(chuàng)建 的。Docker容器可以運行、開始、停止、移動和刪除、保存為鏡像。每一個Docker容器都是獨立和安全的應用平臺。Docker內(nèi)部采用Linux的命名空間機制實現(xiàn)隔離性，采用cgroup實現(xiàn)資源的劃分。我們主要用Doc

46、ker來做分布式環(huán)境下的進程管理。Docker工作流如圖7所示，我們不僅把Docker應用到生產(chǎn)階段，也應用到開發(fā)階段，所以我們每天編輯Dockerfile，提升Docker Images，測試上線，發(fā)Docker鏡像，在我們內(nèi)部私有Docker regis里面，再調(diào)到我們Docker集群生產(chǎn)環(huán)境里面，這和其他的Docker工作流沒有什么區(qū)別。應用的Docker化，可以推動應用與平臺分離、應用與服務分離、應用與數(shù)據(jù)分離，給應用的開發(fā)、生產(chǎn)和運維帶來很大的變化：1、Docker化給應用帶來了一種全新的輕量級虛擬化體驗。同樣是虛擬化，Docker相對虛擬機最大的優(yōu)點是復用了宿主機的操作系統(tǒng)，使得D

47、ocker的運行和鏡像的存儲節(jié)省了大量存儲和計算資源，使得應用在性能和靈活性方面得到很大的改善。2、采用Docker封裝的方式進行應用交付，其封裝內(nèi)容不僅包括程序也包括相關的參數(shù)、配置和環(huán)境設置。這種帶環(huán)境的交付方式真正實現(xiàn)了開發(fā)運維環(huán)境的統(tǒng)一，避免了因為環(huán)境不同帶來相關組件和程序在開發(fā)、測試、生產(chǎn)環(huán)境中的反復部署。不僅降低由此帶來的額外工作量，同時也避免了環(huán)境差異可能造成的各種差錯。這種封裝使得應用的部署和運維簡單到只需關注地址分配和依賴關系，使得應用的自動化運維成為可能。3、Docker化交付縮短了應用開發(fā)、測試和上線的時間，原本以周和月為單位的程序開發(fā)、測試和生產(chǎn)環(huán)境的準備時間，現(xiàn)在可以

48、以小時和天來計算。同時，我們輔以應用的灰度發(fā)布和在線升級技術，大大加快應用迭代速度，通過開發(fā)與運維的一體化能力，更好的支撐業(yè)務層面的敏捷化要求。4、Docker容器與集群管理技術相結合不僅實現(xiàn)整個應用集群的資源高效利用，同時實現(xiàn)資源的按需分配和水平方向的自動和手動的擴展和收縮。例如：當業(yè)務進入峰值時期，我們可以設置策略，比如CPU或內(nèi)存超過90%集群自動進行擴展30%。峰值過后，應用集群可以根據(jù)策略實現(xiàn)自動化縮容，把空閑的資源交還給資源池，使得其他的應用能夠有足夠的資源使用。這種自動化擴展和收縮對業(yè)務是透明的，只要資源池里的資源足夠業(yè)務永遠不可能出現(xiàn)性能瓶頸問題。5、通過應用與平臺分離、應用與

49、服務分離，實現(xiàn)應用與平臺的合理分工。平臺可以聚焦和改善資源和服務的供給、安全及穩(wěn)定問題，例如：自動化的實現(xiàn)數(shù)據(jù)庫、中間件等服務的部署、配置、開通和故障處置；自動化的實現(xiàn)應用部署、資源分配、運行監(jiān)控、故障恢復；動態(tài)監(jiān)控業(yè)務負荷的變化自動實現(xiàn)應用的擴縮容等。分布式集群管理工具Kubernetes是Google推出的開源容器集群管理系統(tǒng)，基于Docker構建一個容器調(diào)度服務，為容器化的應用提供資源調(diào)度、部署運行、均衡容災、服務注冊、擴容縮容等功能，其本質(zhì)上可看作是基于容器技術的mini-PaaS平臺，提取PaaS中的業(yè)務編排和管理模塊而形成的。部署容器的過程中最大化利用資源是十分重要的，Docker

50、和Kubernetes組合就可以完美的實現(xiàn)這一點。Kubernetes以RESTFul形式開放接口，用戶可操作最基本的REST對象有三個：Pod、Service和ReplicationController。pod：是Kubernetes最基本的部署調(diào)度單元，可以包含container，邏輯上表示某種應用的一個實例。比如一個web站點應用由前端、后端及數(shù)據(jù)庫構建而成，這三個組件將運行在各自的容器中，那么我們可以創(chuàng)建包含三個container的pod。service：是pod的路由代理抽象，用于解決pod之間的服務發(fā)現(xiàn)問題。因為pod的運行狀態(tài)可動態(tài)變化(比如切換機器了、縮容過程中被終止了等)，所

51、以訪問端不能以寫死IP的方式去訪問該pod提供的服務。service的引入旨在保證pod的動態(tài)變化對訪問端透明，訪問端只需要知道service的地址，由service來提供代理。replicationController：是pod的復制抽象，用于解決pod的擴容縮容問題。通常，分布式應用為了性能或高可用性的考慮，需要復制多份資源，并且根據(jù)負載情況動態(tài)伸縮。通過replicationController，我們可以指定一個應用需要幾份復制，Kubernetes將為每份復制創(chuàng)建一個pod，并且保證實際運行pod數(shù)量總是與該復制數(shù)量相等(例如，當前某個pod宕機時，自動創(chuàng)建新的pod來替換)。Kube

52、rnetes的優(yōu)點是可以通過定義一個Replicationcontroller來將同一個模塊部署到任意多個容器中，并且由Kubernetes自動管理。比如定義了一個Apache Pod，通過Replicationcontroller設置啟動100個Replicas，系統(tǒng)就會在Pod創(chuàng)建后自動在所有可用的Minions中啟動100個Apache Container。并且輕松的是，當Container或者是所在的服務器不可用時，Kubernetes會自動通過啟動新的Container來保持100個總數(shù)不變，這樣管理一個大型系統(tǒng)變得輕松和簡單。Master運行三個組件：apiserver：作為kub

53、ernetes系統(tǒng)的入口，封裝了核心對象的增刪改查操作，以RESTFul接口方式提供給外部客戶和內(nèi)部組件調(diào)用。它維護的REST對象將持久化到etcd（一個分布式強一致性的key/value存儲）。scheduler：負責集群的資源調(diào)度，為新建的pod分配機器。這部分工作分出來變成一個組件，意味著可以很方便地替換成其他的調(diào)度器。controller-manager：負責執(zhí)行各種控制器，目前有兩類：endpoint-controller：定期關聯(lián)service和pod(關聯(lián)信息由endpoint對象維護)，保證service到pod的映射總是最新的。replication-controller：定

54、期關聯(lián)replicationController和pod，保證replicationController定義的復制數(shù)量與實際運行pod的數(shù)量總是一致的。Slave(稱作minion)運行兩個組件：kubelet：負責管控docker容器，如啟動/停止、監(jiān)控運行狀態(tài)等。它會定期從etcd獲取分配到本機的pod，并根據(jù)pod信息啟動或停止相應的容器。同時，它也會接收apiserver的HTTP請求，匯報pod的運行狀態(tài)。proxy：負責為pod提供代理。它會定期從etcd獲取所有的service，并根據(jù)service信息創(chuàng)建代理。當某個客戶pod要訪問其他pod時，訪問請求會經(jīng)過本機proxy做轉

55、發(fā)。下面分別從它們的對象創(chuàng)建出發(fā)，通過時序圖來描述Kubernetes各個組件之間的交互及其工作流。Kubernetes和Docker可以運行在物理機上，也可以運行在虛擬機上。提供Pass支撐，對項目的開發(fā)、測試、實施運行、運維都提供極大的便利，是目前最先進的技術，在國內(nèi)外得到較多的采用，如google、阿里等。Kubernetes和Docker支持集群服務，自動負載均衡和提供高可靠的穩(wěn)定服務。實例的注冊與發(fā)現(xiàn)服務發(fā)現(xiàn)可以讓一個服務實例發(fā)現(xiàn)其運行環(huán)境以及其它服務實例的信息。它通常采用分布式key-value的存儲方式，它也用來作為查詢配置細節(jié)信息。通過服務發(fā)現(xiàn)工具可以將Docker實例與運行的

56、配置分離，使得用戶就可以在一個集群中使用同一鏡像運行多個實例以構建分布式應用。服務注冊與發(fā)現(xiàn)服務發(fā)現(xiàn)的基本思想是任何一個應用的實例能夠以編程的方式獲取當前環(huán)境的細節(jié)。這是為了讓新的實例可以嵌入到現(xiàn)有的應用環(huán)境而不需要人工干預。服務發(fā)現(xiàn)工具通常是用全局可訪問的存儲信息注冊表來實現(xiàn)，它存儲了當前正在運行的實例或者服務的信息。雖然服務發(fā)現(xiàn)平臺的初衷是提供連接信息來連接不同組件的，但是它們更普遍地是用來存儲任何類型的配置信息。許多部署工具通過寫入它們的配置信息給發(fā)現(xiàn)工具來實現(xiàn)這個特性。如果容器配置了這些，它們就可以去查詢這些預配置信息，并根據(jù)這些信息來調(diào)整自身行為。服務發(fā)現(xiàn)的機制每一個服務發(fā)現(xiàn)工具都會

57、提供一套API，使得組件可以用其來設置或搜索數(shù)據(jù)。正是如此，對于每一個組件，服務發(fā)現(xiàn)的地址要么硬編碼到程序或容器內(nèi)部，要么在運行時以參數(shù)形式提供。通常來說，發(fā)現(xiàn)服務用鍵值對形式實現(xiàn)，采用標準HTTP協(xié)議交互。服務發(fā)現(xiàn)門戶的工作方式是：當每一個服務啟動上線之后，他們通過發(fā)現(xiàn)工具來注冊自身信息。它記錄了一個相關組件若想使用某服務時的全部必要信息。例如，一個Docker啟動后會在注冊它運行的IP、端口等信息。當服務消費者（有依賴關系的節(jié)點）上線時，它能夠通過服務發(fā)現(xiàn)機制查詢到該Docker的配置信息，然后基于查到的信息與其需要的Docker進行交互。服務發(fā)現(xiàn)機制可以讓容器的部署、變更更加靈活，不受限

58、于特定的配置信息，同時容器與容器之間交互時變得簡單，可以動態(tài)進行調(diào)整配置。全局配置存儲在Docker部署中，分布式鍵值對存儲其中一個功能是對集群成員的存儲和管理。配置存儲是為了追蹤Docker集群宿主機成員變更和管理工具的最好環(huán)境。這些信息是：宿主機的IP地址宿主機自身的鏈接信息跟調(diào)度信息有關的標簽或元數(shù)據(jù)信息集群中的角色（如果是采用了主從模式的集群）在正常情況下，使用一個服務發(fā)現(xiàn)平臺時，這些細節(jié)可能不是你需要考慮的。但是他們?yōu)楣芾砉ぞ咛峁┝艘粋€可以查詢或修改集群自身信息的地方。故障檢測機制故障檢測的實現(xiàn)方式也有很多種。需要考慮的是如果一個Docker出現(xiàn)故障，服務發(fā)現(xiàn)能否更新狀態(tài)指出該Doc

59、ker不再提供服務。這種信息是至關重要的，關系到將應用或服務故障可能性降到最低。許多服務發(fā)現(xiàn)平臺允許賦值時帶一個可配置的超時時間。服務可以設置一個超時時間，并能定期去請求服務發(fā)現(xiàn)來重置超時時間。如果該服務出現(xiàn)故障，超時時間達到設定值，那么這個服務的連接信息就會從服務發(fā)現(xiàn)的存儲中被去掉。超時時間長度在很大程度上是它與應用需要多快去應對一個組件的故障的函數(shù)。這也可以通過將一個基本的“助手”容器與每一個組件相連來實現(xiàn),而它們唯一的責任是定期的健康檢查組件以及更新注冊表如果組件關閉。這種類型的架構值得擔憂是，如果輔助容器出現(xiàn)故障，將導致不正確的信息在存儲中。一些系統(tǒng)解決這個問題的方法是在服務發(fā)現(xiàn)的工具

60、中定義健康檢查。這樣,發(fā)現(xiàn)平臺本身可以定期檢查已注冊組件是否仍然可用。配置變更機制對于基本的服務發(fā)現(xiàn)模型來說，一個關鍵的改進就是動態(tài)重新配置。普通服務發(fā)現(xiàn)工具允許用戶通過檢查在啟動時的信息來影響組件的初始配置，而動態(tài)重新配置涉及配置組件來反映配置存儲中的新信息。例如，當你在運行一個負載均衡，后端服務器上的健康檢查可能會提示集群中的某一個成員出現(xiàn)故障了。運行中的成員需要知道這個信息，并調(diào)整配置信息和重新加載它的負載。由于負載均衡的例子是這個功能的主要應用場景之一，在當配置變動時重新配置負載均衡，例如HAProxy的配置調(diào)整。這些工具周期性的去請求服務發(fā)現(xiàn)工具，并且當變更被發(fā)現(xiàn)，利用模板系統(tǒng)和服務