大數(shù)據(jù)處理平臺(tái)構(gòu)架設(shè)計(jì)說(shuō)明書

大數(shù)據(jù)解決平臺(tái)及可視化架構(gòu)設(shè)計(jì)闡明書版本：1.0變更統(tǒng)計(jì)序號(hào)版本變更闡明修改人/日期審批人/日期11.0創(chuàng)立目錄1 1.文檔介紹 31.1 文檔目的 31.2 文檔范疇 31.3 讀者對(duì)象 31.4 參考文獻(xiàn) 31.5 術(shù)語(yǔ)與縮寫解釋 32 系統(tǒng)概述 43 設(shè)計(jì)約束 54 設(shè)計(jì)方略 65 系統(tǒng)總體構(gòu)造 75.1 大數(shù)據(jù)集成分析平臺(tái)系統(tǒng)架構(gòu)設(shè)計(jì) 75.2 可視化平臺(tái)系統(tǒng)架構(gòu)設(shè)計(jì) 116 其它 146.1 數(shù)據(jù)庫(kù)設(shè)計(jì) 146.2 系統(tǒng)管理 146.3 日志管理 141.文檔介紹文檔目的

設(shè)計(jì)大數(shù)據(jù)集成分析平臺(tái)，重要功效是多個(gè)數(shù)據(jù)庫(kù)及文獻(xiàn)數(shù)據(jù)；訪問(wèn)；采集；解析，清洗，ETL，同時(shí)能夠編寫模型支持后臺(tái)統(tǒng)計(jì)分析算法。設(shè)計(jì)數(shù)據(jù)可視化平臺(tái)

，應(yīng)用于大數(shù)據(jù)的可視化和互動(dòng)操作。為此，根據(jù)“先進(jìn)實(shí)用、穩(wěn)定可靠”的原則設(shè)計(jì)本大數(shù)據(jù)解決平臺(tái)及可視化平臺(tái)。文檔范疇大數(shù)據(jù)的解決，涉及ETL、分析、可視化、使用。讀者對(duì)象管理人員、開(kāi)發(fā)人員參考文獻(xiàn)術(shù)語(yǔ)與縮寫解釋縮寫、術(shù)語(yǔ)解釋BDBigdataSD系統(tǒng)設(shè)計(jì)，SystemDesign…系統(tǒng)概述

大數(shù)據(jù)集成分析平臺(tái),分為9個(gè)層次，重要功效是對(duì)多個(gè)數(shù)據(jù)庫(kù)及網(wǎng)頁(yè)等數(shù)據(jù)進(jìn)行訪采集、解析，清洗，整合、ETL，同時(shí)編寫模型支持后臺(tái)統(tǒng)計(jì)分析算法，提供可信的數(shù)據(jù)。

設(shè)計(jì)數(shù)據(jù)可視化平臺(tái)

,分為3個(gè)層次，在大數(shù)據(jù)集成分析平臺(tái)的基礎(chǔ)上實(shí)現(xiàn)大實(shí)現(xiàn)數(shù)據(jù)的可視化和互動(dòng)操作。設(shè)計(jì)約束1.系統(tǒng)必須遵照國(guó)家軟件開(kāi)發(fā)的原則。2.系統(tǒng)用java開(kāi)發(fā)，采用開(kāi)源的中間件。3.系統(tǒng)必須穩(wěn)定可靠，性能高，滿足每天千萬(wàn)次的訪問(wèn)。4.確保數(shù)據(jù)的成功抽取、轉(zhuǎn)換、分析，實(shí)現(xiàn)高可信和高可用。設(shè)計(jì)方略系統(tǒng)高可用、高性能、易擴(kuò)展，安全穩(wěn)定，實(shí)用可靠，滿足顧客的需要。系統(tǒng)能夠進(jìn)行擴(kuò)展，增加數(shù)據(jù)的種類和數(shù)量。系統(tǒng)能夠復(fù)用別的軟件和算法。系統(tǒng)總體構(gòu)造大數(shù)據(jù)集成分析平臺(tái)系統(tǒng)架構(gòu)設(shè)計(jì)1.邏輯架構(gòu)2架構(gòu)闡明系統(tǒng)分為9個(gè)層次：1）數(shù)據(jù)源：CSMAR數(shù)據(jù)庫(kù)、高頻系列數(shù)據(jù)庫(kù)、量化因子倉(cāng)庫(kù)、風(fēng)險(xiǎn)控制模型數(shù)據(jù)庫(kù)、量化輿情數(shù)據(jù)庫(kù)、互聯(lián)網(wǎng)的網(wǎng)頁(yè)。2）數(shù)據(jù)獲取層：接受數(shù)據(jù)源的數(shù)據(jù)和抓取網(wǎng)頁(yè)，建立知識(shí)圖譜將網(wǎng)頁(yè)數(shù)據(jù)構(gòu)造化，為人工和機(jī)器決策提供根據(jù)。3）數(shù)據(jù)導(dǎo)入層：通過(guò)sqoop把數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入hbase，用flume、kafka把網(wǎng)頁(yè)導(dǎo)入hbase。4）數(shù)據(jù)加工層：對(duì)導(dǎo)入的數(shù)據(jù)進(jìn)行清洗、抽取、整合，并存入數(shù)據(jù)核心存儲(chǔ)層。5）數(shù)據(jù)核心存儲(chǔ)層：采用hbase、關(guān)系數(shù)據(jù)庫(kù)保存加工后的數(shù)據(jù)。6）數(shù)據(jù)分析解決層：通過(guò)統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、風(fēng)控模型等對(duì)大數(shù)據(jù)進(jìn)行分析解決。7）數(shù)據(jù)服務(wù)存儲(chǔ)層：存儲(chǔ)分析成果，涉及Elasticsearch分布式搜索，redis分布式緩存。8）應(yīng)用層：涉及報(bào)表引擎、規(guī)則引擎、風(fēng)控搜索引擎、顧客認(rèn)證系統(tǒng)、統(tǒng)計(jì)分析接口等。9）服務(wù)層：對(duì)內(nèi)的應(yīng)用服務(wù)和對(duì)外的應(yīng)用服務(wù)，為顧客提供系統(tǒng)功效。系統(tǒng)采用一系列先進(jìn)的開(kāi)源技術(shù)框架，實(shí)現(xiàn)大數(shù)據(jù)的抽取、ETL轉(zhuǎn)換、清洗、整合、匯總、統(tǒng)計(jì)分析，得出可信度高的成果，高速穩(wěn)定地響應(yīng)顧客的請(qǐng)求，可對(duì)公司的寬系列產(chǎn)品提供高質(zhì)量的支持。還可建立公司云，把大數(shù)據(jù)平臺(tái)放到云上。系統(tǒng)從CSMAR數(shù)據(jù)庫(kù)、高頻系列數(shù)據(jù)庫(kù)、量化因子倉(cāng)庫(kù)、風(fēng)險(xiǎn)控制模型數(shù)據(jù)庫(kù)、量化輿情數(shù)據(jù)庫(kù)抽取數(shù)據(jù)，還用機(jī)器爬蟲從互聯(lián)網(wǎng)上抓取與金融有關(guān)的網(wǎng)頁(yè)，對(duì)這些構(gòu)造化和非構(gòu)造化的數(shù)據(jù)進(jìn)行抽取、清洗、整合、轉(zhuǎn)換，存入hbase數(shù)據(jù)庫(kù)。統(tǒng)計(jì)分析程序采用一定的算法和模型通過(guò)spark、hadoop的yarn、hive、pig等讀取解決數(shù)據(jù)，成果保存在服務(wù)層數(shù)據(jù)庫(kù)，為顧客提供可信的數(shù)據(jù)，還可通過(guò)可視化以多個(gè)統(tǒng)計(jì)圖呈現(xiàn)出來(lái)，通過(guò)pc、手機(jī)能夠看到成果。系統(tǒng)提供可視化的操作界面，顧客可自己定義統(tǒng)計(jì)統(tǒng)計(jì)和參數(shù)，系統(tǒng)計(jì)算分析后給出對(duì)應(yīng)的圖表。3.系統(tǒng)的特點(diǎn)高負(fù)載和海量數(shù)據(jù)解決能力以云存儲(chǔ)或本地存儲(chǔ)為基石，以云計(jì)算或公司服務(wù)器為解決核心，建立了海量的數(shù)據(jù)業(yè)務(wù)支撐的大數(shù)據(jù)平臺(tái)。每天能夠承受千萬(wàn)級(jí)PV的訪

問(wèn)壓力，支撐億級(jí)顧客及P級(jí)各類數(shù)據(jù)存儲(chǔ)如金融數(shù)據(jù)、網(wǎng)頁(yè)、日志文獻(xiàn)、圖片、文檔、影音等?；诖舜髷?shù)據(jù)支撐平臺(tái)，不僅能夠解決日以繼夜增加的TB級(jí)數(shù)據(jù)增量，更能滿足各類實(shí)時(shí)業(yè)務(wù)需求業(yè)界領(lǐng)先的實(shí)時(shí)性在實(shí)時(shí)解決領(lǐng)域?qū)崿F(xiàn)秒級(jí)突破，能夠?qū)Ω黜?xiàng)業(yè)務(wù)數(shù)據(jù)驚醒實(shí)時(shí)查看與統(tǒng)計(jì)，方便客戶快速做出決策和即時(shí)響應(yīng)，適應(yīng)當(dāng)今快節(jié)奏發(fā)展趨勢(shì)。如傳統(tǒng)監(jiān)控對(duì)年、月、周、日的頻次統(tǒng)計(jì)，能夠?qū)崿F(xiàn)24小時(shí)內(nèi)的實(shí)時(shí)監(jiān)控，和管理現(xiàn)在實(shí)時(shí)變化的統(tǒng)計(jì)儀表盤數(shù)據(jù)，更能實(shí)現(xiàn)7*24的顧客實(shí)時(shí)行為監(jiān)測(cè)及秒級(jí)分析。全方面運(yùn)行監(jiān)控指標(biāo)體系不僅擁有常見(jiàn)的接入站點(diǎn)的運(yùn)行監(jiān)控流量指標(biāo)如UV、PV、IP、新舊訪客數(shù)，還建立了行為質(zhì)量指標(biāo)如顧客的請(qǐng)求，統(tǒng)計(jì)分析的對(duì)的度，并可在此基礎(chǔ)之上加入客戶行為分析、統(tǒng)計(jì)模型調(diào)優(yōu)、算法調(diào)優(yōu)、網(wǎng)站訪客背景分析、鼠標(biāo)點(diǎn)擊行為等高智能的分析功效，從而為業(yè)務(wù)發(fā)展及運(yùn)行方略提供了有力的數(shù)據(jù)支撐。對(duì)顧客來(lái)源和數(shù)據(jù)的進(jìn)一步挖掘與分析通過(guò)該平臺(tái)不僅能夠看到接入網(wǎng)站顧客的基本信息(跳出率、回訪次數(shù)、回訪頻率、國(guó)家分析、省份分析、都市分析、網(wǎng)絡(luò)位置、瀏覽器、移動(dòng)終端等)，還能夠理解到客戶來(lái)源(如來(lái)源頁(yè)面、網(wǎng)站、搜索引擎、核心字等)。并且在此基礎(chǔ)上能夠理解到客戶訪問(wèn)途徑，對(duì)數(shù)據(jù)進(jìn)行多維鉆取，進(jìn)而對(duì)網(wǎng)站客戶數(shù)據(jù)信息的采集、挖掘更加進(jìn)一步。對(duì)大數(shù)據(jù)進(jìn)行進(jìn)一步的分析，為提高網(wǎng)站流量、提供科學(xué)的推薦根據(jù)、實(shí)現(xiàn)高質(zhì)量的客戶差別化服務(wù)給出有力的數(shù)據(jù)支撐。對(duì)顧客行為進(jìn)行實(shí)時(shí)跟蹤、立體分析及即時(shí)溝通和個(gè)性推薦服務(wù)能夠針對(duì)實(shí)時(shí)在線的個(gè)體顧客進(jìn)行WEBIM即時(shí)溝通，提供即時(shí)的一對(duì)一服務(wù)。并能夠結(jié)合業(yè)務(wù)需求，在實(shí)現(xiàn)客服人員與顧客一對(duì)一的同時(shí)，呈現(xiàn)該顧客的歷史業(yè)務(wù)操作行為及個(gè)性化信息，如顧客消費(fèi)歷史統(tǒng)計(jì)統(tǒng)計(jì)、行為習(xí)慣及喜好等。統(tǒng)一數(shù)據(jù)接入平臺(tái)數(shù)據(jù)接入層采用sqoop、flume、分布式日志系統(tǒng)，實(shí)現(xiàn)推拉模式的多個(gè)主流方式，并可按需升級(jí)為統(tǒng)一數(shù)據(jù)接入平臺(tái)，不僅支持日志及頁(yè)面源碼數(shù)據(jù)，還能夠?qū)崿F(xiàn)各類接口數(shù)據(jù)的無(wú)縫可視化接入，如關(guān)系型和非關(guān)系型數(shù)據(jù)、多個(gè)主流非構(gòu)造化數(shù)據(jù)等。立體推薦及算法可替代平臺(tái)能夠?qū)?shù)據(jù)進(jìn)行多個(gè)分析算法和模型的解決，采用mahout、mlib的二元分類、線性回歸、聚類、協(xié)同過(guò)濾、卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行機(jī)器學(xué)習(xí)，采用RF（隨機(jī)森林）、SVM（支持向量機(jī)）、半監(jiān)督學(xué)習(xí)，通過(guò)訓(xùn)練達(dá)成權(quán)重等參數(shù)的最佳化，優(yōu)化樣本空間，并實(shí)現(xiàn)完全自動(dòng)化調(diào)參和學(xué)習(xí)。還可結(jié)合顧客群體特性、個(gè)性行為歷史及多個(gè)顯式、隱式反饋進(jìn)行人腦分析，實(shí)現(xiàn)個(gè)體顧客和群體顧客的立體化推薦和全過(guò)程的人工干預(yù)。以算法平臺(tái)為支撐，建立了可視化的算法訓(xùn)練和推薦構(gòu)造的過(guò)濾植入，以增強(qiáng)客戶個(gè)性化服務(wù)配備。實(shí)現(xiàn)了多個(gè)算法的替代、組合和深度學(xué)習(xí)，如傳統(tǒng)的UCF、ICF及業(yè)務(wù)創(chuàng)新的二度人脈剪枝算法等，以盡符合人腦思維習(xí)慣。多個(gè)風(fēng)格統(tǒng)計(jì)分析數(shù)據(jù)呈現(xiàn)方式對(duì)數(shù)據(jù)統(tǒng)計(jì)分析實(shí)現(xiàn)人性化的多個(gè)瀏覽器體驗(yàn)，傳統(tǒng)風(fēng)格如線性、柱形、餅狀分析圖為公司對(duì)不同時(shí)段網(wǎng)站訪問(wèn)量、網(wǎng)站不同模塊的訪問(wèn)量、針對(duì)訪客的不同分類進(jìn)行更加直觀的分析。創(chuàng)新風(fēng)格如熱力圖，更形象、視覺(jué)化的體現(xiàn)網(wǎng)站頁(yè)面不同位置客戶點(diǎn)擊密度，實(shí)時(shí)反映出群體顧客的愛(ài)好特性，增強(qiáng)運(yùn)行。顧客能夠自定義條件，得到可視化成果。主流客戶端的全端統(tǒng)計(jì)該方案不僅能夠統(tǒng)計(jì)WINDOWS/MAC/LINUX各類PC顧客的主流瀏覽器客戶端(如IE、360、Chrome、Firefox等)的數(shù)據(jù)，還能針對(duì)移動(dòng)互聯(lián)網(wǎng)顧客統(tǒng)計(jì)主流移動(dòng)客戶端(如iphone,ipad,Android手機(jī)等)的各類數(shù)據(jù)，并能根據(jù)RESTful接口開(kāi)發(fā)各類所需的各端統(tǒng)計(jì)，如WAP手機(jī)端，嵌入設(shè)備端等。操作體驗(yàn)簡(jiǎn)潔方便該方案秉承了人性化的設(shè)計(jì)理念。在確保精確、高效的基礎(chǔ)上簡(jiǎn)化了操作過(guò)程，數(shù)據(jù)檢索分析一鍵解決，極大的方便了客戶使用。各類所需統(tǒng)計(jì)數(shù)據(jù)一目了然，并能針對(duì)重要數(shù)據(jù)如顧客信息、顧客行為等進(jìn)行一鍵化深度分析或即時(shí)服務(wù)操作?？煽啃詮?qiáng)以云平臺(tái)作為支撐。該平臺(tái)有極強(qiáng)的可靠性，能夠確保該軟件更穩(wěn)定、有效、安全的運(yùn)行?？蓴U(kuò)展性強(qiáng)以云平臺(tái)作為支撐，能夠?qū)崿F(xiàn)各類平臺(tái)組件按需橫向擴(kuò)展，如存儲(chǔ)擴(kuò)容、計(jì)算增強(qiáng)等。集成性強(qiáng)豐富的接口含有極強(qiáng)的集成性。能夠?qū)崿F(xiàn)與公司內(nèi)部業(yè)務(wù)系統(tǒng)的高密度集成，根據(jù)不同業(yè)務(wù)部門需求調(diào)取數(shù)據(jù)和數(shù)據(jù)分析成果?？梢暬瘡?qiáng)統(tǒng)計(jì)分析數(shù)據(jù)以圖表，熱圖等方式體現(xiàn)，方便客戶對(duì)比判斷，在使用時(shí)更舒適、方便，提供客戶體驗(yàn)度。多個(gè)操作過(guò)程如算法訓(xùn)練、人工干預(yù)、數(shù)據(jù)ETL等均實(shí)現(xiàn)可視化，根本性解決了手工代碼操作的問(wèn)題。提供定制服務(wù)能夠根據(jù)客戶的特定需求進(jìn)行更豐富的功效擴(kuò)展，量身打造適宜的實(shí)時(shí)運(yùn)行分析及服務(wù)平臺(tái)?？梢暬脚_(tái)系統(tǒng)架構(gòu)設(shè)計(jì)

數(shù)據(jù)可視化平臺(tái)，實(shí)現(xiàn)

大數(shù)據(jù)的可視化和互動(dòng)操作。1.邏輯架構(gòu)2.架構(gòu)闡明系統(tǒng)分為3個(gè)層次：1）應(yīng)用系統(tǒng)：提供可視化的操作界面和顯示成果，還涉及決策支持