新型智慧城市城市大數(shù)據(jù)應(yīng)用解決方案

LOGO新型智慧城市城市大數(shù)據(jù)應(yīng)用解決方案前

言黨的十八屆五中全會強(qiáng)調(diào)“創(chuàng)新、協(xié)調(diào)、綠色、開放、共享”五大發(fā)展理念，為城市發(fā)展賦予了新的內(nèi)涵?！吨腥A人民共和國國民經(jīng)濟(jì)和社會發(fā)展第十三個五年（2016-2020）規(guī)劃綱要》要求加快新型城市建設(shè)，建設(shè)智慧城市，為新型智慧城市建設(shè)提出了新的要求。針對智慧城市建設(shè)特征與面臨的挑戰(zhàn)，依托具有自主知識產(chǎn)權(quán)的核心技術(shù)、產(chǎn)品以及豐富的行業(yè)應(yīng)用服務(wù)經(jīng)驗(yàn)，提出“優(yōu)政、興業(yè)、惠民”的新型智慧城市建設(shè)理念，把新型智慧城市作為城市發(fā)展的全新模式，構(gòu)建智慧城市新生態(tài)圈，拓展新空間，優(yōu)化新治理，觸達(dá)新生活，從而重構(gòu)人與服務(wù)、人與城市、人與社會、人與資源環(huán)境、人與未來關(guān)系的可持續(xù)化經(jīng)濟(jì)社會發(fā)展新形態(tài)。新型智慧城市架構(gòu)隨著云計(jì)算、城市大數(shù)據(jù)、移動互聯(lián)網(wǎng)等技術(shù)的發(fā)展，由城市運(yùn)行產(chǎn)生的交通、環(huán)境、市政、商業(yè)等各領(lǐng)域數(shù)據(jù)量巨大，這些數(shù)據(jù)經(jīng)過合理的分析挖掘可產(chǎn)生大量傳統(tǒng)數(shù)據(jù)不能反映的城市運(yùn)行信息，已成為智慧城市的重要資產(chǎn)。在城市大數(shù)據(jù)時代，數(shù)據(jù)信息之間的融合、關(guān)聯(lián)、挖掘與應(yīng)用是建設(shè)新型智慧城市的核心與基礎(chǔ)。時間與空間是所有數(shù)據(jù)共有的唯一標(biāo)識，所有數(shù)據(jù)都是在一定的時間與空間中產(chǎn)生的，與時間、位置直接相關(guān)聯(lián)。因此，時間與位置信息是新型智慧城市建設(shè)中所有信息數(shù)據(jù)關(guān)聯(lián)、融合的唯一指針。以城市多元、多時態(tài)信息為基礎(chǔ)，在原有城市基礎(chǔ)設(shè)施上，通過建設(shè)智慧城市時空信息云平臺、北斗高精度位置服務(wù)云平臺、城市大數(shù)據(jù)中心三大基礎(chǔ)設(shè)施，將各類數(shù)據(jù)互聯(lián)互通，為新型智慧城市提供精準(zhǔn)、高效的時空位置服務(wù)，真正實(shí)現(xiàn)城市大數(shù)據(jù)時代城市由“信息煙囪”（信息孤島）向“信息連通器”（信息共享互通）轉(zhuǎn)變。新型智慧城市時空信息云平臺智慧城市時空信息云平臺，為智慧城市建設(shè)提供數(shù)據(jù)共享、應(yīng)用支撐及LBS位置服務(wù)，是城市信息化不可或缺的基礎(chǔ)性信息基礎(chǔ)設(shè)施，在智慧城市建設(shè)中扮演著基礎(chǔ)性、先行性角色，是其他信息共享交換與協(xié)同服務(wù)的載體，同時又提供智能化信息服務(wù)。智慧城市時空信息云平臺通過提供基于位置的信息服務(wù)，帶動個人消費(fèi)、城市應(yīng)用、行業(yè)應(yīng)用和公共管理等領(lǐng)域的技術(shù)創(chuàng)新、業(yè)務(wù)創(chuàng)新和應(yīng)用創(chuàng)新，為智慧管網(wǎng)、智慧管廊、智慧城管、智慧交通、智慧環(huán)保、智慧農(nóng)業(yè)、智慧旅游等各智慧城市專業(yè)領(lǐng)域提供基礎(chǔ)信息服務(wù)，是智慧城市發(fā)展的信息載體。新型智慧城市數(shù)據(jù)共享服務(wù)新型智慧城市應(yīng)用支撐服務(wù)北斗高精度位置服務(wù)云平臺基于北斗衛(wèi)星導(dǎo)航定位技術(shù)建設(shè)的綜合性高精度位置服務(wù)體系，吸納所有與位置相關(guān)的資訊，為政府、城市和社會公眾提供位置分析決策支持服務(wù)。新型智慧城市城市大數(shù)據(jù)中心對內(nèi)搭建實(shí)現(xiàn)整合的一體化數(shù)據(jù)采集、數(shù)據(jù)資源管理和信息服務(wù)的業(yè)務(wù)服務(wù)平臺，將不同來源、不同類型、不同應(yīng)用的數(shù)據(jù)進(jìn)行集中、規(guī)范、整合；對外提供統(tǒng)一的數(shù)據(jù)共享和信息服務(wù)，形成智慧城市的“知識庫”。新型智慧城市公共信息服務(wù)平臺新型智慧城市智慧城市運(yùn)營中心運(yùn)用城市大數(shù)據(jù)挖掘技術(shù)，以時空信息標(biāo)簽為唯一標(biāo)識，對所有城市運(yùn)營數(shù)據(jù)進(jìn)行融合、挖掘、應(yīng)用與創(chuàng)新，并保持系統(tǒng)開放性，滿足新型智慧城市未來發(fā)展需求，從而為城市管理者提供高效的城市管理手段和途徑，為城市提供優(yōu)質(zhì)服務(wù)和廣闊的創(chuàng)新發(fā)展空間，為市民提供更好的生活品質(zhì)。Page

12城市大數(shù)據(jù)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析關(guān)注的內(nèi)容存在的問題基本的現(xiàn)狀城市數(shù)據(jù)倉庫累積數(shù)據(jù)沒有充分利用缺乏面向整個城市大數(shù)據(jù)的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐城市大數(shù)據(jù)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng)險評估體系；缺乏城市大數(shù)據(jù)客戶360度視圖，人員行為分析和預(yù)測無法實(shí)現(xiàn)；缺乏面向城市大數(shù)據(jù)運(yùn)營管理的關(guān)鍵績效指標(biāo)體系；……城市已建立面向整個城市業(yè)務(wù)的數(shù)據(jù)倉庫，整合了前臺業(yè)務(wù)運(yùn)營數(shù)據(jù)和后臺管理數(shù)據(jù)，建立了面向城市的管理分析應(yīng)用；城市大數(shù)據(jù)已開展智慧園區(qū)、智慧社區(qū)和智慧市政等多種業(yè)務(wù)，積累了一定量的業(yè)務(wù)數(shù)據(jù)，同時也從人員管理、風(fēng)險評級和經(jīng)營規(guī)模預(yù)測等方面，提出了大量分析預(yù)測需求；……數(shù)據(jù)平臺、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控……基礎(chǔ)數(shù)據(jù)平臺和BI應(yīng)用建設(shè)是未來一段時間的重點(diǎn)！數(shù)據(jù)平臺整體架構(gòu)；數(shù)據(jù)平臺各層建設(shè)的標(biāo)準(zhǔn)；較成熟的金融業(yè)數(shù)據(jù)模型；數(shù)據(jù)質(zhì)量治理；元數(shù)據(jù)管理；數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)整合；數(shù)據(jù)應(yīng)用建設(shè)；數(shù)據(jù)平臺的軟硬環(huán)境……Page

13城市大數(shù)據(jù)分析平臺建設(shè)目標(biāo)外部非結(jié)構(gòu)化數(shù)據(jù)鐵礦石焦煤統(tǒng)一制定目標(biāo)和分析模型統(tǒng)一規(guī)劃分析方法統(tǒng)一劃分分析主題統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式統(tǒng)一部署技術(shù)基礎(chǔ)統(tǒng)一定義BI

應(yīng)用自定義報表工具行＋列的簡單定義方式社會決策層社會職能管控層各級業(yè)務(wù)操作層多種格式報表 BI

分析工具智慧園區(qū)系統(tǒng)POP系統(tǒng)其他業(yè)務(wù)系統(tǒng)云數(shù)據(jù)推送平臺已實(shí)現(xiàn)了主要城市及城市大數(shù)據(jù)系統(tǒng)數(shù)據(jù)清洗、整合，為未來城市大數(shù)據(jù)數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè)，城市大數(shù)據(jù)將搭建統(tǒng)一的城市大數(shù)據(jù)共享和分析平臺，對各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測及分析，為社會各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力采購管理系統(tǒng)城市大數(shù)據(jù)分析平臺建設(shè)預(yù)期收益2.加強(qiáng)業(yè)務(wù)協(xié)作實(shí)現(xiàn)分散在智慧園區(qū)、智慧社區(qū)、智慧市政等各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的城市級視圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié)作，并為城市級分析、交叉銷售提供基礎(chǔ)3.促進(jìn)業(yè)務(wù)創(chuàng)新城市大數(shù)據(jù)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為城市大數(shù)據(jù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件4.提升建設(shè)效率通過數(shù)據(jù)平臺對數(shù)據(jù)進(jìn)行集中，為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率5.改善數(shù)據(jù)質(zhì)量從中長期看，數(shù)據(jù)倉庫對城市大數(shù)據(jù)分散在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于城市整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實(shí)用性Page

14通過數(shù)據(jù)平臺實(shí)現(xiàn)數(shù)據(jù)集中，確保城市大數(shù)據(jù)各級部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為城市重要資產(chǎn)的業(yè)務(wù)價值1.實(shí)現(xiàn)數(shù)據(jù)共享Page

16城市大數(shù)據(jù)分析平臺總體架構(gòu)數(shù)據(jù)交換平臺應(yīng)用集市數(shù)據(jù)區(qū)城市城市智慧園區(qū)智慧社區(qū)系統(tǒng)基金系統(tǒng)……系統(tǒng)城市內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)城市大數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計(jì)算層沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)應(yīng)用層實(shí)時數(shù)據(jù)區(qū)客戶主題協(xié)議主題產(chǎn)品主題業(yè)務(wù)沙盤演練數(shù)據(jù)增值產(chǎn)品城市數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)…

…用戶訪問層客戶匯總賬戶匯總機(jī)構(gòu)匯總…

…社交媒體用戶評價移動互聯(lián)訪問日志城市大數(shù)據(jù)區(qū)處待 理處 后理 城城 市市 大大 數(shù)數(shù) 據(jù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度平臺……數(shù)據(jù)管控平臺流程調(diào)度層數(shù)據(jù)管控層數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層實(shí)時數(shù) 歷史數(shù)據(jù)查詢 據(jù)查詢貼源數(shù)據(jù)區(qū)……內(nèi)部管理分析IT人員內(nèi)部用戶外部用戶歷史歸檔數(shù)據(jù)區(qū)客戶管理 財(cái)務(wù)管理 風(fēng)險管理 ……城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)產(chǎn)生層源數(shù)據(jù)內(nèi)容內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)城市日常城市業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：供應(yīng)商信息、采購信息、商品信息、銷售流水……城市大數(shù)據(jù)日常業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水……城市內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)日常業(yè)務(wù)處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點(diǎn)評……城市外部數(shù)據(jù)城市外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息……源數(shù)據(jù)增量在本次項(xiàng)目實(shí)施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)城市和城市大數(shù)據(jù)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負(fù)責(zé)，云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實(shí)現(xiàn)對于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個時間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式Page

17Page

18城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設(shè)計(jì)的，本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲庫的特點(diǎn)來針對性的設(shè)計(jì)工具，以追求卓越的性能保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫數(shù)據(jù)交換組件城市大數(shù)據(jù)交換組件城市大數(shù)據(jù)系統(tǒng)數(shù)據(jù)服務(wù)層城市系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺數(shù)據(jù)平臺導(dǎo)入臨時區(qū)數(shù)據(jù)平臺導(dǎo)出臨時區(qū)NAS

存儲ETL程序區(qū)外部城市大數(shù)據(jù)Page

19城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層NAS存儲Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL數(shù)據(jù)處理程序區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)社會數(shù)據(jù)交換平臺每日獲取運(yùn)輸局推送平臺提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時數(shù)據(jù)區(qū)金融數(shù)據(jù)平臺加工計(jì)算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲在NAS集群指定目錄，各接口服務(wù)器通過文件系統(tǒng)Link建立映射Page

20城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層城市大數(shù)據(jù)

交換組件

城市內(nèi)部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等城市外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點(diǎn)擊流、用戶移動位置等批量采集：城市大數(shù)據(jù)源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問：開發(fā)Java或C應(yīng)用，調(diào)用大據(jù)源API，或以網(wǎng)絡(luò)平臺爬蟲方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)組件以實(shí)時和批量兩種模式實(shí)現(xiàn)下列功能：數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺（接口服務(wù)器）NAS指定目錄存儲數(shù)據(jù)到數(shù)據(jù)平臺城市大數(shù)據(jù)區(qū)指定HDFS目錄定時抽取用戶訪問日志，加載到數(shù)據(jù)平臺城市大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理開發(fā)網(wǎng)絡(luò)爬蟲程序，掃描用戶微博，抓取用戶微博內(nèi)容，社交圈信息，存入城市大數(shù)據(jù)區(qū)處理對象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場景Page

21城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫數(shù)據(jù)交

換組件

城市內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來源：城市城市業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫城市大數(shù)據(jù)互聯(lián)網(wǎng)城市大數(shù)據(jù)數(shù)據(jù)，數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫Perl程序數(shù)據(jù)采集，調(diào)用Perl文件模塊相關(guān)函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)文件數(shù)據(jù)核查，Perl執(zhí)行文件級數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)加載，調(diào)用Hive

Load數(shù)據(jù)命令，加載到數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)的組件以實(shí)時和批量模式實(shí)現(xiàn)下列功能：數(shù)據(jù)采集，輪詢NAS集群指定目錄，獲取數(shù)據(jù)文件（LZO壓縮）數(shù)據(jù)核查，對數(shù)據(jù)文件進(jìn)行質(zhì)量校驗(yàn)數(shù)據(jù)加載，加載數(shù)據(jù)到臨時數(shù)據(jù)區(qū)云數(shù)據(jù)推送平臺連接智慧園區(qū)系統(tǒng)數(shù)據(jù)庫，分析智慧園區(qū)MySQL數(shù)據(jù)庫日志，識別增量數(shù)據(jù)，存儲到金融平臺NAS存儲的指定目錄，金融平臺加載數(shù)據(jù)文件到數(shù)據(jù)平臺臨時區(qū)Hive表處理對象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場景數(shù)據(jù)平臺計(jì)算層各?組件以批量方式實(shí)?Sqoop實(shí)現(xiàn)集市數(shù)?數(shù)據(jù)集市的數(shù)據(jù)按數(shù)據(jù)區(qū)現(xiàn)下列數(shù)據(jù)交換功據(jù)區(qū)與數(shù)據(jù)平臺其照據(jù)生命周期規(guī)劃貼源數(shù)據(jù)區(qū)能：他Hadoop數(shù)據(jù)區(qū)，統(tǒng)一將過期數(shù)據(jù)主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)和主題數(shù)的數(shù)據(jù)交換歸檔到歷史數(shù)據(jù)歸集市數(shù)據(jù)區(qū)據(jù)區(qū)到集市數(shù)據(jù)區(qū)?Hadoop

命令、檔區(qū)沙盤數(shù)據(jù)區(qū)城市大數(shù)據(jù)區(qū)到主題Hive外部表、MR城市大數(shù)據(jù)區(qū)數(shù)據(jù)區(qū)和集市數(shù)據(jù)區(qū)程序?qū)崿F(xiàn)數(shù)據(jù)平臺歸檔數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)Hadoop數(shù)據(jù)區(qū)間各個數(shù)據(jù)區(qū)數(shù)據(jù)歸檔Page

22城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交

換組件

的數(shù)據(jù)交換處理對象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場景城市大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層批量處理流

程 批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個流程主要完成如下工作：獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時數(shù)據(jù)區(qū)獲取城市內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)，并進(jìn)行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加）按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計(jì)算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類P應(yīng)age用23城市大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層實(shí)時數(shù)據(jù)處

理流程

實(shí)時數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時或準(zhǔn)實(shí)時獲取并處理數(shù)據(jù)，通常采取消息隊(duì)列等技術(shù)構(gòu)建“數(shù)據(jù)流”整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個流程主要完成如下工作：通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實(shí)時數(shù)據(jù)區(qū)通過城市大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實(shí)時數(shù)據(jù)區(qū)針對實(shí)時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合Page

24城市大數(shù)據(jù)分析平臺總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處

理流程

數(shù)據(jù)歸檔的對象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、城市大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個流程主要完成如下工作：數(shù)據(jù)文件通過HDFS命令行copyfromlocal進(jìn)行歸檔貼源、主題和城市大數(shù)據(jù)區(qū)通過HDFS命令行distcp或自定義開發(fā)的MR程序執(zhí)行歸檔集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術(shù)（如：外部表）執(zhí)行歸

Page

25e

26城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問模式工作負(fù)載平臺要求臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)?業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)?業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水?dāng)?shù)據(jù)?緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理?數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)?貼源數(shù)據(jù)模型?貼源數(shù)據(jù)模型?保存最近7天數(shù)據(jù)?不保存歷史?貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問?主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問?無最終用戶訪問?無最終用戶訪問??I/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序??I/O敏感，日終批量ETL以ELT形式通過Hive

SQL執(zhí)行?與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群（Hive）與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群（Hive）?無單點(diǎn)故障，7×24小時+非工作日有限停機(jī)無單點(diǎn)故障，7×24小時+非工作日有限停機(jī) Page

27城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問模式工作負(fù)載平臺要求城市大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)??城市內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)采集并存儲數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時效區(qū)批量作業(yè)訪問業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢MapReduce分布式計(jì)算，HDFS命令實(shí)現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實(shí)現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢獨(dú)立的Hadoop集群（HDFS+Hive）無單點(diǎn)故障，7×24小時+非工作日有限停機(jī) Pag??數(shù)據(jù)按照HDFS文件存儲建議保留1年??集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進(jìn)行城市大數(shù)據(jù)分析?MapReduce

分布式計(jì)算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（包括文本檢索、語義分詞、圖像識別、音頻識別等）??與主題區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（HDFS）無單點(diǎn)故障，7×24小時+非工作日有限停機(jī)e

28城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問模式工作負(fù)載可用性要求主題數(shù)據(jù)區(qū)—明細(xì)主題數(shù)據(jù)區(qū)—匯總?業(yè)務(wù)系統(tǒng)歷史明細(xì)數(shù)據(jù)?對主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)?打破業(yè)務(wù)條線整合數(shù)據(jù)?針對應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)?第三范式模型?逆范式寬表?保留長期歷史，需要根據(jù)主題細(xì)化?依賴于集市數(shù)據(jù)需求?主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問?集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問?少量高級業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測?少量高級業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測??I/O敏感，日終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過Hive

SQL執(zhí)行，復(fù)雜處理使用MR定制??I/O敏感，日終批量ETL

（連接、聚合、匯總等等）以ELT形式通過Hive

SQL執(zhí)行，復(fù)雜處理使用MR定制UDF?與城市大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（Hive）與城市大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（Hive）?無單點(diǎn)故障，

7×24小時+非工作日有限停機(jī)無單點(diǎn)故障，7×24小時+非工作日有限停機(jī) Page

29城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問模式工作負(fù)載可用性要求沙盤演練數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)??按沙盤演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)為數(shù)據(jù)科學(xué)家的挖掘預(yù)測操作提供數(shù)據(jù)服務(wù)面向城市內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)為客戶、運(yùn)營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)??模型依賴于沙盤演練需求在整個沙盤演練周期內(nèi)保留維度數(shù)據(jù)模型依賴業(yè)務(wù)需求??集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、業(yè)務(wù)人員訪問??I/O敏感，終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過Hive

SQL執(zhí)行，復(fù)雜處理使用MR定制UDFI/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）基于開放平臺的完全無共享

MPP

數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫無單點(diǎn)故障，7×24小時+非工作日有限停機(jī) Pag??獨(dú)立的Hadoop集群（HDFS）無單點(diǎn)故障，7×24小時+非工作日有限停機(jī)e

30城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶訪問模式工作負(fù)載可用性要求增值產(chǎn)品數(shù)據(jù)區(qū)實(shí)時數(shù)據(jù)區(qū)?根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計(jì)算的結(jié)果數(shù)據(jù)為部署在數(shù)據(jù)平臺上的城市內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水為實(shí)時獲準(zhǔn)實(shí)時分析應(yīng)用提供數(shù)據(jù)服務(wù)貼源數(shù)據(jù)模型依賴用戶業(yè)務(wù)需求城市業(yè)務(wù)人員高時效、高并發(fā)、高可靠性的聯(lián)機(jī)交易類查詢CPU敏感，BI工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時效查詢，以及準(zhǔn)實(shí)時連續(xù)ETL處理+SQL批量處理獨(dú)立的內(nèi)存數(shù)據(jù)庫集群無單點(diǎn)故障，365×24小時不停機(jī) Pag??應(yīng)用模型，依賴于用戶業(yè)務(wù)需求依賴于用戶業(yè)務(wù)需求??城市外部人員，如：京東客戶通過自己部署在Paas平臺上的應(yīng)用訪問?I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）??獨(dú)立的Paas平臺，部署Hadoop集群無單點(diǎn)故障，7×24小時+非工作日有限停機(jī)城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)存儲層數(shù)據(jù)流POP自營數(shù)據(jù)大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)數(shù)據(jù)集成層歸檔數(shù)據(jù)區(qū)實(shí)時數(shù)據(jù)區(qū)增值產(chǎn)品數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)客戶管理集市財(cái)務(wù)管理集市運(yùn)營管理集市風(fēng)險管理集市……集市沙盤演練數(shù)據(jù)區(qū)城市大數(shù)據(jù)區(qū)操作型聚合數(shù)據(jù)操作型明細(xì)據(jù)貼源數(shù)據(jù)區(qū)財(cái)務(wù)審計(jì)數(shù)據(jù)財(cái)務(wù)研發(fā)數(shù)據(jù)城市大數(shù)據(jù)數(shù)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)源系統(tǒng)數(shù)據(jù)文件主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)公 主臨共 題時主題數(shù)據(jù)匯 明總 細(xì)數(shù)據(jù)集市數(shù)據(jù)數(shù) 數(shù)據(jù) 據(jù)區(qū)高時效數(shù)據(jù)實(shí)驗(yàn)室數(shù)據(jù)城市大數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)Page

31Page

32城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)應(yīng)用層城市大數(shù)據(jù)平臺應(yīng)用前業(yè)務(wù)的發(fā)生（如：用戶交易、用戶訪問日志），進(jìn)行實(shí)時查詢、分析的應(yīng)用業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn)備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果沙盤演練類應(yīng)用通常使用R語言在Hadoop分布式體系下實(shí)現(xiàn)戶1

管理分析類應(yīng)用管理分析類應(yīng)用主要實(shí)現(xiàn)了社會客戶管理、運(yùn)營管理、財(cái)務(wù)管理、風(fēng)險管理、監(jiān)管信息披露五大分析體系功能管理分析類應(yīng)用通常采用套裝軟件和BI工具（MicroStrategy等）實(shí)現(xiàn)沙盤演練類應(yīng)用34 歷史查詢類應(yīng)用針對公檢法查詢需求、內(nèi)外部審計(jì)需求和最終用戶的歷史交易查詢需求，以貼源存儲的歸檔數(shù)據(jù)為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用歷史查詢類應(yīng)用通常使用BI

工具或自主開發(fā)實(shí)現(xiàn)2

數(shù)據(jù)增值類產(chǎn)品城市大數(shù)據(jù)數(shù)據(jù)科學(xué)家根據(jù)自己對業(yè)務(wù)需求的理解或者對市場的判斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù)價值，并封裝成商業(yè)產(chǎn)品數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI工具實(shí)現(xiàn)，面向城市內(nèi)外部用5 高時效類分析應(yīng)用客戶經(jīng)理等最終業(yè)務(wù)人員針對當(dāng)

?

實(shí)時分析類應(yīng)用通常使用CEP、ESB等技術(shù)實(shí)現(xiàn)Page

33城市大數(shù)據(jù)分析平臺總體架構(gòu)——平臺發(fā)展不同階段對應(yīng)

應(yīng)用

工作負(fù)載復(fù)雜度城市大數(shù)據(jù)平臺發(fā)展階段劃分操作為主階段什么正在發(fā)生？動態(tài)數(shù)據(jù)倉庫階段讓正確的事情發(fā)生！分析為主階段為什么會發(fā)生報表為主階段發(fā)生了什么預(yù)測為主階段將會發(fā)生什么？批量隨機(jī)查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動態(tài)觸發(fā)數(shù)據(jù)量增長用戶數(shù)增長查詢復(fù)雜度增長ETL處理復(fù)雜度增長Page

34城市大數(shù)據(jù)分析平臺總體架構(gòu)——管理分析類應(yīng)用總賬分析

資產(chǎn)負(fù)債表分析

損益表分析

現(xiàn)金流量表分析

財(cái)務(wù)指標(biāo)分析盈利分析

機(jī)構(gòu)貢獻(xiàn)度

產(chǎn)品貢獻(xiàn)度

客戶細(xì)分貢獻(xiàn)度

渠道績效資產(chǎn)負(fù)債分析

主要指標(biāo)報告，如：凈利息收入、凈收入、凈現(xiàn)值、市場價值等

頭寸報告

現(xiàn)金流報告

風(fēng)險價值（VaR）計(jì)算財(cái)務(wù)預(yù)算與計(jì)劃

財(cái)務(wù)預(yù)算

財(cái)務(wù)計(jì)劃執(zhí)行監(jiān)控

執(zhí)行過程分析

年末財(cái)務(wù)計(jì)劃執(zhí)行分析預(yù)測與場景分析

業(yè)務(wù)規(guī)模預(yù)測

收益預(yù)測……領(lǐng)導(dǎo)管理駕駛艙機(jī)構(gòu)績效考核客戶經(jīng)理考核

客戶經(jīng)理工作量評估

客戶經(jīng)理服務(wù)客戶收益評估產(chǎn)品績效考核業(yè)務(wù)量考核

智慧園區(qū)業(yè)務(wù)

智慧社區(qū)業(yè)務(wù)

保理業(yè)務(wù)

基金業(yè)務(wù)

其它中間業(yè)務(wù)

……渠道成本與收益……風(fēng)險監(jiān)控報表/信息披露

流動性報表

利率敏感性報表

資本充足率報表

……市場風(fēng)險

市場風(fēng)險暴露值

流動性管理、利率管理信用風(fēng)險

信用風(fēng)險暴露值計(jì)算

信用風(fēng)險控制（貸前控制、貸中監(jiān)控、貸后分析）操作風(fēng)險

異常交易預(yù)警

后督差錯檢查

……防欺詐/反洗錢

定義欺詐交易模型

可能性欺詐交易預(yù)警

欺詐交易分布分析全面風(fēng)險管理……目前監(jiān)管機(jī)構(gòu)沒有明確要求客戶單一視圖

公司客戶信息管理

個人客戶信息管理

同業(yè)客戶信息管理目標(biāo)客戶搜索

重點(diǎn)客戶

關(guān)懷客戶

風(fēng)險客戶

異動客戶客戶細(xì)分

個人客戶細(xì)分

公司客戶細(xì)分客戶行為分析

客戶輪廓分析

產(chǎn)品交叉銷售分析

百分比分析

渠道偏好分析營銷活動管理

營銷活動規(guī)劃

營銷活動定義

營銷活動執(zhí)行

營銷活動蘋果營銷活動自動化

渠道接口與集成

流程自動化……客戶管理運(yùn)營管理財(cái)務(wù)管理風(fēng)險管理監(jiān)管披露Page

35城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)訪問層即席查詢：通過即席查詢工具或手工書寫SQL語句，完成業(yè)務(wù)信息的即席查看多維分析：從多個維度靈活組合對目標(biāo)值進(jìn)行分析，常見功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁、層鉆、跨維鉆取等主動問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)城市運(yùn)營中的問題，通過手機(jī)、郵

件等方式報警

決策層管理層業(yè)務(wù)人員即席查詢儀表盤：通過儀表盤及其它展現(xiàn)方式對城市關(guān)鍵績效指標(biāo)進(jìn)行展示，為領(lǐng)導(dǎo)層決策提供直觀的數(shù)據(jù)支持靜態(tài)報表：按照預(yù)先定義格式，批處理報表，在線查詢報表等Office集成：將分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，降低用戶使用難度挖掘預(yù)測：使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計(jì)等高級統(tǒng)計(jì)分析算法，分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價值數(shù)據(jù)科學(xué)家業(yè)務(wù)系統(tǒng)Web

服務(wù)：將分析應(yīng)用的功能發(fā)布為Web服務(wù)，注冊在城市服務(wù)總線上，供其它業(yè)務(wù)系統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果多種展現(xiàn)形式滿足各層級用戶及應(yīng)用系統(tǒng)使用需求靜態(tài)報表

多維分析

儀表盤

問題發(fā)現(xiàn)

Office

集成

Web服務(wù)

挖掘預(yù)測Page

36城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)管控層金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評價與考核、管控流程、管控平臺四個域。組織流程數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會數(shù)據(jù)管理人 數(shù)據(jù)所有人 數(shù)據(jù)生產(chǎn)人 數(shù)據(jù)使用人 IT

支持團(tuán)隊(duì)組織建立/維護(hù)流程考核指標(biāo) 責(zé)任評價 標(biāo)準(zhǔn)執(zhí)行評 政策執(zhí)行評價 價數(shù)據(jù)標(biāo)準(zhǔn) 數(shù)據(jù)質(zhì)量 元數(shù)據(jù) 數(shù)據(jù)安全評價 數(shù)據(jù)全生命周期 數(shù)據(jù)創(chuàng)建 數(shù)據(jù)存儲 數(shù)據(jù)移動 數(shù)據(jù)共享 數(shù)據(jù)停用數(shù)據(jù)類型 真實(shí)性定義 技術(shù)元數(shù)據(jù)與 數(shù)據(jù)格式 及時性定義 業(yè)務(wù)元數(shù)據(jù)考核 評價標(biāo)準(zhǔn) 業(yè)務(wù)分類 完整性定義 管理元數(shù)據(jù)業(yè)務(wù)含義 一致性定義…… ……數(shù)據(jù)認(rèn)責(zé)標(biāo)準(zhǔn)建立/維護(hù)流程考核指標(biāo)建立/維護(hù)流程評價與考核流程數(shù)據(jù)標(biāo)準(zhǔn)管 數(shù)據(jù)質(zhì)量管 平臺

數(shù)據(jù)安全管理 理 元數(shù)據(jù)管理 理 工作流管理……安全等級權(quán)限定義審計(jì)定義保留策略……Page

37城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運(yùn)轉(zhuǎn)

機(jī)制

管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權(quán)流程數(shù)據(jù)退役流程標(biāo)準(zhǔn)/政策制定流程評價考核流程……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認(rèn)責(zé)人IT支持……制定管控平臺工具支撐明確了數(shù)據(jù)管控過程中的組織結(jié)構(gòu)、角色、職責(zé)等。管控組織除了要負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全等要求外，還需要負(fù)責(zé)制定管控的相關(guān)流程和評價考核指標(biāo)等內(nèi)容?？荚u制定通過建立一些定性或定量的數(shù)據(jù)管控評價考核指標(biāo)，去評估及考核數(shù)據(jù)相關(guān)責(zé)任人職責(zé)履行情況、數(shù)據(jù)管控標(biāo)準(zhǔn)及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中，各個環(huán)節(jié)日常任務(wù)處理的運(yùn)作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術(shù)平臺支撐管控流程的自動化，發(fā)布管控組織制定的一些相關(guān)標(biāo)準(zhǔn)和規(guī)范，及時反映管控過程中存在的一些問題等。管控綜合管理標(biāo)準(zhǔn)/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理業(yè)務(wù)元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質(zhì)量管理稽核規(guī)則管理數(shù)據(jù)稽核質(zhì)量報告……評價與考核標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）遵守標(biāo)準(zhǔn)所需要的政策政策與標(biāo)準(zhǔn)遵從考評定義……工具支撐組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。38城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)管控組織數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負(fù)責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測正在進(jìn)行的數(shù)據(jù)管控行動。數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個數(shù)據(jù)管控的成敗的關(guān)鍵。典型的數(shù)據(jù)管控組織如下所示：信息管理委員會數(shù)據(jù)管控主導(dǎo)方數(shù)據(jù)管控負(fù)責(zé)部門數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)主管業(yè)務(wù) 數(shù)據(jù)協(xié)調(diào) 分析人 員數(shù)據(jù)管控參與方數(shù)據(jù)使用部門 數(shù)據(jù)擁有部門數(shù)據(jù)主管 數(shù)據(jù)主管業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)

數(shù)據(jù)協(xié)調(diào)分析協(xié)調(diào)

分析人 員 人 員崗位數(shù)據(jù)管理部門運(yùn)維組織實(shí)施項(xiàng)目組角色Page數(shù)據(jù)管控經(jīng)理數(shù)據(jù)標(biāo)準(zhǔn)管理員數(shù)據(jù)質(zhì)量管理員元數(shù)據(jù)管理員數(shù)據(jù)安全管理員Page39城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)標(biāo)準(zhǔn)管理消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個規(guī)范的管理流程中，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)標(biāo)準(zhǔn)管理的考評。數(shù)據(jù)分類數(shù)據(jù)結(jié)構(gòu)關(guān)鍵業(yè)務(wù)對象關(guān)鍵代碼數(shù)據(jù)維度代碼映射客戶類數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品類數(shù)據(jù)標(biāo)準(zhǔn)。。。類數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù) 數(shù)據(jù)標(biāo)準(zhǔn)管理的考評定性考評定量考評數(shù)據(jù)標(biāo)準(zhǔn)分析報告數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)理念推廣歸檔系統(tǒng)……ODSPage

40城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理框架藍(lán)圖如下，其中數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的：數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；數(shù)據(jù)質(zhì)量考評，對數(shù)據(jù)質(zhì)量的量化評價制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實(shí)施相應(yīng)的措施，提升數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量要求業(yè)務(wù)規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準(zhǔn)確性要求數(shù)據(jù)及時性要求數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量驗(yàn)證規(guī)則數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補(bǔ)錄手工修正自動修正數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量考評數(shù)據(jù)質(zhì)量分析報告Page

41城市大數(shù)據(jù)分析平臺總體架構(gòu)——元數(shù)據(jù)管理業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個方面對數(shù)據(jù)進(jìn)行描述管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運(yùn)維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對數(shù)據(jù)進(jìn)行技術(shù)化描述Page

42城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)安全管理數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權(quán)管理兩個部分：數(shù)據(jù)安全分級：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理中實(shí)施數(shù)據(jù)安全保護(hù)和訪問提供數(shù)據(jù)安全控制的基礎(chǔ)。數(shù)據(jù)訪問授權(quán)：數(shù)據(jù)訪問授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問的授權(quán)方法及流程，建立基于數(shù)據(jù)安全分級的數(shù)據(jù)使用授權(quán)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪問和信息披露的安全。數(shù)據(jù)安全分級數(shù)據(jù)敏感度數(shù)據(jù)安全等級定義數(shù)據(jù)訪問授權(quán)數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)使用者權(quán)責(zé)數(shù)據(jù)訪問授權(quán)規(guī)則安全技術(shù)Page

43城市大數(shù)據(jù)分析平臺總體架構(gòu)——高階工作流程業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標(biāo)體系數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程數(shù)據(jù)標(biāo)準(zhǔn)建立流程數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程數(shù)據(jù)質(zhì)量管理管理高階流程– 數(shù)據(jù)質(zhì)量要求確定流程元數(shù)據(jù)管理高階流程元數(shù)據(jù)變更流程數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程協(xié)調(diào)會議考核流程數(shù)據(jù)認(rèn)責(zé)流程業(yè)務(wù)部門信理委員息會管技術(shù)部門數(shù)管控負(fù)責(zé)據(jù)

開始是結(jié)束組織和職責(zé)公布數(shù)據(jù)認(rèn)

數(shù)據(jù)管責(zé)表

控制度參與討論召開數(shù)據(jù)

數(shù)據(jù)認(rèn)責(zé)關(guān)系管控協(xié)調(diào)簽批會議提出初步認(rèn)責(zé)方案部

認(rèn)責(zé)需求收

提出數(shù)據(jù)認(rèn)

組織各部門是否有

否

數(shù)據(jù)認(rèn)責(zé)關(guān)系門集責(zé)范圍溝通討論爭議

確認(rèn)或更新數(shù)據(jù)標(biāo)準(zhǔn)建立流程有

數(shù)者

據(jù)所數(shù)理

據(jù)者

管數(shù)產(chǎn)

據(jù)者

生據(jù)管控負(fù)責(zé)部門數(shù)用

據(jù)者

使信委數(shù)員

息會

管理開始提供數(shù)據(jù)標(biāo)準(zhǔn)需求召開數(shù)據(jù)管控協(xié)調(diào)會議數(shù)據(jù)標(biāo)準(zhǔn)文檔是參考SG-CIM模

確定數(shù)據(jù)屬性的取 否需求

型確定數(shù)據(jù)定

值維度、類型、長

存在沖突 生成數(shù)據(jù)標(biāo)準(zhǔn)

數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布義和屬性度和精度提供業(yè)務(wù)規(guī)則解釋結(jié)束提供數(shù)據(jù)標(biāo)準(zhǔn)需求提供數(shù)據(jù)標(biāo)準(zhǔn)需求數(shù)據(jù)質(zhì)量要求確定流程產(chǎn)數(shù)管數(shù)使數(shù)所數(shù)

部負(fù)管數(shù)者生據(jù)者理據(jù)者用據(jù)者有據(jù)

門責(zé)控?fù)?jù)開始收集數(shù)據(jù)標(biāo)準(zhǔn)

數(shù)據(jù)質(zhì)量要求收集提供數(shù)據(jù)標(biāo)準(zhǔn)需求業(yè)務(wù)數(shù)據(jù)規(guī)劃策略（數(shù)據(jù)質(zhì)量規(guī)則）提供數(shù)據(jù)質(zhì)量要求確認(rèn)數(shù)據(jù)項(xiàng)的數(shù)據(jù)

制定量化數(shù)據(jù)質(zhì)量

數(shù)據(jù)質(zhì)量要求討論與數(shù)據(jù)質(zhì)量要求正式質(zhì)量要求 考核規(guī)則 修改 下發(fā) 結(jié)束組織實(shí)施數(shù)據(jù)質(zhì)量驗(yàn)證規(guī)則參與討論參與討論參與討論參與討論數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程使用數(shù)者據(jù)所有數(shù)者據(jù)生產(chǎn)數(shù)者據(jù)管理數(shù)者據(jù)數(shù)據(jù)管參與討論結(jié)束更新數(shù)據(jù)定義、屬性、維度等信息組織實(shí)施新的數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)溝通討論控負(fù)

接收數(shù)據(jù)責(zé)

標(biāo)準(zhǔn)維護(hù)請求部門是是否需要修改

否開始數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布參與討論參與討論參與討論數(shù)據(jù)標(biāo)準(zhǔn)文檔數(shù)據(jù)安全分級流程數(shù)有據(jù)者所理數(shù)者據(jù)管用數(shù)者據(jù)使數(shù)據(jù)負(fù)責(zé)部管信息管委員會組織數(shù)據(jù)責(zé)任方協(xié)商安全分級方式門控

全需求結(jié)束理

開始議？ 安全分級要求召開數(shù)據(jù)建是否否管控協(xié)調(diào) 采用新的分級會議 方式是數(shù)據(jù)安全審批流程數(shù)據(jù)

參加討論管理者數(shù)據(jù)管責(zé)任參加討論部數(shù)使用者門數(shù)據(jù)所

參加討論有者信息管理委收集數(shù)據(jù)安

員

議安全分會級方式指標(biāo)的牽頭部并轉(zhuǎn)發(fā)請求確認(rèn)門審核數(shù)據(jù)訪問請求據(jù)

提出數(shù)控

接收數(shù)據(jù)訪問請求管控協(xié)調(diào)是否存在異

會議

組織部署實(shí)施數(shù)據(jù)元數(shù)據(jù)變更流程產(chǎn)數(shù)管數(shù)使數(shù)所數(shù)

部負(fù)管數(shù)者生據(jù)

者理據(jù)

者

用據(jù)

者有據(jù)門責(zé)控

據(jù)結(jié)束

開始

參與討論

組織實(shí)施元數(shù)據(jù)變

更方案

提出技術(shù)元數(shù)據(jù)變

更需求

參與討論

參與討論

參與討論

提出業(yè)務(wù)元數(shù)據(jù)變

更需求

接到變更請求

，

對

是否需要提交審 發(fā)布元數(shù)據(jù)變更說

問題進(jìn)行備案登記

議？

是

召開審議會議

設(shè)計(jì)元數(shù)據(jù)更新方案 明是否批準(zhǔn)變更

？否是向流程觸發(fā)人反處

否理結(jié)果

數(shù)據(jù)管控協(xié)調(diào)會議流程管數(shù)理據(jù)者生數(shù)產(chǎn)據(jù)者使數(shù)用據(jù)者所數(shù)有據(jù)者數(shù)責(zé)據(jù)門控負(fù)息理委信員會管授權(quán)召開數(shù)據(jù)管控協(xié)調(diào)會議需求收集會議準(zhǔn)備部管

開始方案預(yù)審并匯報提出預(yù)案組織討論數(shù)據(jù)管控考核流程管理數(shù)者據(jù)生產(chǎn)數(shù)者據(jù)數(shù)據(jù)管控責(zé)任部門理委信員息會管考核結(jié)果公布評分匯總結(jié)果依據(jù)評分辦法根據(jù)執(zhí)行情況進(jìn)行評分生成考核報告結(jié)束考核報告簽批開始匯總管控執(zhí)行情況確認(rèn)評分結(jié)果確認(rèn)評分結(jié)果Page

44城市大數(shù)據(jù)分析平臺總體架構(gòu)——數(shù)據(jù)管控平臺數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來源，通過應(yīng)用層的運(yùn)算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口主菜單指標(biāo)速遞標(biāo) 標(biāo)準(zhǔn) 準(zhǔn)瀏 維覽 護(hù)用 權(quán)戶 限管 管理 理待 信 流 績 規(guī)辦 息 程 效 范事 地 管 指 管項(xiàng) 圖 理 標(biāo) 理數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面數(shù)據(jù)標(biāo)準(zhǔn)知識庫數(shù)據(jù)管控平臺知識庫…………元數(shù)據(jù)知識庫首頁 工作管理 系統(tǒng)管理 標(biāo)準(zhǔn)管理 元數(shù)據(jù)管理 質(zhì)量管理元 規(guī)數(shù) 則據(jù) 配采 置集……質(zhì)量稽核庫數(shù)據(jù)層應(yīng)用層展現(xiàn)層Page

45城市大數(shù)據(jù)分析平臺總體產(chǎn)品框架非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)管理分析平臺（X86MPP

集群）京東業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)（

實(shí)內(nèi)時存分?jǐn)?shù)析據(jù)平庫臺）沙盤演練平臺（Hadoop集群）數(shù)據(jù)管控平臺SFTP/HTTP/API

FTPal數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）京東云數(shù)據(jù)推送平臺增值產(chǎn)品平臺（

Hadoop集群）史歸檔查臺（

歷群平Hadoop+Hive*

集詢Copyfromlo Load（Hive） QueueDistcpHQL+LoaDistcpDistcpHQL+Load d基礎(chǔ)計(jì)算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+城市大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）DistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺Page

47城市大數(shù)據(jù)分析平臺演進(jìn)路線以基礎(chǔ)平臺搭建為主，配合城市大數(shù)據(jù)初期業(yè)務(wù)開展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險管理和運(yùn)營管理三方面開展搭建城市大數(shù)據(jù)處理平臺和實(shí)時分析平臺，應(yīng)用方面開展實(shí)時分析和數(shù)據(jù)產(chǎn)品封裝2013年2015年以后對城市價值的創(chuàng)造應(yīng) 業(yè)務(wù)分析框架技 基礎(chǔ)數(shù)據(jù)平臺管 數(shù)據(jù)管控體系應(yīng)開展客戶信息管理、信用風(fēng)險評級和業(yè)務(wù)統(tǒng)計(jì)分析三類應(yīng)用建設(shè)開展貼源數(shù)據(jù)整合，初步建立城技

市級數(shù)據(jù)視圖，實(shí)現(xiàn)對管理分析類應(yīng)用和實(shí)時分析類應(yīng)用的支撐規(guī)劃數(shù)據(jù)管控藍(lán)圖，初步實(shí)施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理管全面開展內(nèi)部管理分析、實(shí)時分應(yīng) 析和沙盤演練應(yīng)用建設(shè)，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展城市大數(shù)據(jù)分析平臺建設(shè)，引入更多數(shù)據(jù)源，豐富并完善平臺數(shù)據(jù)區(qū)建設(shè)隨著應(yīng)用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè)，開展數(shù)據(jù)標(biāo)準(zhǔn)化工作技管深化分析體系，形成深度智能化業(yè)務(wù)分析性能持續(xù)優(yōu)化、數(shù)據(jù)平臺持續(xù)完善、持續(xù)深化數(shù)據(jù)管控體系，形成城市大數(shù)據(jù)城市級的數(shù)據(jù)管控體系應(yīng)技管一期2013.10當(dāng)前位置未來持續(xù)優(yōu)化提升階段第一階段第二階段2014年——2015年第三階段age

48階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段搭建數(shù)據(jù)交換平臺，部署NAS存儲集群，設(shè)計(jì)并實(shí)施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件搭建基礎(chǔ)計(jì)算平臺，設(shè)計(jì)并實(shí)施貼源數(shù)據(jù)區(qū)，以T+1頻率整合城市和城市大數(shù)據(jù)數(shù)據(jù)搭建歷史歸檔查詢平臺，歸檔城市和城市大數(shù)據(jù)數(shù)據(jù)文件搭建內(nèi)部管理分析應(yīng)用平臺，部署MPP集群和BI分析應(yīng)用環(huán)境搭建實(shí)時分析平臺，部署內(nèi)存數(shù)據(jù)庫和實(shí)時BI分析環(huán)境實(shí)現(xiàn)了數(shù)據(jù)平臺內(nèi)部個數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整合實(shí)現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理實(shí)現(xiàn)了內(nèi)部管理分析環(huán)境搭建實(shí)現(xiàn)實(shí)時分析環(huán)境搭建第二階段數(shù)據(jù)交換平臺增強(qiáng)和優(yōu)化，包括：城市大數(shù)據(jù)交換組件設(shè)計(jì)實(shí)施基礎(chǔ)計(jì)算平臺增強(qiáng)，包括：引入更多的數(shù)據(jù)源，增強(qiáng)貼源數(shù)據(jù)區(qū)；設(shè)計(jì)并實(shí)施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計(jì)并實(shí)施城市大數(shù)據(jù)區(qū)，實(shí)現(xiàn)城市內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理搭建沙盤演練平臺實(shí)時分析平臺增強(qiáng)和優(yōu)化，包括：引入更多應(yīng)用及相關(guān)數(shù)據(jù)源實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲、一次計(jì)算、多次使用建立了數(shù)據(jù)分析人員的實(shí)驗(yàn)環(huán)境，實(shí)現(xiàn)了用戶自主用數(shù)為實(shí)時、準(zhǔn)實(shí)時類分析用提供平臺為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺第三階段基礎(chǔ)計(jì)算平臺持續(xù)增強(qiáng)和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和ETL處理搭建增值產(chǎn)品平臺，設(shè)計(jì)并實(shí)施增值產(chǎn)品數(shù)據(jù)區(qū)數(shù)據(jù)交換平臺、沙盤演練平臺、實(shí)時分析平臺進(jìn)一步增強(qiáng)和優(yōu)化數(shù)據(jù)平臺納入盡可能多的城市內(nèi)外部數(shù)據(jù)數(shù)據(jù)平臺以最優(yōu)的性能支持各類數(shù)據(jù)應(yīng)用 P城市大數(shù)據(jù)分析平臺演進(jìn)說明——基礎(chǔ)數(shù)據(jù)平臺Page

49階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段分析和梳理當(dāng)前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍(lán)圖和路線圖設(shè)計(jì)，數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計(jì)梳理城市大數(shù)據(jù)城市大數(shù)據(jù)平臺ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求，指定數(shù)據(jù)質(zhì)量檢查規(guī)則、評價指標(biāo)、管控流程，并落地實(shí)施數(shù)據(jù)質(zhì)量管理系統(tǒng)梳理城市大數(shù)據(jù)城市大數(shù)據(jù)平臺包含的技術(shù)元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務(wù)、ETL流程、BI語義層等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)同步城市大數(shù)據(jù)分析平臺ETL建設(shè)，實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)收集并整合了城市大數(shù)據(jù)所有技術(shù)元數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段隨著更多數(shù)據(jù)源的引入，進(jìn)一步增強(qiáng)數(shù)據(jù)質(zhì)量管理系統(tǒng)隨著更多數(shù)據(jù)源的引入、更多平臺的建立，梳理并整合更多技術(shù)元數(shù)據(jù)梳理城市大數(shù)據(jù)城市大數(shù)據(jù)平臺包含的業(yè)務(wù)和管理類元數(shù)據(jù)，如業(yè)務(wù)術(shù)語、業(yè)務(wù)指標(biāo)、業(yè)務(wù)定義等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)開展基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)，基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評價指標(biāo)、落地策略完善了數(shù)據(jù)質(zhì)量管理體系，實(shí)現(xiàn)了問題及時發(fā)現(xiàn)、及時解決實(shí)現(xiàn)了城市大數(shù)據(jù)全方位的元數(shù)據(jù)管理，打通了業(yè)務(wù)和技術(shù)元數(shù)據(jù)關(guān)聯(lián)關(guān)系為城市大數(shù)據(jù)數(shù)據(jù)平臺建設(shè)提供了基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)第三階段數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強(qiáng)元數(shù)據(jù)管理持續(xù)優(yōu)化并增強(qiáng)基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)逐步落地實(shí)施開展指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評價指標(biāo)、落地策略通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關(guān)系，使得業(yè)務(wù)人員可以方便、有效的使用數(shù)據(jù)，提高數(shù)據(jù)實(shí)用性城市大數(shù)據(jù)分析平臺演進(jìn)說明——數(shù)據(jù)管控階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段開展客戶信息管理建設(shè)，設(shè)計(jì)并實(shí)施個人客戶和供應(yīng)商360°視圖、客戶目標(biāo)搜索、客戶細(xì)分等功能開展風(fēng)險管理建設(shè)，設(shè)計(jì)并實(shí)施供應(yīng)商和個人客戶風(fēng)險評級模型開展運(yùn)營管理建設(shè)，設(shè)計(jì)并實(shí)施智慧園區(qū)、智慧社區(qū)等業(yè)務(wù)條線業(yè)務(wù)量統(tǒng)計(jì)分析初步梳理實(shí)時、準(zhǔn)實(shí)時分析需求，進(jìn)行高時效分析應(yīng)用試點(diǎn)可以方便的對個人客戶和供應(yīng)商進(jìn)行分群，以及全方位信息查詢和展示供應(yīng)商和個人客戶風(fēng)險等級評定針對目前開展的業(yè)務(wù)進(jìn)行經(jīng)營情況統(tǒng)計(jì)分析搭建并驗(yàn)證高時效應(yīng)用體系第二階段隨著城市大數(shù)據(jù)業(yè)務(wù)的展開，逐步開展內(nèi)部管理分析體系的建設(shè)，本階段重點(diǎn)為客戶關(guān)系管理、運(yùn)營管理等高級業(yè)務(wù)人員利用沙盤演練平臺進(jìn)行數(shù)據(jù)挖掘、預(yù)測和科學(xué)試驗(yàn)進(jìn)一步樹立實(shí)時、準(zhǔn)實(shí)時分析需求，深化開展高時效分析應(yīng)用開始梳理市場上的數(shù)據(jù)應(yīng)用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析體系的建設(shè)、滿足了城市大數(shù)據(jù)日常經(jīng)營管理、決策分析和進(jìn)一步提高價值創(chuàng)造力的需要實(shí)現(xiàn)了業(yè)務(wù)人員自主用數(shù)實(shí)現(xiàn)了高時效分析，與業(yè)務(wù)流程的整合實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價值第三階段隨著城市大數(shù)據(jù)業(yè)務(wù)的展開，進(jìn)一步完善內(nèi)部管理分析體系的建設(shè)，包括：市場風(fēng)險管理、操作風(fēng)險管理、財(cái)務(wù)管理等收集實(shí)時分析需求，進(jìn)一步增強(qiáng)并優(yōu)化實(shí)時分析應(yīng)用體系增值數(shù)據(jù)產(chǎn)品設(shè)計(jì)逐漸成為重點(diǎn)，數(shù)據(jù)分析師收集城市內(nèi)外部數(shù)據(jù)需求，設(shè)計(jì)更完善的增值數(shù)據(jù)產(chǎn)品通過內(nèi)部管理分析應(yīng)用體系建設(shè)進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)共享、業(yè)務(wù)協(xié)作與創(chuàng)新通過實(shí)時分析應(yīng)用體系建設(shè)，實(shí)現(xiàn)城市大數(shù)據(jù)平臺業(yè)務(wù)系統(tǒng)的交互，與業(yè)務(wù)流程的融合增值數(shù)據(jù)產(chǎn)品的開發(fā)進(jìn)一步發(fā)揮的數(shù)據(jù)平臺的數(shù)據(jù)價值 Page

50城市大數(shù)據(jù)分析平臺演進(jìn)說明——應(yīng)用體系Page

52金融城市大數(shù)據(jù)分析平臺一期架構(gòu)基礎(chǔ)計(jì)算平臺：基于Hadoop集群構(gòu)建，按照業(yè)務(wù)條線、以貼源數(shù)據(jù)模型存儲了業(yè)務(wù)系統(tǒng)明細(xì)數(shù)據(jù)數(shù)據(jù)交換平臺：NAS集群實(shí)現(xiàn)了進(jìn)出數(shù)據(jù)平臺數(shù)據(jù)的暫存，業(yè)務(wù)數(shù)據(jù)交換組件實(shí)現(xiàn)了業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)加載，數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實(shí)現(xiàn)了基礎(chǔ)計(jì)算平臺與管理分析平臺間的數(shù)據(jù)交換流程調(diào)度平臺：自主開發(fā)的流程調(diào)度引擎實(shí)現(xiàn)整個數(shù)據(jù)平臺的數(shù)據(jù)處理任務(wù)調(diào)度和運(yùn)行管理分析平臺：由X86

分析型數(shù)據(jù)庫集群、BI軟件1J2EE應(yīng)用構(gòu)成，實(shí)現(xiàn)了面向應(yīng)用的數(shù)據(jù)加工、管理、分析服務(wù)實(shí)時分析平臺：由高檔X86服務(wù)器組成的集群，實(shí)現(xiàn)高時效、高并發(fā)的實(shí)時、準(zhǔn)實(shí)時類管理分析需求Page

53數(shù)據(jù)交換平臺

—

平臺邏輯架構(gòu)POP金融城市大數(shù)據(jù)分析平臺NAS

集群物流財(cái)務(wù)供應(yīng)鏈智慧社區(qū)……云數(shù)據(jù)推送平臺實(shí)現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。平臺采用GoldenGate、JBUS、Flume等技術(shù)獲取增量數(shù)據(jù)，存儲在MySQL集群平臺按照接口規(guī)范生成文件，LZO壓縮后，通過FTP傳輸?shù)絅AS指定目錄數(shù)據(jù)交換平臺由FTP服務(wù)器、加載服務(wù)器和NAS存儲組成，完成業(yè)務(wù)系統(tǒng)數(shù)據(jù)的獲取、加載和歸檔FTP服務(wù)器：利用LVS構(gòu)成的FTP集群，接收云數(shù)據(jù)推送平臺處理后的數(shù)據(jù)，存儲在NAS集群的指定目錄加載服務(wù)器：部署ETL任務(wù)，實(shí)現(xiàn)指定目錄的文件到達(dá)監(jiān)控、文件級檢核、數(shù)據(jù)加載（Hive

Load）到臨時數(shù)據(jù)區(qū)，同時歸檔（copyfromlocal）歷史數(shù)據(jù)區(qū)NAS集群：按照日期和源系統(tǒng)劃分目錄，緩存數(shù)據(jù)，支持日常數(shù)據(jù)交換和ETL…………LVS

集群：

FTP服務(wù)器#3加載服務(wù)器#1文件歸檔文件加載文件級檢核文件到達(dá)事件監(jiān)控加載服務(wù)器#4文件歸檔文件加載文件級檢核文件到達(dá)事件監(jiān)控LVS

集群：

FTP服務(wù)器#1LVS

集群：負(fù)載均衡服務(wù)器…… ……云數(shù)據(jù)推送平臺數(shù)據(jù)交換平臺

—

參與方責(zé)任劃分云計(jì)算設(shè)計(jì)并實(shí)施云數(shù)據(jù)推送平臺；按照城市大數(shù)據(jù)接口定義，抽取業(yè)務(wù)系統(tǒng)數(shù)據(jù)；按照城市大數(shù)據(jù)接口規(guī)范要求，按時生成數(shù)據(jù)文件、控制文件和DDL文件，并通過FTP傳輸?shù)絅AS指定目錄；若源系統(tǒng)有變更，則要求在變更前提供變更內(nèi)容說明，升級平臺版本，根據(jù)城市大數(shù)據(jù)更新接口規(guī)范提供數(shù)據(jù)；應(yīng)及時解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題；宜，應(yīng)同城市大數(shù)據(jù)協(xié)商解決。6運(yùn). 維對于部未門盡事安裝部署城市大數(shù)據(jù)城市大數(shù)據(jù)分析平臺物理環(huán)境、應(yīng)用軟件，并進(jìn)行基礎(chǔ)設(shè)施運(yùn)維；在業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫服務(wù)器安裝并部署云數(shù)據(jù)推送平臺客戶端，并提供數(shù)據(jù)庫訪問。城市大數(shù)據(jù)制定接口規(guī)范，并提交給云數(shù)據(jù)推送項(xiàng)目組；梳理業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項(xiàng)目組；開發(fā)數(shù)據(jù)交換組件，從NAS獲取數(shù)據(jù)并處理；對接收的數(shù)據(jù)提供驗(yàn)證功能，并返回驗(yàn)證結(jié)果到云數(shù)據(jù)推送平臺；根據(jù)云數(shù)據(jù)推送平臺提交的變更通知修改接口定義和數(shù)據(jù)交換組件；對于未盡事宜，應(yīng)同云計(jì)算方協(xié)商解決。研發(fā)部門針對城市大數(shù)據(jù)需求，指定接口人、提供文檔；業(yè)務(wù)系統(tǒng)因版本升級等原因?qū)е聰?shù)據(jù)模型發(fā)生變化，及時通知云數(shù)據(jù)推送平臺接口責(zé)任人。Page

54Page

55數(shù)據(jù)交換平臺

—

業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取實(shí)現(xiàn)方式每張?jiān)聪到y(tǒng)表都對應(yīng)一個獨(dú)立的數(shù)據(jù)接口數(shù)據(jù)接口由數(shù)據(jù)文件和控制文件構(gòu)成（文件命名和具體內(nèi)容參見接口規(guī)范）文件統(tǒng)一采用UTF-8編碼，統(tǒng)一存在在JSS指定目錄（參見接口規(guī)范）如果在抽取周期內(nèi)沒有數(shù)據(jù)變更，云數(shù)據(jù)推送平臺應(yīng)該生成空的數(shù)據(jù)接口傳輸方式FTP傳輸，利用LVS技術(shù)構(gòu)建FTP集群，接收數(shù)據(jù)傳輸頻率云數(shù)據(jù)推送平臺通常按照T+1頻率為城市大數(shù)據(jù)提供數(shù)據(jù)，具體頻率要求參見接口定義接口處理模式云數(shù)據(jù)推送平臺根據(jù)不同接口單元定義，準(zhǔn)備數(shù)據(jù)、生成接口數(shù)據(jù)文件；云數(shù)據(jù)推送平臺根據(jù)接口規(guī)范生成相應(yīng)的接口控制文件；云數(shù)據(jù)推送平臺壓縮數(shù)據(jù)（LZO），并通過FTP將數(shù)據(jù)接口存入NAS指定目錄；金融城市大數(shù)據(jù)分析平臺部署在不同加載服務(wù)器上的數(shù)據(jù)交換組件完成：定時輪詢NAS指定目錄，獲取接口（包括數(shù)據(jù)文件、控制文件和DDL文件）；執(zhí)行文件級檢核；通過檢核后，

將數(shù)據(jù)文件和控制文件移動到NAS集群指定目錄，觸發(fā)后續(xù)ETL處理；5. 在Task

Automation調(diào)度下執(zhí)行數(shù)據(jù)加載和數(shù)據(jù)歸檔任務(wù)。數(shù)據(jù)交換平臺

—

平臺部署架構(gòu)數(shù)據(jù)交換平臺由8臺X86服務(wù)器和一個NAS集群構(gòu)成X86

服務(wù)器按照功能分為2組，一組實(shí)現(xiàn)數(shù)據(jù)獲取，一組實(shí)現(xiàn)數(shù)據(jù)加載和歸檔NAS集群作為公共數(shù)據(jù)區(qū)，由8臺服務(wù)器共享訪問（讀寫）Python

runtime HDFS

ClientRedhat

Linux Redhat

LinuxHDFS

ClientRedhat

Linux加載服務(wù)器4加載任務(wù) 歸檔任務(wù)HiveLANPython

runtimePython

JSS

Module

Python

JSS

Module

HiveRedhat

LinuxLVS服務(wù)器1 LVS服務(wù)器4 加載服務(wù)器1LVS FTP 加載任務(wù) 歸檔任務(wù)…………NAS

集群負(fù)責(zé)源系統(tǒng)數(shù)據(jù)文件加載和歸檔每臺服務(wù)器負(fù)責(zé)多個源系統(tǒng)支持按需擴(kuò)展/減少服務(wù)器LVS1負(fù)載均衡其它LVS服務(wù)器負(fù)責(zé)接收接口文件，寫入NAS集群目錄支持按需擴(kuò)展/減少服務(wù)器部署數(shù)據(jù)交換平臺和流程調(diào)度平臺程序，各服務(wù)器通過文件鏈接使用按日期和源系統(tǒng)建立數(shù)據(jù)目錄，緩存每日接口文件，供交P換ag平e臺5訪6

問Page

57流程調(diào)度平臺

—

平臺邏輯架構(gòu)Task

Automation驅(qū)動各個平臺、實(shí)現(xiàn)從數(shù)據(jù)存入NAS平臺到數(shù)據(jù)集市生成整個處理過程的工作流管理數(shù)據(jù)交換平臺負(fù)責(zé)數(shù)據(jù)抽取、文件級質(zhì)量檢核、調(diào)用Hive

Load加載數(shù)據(jù)基礎(chǔ)計(jì)算平臺使用HiveSQL實(shí)現(xiàn)貼源數(shù)據(jù)整合、公共匯總數(shù)據(jù)處理管理分析平臺使用關(guān)系型數(shù)據(jù)庫的SQL實(shí)現(xiàn)集市數(shù)據(jù)的處理歷史歸檔查詢平臺負(fù)責(zé)數(shù)據(jù)文件和Hadoop集群數(shù)據(jù)歸檔Page

58流程調(diào)度平臺

—

流程調(diào)度元數(shù)據(jù)TaskAutomation的元數(shù)據(jù)統(tǒng)一存儲在MySQL數(shù)據(jù)庫中任務(wù)定義，包括任務(wù)名稱、描述、運(yùn)行服務(wù)器、運(yùn)行狀態(tài)、運(yùn)行時間、相關(guān)數(shù)據(jù)源等屬性任務(wù)依賴，任務(wù)的執(zhí)行依賴與其他上游任務(wù)任務(wù)觸發(fā)，任務(wù)成功執(zhí)行后觸發(fā)的下游任務(wù)任務(wù)組，一組有相互關(guān)系的任務(wù)，全部完成后會觸發(fā)頭任務(wù)運(yùn)行……元數(shù)據(jù)由所有流程調(diào)度服務(wù)器共享Page

59流程調(diào)度平臺

—

任務(wù)調(diào)度引擎通過偵測器偵測事件，按照任務(wù)定義和任務(wù)依賴關(guān)系觸發(fā)任務(wù)運(yùn)行，觸發(fā)方式把主要包括自動觸發(fā)定時觸發(fā)，按照預(yù)先定義的時間周期，如每日、每周、每月，或任何有規(guī)律的時間間隔執(zhí)行任務(wù)。目前可明確的任務(wù)主要是每月執(zhí)行的基礎(chǔ)計(jì)算平臺、管理分析平臺數(shù)據(jù)歸檔。事件觸發(fā)，按照特定的事件觸發(fā)、執(zhí)行任務(wù)。如：數(shù)據(jù)文件到達(dá)指定目錄，會觸發(fā)數(shù)據(jù)加載任務(wù)。同樣，流程失敗也會觸發(fā)新的job，如錯誤處理、例外處理等。手動觸發(fā)系統(tǒng)管理員可以使用Task

Automation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對特定范圍的數(shù)據(jù)進(jìn)行審計(jì)與驗(yàn)證、對特定范圍的數(shù)據(jù)進(jìn)行針對性很強(qiáng)的數(shù)據(jù)清洗、或者是對某流程失敗后的修復(fù)。每個要執(zhí)行的任務(wù)均由任務(wù)執(zhí)行代理啟動運(yùn)行流程調(diào)度平臺

—

集群可靠性和可擴(kuò)展性高可用性流程調(diào)度所需的元數(shù)據(jù)信息統(tǒng)一保存在MySQL數(shù)據(jù)庫中，集群中任何服務(wù)器發(fā)生故障不會破壞元數(shù)據(jù)完整性。服務(wù)器故障時，只需要修改ETL任務(wù)屬性，指定其他服務(wù)器執(zhí)行任務(wù)即可，故障不會影響任務(wù)依賴關(guān)系、任務(wù)組關(guān)系。擴(kuò)展能力流程調(diào)度集群由多臺服務(wù)器構(gòu)成，按工作負(fù)載劃分不同角色，分別實(shí)現(xiàn)ETL處理過程中不同類型任務(wù)的調(diào)度。當(dāng)某類調(diào)度工作負(fù)載較大時，可通過增加服務(wù)器的方式，實(shí)現(xiàn)集群的橫向擴(kuò)展Page

60Page

61流程調(diào)度平臺

—

平臺部署架構(gòu)流程調(diào)度平臺由八臺X86

服務(wù)器構(gòu)成，服務(wù)器按照功能分為兩類Perl

RuntimeRedhat

LinuxMySQL

ClientTask

AutomationPerl

RuntimeHadoop

HiveRedhat

LinuxMySQL

Client匯總區(qū)調(diào)度服務(wù)器Perl

Runtime Perl

RuntimeMySQL

Client MySQL

ClientRedhat

Linux Redhat