數(shù)據(jù)中臺(tái)建設(shè)方案_第1頁(yè)
數(shù)據(jù)中臺(tái)建設(shè)方案_第2頁(yè)
數(shù)據(jù)中臺(tái)建設(shè)方案_第3頁(yè)
數(shù)據(jù)中臺(tái)建設(shè)方案_第4頁(yè)
數(shù)據(jù)中臺(tái)建設(shè)方案_第5頁(yè)
已閱讀5頁(yè),還剩38頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

第13頁(yè)共44頁(yè)××公司數(shù)據(jù)中臺(tái)建設(shè)方案

目錄TOC\o"1-4"\h\z\u1 項(xiàng)目概述 41.1 項(xiàng)目名稱 41.2 項(xiàng)目背景 41.3 建設(shè)目標(biāo) 41.4 項(xiàng)目規(guī)模 52 現(xiàn)狀與需求分析 52.1 現(xiàn)狀分析 52.2 數(shù)據(jù)中臺(tái)價(jià)值 62.3 業(yè)務(wù)部門需求分析 72.4 數(shù)據(jù)需求分析 72.5 中臺(tái)性能指標(biāo) 133 總體框架設(shè)計(jì) 133.1 總體設(shè)計(jì) 133.2 數(shù)據(jù)中臺(tái)功能設(shè)計(jì) 153.3 總體設(shè)計(jì)原則 173.4 核心模塊設(shè)計(jì) 183.4.1 數(shù)據(jù)管理中心 183.4.2 任務(wù)編排調(diào)度中心 223.4.3 平臺(tái)管理中心 233.4.4 數(shù)據(jù)采集交換中心 243.4.5 數(shù)據(jù)質(zhì)量校驗(yàn) 253.4.6 計(jì)算引擎中間件 253.4.7 存儲(chǔ)與計(jì)算中心 283.4.8 數(shù)據(jù)倉(cāng)庫(kù) 283.4.9 數(shù)據(jù)共享中心 303.4.10 平臺(tái)監(jiān)控中心 303.4.11 數(shù)據(jù)應(yīng)用中心 314 平臺(tái)設(shè)計(jì)安全性 324.1.1 安全性需求 324.1.2 身份鑒別 325 階段建設(shè)規(guī)劃 325.1 第一階段建設(shè)目標(biāo) 335.2 第二階段建設(shè)目標(biāo) 375.3 第三階段建設(shè)目標(biāo) 405.4 最終成果 416 硬件基礎(chǔ)設(shè)施分析 416.1.1 數(shù)據(jù)存儲(chǔ)需求分析 416.1.2 系統(tǒng)部署需求 426.1.3 硬件設(shè)施說(shuō)明 437 項(xiàng)目成員配置 44項(xiàng)目概述項(xiàng)目名稱××公司數(shù)據(jù)中臺(tái)項(xiàng)目,以下簡(jiǎn)稱數(shù)據(jù)中臺(tái)。項(xiàng)目背景××公司經(jīng)過(guò)多年的信息化建設(shè),信息化水平日益提升,已經(jīng)積累了海量的生產(chǎn)和經(jīng)營(yíng)數(shù)據(jù),這些數(shù)據(jù)分布在各種不同業(yè)務(wù)的系統(tǒng)和數(shù)據(jù)庫(kù)中,包含了營(yíng)運(yùn),人力,技術(shù),安服,財(cái)務(wù)等,支撐著××公司業(yè)務(wù)的發(fā)展?!痢凉窘M建了數(shù)據(jù)平臺(tái)開(kāi)發(fā)小組,用傳統(tǒng)的數(shù)據(jù)處理模式搭建了由數(shù)據(jù)大屏、動(dòng)態(tài)監(jiān)控系統(tǒng)、閉環(huán)監(jiān)控管理系統(tǒng)、業(yè)務(wù)板塊數(shù)據(jù)分析平臺(tái)組成的數(shù)據(jù)倉(cāng)庫(kù),促進(jìn)公司數(shù)據(jù)管理與應(yīng)用的規(guī)范化與制度化,為數(shù)據(jù)分析挖掘工作打下了一定的技術(shù)基礎(chǔ)?,F(xiàn)有數(shù)據(jù)平臺(tái)雖有完整的數(shù)據(jù)模型設(shè)計(jì),但是偏重業(yè)務(wù)的設(shè)計(jì)和技術(shù),在執(zhí)行過(guò)程中,很難保證數(shù)據(jù)的全面,且數(shù)據(jù)應(yīng)用不跨數(shù)據(jù)中心,這在數(shù)據(jù)平臺(tái)建設(shè)初期發(fā)展快,效率高,能快速提現(xiàn)業(yè)務(wù)價(jià)值,但是隨著數(shù)據(jù)倉(cāng)庫(kù)的建設(shè),數(shù)據(jù)量急速疊加,整體成本居高不下,導(dǎo)致數(shù)據(jù)混亂、數(shù)據(jù)災(zāi)難風(fēng)險(xiǎn)高。建設(shè)目標(biāo)通過(guò)數(shù)據(jù)技術(shù),搭建××公司數(shù)據(jù)中臺(tái),將所有數(shù)據(jù)進(jìn)行采集匯聚到數(shù)據(jù)中臺(tái),進(jìn)行計(jì)算、存儲(chǔ)、加工,同時(shí)統(tǒng)一標(biāo)準(zhǔn)和口徑,形成標(biāo)準(zhǔn)數(shù)據(jù),每個(gè)數(shù)據(jù)應(yīng)用都以數(shù)據(jù)中臺(tái)為唯一數(shù)據(jù)來(lái)源。從××公司全局進(jìn)行統(tǒng)一規(guī)劃,統(tǒng)一建設(shè),閉環(huán)涵蓋數(shù)據(jù)應(yīng)用開(kāi)發(fā)全流程,滿足從數(shù)據(jù)采集導(dǎo)入、交換處理、脫敏清洗、分析挖掘、質(zhì)量檢測(cè)、可視化展現(xiàn)、定時(shí)調(diào)度到數(shù)據(jù)共享輸出應(yīng)用等全流程,強(qiáng)調(diào)數(shù)據(jù)的“全”,從設(shè)計(jì)、組織、建設(shè)、流程角度保障模式的落地,形成數(shù)據(jù)資產(chǎn)層,搭建數(shù)據(jù)應(yīng)用“高速公路”,減低數(shù)據(jù)使用門檻,支持××公司機(jī)關(guān)、包括下屬單位和控股單位等40多個(gè)單位數(shù)據(jù)共享和集中應(yīng)用開(kāi)發(fā)全流程場(chǎng)景需求。項(xiàng)目規(guī)模(一)用戶規(guī)模項(xiàng)目建成后用戶覆蓋××公司業(yè)務(wù)部門以及各下屬單位,詳細(xì)如下:1、業(yè)務(wù)部門用戶××公司機(jī)關(guān)各業(yè)務(wù)部門。2、下屬單位用戶××公司各下級(jí)單位。(二)項(xiàng)目覆蓋范圍匯集××公司各級(jí)子公司現(xiàn)有信息化系統(tǒng)的結(jié)構(gòu)化、半結(jié)構(gòu)化以及無(wú)結(jié)構(gòu)化的基礎(chǔ)數(shù)據(jù)以及公司外部可獲取的相關(guān)數(shù)據(jù),以這些數(shù)據(jù)為基礎(chǔ),建立××公司數(shù)據(jù)中臺(tái)。現(xiàn)狀與需求分析現(xiàn)狀分析隨著業(yè)務(wù)和數(shù)據(jù)規(guī)模持續(xù)增長(zhǎng),××公司現(xiàn)有數(shù)據(jù)平臺(tái)架構(gòu)的缺陷日益暴露:1、數(shù)據(jù)倉(cāng)庫(kù)加工方面:維度、指標(biāo)、分析場(chǎng)景的增加和復(fù)雜化。各業(yè)務(wù)系統(tǒng)間數(shù)據(jù)交叉混亂,難以統(tǒng)一整合,無(wú)法滿足對(duì)內(nèi)對(duì)外的各種數(shù)據(jù)需求。數(shù)據(jù)處理模式需要耗費(fèi)大量的人力物力來(lái)支撐,已無(wú)法滿足越來(lái)越龐大的數(shù)據(jù)體系,對(duì)于海量數(shù)據(jù)的處理與應(yīng)用能力也非常的有限,導(dǎo)致數(shù)據(jù)開(kāi)發(fā)成本越來(lái)越高,效率下降,很難從現(xiàn)有的數(shù)據(jù)模式中提取出有價(jià)值的信息,從而難以發(fā)現(xiàn)能夠有效支持生產(chǎn)中需要決策的更深層次的規(guī)律;2、交互式查詢分析方面:目前存在較多種業(yè)務(wù)信息系統(tǒng),當(dāng)新需求開(kāi)發(fā)過(guò)程中進(jìn)行取數(shù)時(shí),數(shù)據(jù)源之多使得取數(shù)程序如八爪魚(yú)般從各個(gè)系統(tǒng)提取數(shù)據(jù),并且經(jīng)常采用外鏈方式直連數(shù)據(jù)庫(kù),這種高耦合的機(jī)制導(dǎo)致出現(xiàn)“一個(gè)應(yīng)用崩潰導(dǎo)致多個(gè)應(yīng)用崩潰”,即“環(huán)環(huán)相扣”的局面,對(duì)生產(chǎn)跟管理造成廣泛的負(fù)面影響,同時(shí)單機(jī)關(guān)系型數(shù)據(jù)庫(kù)支持?jǐn)?shù)據(jù)量有限,復(fù)雜查詢效率低下,查詢時(shí)效無(wú)法滿足;3、數(shù)據(jù)模型調(diào)整方面:無(wú)法快速支持分析維度、指標(biāo)的靈活變化。數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范統(tǒng)一困難,在用戶角度上,易產(chǎn)生數(shù)據(jù)不正確的錯(cuò)覺(jué),并且難以利用這些數(shù)據(jù)做管理分析,在信息角度上,維護(hù)難度大且耗費(fèi)了大量工時(shí);在企業(yè)角度上,數(shù)據(jù)可用性不高,對(duì)內(nèi)對(duì)外都無(wú)法很好地提取、分析數(shù)據(jù),運(yùn)維成本高,人力物力都及其浪費(fèi);4、沒(méi)有便捷迅速的數(shù)據(jù)修復(fù)機(jī)制,對(duì)于數(shù)據(jù)處理任務(wù)失敗的情況,難以快速全面地找出其后置任務(wù)進(jìn)行數(shù)據(jù)修復(fù),增加了運(yùn)維難度,運(yùn)維效率大打折扣;數(shù)據(jù)中臺(tái)價(jià)值隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的廣泛應(yīng)用,現(xiàn)代社會(huì)已經(jīng)邁入全新的數(shù)據(jù)時(shí)代。越來(lái)越多的企業(yè)開(kāi)始重視大數(shù)據(jù)戰(zhàn)略布局,接連實(shí)施“大中臺(tái)”戰(zhàn)略,構(gòu)建符合互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代的,具有創(chuàng)新性、靈活性的“大中臺(tái)、小前臺(tái)”的機(jī)制,即作為前臺(tái)的一線業(yè)務(wù)會(huì)更便捷、更快速的適用瞬息萬(wàn)變的市場(chǎng),而中臺(tái)將集合整個(gè)企業(yè)的運(yùn)營(yíng)數(shù)據(jù)能力,產(chǎn)品技術(shù)能力,對(duì)各前臺(tái)業(yè)務(wù)形成強(qiáng)有力的支撐。回顧信息化建設(shè)這一路,構(gòu)建了很多的業(yè)務(wù)系統(tǒng),經(jīng)歷了上萬(wàn)次取數(shù),制作了成百上千的報(bào)表,但在支撐了當(dāng)初的業(yè)務(wù)系統(tǒng)建設(shè)的同時(shí),到底給如今的數(shù)據(jù)倉(cāng)庫(kù)留下了多少資產(chǎn)呢?老系統(tǒng)遲早要換,新系統(tǒng)還是要建,但是老系統(tǒng)的好基因卻很難留下來(lái),如今這一代的數(shù)據(jù)倉(cāng)庫(kù)與上一代的數(shù)據(jù)倉(cāng)庫(kù)不能說(shuō)是演進(jìn),而是重來(lái)。數(shù)據(jù)中臺(tái)包括了數(shù)據(jù)技術(shù),比如對(duì)海量數(shù)據(jù)進(jìn)行采集、計(jì)算、存儲(chǔ)、加工的一系列技術(shù)集合,數(shù)據(jù)中臺(tái)的建設(shè)不僅是技術(shù)的沉淀,數(shù)據(jù)中臺(tái)更核心的是“數(shù)據(jù)模型、算法服務(wù)、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)管理”這些跟具體業(yè)務(wù)有強(qiáng)關(guān)聯(lián)性,是××公司獨(dú)有的且能復(fù)用的,比如××公司自建的2000個(gè)數(shù)據(jù)模型,300個(gè)數(shù)據(jù)融合模型,2萬(wàn)個(gè)數(shù)據(jù)標(biāo)簽等,這些更是數(shù)據(jù)中臺(tái)的核心,是××公司業(yè)務(wù)和數(shù)據(jù)的沉淀,這些才能降低重復(fù)建設(shè),減少煙囪式協(xié)作的成本,更是行業(yè)差異化競(jìng)爭(zhēng)優(yōu)勢(shì)所在。結(jié)合××公司現(xiàn)狀,升級(jí)現(xiàn)有數(shù)據(jù)平臺(tái),打造成為集數(shù)據(jù)采集、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)處理、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析、監(jiān)測(cè)告警于一體的數(shù)據(jù)中臺(tái)已成為亟不可待的任務(wù),把數(shù)據(jù)當(dāng)做資源,以數(shù)據(jù)中臺(tái)提升數(shù)據(jù)化管理與企業(yè)生產(chǎn)能力、驅(qū)動(dòng)企業(yè)運(yùn)行與決策的科學(xué)性,構(gòu)建智慧××公司,打造核心競(jìng)爭(zhēng)力,沉淀業(yè)務(wù)、技術(shù)和數(shù)據(jù),最大程度上發(fā)揮數(shù)據(jù)資源的價(jià)值,做到“用數(shù)據(jù)說(shuō)話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”。業(yè)務(wù)部門需求分析通過(guò)調(diào)研,公司各部門有以下的業(yè)務(wù)需求:(一)信息中心:平臺(tái)能協(xié)助部門對(duì)公司的數(shù)據(jù)進(jìn)行統(tǒng)籌和集中管理,對(duì)數(shù)據(jù)標(biāo)準(zhǔn)、資源目錄和數(shù)據(jù)分析模型進(jìn)行制定,對(duì)數(shù)據(jù)的接入和共享進(jìn)行監(jiān)督和監(jiān)控?cái)?shù)據(jù)資源的變化情況。(二)數(shù)據(jù)中心:平臺(tái)能幫助中心強(qiáng)化對(duì)數(shù)據(jù)的運(yùn)營(yíng)能力,提供對(duì)數(shù)據(jù)資源的審核和維護(hù)功能,能實(shí)現(xiàn)對(duì)數(shù)據(jù)接入和共享的審批,協(xié)助中心管理和實(shí)現(xiàn)公司業(yè)務(wù)部門業(yè)務(wù)報(bào)表需求,維護(hù)平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)和資源目錄,生成整體數(shù)據(jù)分析報(bào)告和驗(yàn)證數(shù)據(jù)分析結(jié)果。(三)人力資源部:平臺(tái)需要提供報(bào)表填報(bào)的功能,可供公司各直屬單位按人力資源部制定的報(bào)表格式提交數(shù)據(jù);(四)財(cái)務(wù)預(yù)算部:平臺(tái)應(yīng)有跨部門協(xié)作的能力,如現(xiàn)由人力資源部門對(duì)工種進(jìn)行定義,再基于該定義來(lái)統(tǒng)計(jì)財(cái)務(wù)部門需要的數(shù)據(jù);(五)公交管理部:平臺(tái)能提供自由組合報(bào)表的功能,以便于部門可以按需制作自己需要的數(shù)據(jù)報(bào)表。(六)生產(chǎn)經(jīng)營(yíng)部:(1)平臺(tái)預(yù)留接口,可對(duì)接現(xiàn)有的已開(kāi)發(fā)的各類系統(tǒng);(2)后續(xù)可滿足個(gè)性化定制表格需求;(3)支持對(duì)接系統(tǒng)取數(shù),也支持屬下單位填報(bào)后匯總。(七)安全服務(wù)部:平臺(tái)能夠?qū)κ鹿?、違章和維修板塊的數(shù)據(jù)進(jìn)行集中和統(tǒng)計(jì)分析,方便部門日常和周期性的報(bào)表分析。(八)技術(shù)工程部:平臺(tái)能協(xié)助公司制定統(tǒng)一維修技術(shù)數(shù)據(jù)體系,再由公司向各直屬單位進(jìn)行推廣,以便于規(guī)范工作流程。(九)黨群工作部:平臺(tái)能為對(duì)職工信息進(jìn)行管理,對(duì)不同的人員加上不同的標(biāo)簽,能直觀地看到每一個(gè)人員的特征。數(shù)據(jù)需求分析1、提供數(shù)據(jù)采集和報(bào)表統(tǒng)計(jì)應(yīng)用,按業(yè)務(wù)部門提供的規(guī)則,按不同業(yè)務(wù)如:公交、客運(yùn);按不同內(nèi)容如:組織架構(gòu)、經(jīng)營(yíng)狀況、財(cái)務(wù)收入、違章事故,自動(dòng)生成統(tǒng)計(jì)報(bào)表;2、系統(tǒng)設(shè)定權(quán)限體系,方便業(yè)務(wù)上的協(xié)作;3、通過(guò)標(biāo)準(zhǔn)規(guī)范制定,推動(dòng)統(tǒng)一數(shù)據(jù)體系的開(kāi)展;4、通過(guò)數(shù)據(jù)共享建設(shè),保證平臺(tái)和其他系統(tǒng)的交互能力。通過(guò)數(shù)據(jù)調(diào)研,公司各業(yè)務(wù)部和各下屬單位進(jìn)行對(duì)接,接入業(yè)務(wù)部門所需的數(shù)據(jù)需求具體如下:(一)基礎(chǔ)數(shù)據(jù)表1:基礎(chǔ)數(shù)據(jù)采集需求表序號(hào)數(shù)據(jù)名稱描述1車輛檔案車輛具體信息2人員檔案人員具體信息3線路檔案線路具體信息4線路站點(diǎn)檔案線路站點(diǎn)具體信息5站場(chǎng)檔案站場(chǎng)具體信息6一線一冊(cè)一線一冊(cè)具體信息7視頻監(jiān)控點(diǎn)檔案視頻監(jiān)控點(diǎn)具體信息8車輛配線數(shù)據(jù)車輛每日的配線記錄(二)硬件數(shù)據(jù)表2:硬件數(shù)據(jù)需求表序號(hào)數(shù)據(jù)名稱描述1疲勞行為數(shù)據(jù)疲勞行為數(shù)據(jù)2云總線設(shè)備預(yù)警行為云總線設(shè)備預(yù)警行為3實(shí)時(shí)更紙公交實(shí)時(shí)更紙4電子更紙公交電子更紙(T+1)5進(jìn)出站進(jìn)站出站信息,為報(bào)站器上報(bào)的數(shù)據(jù)6公交gps車輛實(shí)時(shí)GPS軌跡信息7公路gps車輛實(shí)時(shí)GPS軌跡信息8公交簽到簽退司機(jī)簽到簽退信息9計(jì)劃排班信息司機(jī)的計(jì)劃排班信息10羊城通羊城通記錄11云總線設(shè)備充電數(shù)據(jù)云總線的設(shè)備充電情況12車輛維修車輛維修數(shù)據(jù)13加油數(shù)據(jù)車輛加油數(shù)據(jù)14更紙審批確認(rèn)后的更紙15公交路單公交路單導(dǎo)入(三)人力資源部表3:人力資源數(shù)據(jù)需求表序號(hào)數(shù)據(jù)名稱描述1流失率指統(tǒng)計(jì)期內(nèi)流失人數(shù)的占比2流失人數(shù)統(tǒng)計(jì)期第一天0:00至最后一天24:00時(shí)間段內(nèi)離職、退休和身故的人數(shù)。3新入職人數(shù)統(tǒng)計(jì)期第一天0:00至最后一天24:00時(shí)間段內(nèi)新入職的人數(shù)。4凈增長(zhǎng)人數(shù)統(tǒng)計(jì)期第一天0:00至最后一天24:00時(shí)間段內(nèi)的凈增長(zhǎng)人數(shù)。5凈增長(zhǎng)率統(tǒng)計(jì)期內(nèi)經(jīng)增長(zhǎng)人數(shù)的占比。6平均年齡反映統(tǒng)計(jì)范圍內(nèi)人員的年齡平均水平7工資總額報(bào)告期內(nèi)直接支付給本單位職工的勞動(dòng)報(bào)酬總額。8計(jì)提收入指統(tǒng)計(jì)周期內(nèi)駕駛員上車營(yíng)運(yùn)產(chǎn)生的提成工資9人工成本報(bào)告期內(nèi)直接或間接支付給本單位全部職工的總費(fèi)用10人均成本報(bào)告期內(nèi)直接或間接支付給本單位全部職工的總費(fèi)用均值11平均工資/人均工資報(bào)告期內(nèi)在統(tǒng)計(jì)范圍內(nèi)人員的工資總額均值12職工人數(shù)報(bào)告期內(nèi)實(shí)有的人員數(shù)。13工資人數(shù)報(bào)告期內(nèi)直接支付勞動(dòng)報(bào)酬的本單位人數(shù)。14期初人數(shù)指報(bào)告期初第一天0:00的時(shí)間點(diǎn)實(shí)有的人員數(shù),不含當(dāng)天新入職和調(diào)入的人員。15期末人數(shù)指報(bào)告期末最后一天24:00的時(shí)間點(diǎn)實(shí)有人員數(shù),不含當(dāng)天離職、退休和身故的人員。16平均人數(shù)指報(bào)告期內(nèi)平均每天擁有的人數(shù)。17全員勞動(dòng)生產(chǎn)率指勞動(dòng)者在單位時(shí)間內(nèi)的生產(chǎn)效率,用勞動(dòng)者的生產(chǎn)成果與相應(yīng)的勞動(dòng)消耗量之間的比率表示。它表明勞動(dòng)者在一定時(shí)間內(nèi)的生產(chǎn)能力,是一項(xiàng)重要的經(jīng)濟(jì)效益指標(biāo)。18出勤率是反映制度規(guī)定應(yīng)利用的勞動(dòng)時(shí)間內(nèi)的出勤情況指標(biāo)。19駕駛員人車比每輛營(yíng)運(yùn)車輛配備營(yíng)運(yùn)駕駛員情況指標(biāo)20高峰載客工時(shí)利用率指統(tǒng)計(jì)期內(nèi)駕駛員高峰載客行車時(shí)間占高峰總勞動(dòng)時(shí)間的比重21載客工時(shí)利用率指統(tǒng)計(jì)期駕駛員載客行車時(shí)間在總勞動(dòng)時(shí)間中所占的比重22載客行車工時(shí)指營(yíng)運(yùn)駕駛員執(zhí)行營(yíng)運(yùn)任務(wù)所產(chǎn)生的時(shí)間23總工時(shí)指駕駛員總的勞動(dòng)時(shí)間24載客停站工時(shí)指營(yíng)運(yùn)駕駛員執(zhí)行營(yíng)運(yùn)任務(wù)在本任務(wù)結(jié)束后,到下一個(gè)任務(wù)開(kāi)始前停車產(chǎn)生的時(shí)間25輔助工時(shí)指營(yíng)運(yùn)駕駛員執(zhí)行非營(yíng)運(yùn)任務(wù)所產(chǎn)生的時(shí)間,其中非營(yíng)運(yùn)任務(wù)不包含中停休息26上車人數(shù)指執(zhí)行各種上車任務(wù)的營(yíng)運(yùn)駕駛員人數(shù)27營(yíng)運(yùn)上車人數(shù)指執(zhí)行營(yíng)運(yùn)任務(wù)的營(yíng)運(yùn)駕駛員人數(shù)28配線人數(shù)指已分配線路、能正常參與營(yíng)運(yùn)的營(yíng)運(yùn)駕駛員人數(shù)29上車人日指統(tǒng)計(jì)期內(nèi)每天執(zhí)行各種上車任務(wù)的營(yíng)運(yùn)駕駛員人數(shù)總和30配線人日指統(tǒng)計(jì)期內(nèi)每天已分配線路、能正常參與營(yíng)運(yùn)的營(yíng)運(yùn)駕駛員人數(shù)總和31上車率指統(tǒng)計(jì)期內(nèi)每天執(zhí)行各種上車任務(wù)的營(yíng)運(yùn)駕駛員人數(shù)總和,在統(tǒng)計(jì)期內(nèi)每天已分配線路、能正常參與營(yíng)運(yùn)的營(yíng)運(yùn)駕駛員人數(shù)總和的占比32在冊(cè)天數(shù)指統(tǒng)計(jì)期內(nèi)營(yíng)運(yùn)駕駛員在職天數(shù)33配線天數(shù)指統(tǒng)計(jì)期內(nèi)營(yíng)運(yùn)駕駛員分配到線路的天數(shù)34上車天數(shù)指統(tǒng)計(jì)期內(nèi)營(yíng)運(yùn)駕駛員執(zhí)行上車任務(wù)的天數(shù)35營(yíng)運(yùn)上車天數(shù)指統(tǒng)計(jì)期內(nèi)營(yíng)運(yùn)駕駛員執(zhí)行營(yíng)運(yùn)上車任務(wù)的天數(shù)(四)安全服務(wù)部表4:安全服務(wù)部數(shù)據(jù)需求表序數(shù)據(jù)名稱描述116s進(jìn)出站根據(jù)進(jìn)出站,計(jì)算司機(jī)在站點(diǎn)停留時(shí)間小于16s的次數(shù);頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*1002速度評(píng)價(jià)超速;頻率=違規(guī)次數(shù)/總里程*10003急加急減頻率=違規(guī)次數(shù)/總里程*10004路口再加速在同一個(gè)路口連續(xù)超速2次及以上的次數(shù);頻率=違規(guī)次數(shù)/總里程*10005手剎評(píng)價(jià)違規(guī)數(shù)據(jù)匹配電子更紙及公路路單等獲取司機(jī)信息;頻率=違規(guī)次數(shù)/云總線營(yíng)運(yùn)里程6N檔評(píng)價(jià)違規(guī)數(shù)據(jù)匹配電子更紙及公路路單等獲取司機(jī)信息;頻率=違規(guī)次數(shù)/純電車營(yíng)運(yùn)里程7停站N檔評(píng)價(jià)違規(guī)數(shù)據(jù)匹配電更紙及公路路單等獲取司機(jī)信息;頻率=違規(guī)次數(shù)/純電車站點(diǎn)數(shù)*1008預(yù)警45違規(guī)數(shù)據(jù)匹配電子更紙以及公路路單等獲取司機(jī)信息

預(yù)警45頻率=違規(guī)次數(shù)/云總線營(yíng)運(yùn)里程(過(guò)濾行經(jīng)高速線路)*10009超速50違規(guī)數(shù)據(jù)匹配電子更紙以及公路路單等獲取司機(jī)信息

超速50頻率=違規(guī)次數(shù)/云總線營(yíng)運(yùn)里程(過(guò)濾行經(jīng)高速線路)*100110車輛未停穩(wěn)開(kāi)車門實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*100011打手機(jī)屬實(shí)動(dòng)態(tài)監(jiān)控判定結(jié)果為屬實(shí)的次數(shù);頻率=違規(guī)次數(shù)/總里程*100012抽煙屬實(shí)動(dòng)態(tài)監(jiān)控判定結(jié)果為屬實(shí)的次數(shù);頻率=違規(guī)次數(shù)/總里程*100013疲勞駕駛屬實(shí)動(dòng)態(tài)監(jiān)控判定結(jié)果為屬實(shí)的次數(shù);頻率=違規(guī)次數(shù)/總里程*100014最低安全行車時(shí)間評(píng)價(jià)次數(shù)15出站未打燈實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10016進(jìn)站未打燈實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10017出站未關(guān)門,出站未打燈實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10018進(jìn)站未減速,進(jìn)站未打燈實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10019靠站未開(kāi)門,進(jìn)站未打燈實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10020靠站未開(kāi)門,進(jìn)站未減速,進(jìn)站未打燈實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10021進(jìn)站未減速,未停穩(wěn)開(kāi)車門,進(jìn)站未打燈實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10022門未關(guān)起步實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*100023駕駛員未系安全帶實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*100024時(shí)速超50公里(GPS)實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*100025下班沒(méi)有簽退實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*100026違規(guī)關(guān)閉“開(kāi)門禁啟開(kāi)關(guān)”實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*10002716s進(jìn)出站評(píng)價(jià)實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10028停站N檔評(píng)價(jià)實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/站點(diǎn)數(shù)*10029疑似急轉(zhuǎn)班(T+1)實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*100030時(shí)速超50公里(云)實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*100031時(shí)速超93公里(云)實(shí)時(shí)更紙口徑匹配司機(jī)信息;頻率=違規(guī)次數(shù)/總里程*100032駕駛員標(biāo)準(zhǔn)化操作行為統(tǒng)計(jì)不同的違規(guī)類型,符合經(jīng)過(guò)重點(diǎn)監(jiān)控區(qū)域站點(diǎn)的數(shù)據(jù)(進(jìn)站前5s至出站后5s)33一線一冊(cè)操作行為符合經(jīng)過(guò)一線一冊(cè)監(jiān)控區(qū)域站點(diǎn)的數(shù)據(jù)(進(jìn)站前5s至出站后6s)34交通事故頻率=次數(shù)/里程*100000035交通違法頻率=次數(shù)/配車數(shù)*10036流程超時(shí)率流程超時(shí)率=超時(shí)數(shù)/流程總數(shù)*10037流程處理率流程處理率=流程已結(jié)束/流程總數(shù)*10038節(jié)點(diǎn)超時(shí)統(tǒng)計(jì)流程中每個(gè)節(jié)點(diǎn)的超時(shí)統(tǒng)計(jì)39節(jié)點(diǎn)屬實(shí)統(tǒng)計(jì)流程中每個(gè)節(jié)點(diǎn)的判定情況統(tǒng)計(jì)40節(jié)點(diǎn)人員接收預(yù)警量流程中每個(gè)節(jié)點(diǎn)的不同的操作人員的情況(暫無(wú)法統(tǒng)計(jì))41節(jié)點(diǎn)人員處理預(yù)警量流程中每個(gè)節(jié)點(diǎn)的不同的操作人員的情況(暫無(wú)法統(tǒng)計(jì))42動(dòng)態(tài)監(jiān)控一級(jí)預(yù)警包括:GPS信號(hào)丟失/偏離線路異常異常停車等,通過(guò)GPS軌跡以及線路軌跡計(jì)算得出(五)技術(shù)工程部表5:技術(shù)工程數(shù)據(jù)需求表序數(shù)據(jù)名稱描述1百公里能耗統(tǒng)計(jì)期內(nèi),營(yíng)運(yùn)車輛每行駛百公里所消耗的燃料量2百公里電耗成本統(tǒng)計(jì)期內(nèi),營(yíng)運(yùn)車輛每行駛百公里所消耗的能耗成本3高峰充電占比統(tǒng)計(jì)期內(nèi)純電動(dòng)車高峰充電量占總充電量百分比4保修材料成本統(tǒng)計(jì)期內(nèi)營(yíng)運(yùn)車輛每行駛千公里所發(fā)生的保修材料費(fèi)5輪胎成本統(tǒng)計(jì)期內(nèi)營(yíng)運(yùn)車輛每行駛千公里所發(fā)生的輪胎材料費(fèi)6小修頻率統(tǒng)計(jì)期內(nèi)營(yíng)運(yùn)車輛每行駛千公里所發(fā)生的臨修次數(shù)7救濟(jì)率統(tǒng)計(jì)期內(nèi)營(yíng)運(yùn)車輛每行駛?cè)f公里所發(fā)生的救濟(jì)次數(shù)8返修率車輛保修期內(nèi)發(fā)生的返修車次9高峰期未完工率評(píng)價(jià)車輛高峰期維修效率的指標(biāo),每月高峰期(早高峰時(shí)間為7:00-9:00,晚高峰時(shí)間為17:00-19:00)未完工的一保、臨修報(bào)修車次(剔除高峰期前一個(gè)小時(shí)及高峰期間報(bào)修車次)占月度一保、臨修車次(剔除高峰期前一個(gè)小時(shí)及高峰期間報(bào)修車次)的比例。(六)財(cái)務(wù)預(yù)算部人員基礎(chǔ)信息,主要包括:(1)公司的人員數(shù)(統(tǒng)計(jì)最小粒度為月),(2)中層干部、一線生產(chǎn)人員(公交、公路、出租、維修)的等各階層平均工資,(3)公司各工種的人數(shù)分布,來(lái)源公司人力資源系統(tǒng);車輛基礎(chǔ)信息,主要包括:車輛數(shù)(統(tǒng)計(jì)最小粒度為月),來(lái)源統(tǒng)計(jì)系統(tǒng);車輛營(yíng)運(yùn)信息,主要包括:公交車和出租車的運(yùn)營(yíng)里程(統(tǒng)計(jì)最小粒度為月),來(lái)源各直屬單位的生產(chǎn)管理系統(tǒng);(七)審計(jì)部核需要獲取財(cái)務(wù)三大報(bào)表,利潤(rùn)、資產(chǎn)負(fù)債和現(xiàn)金流量表中的數(shù)據(jù),以及公司各直屬單位的審計(jì)數(shù)據(jù)。(八)黨群工作部需要獲取職工的基本信息和公司屬下各工會(huì)和團(tuán)組織的組織架構(gòu)信息,職工基本信息主要包括在職、離退休和特殊群體職工的基本信息等,工會(huì)和團(tuán)組織的信息主要包括組織建設(shè)情況和獲獎(jiǎng)情況等信息。(九)公交管理部表6:公交管理部數(shù)據(jù)需求表序數(shù)據(jù)名稱描述1早高峰出車率早高峰出車數(shù)/工作車日2晚高峰出車率晚高峰出車數(shù)/工作車日3早晚高峰出車率早晚高峰出車數(shù)/工作車日4早高峰發(fā)班車次早高峰發(fā)班車次5晚高峰發(fā)班車次晚高峰發(fā)班車次6早晚高峰發(fā)班車次早晚高峰發(fā)班車次7單班車日單班車日8雙班車日雙班車日9單班車率單班車率10單班載客里程單班載客里程11雙班載客里程雙班載客里程12單班營(yíng)運(yùn)里程單班營(yíng)運(yùn)里程13雙班營(yíng)運(yùn)里程雙班營(yíng)運(yùn)里程14單班工作車日單班工作車日15雙班工作車日雙班工作車日16營(yíng)運(yùn)空程營(yíng)運(yùn)空程17營(yíng)運(yùn)時(shí)間營(yíng)運(yùn)時(shí)間18工作車日工作車日19營(yíng)運(yùn)車日營(yíng)運(yùn)車日20工作車率工作車率21載客里程載客里程22營(yíng)運(yùn)里程營(yíng)運(yùn)里程23停站時(shí)間停站時(shí)間24營(yíng)運(yùn)時(shí)間營(yíng)運(yùn)時(shí)間25停站率停站率26應(yīng)收綜合收入應(yīng)收綜合收入27車日收入車日收入28千公里收入千公里收入29配員人數(shù)配員人數(shù)30配員人車比配員數(shù)/配車數(shù)31上車人次上車人次32上車人車比上車人數(shù)/配車數(shù)33駕駛員上車率上車人數(shù)/配員數(shù)*100(十)市場(chǎng)經(jīng)營(yíng)部表7:市場(chǎng)經(jīng)營(yíng)部數(shù)據(jù)需求表序數(shù)據(jù)名稱描述1實(shí)發(fā)班次實(shí)發(fā)班次2客運(yùn)量客運(yùn)量3總里程總里程4營(yíng)運(yùn)里程營(yíng)運(yùn)里程5應(yīng)收綜合收入應(yīng)收綜合收入6千公里收入千公里收入7班次收入(元)應(yīng)收收入/班次8班次客運(yùn)量客運(yùn)量/班次9駕駛員上車率上車人數(shù)/配員數(shù)*10010正班率計(jì)劃班次/實(shí)發(fā)班次*10011實(shí)載率客運(yùn)量/座位數(shù)*10012工作車率工作車日/營(yíng)運(yùn)車日*10013駕駛員人均產(chǎn)值線路應(yīng)收收入/線路配員數(shù)14車日收入應(yīng)收綜合收入/工作車日15車日行程工作車日/營(yíng)運(yùn)里程中臺(tái)性能指標(biāo)數(shù)據(jù)中臺(tái)建立完成后具備一定的檢錯(cuò)和容錯(cuò)能力;保證系統(tǒng)能夠持續(xù)(7×24小時(shí))無(wú)故障運(yùn)行。主要包括以下幾點(diǎn)指標(biāo)內(nèi)容1. 平臺(tái)管理系統(tǒng)最大支持同時(shí)在線人數(shù)≥100人;2. 數(shù)據(jù)平均抽取效率:≥300條/分鐘;3. 數(shù)據(jù)一致性:?jiǎn)未螖?shù)據(jù)抽取任務(wù)錯(cuò)誤率≤0.05%;4. 單個(gè)服務(wù)接口支持每分鐘訪問(wèn)≥100次訪問(wèn)量;5. 系統(tǒng)響應(yīng)時(shí)間:?jiǎn)螚l件精確查詢≤2秒返回結(jié)果,組合條件查詢≤5秒返回結(jié)果。6. 數(shù)據(jù)時(shí)效性:系統(tǒng)數(shù)據(jù)每天更新,確保數(shù)據(jù)的有效性??傮w框架設(shè)計(jì)總體設(shè)計(jì)圖1:數(shù)據(jù)中臺(tái)總體設(shè)計(jì)圖1.數(shù)據(jù)采集交換中心:是數(shù)據(jù)中臺(tái)數(shù)據(jù)接入的入口。數(shù)據(jù)中臺(tái)本身幾乎不產(chǎn)生數(shù)據(jù),所有數(shù)據(jù)來(lái)自于業(yè)務(wù)系統(tǒng)層,數(shù)據(jù)采集交換是數(shù)據(jù)中臺(tái)必須提供的核心能力,把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)能夠方便地采集到數(shù)據(jù)中臺(tái)進(jìn)行集中存儲(chǔ),為后續(xù)的加工建模做準(zhǔn)備。2.數(shù)據(jù)開(kāi)發(fā)中心:通過(guò)數(shù)據(jù)采集交換中心匯聚到中臺(tái)的數(shù)據(jù),這時(shí)的基本是原始的明細(xì)數(shù)據(jù),業(yè)務(wù)很難使用,數(shù)據(jù)開(kāi)發(fā)中心提供數(shù)據(jù)加工以及加工過(guò)程管控的能力,數(shù)據(jù)開(kāi)發(fā)人員利用數(shù)據(jù)開(kāi)發(fā)中心提供的功能,可以快速把數(shù)據(jù)加工成對(duì)業(yè)務(wù)有價(jià)值的形式,提供給業(yè)務(wù)使用。數(shù)據(jù)開(kāi)發(fā)中心主要是面向開(kāi)發(fā)、分析人員,提供離線、實(shí)時(shí)、算法開(kāi)發(fā)工具以及任務(wù)的管理監(jiān)控、告警等一些列集成工具,方便使用,提升效率。3.數(shù)據(jù)治理中心:主要解決的是數(shù)據(jù)數(shù)據(jù)質(zhì)量問(wèn)題,包括數(shù)據(jù)一致性和可復(fù)用性。數(shù)據(jù)量大,增長(zhǎng)快,業(yè)務(wù)對(duì)數(shù)據(jù)的依賴也會(huì)越來(lái)越高,數(shù)據(jù)要統(tǒng)一建設(shè),統(tǒng)一數(shù)倉(cāng)、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)和規(guī)范。4.數(shù)據(jù)計(jì)算存儲(chǔ)中心:為數(shù)據(jù)中臺(tái)提供計(jì)算和存儲(chǔ)能力,基于hadoop生態(tài)體系構(gòu)建,包含多個(gè)數(shù)據(jù)存儲(chǔ)、計(jì)算框架,解決多源異構(gòu)的海量數(shù)據(jù)存儲(chǔ)、計(jì)算等問(wèn)題,最終計(jì)算結(jié)果形成數(shù)據(jù)倉(cāng)庫(kù)。5.開(kāi)放共享中心:把數(shù)據(jù)變?yōu)橐环N服務(wù)能力,通過(guò)數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù),激活整個(gè)數(shù)據(jù)中臺(tái),數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺(tái)存在的價(jià)值所在。企業(yè)的數(shù)據(jù)服務(wù)是千變?nèi)f化的,中臺(tái)產(chǎn)品可以帶有一些標(biāo)準(zhǔn)服務(wù),但是很難滿足企業(yè)的服務(wù)訴求,大部分服務(wù)還是需要通過(guò)中臺(tái)的能力快速定制。6.數(shù)據(jù)調(diào)度中心:數(shù)據(jù)中臺(tái)需承載著大量多樣的數(shù)據(jù)處理任務(wù),調(diào)度中心主要解決各種任務(wù)能夠按照業(yè)務(wù)自定義的執(zhí)行順序和執(zhí)行策略,被自動(dòng)化的調(diào)度且具備足夠的容錯(cuò)能力。7.數(shù)據(jù)管理中心:定位為閉環(huán)涵蓋數(shù)據(jù)中臺(tái)能力的全平臺(tái)整合,包括對(duì)數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示。同時(shí)統(tǒng)一數(shù)據(jù)應(yīng)用開(kāi)發(fā)門戶,滿足從數(shù)據(jù)ETL、數(shù)據(jù)研發(fā)、可視化展現(xiàn)、數(shù)據(jù)治理、數(shù)據(jù)輸出到工作流調(diào)度的數(shù)據(jù)應(yīng)用全生命周期開(kāi)發(fā)工具的集中管理。8.微服務(wù)治理:基于目前流行的SpringCloud微服務(wù)技術(shù),提供了服務(wù)注冊(cè)中心,統(tǒng)一配置中心,網(wǎng)關(guān),鑒權(quán)中心,熔斷保護(hù),用戶中心,日志手機(jī),服務(wù)雙向通訊等能力,建立多個(gè)微服務(wù)集群,來(lái)提供高可用能力。微服務(wù)治理體系是數(shù)據(jù)中臺(tái)得以健康、持續(xù)運(yùn)轉(zhuǎn)的基礎(chǔ),如果沒(méi)有它們,數(shù)據(jù)中臺(tái)很可能像個(gè)一般項(xiàng)目一樣,一期搭建起平臺(tái)、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個(gè)應(yīng)用場(chǎng)景之后而止步,無(wú)法正常地持續(xù)運(yùn)營(yíng),不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價(jià)值。數(shù)據(jù)中臺(tái)功能設(shè)計(jì)圖1:數(shù)據(jù)中臺(tái)功能結(jié)構(gòu)圖1.數(shù)據(jù)采集交換平臺(tái):高擴(kuò)展性的數(shù)據(jù)交換平臺(tái),支持對(duì)結(jié)構(gòu)化及無(wú)結(jié)構(gòu)化的異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)傳輸,需具有數(shù)據(jù)權(quán)限管控、節(jié)點(diǎn)服務(wù)高可用和多租戶資源隔離等業(yè)務(wù)特性。2.數(shù)據(jù)開(kāi)發(fā)平臺(tái):支持在線寫(xiě)SQL、Pyspark、HiveQL等腳本,提交給中間層計(jì)算引擎執(zhí)行的數(shù)據(jù)分析Web工具,支持自定義函數(shù)、資源管控和智能診斷等特性。3.計(jì)算引擎中間件:起到承上啟下的作用,負(fù)責(zé)數(shù)據(jù)計(jì)算任務(wù)提交、分發(fā)與管理,同時(shí)也是維護(hù)數(shù)據(jù)中臺(tái)穩(wěn)定運(yùn)行的關(guān)鍵服務(wù)。計(jì)算引擎根據(jù)計(jì)算集群能力狀況決定計(jì)算任務(wù)是提交或是在隊(duì)列中等待,在集群任務(wù)負(fù)載較高的情況下,保障高優(yōu)先級(jí)的任務(wù)優(yōu)先被執(zhí)行。同時(shí),計(jì)算引擎中間件支持多種異構(gòu)任務(wù),如Sql,Hql、Spark、Python、scala等,以適應(yīng)不同的數(shù)據(jù)開(kāi)發(fā)需求。4.任務(wù)調(diào)度平臺(tái):批量任務(wù)調(diào)度系統(tǒng),其中的任務(wù)指的是大數(shù)據(jù)領(lǐng)域數(shù)據(jù)開(kāi)發(fā)過(guò)程中的ETL任務(wù),包括常規(guī)的CommandShell和HadoopMR、Hive、Spark、Sqoop、Python等大數(shù)據(jù)任務(wù),還包括數(shù)據(jù)到達(dá)檢查任務(wù)和工作流之間的依賴任務(wù)的任務(wù)類型,支持完善的告警和工作流執(zhí)行策略。5.數(shù)據(jù)質(zhì)量管理平臺(tái):支持多種異構(gòu)數(shù)據(jù)源的質(zhì)量校驗(yàn)、通知、管理服務(wù)的數(shù)據(jù)質(zhì)量管理平臺(tái),解決業(yè)務(wù)系統(tǒng)運(yùn)行、數(shù)據(jù)中臺(tái)建設(shè)及數(shù)據(jù)治理過(guò)程中的各種數(shù)據(jù)質(zhì)量問(wèn)題。6.數(shù)據(jù)可視化應(yīng)用平臺(tái):集成數(shù)據(jù)可視化BI工具,與上游的數(shù)據(jù)集市關(guān)聯(lián)起來(lái),支持拖拽式報(bào)表定義、圖表聯(lián)動(dòng)、鉆取、全局篩選、多維分析、實(shí)時(shí)查詢等數(shù)據(jù)開(kāi)發(fā)探索的分析模式,同時(shí)支持?jǐn)?shù)據(jù)質(zhì)量校驗(yàn)。7.數(shù)據(jù)分析挖掘:架構(gòu)在數(shù)據(jù)倉(cāng)庫(kù)之上,為數(shù)據(jù)分析師提供穩(wěn)定、高質(zhì)量的跨主題數(shù)據(jù)資源。8.數(shù)據(jù)共享:定義了一套統(tǒng)一的前后臺(tái)接入規(guī)范,可讓外部數(shù)據(jù)應(yīng)用系統(tǒng)快速地接入的能力,允許上下文信息跨系統(tǒng)級(jí)共享,徹底告別應(yīng)用孤島,同時(shí)集成數(shù)據(jù)發(fā)送能力??傮w設(shè)計(jì)原則先進(jìn)性:采用業(yè)界領(lǐng)先的管理思想和技術(shù)手段構(gòu)建數(shù)據(jù)平臺(tái),保證信息化體系結(jié)構(gòu)和數(shù)據(jù)倉(cāng)庫(kù)解決方案在業(yè)界處于領(lǐng)先地位;開(kāi)放性:數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)模型采用國(guó)際統(tǒng)一標(biāo)準(zhǔn)進(jìn)行建模,集成現(xiàn)有業(yè)務(wù)系統(tǒng)各模塊數(shù)據(jù),這些數(shù)據(jù)可供管理人員共同使用,支持多種數(shù)據(jù)源和第三方的分析與報(bào)告工具,支持?jǐn)?shù)據(jù)的抽取和數(shù)據(jù)的分析,如能夠提供對(duì)各種數(shù)據(jù)業(yè)務(wù)含義進(jìn)行解釋和方便的查詢,為開(kāi)發(fā)人員提供高效的外部接口。靈活性:數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的模型需要能夠依業(yè)務(wù)變化而調(diào)整,從不同的角度對(duì)整個(gè)××公司整體的生產(chǎn)經(jīng)營(yíng)情況進(jìn)行多維度、多角度、多指標(biāo)的不同層次的分析,這樣就確保了隨著業(yè)務(wù)的發(fā)展,可以很方便的在此基礎(chǔ)上擴(kuò)充更多的應(yīng)用、主題,用戶能夠靈活地根據(jù)實(shí)際需要定制不同層次的分析。持續(xù)性:數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)提供了一個(gè)完善的數(shù)據(jù)平臺(tái),保存了大量的歷史數(shù)據(jù),具備極佳的擴(kuò)展性,可以為今后可能出現(xiàn)的管理、決策支持系統(tǒng)提供數(shù)據(jù)支持。容災(zāi)性:數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的3個(gè)重要元件,包括ODS、EDW、DM的系統(tǒng)平臺(tái)架設(shè)于不同的數(shù)據(jù)庫(kù)實(shí)例,此種設(shè)計(jì)確保系統(tǒng)因單個(gè)系統(tǒng)發(fā)生災(zāi)害時(shí),減少系統(tǒng)恢復(fù)的時(shí)間,降低相應(yīng)的損失。擴(kuò)展性:由于用戶以后的需求會(huì)不斷發(fā)展,使用人數(shù)將隨之?dāng)U大,業(yè)務(wù)壓力不斷上升,只要橫向擴(kuò)展增加服務(wù)器臺(tái)數(shù),不用添加其它附加設(shè)備,以保證用戶的原投資被利用。實(shí)時(shí)性:該系統(tǒng)支持負(fù)載均衡技術(shù),及時(shí)響應(yīng)多人實(shí)時(shí)并發(fā)操作。正確性:數(shù)據(jù)質(zhì)量貫穿數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)的每個(gè)環(huán)節(jié),數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)通過(guò)合理的數(shù)據(jù)質(zhì)量管理方法論保證數(shù)據(jù)質(zhì)量。易用性:該系統(tǒng)使用界面良好,用戶無(wú)需安裝客戶端軟件,只需通過(guò)IE瀏覽器就可進(jìn)行實(shí)時(shí)操作,同時(shí)系統(tǒng)架構(gòu)設(shè)計(jì)優(yōu)良,可以很方便進(jìn)行系統(tǒng)升級(jí)。核心模塊設(shè)計(jì)數(shù)據(jù)管理中心經(jīng)過(guò)調(diào)研分析,公司現(xiàn)有的信息化系統(tǒng)系統(tǒng)28個(gè),需要對(duì)各級(jí)子公司的信息化系統(tǒng)進(jìn)行數(shù)據(jù)資源目錄歸類整理,開(kāi)展主數(shù)據(jù)治理,形成總的數(shù)據(jù)資源目錄和共享資源目錄,為后續(xù)的數(shù)據(jù)應(yīng)用、共享和展示做準(zhǔn)備。初步統(tǒng)計(jì)的“公司信息化系統(tǒng)表”如下。表8:××公司信息化信息表序號(hào)系統(tǒng)名稱在用/在建1基礎(chǔ)檔案系統(tǒng)在用2統(tǒng)計(jì)系統(tǒng)在用3安服系統(tǒng)在用4票據(jù)管理系統(tǒng)在用5計(jì)提系統(tǒng)在用6財(cái)務(wù)系統(tǒng)在用7人事系統(tǒng)在用8安全服務(wù)系統(tǒng)在用9司機(jī)服務(wù)系統(tǒng)在用10微信公眾號(hào)在用11綜合服務(wù)系統(tǒng)在用12智能調(diào)度系統(tǒng)在用13營(yíng)運(yùn)車輛智能維修管理系統(tǒng)在用14材料管理系統(tǒng)在用15調(diào)度排班系統(tǒng)在用16站場(chǎng)聯(lián)網(wǎng)售票在用17客運(yùn)車輛GPS監(jiān)控系統(tǒng)在用18視頻監(jiān)控管理系統(tǒng)在用19車載設(shè)備管理系統(tǒng)在用20云總線系統(tǒng)在用21輪胎管理系統(tǒng)在用22消防器材管理在用23物業(yè)管理系統(tǒng)在用24協(xié)同管理系統(tǒng)在用25考核評(píng)議系統(tǒng)在用26數(shù)據(jù)分析應(yīng)用在建27客戶關(guān)系管理系統(tǒng)在用28網(wǎng)格化微教育平臺(tái)在建(一)數(shù)據(jù)資源管理新增數(shù)據(jù)項(xiàng)管理需求:主要是需對(duì)新增數(shù)據(jù)項(xiàng)進(jìn)行管理,新建的信息化系統(tǒng),在完成項(xiàng)目詳細(xì)設(shè)計(jì)方案后,需登錄平臺(tái)進(jìn)行數(shù)據(jù)項(xiàng)的對(duì)標(biāo)工作,對(duì)新建系統(tǒng)中涉及到的數(shù)據(jù)項(xiàng),與平臺(tái)中的數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)進(jìn)行比對(duì),系統(tǒng)建設(shè)完成后,需對(duì)系統(tǒng)涉及到的數(shù)據(jù)項(xiàng)進(jìn)行驗(yàn)收對(duì)標(biāo),保證信息化系統(tǒng)符合數(shù)據(jù)標(biāo)準(zhǔn)化要求。數(shù)據(jù)資源管理需求:提供元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準(zhǔn)管理,主要是以數(shù)據(jù)資源目錄為基礎(chǔ),統(tǒng)一整合各類數(shù)據(jù)資源,確保數(shù)據(jù)質(zhì)量,形成數(shù)據(jù)庫(kù)體系結(jié)構(gòu),并且實(shí)現(xiàn)數(shù)據(jù)資源的統(tǒng)一管理。提供數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)的創(chuàng)建與維護(hù)功能。圖2:數(shù)據(jù)資源目錄管理流程圖1.新增數(shù)據(jù)項(xiàng)管理,對(duì)新建信息化系統(tǒng)的數(shù)據(jù)項(xiàng)進(jìn)行管理,可在系統(tǒng)進(jìn)行自動(dòng)對(duì)標(biāo),進(jìn)行數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)申報(bào)、變更和審核;2.存量數(shù)據(jù)管理,以數(shù)據(jù)資源目錄為基礎(chǔ),提供平臺(tái)數(shù)據(jù)資源和數(shù)據(jù)標(biāo)準(zhǔn)的檢索、查詢和修改等功能。3.建立源庫(kù)表-->接口表-->ETL處理過(guò)程-->目標(biāo)庫(kù)表的元數(shù)據(jù)關(guān)聯(lián)關(guān)系,從而為后續(xù)的數(shù)據(jù)標(biāo)準(zhǔn)管理、主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理奠堅(jiān)基礎(chǔ)。(二)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范標(biāo)準(zhǔn)規(guī)范制定需求主要是對(duì)各信息化系統(tǒng)的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)規(guī)范的制定,通過(guò)制定全方位的標(biāo)準(zhǔn)規(guī)范,將信息資源體系的生產(chǎn)、整合、共享和管理各個(gè)環(huán)節(jié)業(yè)務(wù)有效的連接起來(lái),并為各業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)共享和信息服務(wù)提供標(biāo)準(zhǔn)規(guī)范。標(biāo)準(zhǔn)規(guī)范的制定工作需要提交以下文檔:平臺(tái)所有數(shù)據(jù)項(xiàng)及數(shù)據(jù)屬性標(biāo)準(zhǔn)規(guī)范、主數(shù)據(jù)治理規(guī)范、數(shù)據(jù)字典標(biāo)準(zhǔn)規(guī)范、資源數(shù)據(jù)庫(kù)表結(jié)構(gòu)標(biāo)準(zhǔn)規(guī)范。標(biāo)準(zhǔn)規(guī)范的協(xié)調(diào)和優(yōu)化功能,確保平臺(tái)建設(shè)少走彎路、提高效率,并提高數(shù)據(jù)的質(zhì)量。1.對(duì)公司內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源調(diào)研分析,明確數(shù)據(jù)范圍,整理數(shù)據(jù)表結(jié)構(gòu)和數(shù)據(jù)字典,校驗(yàn)數(shù)據(jù)信息,分析數(shù)據(jù)質(zhì)量。對(duì)業(yè)務(wù)系統(tǒng)情況進(jìn)行調(diào)研:圖3:信息系統(tǒng)基本情況梳理圖表格說(shuō)明:系統(tǒng)狀態(tài):建設(shè)中、運(yùn)行中、停止使用、其他數(shù)據(jù)生產(chǎn)方式:人工錄入,自動(dòng)生成,逐級(jí)報(bào)送,其他單位報(bào)送,其他數(shù)據(jù)更新頻率:實(shí)時(shí)、按天、按月、按季、每半年、每年、其他系統(tǒng)使用頻率:上年累計(jì)用戶訪問(wèn)/登錄次數(shù)信息系統(tǒng)安全等級(jí)定級(jí)情況:一級(jí)、二級(jí)、三級(jí)、四級(jí)、五級(jí)、未定級(jí)信息系統(tǒng)保護(hù)等級(jí):秘密、機(jī)密、絕密、未定密2.數(shù)據(jù)資源目錄建設(shè),可按不同的分類如部門職能、單位配置數(shù)據(jù)資源總目錄,對(duì)公司內(nèi)部數(shù)據(jù)資源總目錄進(jìn)行分析,挑選出可共享給內(nèi)部各單位的數(shù)據(jù)資源形成公司內(nèi)部數(shù)據(jù)共享目錄。圖4:資源目錄調(diào)研需求圖3.數(shù)據(jù)資源目錄管理,提供管理員對(duì)資源編目的增、刪、改等基本編目功能,能夠?qū)⒛夸泿?kù)按照指定的格式導(dǎo)出為Word和Excel格式,以便編輯和打印成冊(cè),提供普通用戶對(duì)資源目錄的瀏覽和查看功能。圖5:資源模型調(diào)研需求圖任務(wù)編排調(diào)度中心任務(wù)編排與調(diào)度是數(shù)據(jù)中臺(tái)的數(shù)據(jù)流核心,數(shù)據(jù)中臺(tái)應(yīng)支持批量任務(wù)調(diào)度管理,即實(shí)現(xiàn)統(tǒng)一的任務(wù)調(diào)度與編排管理功能,其中的任務(wù)指的是大數(shù)據(jù)領(lǐng)域數(shù)據(jù)開(kāi)發(fā)過(guò)程中的ETL任務(wù),包括常規(guī)的CommandShell和HadoopMR、Hive、Spark、Sqoop、Python等不同類型的大數(shù)據(jù)任務(wù),還包括數(shù)據(jù)到達(dá)檢查任務(wù)和工作流之間的依賴任務(wù)檢查。支持使用工作流的可視化的方式對(duì)工作任務(wù)進(jìn)行統(tǒng)一編排和調(diào)度。調(diào)度平臺(tái)讓相關(guān)的業(yè)務(wù)系統(tǒng)、處理系統(tǒng)按照一定的業(yè)務(wù)邏輯,在開(kāi)發(fā)人員的編排下,像流水線一樣,或串行,或并行,按照一定的依賴關(guān)系,在每日,每周定時(shí)觸發(fā),依次執(zhí)行。主要應(yīng)包含以下功能:1.一次性調(diào)度:該業(yè)務(wù)執(zhí)行一次后進(jìn)入執(zhí)行完畢狀態(tài),不再進(jìn)行調(diào)度。該類型的調(diào)度可以細(xì)分為兩種:及時(shí)性調(diào)度和定時(shí)調(diào)度2.循環(huán)調(diào)度:該業(yè)務(wù)執(zhí)行一次后進(jìn)入執(zhí)行完畢狀態(tài),但需要循環(huán)調(diào)度,當(dāng)下一次調(diào)度周期來(lái)臨,則會(huì)被繼續(xù)送入執(zhí)行隊(duì)列執(zhí)行。3.可以設(shè)置業(yè)務(wù)的調(diào)度計(jì)劃,即手動(dòng)執(zhí)行與自動(dòng)循環(huán)執(zhí)行(手動(dòng)執(zhí)行和循環(huán)執(zhí)行都會(huì)由調(diào)度管理器選擇隊(duì)列執(zhí)行)4.提供完善的接口和管理模塊,讓眾多的作業(yè)管理簡(jiǎn)易高效。5.支持任務(wù)失敗或者任務(wù)完成觸發(fā)告警,支持多級(jí)別細(xì)顆粒度的告警,和監(jiān)控系統(tǒng)打通,支持郵件、微信、短信等多種方式通知相關(guān)人員。6.對(duì)于同一工作流編排任務(wù)中,支持并發(fā)執(zhí)行,例如在一個(gè)工作流的上一次提交未執(zhí)行完成時(shí),可以重新觸發(fā)該工作流的新一次提交,使其并發(fā)執(zhí)行。任務(wù)調(diào)度設(shè)計(jì)圖見(jiàn)圖6:數(shù)據(jù)采集交換平臺(tái)與任務(wù)調(diào)度平臺(tái)設(shè)計(jì)圖平臺(tái)管理中心(一)需求分析平臺(tái)管理主要是對(duì)平臺(tái)的用戶管理、權(quán)限管理和站內(nèi)信息的管理等。1、用戶管理:至少包括用戶查詢、用戶新增、用戶資料修改等功能。2、權(quán)限管理:平臺(tái)的使用用戶為公司及其直屬單位的信息化部門工作人員。不同的使用用戶的賬號(hào)的權(quán)限各不相同,可對(duì)平臺(tái)賬號(hào)按照權(quán)限進(jìn)行劃分:高級(jí)管理員賬號(hào)、管理員賬號(hào)、公司內(nèi)部各業(yè)務(wù)部門賬號(hào)、運(yùn)維人員賬號(hào)、開(kāi)發(fā)人員賬號(hào)等。(1)高級(jí)管理員:信息中心和數(shù)據(jù)中心負(fù)責(zé)人的賬號(hào)為高級(jí)管理員賬號(hào),具有最高的系統(tǒng)訪問(wèn)權(quán)限??蓪?duì)平臺(tái)所有的功能進(jìn)行操作。例如:數(shù)據(jù)共享審批、數(shù)據(jù)查詢統(tǒng)計(jì)、數(shù)據(jù)資源查看、平臺(tái)資源管控等功能。(2)管理員:公司信息化管理部門賬號(hào)為管理員賬號(hào),可根據(jù)用戶需要對(duì)平臺(tái)各子系統(tǒng)功能權(quán)限進(jìn)行調(diào)配,并管理平臺(tái)賬號(hào)。(3)普通用戶直屬部門:對(duì)應(yīng)公司各直屬部門,平臺(tái)為各個(gè)部門分配一個(gè)賬號(hào),擁有瀏覽平臺(tái)的數(shù)據(jù)資源目錄、數(shù)據(jù)資源使用申請(qǐng)和數(shù)據(jù)共享等功能,是系統(tǒng)主要的使用用戶之一。(4)普通用戶子公司管理層:對(duì)應(yīng)公司下屬各子公司管理層,平臺(tái)為各個(gè)子公司分配一個(gè)賬號(hào),擁有瀏覽平臺(tái)的數(shù)據(jù)資源目錄、報(bào)送數(shù)據(jù)資源和申請(qǐng)使用數(shù)據(jù)資源等功能,是系統(tǒng)主要的使用用戶之一。(5)運(yùn)維人員:平臺(tái)運(yùn)維監(jiān)控及數(shù)據(jù)處理等工作人員。(6)開(kāi)發(fā)人員:根據(jù)各直屬部門、子公司相關(guān)功能需求和公司管理業(yè)務(wù)需要,在平臺(tái)上進(jìn)行基礎(chǔ)應(yīng)用服務(wù)的開(kāi)發(fā)。3、通知公告通知公告以簡(jiǎn)要列表的形式列出由平臺(tái)管理人員發(fā)出的通知公告,并按通知公告到達(dá)的時(shí)間進(jìn)行倒序排列,將最新的通知公告列在第一條,用戶登錄時(shí)及可查閱通知公告信息。(二)設(shè)計(jì)說(shuō)明用戶管理包括用戶查詢、用戶新增、用戶資料修改等功能,通過(guò)對(duì)每個(gè)用戶設(shè)置系統(tǒng)角色和機(jī)構(gòu)進(jìn)行權(quán)限控制,通知公告主要以文字形式為主,可結(jié)合圖片。數(shù)據(jù)采集交換中心建設(shè)數(shù)據(jù)采集交換服務(wù)平臺(tái),使用數(shù)據(jù)采集工具,對(duì)業(yè)務(wù)系統(tǒng)進(jìn)行全量數(shù)據(jù)采集,支持結(jié)構(gòu)化、半結(jié)構(gòu)化以及無(wú)結(jié)構(gòu)化的存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)同步。將數(shù)據(jù)采集交換流程進(jìn)行拆分,抽象出數(shù)據(jù)源,交換任務(wù),交換作業(yè)等概念,達(dá)到可視化管理數(shù)據(jù)同步流程的目的。架構(gòu)設(shè)計(jì)如下圖:圖6:數(shù)據(jù)采集交換平臺(tái)與任務(wù)調(diào)度平臺(tái)設(shè)計(jì)圖設(shè)計(jì)說(shuō)明:1.數(shù)據(jù)源管理:以綁定項(xiàng)目的方式共享數(shù)據(jù)源;可設(shè)置數(shù)據(jù)源對(duì)外權(quán)限,控制數(shù)據(jù)的流入和流出。2.多傳輸引擎支持:整合Alibaba的DataX傳輸引擎,搭建數(shù)據(jù)ETL平臺(tái)對(duì)數(shù)據(jù)進(jìn)行接入和標(biāo)準(zhǔn)化轉(zhuǎn)換,提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載功能,可通過(guò)SQL/JDBC/ODBC等不同接口、批量導(dǎo)出腳本、Sqoop并行化抽取等方式,從現(xiàn)有業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)(Oracle、sqlserver、mysql、HDFS、Hive、HBase、ElasticsSearch)中批量導(dǎo)出數(shù)據(jù)并經(jīng)轉(zhuǎn)換處理后,將數(shù)據(jù)輸入到對(duì)應(yīng)的HDFS和Hive資源庫(kù)。3.監(jiān)控長(zhǎng)時(shí)間運(yùn)行的任務(wù)和狀態(tài)異常任務(wù),及時(shí)釋放占用資源并發(fā)出告警。數(shù)據(jù)質(zhì)量校驗(yàn)支持多種異構(gòu)數(shù)據(jù)源的質(zhì)量校驗(yàn)、通知、管理服務(wù)的數(shù)據(jù)質(zhì)量管理平臺(tái),解決業(yè)務(wù)系統(tǒng)運(yùn)行、數(shù)據(jù)中心建設(shè)及數(shù)據(jù)治理過(guò)程中的各種數(shù)據(jù)質(zhì)量問(wèn)題。依賴計(jì)算引擎中間件進(jìn)行數(shù)據(jù)計(jì)算,提供數(shù)據(jù)質(zhì)量模型構(gòu)建、數(shù)據(jù)質(zhì)量模型執(zhí)行,數(shù)據(jù)質(zhì)量任務(wù)管理,異常數(shù)據(jù)發(fā)現(xiàn)保存以及數(shù)據(jù)質(zhì)量報(bào)表生成等功能。1.數(shù)據(jù)質(zhì)量模型定義:支持單表校驗(yàn)數(shù)據(jù)、跨表校驗(yàn)數(shù)據(jù)、自定義校驗(yàn)數(shù)據(jù),包括空值校驗(yàn),枚舉校驗(yàn)、自定義校驗(yàn)規(guī)則等常用校驗(yàn)。2.數(shù)據(jù)質(zhì)量報(bào)表:支持生成數(shù)據(jù)質(zhì)量報(bào)表。3.日志管理:支持日志聚合管理,方便排查數(shù)據(jù)質(zhì)量任務(wù)。4.異常數(shù)據(jù)管理:支持異常數(shù)據(jù)提取和存儲(chǔ),快速定位問(wèn)題。5.支持任務(wù)編排工作流中進(jìn)行數(shù)據(jù)質(zhì)量校驗(yàn)。計(jì)算引擎中間件計(jì)算引擎中間件:對(duì)接上層數(shù)據(jù)處理應(yīng)用,屏蔽掉底層大數(shù)據(jù)計(jì)算平臺(tái)的各種調(diào)用和使用細(xì)節(jié),起到承上啟下的作用,是維護(hù)數(shù)據(jù)中臺(tái)穩(wěn)定運(yùn)行的關(guān)鍵服務(wù)。主要核心組件有:1.網(wǎng)關(guān):支持WebSocket一對(duì)多能力的網(wǎng)關(guān)服務(wù),主要用于解析和路由轉(zhuǎn)發(fā)用戶的請(qǐng)求到指定微服務(wù)。2.統(tǒng)一入口:從作業(yè)生成到提交到執(zhí)行引擎,再到作業(yè)信息反饋給用戶和作業(yè)關(guān)閉,管理一個(gè)作業(yè)的全生命周期。3.引擎管理器:負(fù)責(zé)向資源管理服務(wù)申請(qǐng)和鎖定資源,并實(shí)例化新的引擎。4.執(zhí)行引擎:真正執(zhí)行用戶作業(yè)的微服務(wù),它由引擎管理器啟動(dòng),直接跟提交給它作業(yè)的統(tǒng)一入口進(jìn)行交互,將作業(yè)正確執(zhí)行,并反饋用戶需要的各種信息,如日志、進(jìn)度、狀態(tài)和結(jié)果集等。5.資源管理服務(wù):實(shí)時(shí)管控每個(gè)系統(tǒng)和每個(gè)用戶的資源使用情況,管理微服務(wù)集群的資源使用和實(shí)際負(fù)載,限制系統(tǒng)和用戶的資源使用量和并發(fā)數(shù)。6.注冊(cè)中心:每個(gè)微服務(wù)都內(nèi)置了EurekaClient,可以訪問(wèn)EurekaServer,實(shí)時(shí)獲得服務(wù)發(fā)現(xiàn)的能力。圖7:計(jì)算引擎總體處理流程1).上層系統(tǒng)的用戶提交一個(gè)SQL,先經(jīng)過(guò)網(wǎng)關(guān),網(wǎng)關(guān)負(fù)責(zé)解析用戶請(qǐng)求,并路由轉(zhuǎn)發(fā)給合適的統(tǒng)一入口2).統(tǒng)一入口會(huì)先尋找該系統(tǒng)的該用戶是否存在可用的計(jì)算引擎服務(wù),如果存在,則直接將請(qǐng)求提交給計(jì)算引擎服務(wù)3).不存在可用計(jì)算引擎服務(wù),開(kāi)始通過(guò)注冊(cè)中心的服務(wù)注冊(cè)發(fā)現(xiàn)功能,拿到所有的計(jì)算引擎管理器列表,通過(guò)請(qǐng)求資源管理器實(shí)時(shí)獲取引擎管理器的實(shí)際負(fù)載4).統(tǒng)一入口拿到負(fù)載最低的引擎管理器,開(kāi)始要求引擎管理器啟動(dòng)一個(gè)計(jì)算引擎服務(wù)5).引擎管理器接收到請(qǐng)求,開(kāi)始詢問(wèn)資源管理器該系統(tǒng)下的該用戶,是否可以啟動(dòng)新引擎6).如果可以啟動(dòng),則開(kāi)始請(qǐng)求資源并鎖定;否則返回啟動(dòng)失敗的異常給到統(tǒng)一入口7).鎖定資源成功,開(kāi)始啟動(dòng)新的計(jì)算引擎服務(wù);啟動(dòng)成功后,將新計(jì)算新引擎返回給統(tǒng)一入口8).統(tǒng)一入口拿到新引擎后,開(kāi)始向新引擎請(qǐng)求執(zhí)行SQL9).計(jì)算新引擎接收SQL請(qǐng)求,開(kāi)始向Yarn提交執(zhí)行SQL,并實(shí)時(shí)推送日志、進(jìn)度和狀態(tài)給統(tǒng)一入口10).統(tǒng)一入口將獲取的日志、進(jìn)度和狀態(tài)實(shí)時(shí)推送給網(wǎng)關(guān)11).網(wǎng)關(guān)回推日志、進(jìn)度和狀態(tài)給前端12).一旦SQL執(zhí)行成功,引擎主動(dòng)將結(jié)果集推給統(tǒng)一入口,統(tǒng)一入口通知前端拿取結(jié)果。存儲(chǔ)與計(jì)算中心計(jì)算和存儲(chǔ)中心主要包括:分布式列存儲(chǔ)數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)、SQL引擎、實(shí)時(shí)流處理引擎、聯(lián)合查詢引擎、全文檢索引擎、分布式批處理計(jì)算引擎(Hadoop/Spark/MapReduce)以及任務(wù)調(diào)度與監(jiān)控等組件。數(shù)據(jù)倉(cāng)庫(kù)主要是由于現(xiàn)有各個(gè)信息化系統(tǒng)的數(shù)據(jù)庫(kù)都為各個(gè)系統(tǒng)獨(dú)自使用,且數(shù)據(jù)庫(kù)沒(méi)有分基礎(chǔ)庫(kù)、標(biāo)準(zhǔn)庫(kù)和關(guān)聯(lián)庫(kù)等類別,都為生產(chǎn)庫(kù),各自生產(chǎn)庫(kù)中數(shù)據(jù)庫(kù)的設(shè)計(jì)都不一樣。需將這些需要接入的信息化系統(tǒng)的數(shù)據(jù)庫(kù)中的數(shù)據(jù)采集到數(shù)據(jù)倉(cāng)庫(kù)中,通過(guò)數(shù)據(jù)倉(cāng)庫(kù)分層標(biāo)準(zhǔn),對(duì)數(shù)據(jù)進(jìn)行層層清洗和處理,形成最終標(biāo)準(zhǔn)數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)分層設(shè)計(jì)原則:1.把復(fù)雜的問(wèn)題簡(jiǎn)單化,將一個(gè)復(fù)雜的任務(wù)分解成多個(gè)步驟來(lái)完成,每一層只處理單一的步驟,方便定位問(wèn)題。2.減少重復(fù)開(kāi)發(fā),規(guī)范數(shù)據(jù)分層,通過(guò)中間層的數(shù)據(jù),減少極大的重復(fù)計(jì)算,增加一次計(jì)算結(jié)果的復(fù)用性。3.隔離原始數(shù)據(jù),不論是數(shù)據(jù)異常還是數(shù)據(jù)的敏感性,使真實(shí)數(shù)據(jù)與統(tǒng)計(jì)數(shù)據(jù)解耦開(kāi)。圖8:數(shù)據(jù)倉(cāng)庫(kù)分層設(shè)計(jì)圖1).ODS層:原始數(shù)據(jù)層,存放原始數(shù)據(jù)。2).DWD層:明細(xì)數(shù)據(jù)層,結(jié)構(gòu)和粒度與原始表基本保持一致,對(duì)ODS層數(shù)據(jù)進(jìn)行清洗,主要去除空值,臟數(shù)據(jù),超過(guò)極限范圍等不規(guī)范的數(shù)據(jù)。3).DIM層:維度層,存放維度數(shù)據(jù),建立一致數(shù)據(jù)分析維度,可以降低數(shù)據(jù)計(jì)算口徑和算法不統(tǒng)一風(fēng)險(xiǎn)。4).DWT層:主題層,存放關(guān)聯(lián)后的各業(yè)務(wù)主題大寬表,主要是對(duì)DWD層的事實(shí)數(shù)據(jù)和DIM層的維度數(shù)據(jù)通過(guò)ETL做一些數(shù)據(jù)關(guān)聯(lián)操作,把明細(xì)數(shù)據(jù)做寬存下來(lái),減少后續(xù)報(bào)表的重復(fù)計(jì)算,提高后續(xù)各種報(bào)表的SQL開(kāi)發(fā)的簡(jiǎn)易程度和效率。5).DWA層:輕度匯總層,以DWT層數(shù)據(jù)為基礎(chǔ),對(duì)各個(gè)業(yè)務(wù)主題表進(jìn)行輕度匯總,主要針對(duì)一些維度進(jìn)行聚合,大幅度減少數(shù)據(jù)量后保存下來(lái)。6).APP層:主要為各種統(tǒng)計(jì)報(bào)表提供數(shù)據(jù)?;贒WA層不同表的數(shù)據(jù),進(jìn)行一些相對(duì)復(fù)雜的關(guān)聯(lián)操作,將最后得出的報(bào)表數(shù)據(jù)保存下來(lái)存到APP層。數(shù)據(jù)共享中心(一)需求分析提供公司接收或主動(dòng)獲取管理部門、其他相關(guān)單位共享的數(shù)據(jù)內(nèi)容,比如交通違法違章數(shù)據(jù)、行業(yè)整體營(yíng)運(yùn)數(shù)據(jù)等;同時(shí)預(yù)留公司提供給外部其他單位數(shù)據(jù)的接口平臺(tái),具備公司與其他單位之間的數(shù)據(jù)輸出和管理的條件。(二)設(shè)計(jì)說(shuō)明1.獲取外部單位的接口,改造整合成為平臺(tái)內(nèi)部的標(biāo)準(zhǔn)數(shù)據(jù)接口;2.選擇通用的數(shù)據(jù)資源,提供可供外部單位調(diào)用的通用數(shù)據(jù)接口;3.平臺(tái)按照定制需求處理后的數(shù)據(jù)結(jié)果輸出,數(shù)據(jù)應(yīng)用接口。平臺(tái)監(jiān)控中心(一)需求分析整個(gè)平臺(tái)涉及到多臺(tái)服務(wù)器、大量存儲(chǔ)、多個(gè)軟件平臺(tái),因此需要建設(shè)平臺(tái)監(jiān)控功能,對(duì)這些軟硬件的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控,當(dāng)平臺(tái)或者數(shù)據(jù)出現(xiàn)異常時(shí),運(yùn)維人員可通過(guò)該功能,方便快捷的查詢出現(xiàn)異常的原因,以便迅速進(jìn)行故障處理,保障系統(tǒng)的正常運(yùn)轉(zhuǎn)。(二)設(shè)計(jì)說(shuō)明1.對(duì)平臺(tái)運(yùn)行情況進(jìn)行監(jiān)控,對(duì)異常情況進(jìn)行告警和通知。2.監(jiān)控功能包括:日常操作監(jiān)控、數(shù)據(jù)傳輸鏈路監(jiān)控、數(shù)據(jù)傳輸狀態(tài)監(jiān)控和平臺(tái)軟硬件監(jiān)控。3.告警功能包括:數(shù)據(jù)傳輸鏈路告警、數(shù)據(jù)傳輸狀態(tài)告警和平臺(tái)硬件設(shè)備告警。數(shù)據(jù)應(yīng)用中心(一)需求分析數(shù)據(jù)主題分析是在基礎(chǔ)庫(kù)和關(guān)聯(lián)庫(kù)的基礎(chǔ)上,面向公司各業(yè)務(wù)領(lǐng)域的分析應(yīng)用,采用多種技術(shù)手段,將相關(guān)的數(shù)據(jù)進(jìn)行進(jìn)一步的分析,如進(jìn)行公交企業(yè)財(cái)務(wù)和運(yùn)營(yíng)情況結(jié)合的經(jīng)營(yíng)狀況分析、客運(yùn)站營(yíng)運(yùn)數(shù)據(jù)分析、公共交通出行OD客流和出租車經(jīng)營(yíng)分析、整體動(dòng)態(tài)數(shù)據(jù)監(jiān)控等;展示主要是對(duì)數(shù)據(jù)流向和各類數(shù)據(jù)的實(shí)時(shí)統(tǒng)計(jì)進(jìn)行展示,具體舉例如下:1.公交企業(yè)經(jīng)營(yíng)狀況分析首先對(duì)公交企業(yè)經(jīng)營(yíng)狀況分析,參與的信息包括企業(yè)基本信息、財(cái)務(wù)情況和營(yíng)運(yùn)情況等等。通過(guò)關(guān)聯(lián)分析,建立車輛數(shù)、人員數(shù)、收入和車輛里程的關(guān)聯(lián)。2.客運(yùn)場(chǎng)站經(jīng)營(yíng)企業(yè)營(yíng)運(yùn)數(shù)據(jù)分析客運(yùn)站的營(yíng)運(yùn)數(shù)據(jù)主要包括發(fā)送班次、旅客發(fā)送量和售票數(shù)據(jù)等,通過(guò)對(duì)每個(gè)客運(yùn)站的數(shù)據(jù)進(jìn)行分析,得出每天發(fā)送班次和旅客發(fā)送量排名靠前的客運(yùn)站,判斷每個(gè)客運(yùn)站周邊區(qū)域的人流量和市內(nèi)人群的遷移偏好。3.出租車企業(yè)經(jīng)營(yíng)分析出租車經(jīng)營(yíng)分析對(duì)出租車運(yùn)營(yíng)收入,車輛數(shù)和駕駛員數(shù)量以及收入進(jìn)行分析,通過(guò)了解其變化趨勢(shì),了解佛山出租行業(yè)的發(fā)展前景和狀況。4.公司數(shù)據(jù)資源展示功能公司數(shù)據(jù)資源展示功能對(duì)數(shù)據(jù)流向和各類數(shù)據(jù)的實(shí)時(shí)統(tǒng)計(jì)進(jìn)行展示。包括數(shù)據(jù)共享概況、數(shù)據(jù)整合信息、核心資源統(tǒng)計(jì)、各單位提供數(shù)據(jù)量和共享給各單位的數(shù)據(jù)量等。5.動(dòng)態(tài)系統(tǒng)監(jiān)控對(duì)車輛硬件產(chǎn)生的各類數(shù)據(jù)的進(jìn)行實(shí)時(shí)分類統(tǒng)計(jì)。包括疲勞行為數(shù)據(jù),云總線設(shè)備預(yù)警數(shù)據(jù)等動(dòng)態(tài)安全數(shù)據(jù)監(jiān)控等。(二)設(shè)計(jì)說(shuō)明1、通過(guò)公司內(nèi)各種數(shù)據(jù)關(guān)聯(lián)分析,將結(jié)果進(jìn)行圖形化展示;2、建設(shè)數(shù)據(jù)資源中心應(yīng)用,展示平臺(tái)的數(shù)據(jù)資源總體情況,結(jié)合安全業(yè)務(wù)對(duì)數(shù)據(jù)進(jìn)行動(dòng)態(tài)監(jiān)控。平臺(tái)設(shè)計(jì)安全性安全性需求遵循有限授權(quán)原則、全面確認(rèn)原則和安全跟蹤原則,采用嚴(yán)密的安全體系,平臺(tái)系統(tǒng)滿足總體安全機(jī)制,滿足加密、認(rèn)證、數(shù)據(jù)完整性、一致性、不可否認(rèn)性等安全性要求。平臺(tái)具備通用性和開(kāi)放性。平臺(tái)提供安全運(yùn)行的實(shí)施方案,并對(duì)重大的安全事件擁有足夠豐富的的應(yīng)急方案。并在發(fā)生異常運(yùn)行情況時(shí)應(yīng)自動(dòng)告警,提供郵件、短信、控制臺(tái)等通知方式。身份鑒別1.平臺(tái)滿足“口令+證書(shū)”的雙因素認(rèn)證、限制認(rèn)證錯(cuò)誤次數(shù)、加密整個(gè)通信會(huì)話、加密存儲(chǔ)重要數(shù)據(jù)。2.對(duì)前臺(tái)注冊(cè)用戶、后臺(tái)內(nèi)容管理用戶及系統(tǒng)管理用戶應(yīng)采用身份鑒別技術(shù),對(duì)需要訪問(wèn)系統(tǒng)內(nèi)信息的用戶進(jìn)行識(shí)別,避免非授權(quán)的訪問(wèn)和信息泄露。3.提供角色認(rèn)證,提供應(yīng)用認(rèn)證、管理員認(rèn)證、操作員認(rèn)證、服務(wù)器認(rèn)證。階段建設(shè)規(guī)劃整體項(xiàng)目建設(shè)周期:需求調(diào)研階段。在這個(gè)階段,業(yè)務(wù)分析人員和項(xiàng)目開(kāi)發(fā)人員將一起討論并制定本項(xiàng)目的詳細(xì)需求。方案設(shè)計(jì)階段。在這個(gè)階段,針對(duì)前一階段確定的需求,項(xiàng)目組將制定一個(gè)詳細(xì)的實(shí)施方案。這個(gè)方案定義項(xiàng)目開(kāi)發(fā)參與人員分工、項(xiàng)目開(kāi)發(fā)規(guī)范及流程、項(xiàng)目開(kāi)發(fā)詳細(xì)計(jì)劃、項(xiàng)目開(kāi)發(fā)進(jìn)度表。實(shí)施階段。在這個(gè)階段,項(xiàng)目組成員嚴(yán)格按照前一階段制定的項(xiàng)目管理計(jì)劃按人/天的進(jìn)度予以實(shí)施。培訓(xùn)驗(yàn)收階段。在這個(gè)階段,根據(jù)雙方所簽訂項(xiàng)目合同和系統(tǒng)設(shè)計(jì)的要求,組織本項(xiàng)目的初驗(yàn)。試運(yùn)行階段。項(xiàng)目承包方跟蹤用戶試用情況,并跟進(jìn)修改完善系統(tǒng),保障系統(tǒng)運(yùn)行良好。驗(yàn)收階段。按驗(yàn)收規(guī)范要求完善驗(yàn)收材料,按程序申報(bào)驗(yàn)收及做好有關(guān)匯報(bào)工作。本項(xiàng)目的專業(yè)定位是××公司企業(yè)級(jí)數(shù)據(jù)中臺(tái)的建設(shè),數(shù)據(jù)中臺(tái)架構(gòu)的優(yōu)化及規(guī)范體系的建立。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)有其順序性,且需要大量時(shí)間。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)過(guò)程中,將發(fā)現(xiàn)原有的系統(tǒng)在作業(yè)流程、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)化的問(wèn)題,基于此發(fā)現(xiàn),進(jìn)一步對(duì)平臺(tái)的缺陷進(jìn)行修復(fù)?;谏鲜鱿敕ǎ瑪?shù)據(jù)平臺(tái)具體的實(shí)施分三個(gè)階段,當(dāng)?shù)谝唤ㄔO(shè)完成后,第二階段、第三階段將建設(shè)更為詳細(xì)的企業(yè)各系統(tǒng)數(shù)據(jù)模型,增加新的源數(shù)據(jù)系統(tǒng),擴(kuò)展和完善數(shù)據(jù)主題域,新建更多主題數(shù)據(jù)倉(cāng)庫(kù),涵蓋整個(gè)××公司的業(yè)務(wù)范圍。具體實(shí)施階段規(guī)劃如下圖所示:圖9:數(shù)據(jù)中臺(tái)階段性建設(shè)內(nèi)容第一階段建設(shè)目標(biāo)這一階段的工作重點(diǎn)是完成核心模塊3.4.1數(shù)據(jù)管理中心和3.4.2任務(wù)編排與調(diào)度中心的建設(shè)。搭建數(shù)據(jù)管理中心:建立統(tǒng)一的數(shù)據(jù)模型,實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化和規(guī)范化,對(duì)公司各業(yè)務(wù)板塊及外部的結(jié)構(gòu)化數(shù)據(jù)、半/非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集和存儲(chǔ),改善當(dāng)前數(shù)據(jù)雜亂,各項(xiàng)數(shù)據(jù)不規(guī)范、無(wú)標(biāo)準(zhǔn)的現(xiàn)狀。階段性目標(biāo)成果如下:圖10:數(shù)據(jù)字典圖11:數(shù)據(jù)標(biāo)準(zhǔn)圖12:數(shù)據(jù)目錄圖13:數(shù)據(jù)資源管理搭建任務(wù)編排與調(diào)度處理中心:基于信號(hào)機(jī)制解決跨業(yè)務(wù)系統(tǒng)的數(shù)據(jù)依賴問(wèn)題,避免上游數(shù)據(jù)處理延遲或者錯(cuò)誤,導(dǎo)致下游產(chǎn)生連鎖反應(yīng),保障無(wú)依賴關(guān)系的下游數(shù)據(jù)處理正常運(yùn)行,避免引發(fā)數(shù)據(jù)災(zāi)難。同時(shí)提供監(jiān)控告警以及修復(fù)機(jī)制,具備可監(jiān)控的調(diào)度能力,能夠?qū)崟r(shí)直觀的監(jiān)測(cè)到作業(yè)調(diào)度的各項(xiàng)情況,上游數(shù)據(jù)處理出現(xiàn)問(wèn)題的情況下,對(duì)于有依賴的下游作業(yè),自動(dòng)暫停運(yùn)行,并提供告警日志,第一時(shí)間發(fā)送異常報(bào)告通知運(yùn)維人員,并提供給運(yùn)維人員可以快速重啟作業(yè)的操作手段。階段性目標(biāo)成果如下:圖14:任務(wù)編排圖15:調(diào)度執(zhí)行圖16:調(diào)度監(jiān)控第二階段建設(shè)目標(biāo)第一階段已經(jīng)建設(shè)完成較為完善的數(shù)據(jù)資產(chǎn)目錄,可以滿足整個(gè)系統(tǒng)核心指標(biāo)數(shù)據(jù)管理維護(hù)的需要,同時(shí)具備任務(wù)編排調(diào)度的能力。第二階段,一方面是對(duì)一期已經(jīng)建設(shè)完成的功能模塊的完善和深化,一方面進(jìn)入新一輪功能模塊迭代,初步完成3.4.3平臺(tái)管理中心、3.4.4數(shù)據(jù)采集交換中心、3.4.5數(shù)據(jù)質(zhì)量校驗(yàn)、3.4.6計(jì)算引擎中間件,幾大核心功能模塊。1.數(shù)據(jù)采集交換:將數(shù)據(jù)處理與應(yīng)用分割開(kāi)做獨(dú)立處理,減少耦合,避免因數(shù)據(jù)操作異常引起連鎖反應(yīng),保障應(yīng)用的穩(wěn)定性,改善數(shù)據(jù)環(huán)環(huán)相扣,維護(hù)難度大的現(xiàn)狀。圖17:數(shù)據(jù)源管理圖18:數(shù)據(jù)交換任務(wù)圖19:數(shù)據(jù)來(lái)源和交換目的圖20:字段映射2.提供數(shù)據(jù)質(zhì)量校驗(yàn)功能,集成數(shù)據(jù)質(zhì)量檢查功能,可對(duì)數(shù)據(jù)完整性、正確性等進(jìn)行校驗(yàn)。圖20:創(chuàng)建校驗(yàn)規(guī)則圖20:數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則配置當(dāng)?shù)诙A段順利完成之后數(shù)據(jù)中臺(tái)將初步具備數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)采集交換、任務(wù)編排調(diào)度、數(shù)據(jù)治理、不同的計(jì)算引擎調(diào)度支持等重要功能。第三階段建設(shè)目標(biāo)這一階段工作重點(diǎn)一方面對(duì)前面兩個(gè)階段的功能完善和優(yōu)化,一方面完成階段性目標(biāo)3.4.7存儲(chǔ)與計(jì)算中心、3.4.8數(shù)據(jù)倉(cāng)庫(kù)、3.4.9數(shù)據(jù)共享中心、3.4.10平臺(tái)監(jiān)控中心等功能模塊的開(kāi)發(fā)。隨著這一階段核心模塊的完善,數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)越來(lái)越豐富,平臺(tái)具備數(shù)據(jù)分析的能力,此時(shí)可以為公司BI系統(tǒng)進(jìn)行更多的挖掘和分析,屆時(shí)將實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求和結(jié)果,做各種特征分析,價(jià)值分析,比如:成本黑洞等。階段性成果:1. 提供統(tǒng)一規(guī)范的api接口平臺(tái),其他系統(tǒng)可按照規(guī)范去做增刪改查;2. 滿足各類個(gè)性化需求的二次開(kāi)發(fā),對(duì)于業(yè)務(wù)部門的新需求,能快捷地搭建起數(shù)據(jù)框架,并提取數(shù)據(jù)進(jìn)行分析;3.運(yùn)用數(shù)據(jù)分析軟件做到BI系統(tǒng)的全面預(yù)測(cè)、深入的數(shù)據(jù)分析及多元化的報(bào)表展現(xiàn)。最終成果通過(guò)整合機(jī)關(guān)各個(gè)業(yè)務(wù)部門、分子公司、各個(gè)產(chǎn)業(yè)板塊業(yè)務(wù)數(shù)據(jù),將××公司各層級(jí)管理人員關(guān)心的業(yè)務(wù)指標(biāo)以駕駛艙、分析報(bào)表等形式通過(guò)智慧決策平臺(tái)的個(gè)性化展現(xiàn),各管理層通過(guò)這個(gè)平臺(tái)可以一目了然地看清公司全貌和業(yè)務(wù)全貌,讓公司管理者從各個(gè)方面多個(gè)個(gè)維度來(lái)掌握公司經(jīng)營(yíng)情況,為公司機(jī)關(guān)層面和分子公司管理層提供高效數(shù)據(jù)分析和決策支持。與此同時(shí),通過(guò)大數(shù)據(jù)、數(shù)據(jù)分析等應(yīng)用,逐步形成針對(duì)各產(chǎn)業(yè)板塊的個(gè)性化的數(shù)據(jù)挖掘、數(shù)據(jù)預(yù)測(cè),以提高對(duì)市場(chǎng)的洞察力、提升客戶滿意度、促進(jìn)技術(shù)創(chuàng)新,最終達(dá)成提升企業(yè)市場(chǎng)競(jìng)爭(zhēng)力,為企業(yè)創(chuàng)造更多的經(jīng)濟(jì)效益和社會(huì)效益。硬件基礎(chǔ)設(shè)施分析數(shù)據(jù)存儲(chǔ)需求分析經(jīng)過(guò)調(diào)研分析,公司現(xiàn)擁有車輛9149輛,公交車輛7748輛,公路客運(yùn)車輛956輛,擁有出租汽車445輛;擁有公交線路760條;公路客運(yùn)線路1002條,擁有維修車間31間,充電樁505個(gè),加油站10件,全員人數(shù)19736人,在冊(cè)駕駛員人

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論