大數(shù)據(jù)調(diào)度平臺(tái)助力數(shù)據(jù)運(yùn)營降本增效

1、3大數(shù)據(jù)調(diào)度平臺(tái)助力數(shù)據(jù)運(yùn)營降本增效/朝聞通-新聞稿發(fā)布機(jī)構(gòu)/隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，運(yùn)營商的數(shù)據(jù)量呈指數(shù)級(jí)增長。如何利用海量數(shù)據(jù)資源進(jìn)行價(jià)值和商業(yè)變現(xiàn)，成為運(yùn)營商提高核心競爭力、搶占市場先機(jī)的關(guān)鍵。ETL（數(shù)據(jù)倉庫技術(shù)）作為數(shù)據(jù)信息轉(zhuǎn)換的一種主要技術(shù)手段，是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)中心的重要工具。隨著數(shù)據(jù)量的增長及業(yè)務(wù)場景的變化，取數(shù)和計(jì)算范圍不斷擴(kuò)充，整個(gè)ETL過程的調(diào)度也日益復(fù)雜，這不僅帶來運(yùn)維成本的增加，也讓數(shù)據(jù)生產(chǎn)質(zhì)量難于保障。為此，運(yùn)營商迫切需要尋求新的技術(shù)手段。中興軟創(chuàng)結(jié)合多年的項(xiàng)目運(yùn)營服務(wù)支撐經(jīng)驗(yàn)，提出構(gòu)建全程調(diào)度平臺(tái)解決方案。方案包含進(jìn)度自動(dòng)預(yù)測

2、、異常監(jiān)控告警、數(shù)據(jù)血緣分析等功能，實(shí)現(xiàn)從數(shù)據(jù)匯聚、數(shù)據(jù)處理到數(shù)據(jù)服務(wù)的全流程調(diào)度能力，有效協(xié)助運(yùn)營商提升數(shù)據(jù)處理效率，滿足其處理海量數(shù)據(jù)和復(fù)雜業(yè)務(wù)場景的需求。全流程調(diào)度執(zhí)行多樣化數(shù)據(jù)條理化復(fù)雜夠血緣化可視化節(jié)點(diǎn)管理全局拓?fù)鋱D進(jìn)度預(yù)測調(diào)度監(jiān)控、一數(shù)據(jù)采集溺呈應(yīng)用計(jì)算流程提1交任務(wù)接口機(jī)_集群任務(wù)前置機(jī)集群f數(shù)據(jù)發(fā)布擁任蠻機(jī)數(shù)據(jù)中心數(shù)據(jù)BSS數(shù)據(jù)OSS數(shù)據(jù)MSS數(shù)據(jù)業(yè)務(wù)平臺(tái)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)技術(shù)OracleMySQLSparkStormFlink流程調(diào)度任務(wù)調(diào)度iWi數(shù)據(jù)中心圖1全程調(diào)度平臺(tái)架構(gòu)圖監(jiān)控界面開放作業(yè)阪&息安全管控調(diào)度yp#基礎(chǔ)進(jìn)度監(jiān)控影響分析接入管理開放生命周期數(shù)據(jù)節(jié)點(diǎn)上線啟動(dòng)日志信息

3、圖2全程調(diào)度平臺(tái)功能圖告警開關(guān)-W停止鍵融異常全程調(diào)度平臺(tái)解決方案構(gòu)建了三層立體式調(diào)度體系：第一層端到端調(diào)度，從業(yè)務(wù)角度出發(fā)，提供松耦合、端到端的調(diào)度和監(jiān)控功能。以數(shù)據(jù)為中心，通過數(shù)據(jù)節(jié)點(diǎn)組織數(shù)據(jù)、數(shù)據(jù)依賴關(guān)系、生產(chǎn)流程任務(wù)，實(shí)現(xiàn)調(diào)度信息一點(diǎn)化管理。通過構(gòu)建360度調(diào)度運(yùn)行視圖，洞悉整個(gè)數(shù)據(jù)中心的調(diào)度運(yùn)行情況，提供可視化實(shí)時(shí)監(jiān)控。第二層流程級(jí)調(diào)度，通過流程引擎控制任務(wù)之間的依賴關(guān)系，允許任務(wù)并行或串行執(zhí)行。支持任務(wù)同步或異步執(zhí)行，縮短整個(gè)流程執(zhí)行時(shí)間，提升運(yùn)行效率。第三層任務(wù)調(diào)度，通過正式發(fā)布的任務(wù)，進(jìn)行任務(wù)執(zhí)行策略和調(diào)度策略，實(shí)現(xiàn)任務(wù)程序的周期性、臨時(shí)性或?qū)崟r(shí)不間斷運(yùn)行。任務(wù)調(diào)度實(shí)現(xiàn)數(shù)據(jù)中心多計(jì)算集群任務(wù)的統(tǒng)一配置和協(xié)同運(yùn)行，優(yōu)化系統(tǒng)資源調(diào)配。2017年，中興軟創(chuàng)全程調(diào)度平臺(tái)在湖南電信率先上線。目前已承接了湖南電信數(shù)據(jù)中心的10000+數(shù)據(jù)加工處理任務(wù)，問題查證率提高50%。同時(shí)數(shù)據(jù)質(zhì)量覆蓋度提升至98%，人員培訓(xùn)周期由1個(gè)月縮短到7天，節(jié)省了60%的