大數據調度平臺助力數據運營降本增效

大數據調度平臺助力數據運營降本增效/朝聞通-新聞稿發(fā)布機構/隨著移動互聯(lián)網技術的高速發(fā)展，運營商的數據量呈指數級增長。如何利用海量數據資源進行價值和商業(yè)變現，成為運營商提高核心競爭力、搶占市場先機的關鍵。ETL（數據倉庫技術）作為數據信息轉換的一種主要技術手段，是將業(yè)務系統(tǒng)的數據經過抽取、清洗轉換之后加載到數據中心的重要工具。隨著數據量的增長及業(yè)務場景的變化，取數和計算范圍不斷擴充，整個ETL過程的調度也日益復雜，這不僅帶來運維成本的增加，也讓數據生產質量難于保障。為此，運營商迫切需要尋求新的技術手段。中興軟創(chuàng)結合多年的項目運營服務支撐經驗，提出構建全程調度平臺解決方案。方案包含進度自動預測、異常監(jiān)控告警、數據血緣分析等功能，實現從數據匯聚、數據處理到數據服務的全流程調度能力，有效協(xié)助運營商提升數據處理效率，滿足其處理海量數據和復雜業(yè)務場景的需求。全流程調度執(zhí)行多樣化數據條理化復雜夠血緣化可視化節(jié)點管理全局拓撲圖進度預測調度監(jiān)控、一數據采集溺呈—?—應用計算流程—提—1多樣化數據條理化復雜夠血緣化可視化節(jié)點管理全局拓撲圖進度預測調度監(jiān)控、一數據采集溺呈—?—應用計算流程—提—1交任務接口機_集群任務前置機

集群f數據發(fā)布擁—任蠻機數據中心數據BSS數據OSS數據MSS數據

業(yè)務平臺數據

互聯(lián)網數據技術Oracle

MySQL

Spark

StormFlink流程調度任務調度iWi流程調度任務調度iWi數據中心圖1全程調度平臺架構圖監(jiān)控界面開放作業(yè)阪&息安全管控?調度yp#基礎進度監(jiān)控影響分析接入管理開放生命周期數據節(jié)點上線啟動日圖1全程調度平臺架構圖監(jiān)控界面開放作業(yè)阪&息安全管控?調度yp#基礎進度監(jiān)控影響分析接入管理開放生命周期數據節(jié)點上線啟動日志信息圖2全程調度平臺功能圖告警開關-W停止—鍵融異常全程調度平臺解決方案構建了三層立體式調度體系：第一層端到端調度，從業(yè)務角度出發(fā)，提供松耦合、端到端的調度和監(jiān)控功能。以數據為中心，通過數據節(jié)點組織數據、數據依賴關系、生產流程任務，實現調度信息一點化管理。通過構建360度調度運行視圖，洞悉整個數據中心的調度運行情況，提供可視化實時監(jiān)控。第二層流程級調度，通過流程引擎控制任務之間的依賴關系，允許任務并行或串行執(zhí)行。支持任務同步或異步執(zhí)行，縮短整個流程執(zhí)行時間，提升運行效率。第三層任務調度，通過正式發(fā)布的任務，進行任務執(zhí)行策略和調度策略，實現任務程序的周期性、臨時性或實時不間斷運行。任務調度實現數據中心多計算集群任務的統(tǒng)一配置和協(xié)同運行，優(yōu)化系統(tǒng)資源調配。2017年，中興軟創(chuàng)全程調度平臺在湖南電信率先上線。目前已承接了湖南電信數據中心的10000+數據加工處理任務，問題查證率提高50%。同時數據質量覆蓋度提升至98%，人員培訓周期由1個月縮短到7天，