多級隊列調(diào)度算法可視化界面-【大數(shù)據(jù)篇】數(shù)據(jù)加工的開源任務(wù)調(diào)度系統(tǒng)解決方案DolphinS

1、多級隊列調(diào)度算法可視化界_【數(shù)據(jù)篇】數(shù)據(jù)加的開源任務(wù)調(diào)度系統(tǒng)解決案DolphinS。前數(shù)據(jù)從來不是獨存在的，對數(shù)據(jù)進處理的過程為數(shù)據(jù)加，數(shù)據(jù)加流程之間是存在依賴關(guān)系的，為了解決定時和依賴問題，我們引了任務(wù)調(diào)度系統(tǒng)。在數(shù)據(jù)平臺中，任務(wù)調(diào)度系統(tǒng)負責(zé)管理任務(wù)的啟動時間，任務(wù)之間的依賴關(guān)系，保證數(shù)據(jù)加流程能正確運。除了定時功能，任務(wù)調(diào)度系統(tǒng)對于任務(wù)之間的依賴處理使得調(diào)度更加靈活。同流程內(nèi)的任務(wù)可以通過連線實現(xiàn)依賴；不同流程之間可以通過設(shè)置流程間的依賴關(guān)系結(jié)合來實現(xiàn)依賴。Apache Dolphin Scheduler 是個分布式去中化，易擴展的可視化DAG作流任務(wù)調(diào)度系統(tǒng)。致于解決數(shù)據(jù)處理流程中錯綜復(fù)

2、雜的依賴關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開箱即。DolphinScheduler 系統(tǒng)架構(gòu)Dolphin Scheduler 1.3.x 的系統(tǒng)架構(gòu)圖如下所：Dolphin Scheduler 1.3.x01 MasterServer的系統(tǒng)架構(gòu)由以下服務(wù)組成：MasterServer采分布式中設(shè)計理念，MasterServer主要負責(zé) DAG 任務(wù)切分、任務(wù)提交監(jiān)控，并同時監(jiān)聽其它MasterServer和WorkerServer的健康狀態(tài)。MasterServer服務(wù)啟動時向Zookeeper注冊臨時節(jié)點，通過監(jiān)聽Zookeeper臨時節(jié)點變化來進容錯處理。MasterServer基于net

3、ty提供監(jiān)聽服務(wù)該服務(wù)內(nèi)主要包含:Distributed Quartz分布式調(diào)度組件，主要負責(zé)定時任務(wù)的啟停操作，當(dāng)quartz調(diào)起任務(wù)后，Master內(nèi)部會有線程池具體負責(zé)處理任務(wù)的后續(xù)操作MasterSchedulerThread是個掃描線程，定時掃描數(shù)據(jù)庫中的 command 表，根據(jù)不同的命令類型進不同的業(yè)務(wù)操作MasterExecThread主要是負責(zé)DAG任務(wù)切分、任務(wù)提交監(jiān)控、各種不同命令類型的邏輯處理MasterTaskExecThread主要負責(zé)任務(wù)的持久化02 WorkerServerWorkerServer也采分布式中設(shè)計理念，WorkerServer主要負責(zé)任務(wù)的執(zhí)和提

4、供志服務(wù)。WorkerServer服務(wù)啟動時向Zookeeper注冊臨時節(jié)點，并維持跳。WorkerServer基于netty提供監(jiān)聽服務(wù)該服務(wù)內(nèi)包含：FetchTaskThread主要負責(zé)不斷從Task Queue中領(lǐng)取任務(wù)，并根據(jù)不同任務(wù)類型調(diào)TaskScheduleThread對應(yīng)執(zhí)器LoggerServer是個RPC服務(wù)，提供志分查看、刷新和下載等功能03 ZooKeeperZooKeeper服務(wù)，系統(tǒng)中的MasterServer和WorkerServer節(jié)點都通過ZooKeeper來進集群管理和容錯，另外系統(tǒng)還基于ZooKeeper進事件監(jiān)聽和分布式鎖04 Task Queue提供任

5、務(wù)隊列的操作，前隊列也是基于Zookeeper來實現(xiàn)05 Alert提供告警相關(guān)接，接主要包括告警兩種類型的告警數(shù)據(jù)的存儲、查詢和通知功能。其中通知功能為郵件通知06 APIAPI接層，主要負責(zé)處理前端UI層的請求。該服務(wù)統(tǒng)提供RESTfulapi向外部提供請求服務(wù)。接包括作流的創(chuàng)建、定義、查詢、修改、發(fā)布、下線、啟動、停、暫停、恢復(fù)、從該節(jié)點開始執(zhí)等等07 UI系統(tǒng)的前端頁，提供系統(tǒng)的各種可視化操作界為什么選擇 DS相信不少都使過 crontab 這個 Linux 系統(tǒng)帶的調(diào)度具，crontab 配置簡單、使便。crontab作為定時調(diào)度來啟動些服務(wù)之類的挺便的，但隨著調(diào)度任務(wù)的量級增加，相

6、互之間存在依賴關(guān)系也是較復(fù)雜，這時候crontab作為調(diào)度具就不能滿我們對數(shù)據(jù)我們在整合數(shù)據(jù)加的過程中發(fā)現(xiàn)按照 crontab 調(diào)度來整合的話邏輯處理太復(fù)雜，作量太，不容易定位到問題，后期維護起來也較困難。后來也查了好種解決案，最終選擇了Dolphin Scheduler，Apache Dolphin Scheduler是個分布式去中化，易擴展的可視化DAG作流任務(wù)調(diào)度系統(tǒng)我們可以通過使 DS 完成帶調(diào)度的數(shù)據(jù)加01 DS的易性Dolphin Scheduler 具有圖形化界，通過圖形化操作界使開發(fā)更簡潔可以在畫布添加數(shù)據(jù)相關(guān)組件實現(xiàn)數(shù)據(jù)加，然后通過組件之間的連線確定任務(wù)依賴，在圖形界我們也可

7、以很直觀的看到樹形圖、特圖、任務(wù)狀態(tài)統(tǒng)計和流程狀態(tài)統(tǒng)計展，還可以通過單個流程狀態(tài)快速定位到問題節(jié)點查看志解決問題02 DS的可性Dolphin Scheduler 持集群 HA ，通過配置 ZooKeeper 實現(xiàn) Master 和 Worker 的去中化設(shè)計，通過提服務(wù)節(jié)點的容錯能實現(xiàn)服務(wù)的可03 DS持多種任務(wù)類型Dolphin Scheduler 持許多任務(wù)類型：Shell，MR，Spark，F(xiàn)link，SQL（MySQL，Postgre SQL，hive，Spark SQL，Oracle等），DataX，Sqoop，Python，Sub_Process，Procedure等04 DS操

8、作類型的多樣性我們可以通過 Dolphin Scheduler 實現(xiàn)流程定時調(diào)度、依賴調(diào)度、動調(diào)度、暫停/停/恢復(fù)，同時持失敗重試/告警功能，從節(jié)點恢復(fù)失敗、重跑等功能05 DS的參數(shù)設(shè)置Dolphin Scheduler持流程的全局參數(shù)設(shè)置和流程下的每個節(jié)點的定義參數(shù)設(shè)置06 DS的補數(shù)操作Dolphin Scheduler 持補數(shù)，包括串補數(shù)、并補數(shù)2種模式。串補數(shù)：指定時間范圍內(nèi)，從開始期結(jié)束期依次執(zhí)補數(shù)，只成條流程實例；并補數(shù)：指定時間范圍內(nèi)，多天同時進補數(shù)，成N條流程實例07 DS的社區(qū)活躍Dolphin Scheduler 作為款中國團隊開發(fā)的開源架構(gòu)，他的社區(qū)是?；钴S的，我們可以直接在GitHub上提交的問題，還可以在為微信群和眾多開發(fā)者起討論問題，社區(qū)活躍的優(yōu)點在于般你遇到的問題別可能已經(jīng)遇到過了，只需要描述清楚你的問題對號座基本上很快都能解決或定位到問題這邊列2個在使DS過程中覺得常實的功能：1、依賴設(shè)置我們可以通過 DEPENDENT 管理流程之間的運關(guān)系，特別是在某些特殊情況下批次期為T-1的流程A依賴T-2、T-N或某個范圍