xx市水文局水文預(yù)警信息發(fā)布系統(tǒng)解決方案

xx市城市水文局黃島分局水文預(yù)警信息發(fā)布系統(tǒng)項(xiàng)目解決方案一、項(xiàng)目背景為應(yīng)對(duì)突發(fā)天氣帶來的城市雨洪內(nèi)澇災(zāi)害監(jiān)測及預(yù)警信息發(fā)布，提高城市運(yùn)行管理水平，滿足市民安全出行的需求，XX市水文局黃島分局前期開展了“互聯(lián)網(wǎng)+水文項(xiàng)目”，其中城市積水監(jiān)測及數(shù)值模型模擬分析已初步具備分析條件，為做好最后一公里的應(yīng)用，特向電信運(yùn)營商提出了基于位置信息的城市預(yù)警信息發(fā)布平臺(tái)。該項(xiàng)目已列于黃島區(qū)2017年城市建設(shè)規(guī)劃中。二、項(xiàng)目需求該局提出目前一期需求是針對(duì)黃島東西兩區(qū)的主城區(qū)道路積水區(qū)進(jìn)行短信實(shí)時(shí)發(fā)送動(dòng)態(tài)預(yù)警需求，積水區(qū)區(qū)域大約40余處（西區(qū)），發(fā)送短信范圍為：2.1進(jìn)入積水區(qū)的人員、車輛信息告知；2.2隨著雨情變化進(jìn)入新的積水區(qū)的居民及進(jìn)入該區(qū)域的人員車輛信息告知。2.3積水區(qū)是根據(jù)雨洪災(zāi)害是動(dòng)態(tài)變化的，要求響應(yīng)時(shí)間快。三、山東移動(dòng)大數(shù)據(jù)服務(wù)優(yōu)勢戰(zhàn)略優(yōu)勢：根據(jù)中國移動(dòng)2020戰(zhàn)略規(guī)劃，為適應(yīng)移動(dòng)互聯(lián)網(wǎng)發(fā)展要求，中國移動(dòng)將加快推進(jìn)從語音經(jīng)營向流量經(jīng)營轉(zhuǎn)型，從移動(dòng)通信業(yè)務(wù)向創(chuàng)新型全業(yè)務(wù)轉(zhuǎn)型，由拓展通信業(yè)務(wù)向拓展數(shù)字化服務(wù)轉(zhuǎn)型，以數(shù)字化方式為用戶提供更豐富、更便捷的各類生活和生產(chǎn)服務(wù)，打造優(yōu)質(zhì)智能管道，成為值得信賴的數(shù)字化服務(wù)專家。數(shù)據(jù)優(yōu)勢：（1）山東移動(dòng)擁有70%以上移動(dòng)通信市場占有率。（2）客戶資料實(shí)名制率超過99％。（3）業(yè)務(wù)支撐系統(tǒng)自創(chuàng)建至今，積累了近20年的客戶消費(fèi)行為數(shù)據(jù)。（4）移動(dòng)擁有豐富的網(wǎng)絡(luò)信令數(shù)據(jù)，用戶在每一個(gè)業(yè)務(wù)應(yīng)用和操作時(shí)，包括語音通話、收發(fā)短信等業(yè)務(wù)時(shí)，都會(huì)在網(wǎng)絡(luò)側(cè)記錄用戶相關(guān)的基站位置信息，除此之外還有用戶的主動(dòng)位置更新（更新LAI）和定期的位置更新（一般為2小時(shí)以內(nèi)），也會(huì)記錄用戶的位置信息，通過這些信令數(shù)據(jù)上下文，我們可以通過基站描點(diǎn)勾勒出用戶的活動(dòng)軌跡。海量信令數(shù)據(jù)完整描述用戶的位置移動(dòng)規(guī)律。（5）目前平臺(tái)擁有4P數(shù)據(jù)存儲(chǔ)能力，能夠?qū)崟r(shí)采集用戶位置和行為信息，每天實(shí)時(shí)處理信令數(shù)據(jù)超過20T，并對(duì)信令完成粗加工、精加工，形成用戶達(dá)到某區(qū)域、發(fā)生某行為的特定信息及基于客戶歷史行為信息挖掘建模生成的客戶消費(fèi)特征標(biāo)簽信息。平臺(tái)技術(shù)優(yōu)勢：山東移動(dòng)于14年構(gòu)建基于hadoop、mpp數(shù)據(jù)庫的大數(shù)據(jù)平臺(tái)，滿足海量數(shù)據(jù)處理需求?；趆adoop、mpp數(shù)據(jù)庫、資源飾，建設(shè)數(shù)據(jù)服務(wù)平臺(tái)平臺(tái)，解決數(shù)據(jù)安全、海量數(shù)據(jù)實(shí)時(shí)處理、多租戶快速發(fā)布及可視化展現(xiàn)等問題。平臺(tái)分為PAAS平臺(tái)、數(shù)據(jù)中心、應(yīng)用、統(tǒng)一門戶、統(tǒng)一平臺(tái)管控四層。應(yīng)用層包括產(chǎn)品服務(wù)應(yīng)用和基礎(chǔ)數(shù)據(jù)應(yīng)用。產(chǎn)品服務(wù)應(yīng)用主要包括選址產(chǎn)品、客源分析產(chǎn)品、公共服務(wù)產(chǎn)品、營銷輔助產(chǎn)品和其他產(chǎn)品?；A(chǔ)數(shù)據(jù)應(yīng)用包括行業(yè)開發(fā)和脫敏數(shù)據(jù)開放等統(tǒng)一門戶提供統(tǒng)一負(fù)載均衡、鑒權(quán)管理、統(tǒng)一管控平臺(tái)接入、API注冊、API管理、應(yīng)用注冊、應(yīng)用發(fā)布、應(yīng)用訪問數(shù)據(jù)信息等功能，同時(shí)提供數(shù)據(jù)被應(yīng)用訪問的頻次，被應(yīng)用訪問的數(shù)據(jù)范圍，提供數(shù)據(jù)資產(chǎn)的評(píng)估，為應(yīng)用上下線和數(shù)據(jù)開放提供依據(jù)。提供一個(gè)應(yīng)用商店來展示與安裝下載各類應(yīng)用。根據(jù)不同類型的角色提供個(gè)性化的工作臺(tái)視圖界面，使用者門戶、開發(fā)者門戶、運(yùn)維者門戶等等。PaaS平臺(tái)PAAS平臺(tái)開放主要包括數(shù)據(jù)工廠、開發(fā)者IDE、服務(wù)管理、統(tǒng)一服務(wù)接口等部分?？梢酝脚_(tái)把基礎(chǔ)能力與數(shù)據(jù)，開放給應(yīng)用開發(fā)者使用。并通過服務(wù)管理與對(duì)外接口部分把數(shù)據(jù)開放給外部用戶使用。數(shù)據(jù)中心數(shù)據(jù)中心負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)，主要非為對(duì)內(nèi)數(shù)據(jù)平臺(tái)、對(duì)外脫敏加密數(shù)據(jù)平臺(tái)、合作方數(shù)據(jù)平臺(tái)與測試模擬數(shù)據(jù)組成。統(tǒng)一平臺(tái)管控面向開發(fā)人員、運(yùn)維人員實(shí)現(xiàn)數(shù)據(jù)、應(yīng)用、資源的統(tǒng)一管控，包括：數(shù)據(jù)管控、多租戶管理、運(yùn)維管理、監(jiān)控管理、調(diào)度管理、系統(tǒng)管理、安全管理。四、方案設(shè)計(jì)4.1系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)圖根據(jù)項(xiàng)目建設(shè)內(nèi)容，實(shí)現(xiàn)對(duì)黃島東西兩區(qū)的主城區(qū)道路積水區(qū)進(jìn)行短信實(shí)時(shí)發(fā)送動(dòng)態(tài)預(yù)警需求，通過以上系統(tǒng)架構(gòu)，協(xié)調(diào)各集群間的功能，使整個(gè)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)流轉(zhuǎn)更實(shí)時(shí)、更高效、更智能、更配置化，減少原有傳統(tǒng)使用文件進(jìn)行流轉(zhuǎn)的方式。具體集群功能如下：4.1.1Flume集群Flume集群是大數(shù)據(jù)平臺(tái)實(shí)時(shí)計(jì)算與離線計(jì)算的轉(zhuǎn)換平臺(tái)，同時(shí)可以承擔(dān)大規(guī)模數(shù)據(jù)的流轉(zhuǎn)功能，減少文件傳輸和入庫，且通過配置文件即可實(shí)現(xiàn)，提高開發(fā)效率和數(shù)據(jù)流轉(zhuǎn)效率。讀取文件、Kafka、HDFS、OGG/DSG工具日志等寫入文件、Kafka、HDFS、Hive、HBase等對(duì)讀取數(shù)據(jù)進(jìn)行篩選和分發(fā)4.1.2Kafka集群Kafka集群是整個(gè)大數(shù)據(jù)平臺(tái)實(shí)時(shí)數(shù)據(jù)交換的平臺(tái)，所有的數(shù)據(jù)，如MC、GN、LTE、話單、資料等原始數(shù)據(jù)，Streams、事件中心等處理的結(jié)果數(shù)據(jù)，均在這個(gè)集群中實(shí)時(shí)進(jìn)行數(shù)據(jù)交換。接收接口機(jī)轉(zhuǎn)發(fā)的MC、GN、LTE等實(shí)時(shí)信令數(shù)據(jù)接收flume采集的數(shù)據(jù)庫日志、話單等數(shù)據(jù)提供Streams實(shí)時(shí)數(shù)據(jù)讀取，并接收Streams處理后的結(jié)果數(shù)據(jù)提供flume數(shù)據(jù)讀取，將數(shù)據(jù)流轉(zhuǎn)向其他組件提供事件中心實(shí)時(shí)數(shù)據(jù)讀取，并接收事件結(jié)果數(shù)據(jù)4.1.3Streams集群Streams集群是所有在線數(shù)據(jù)的第一道運(yùn)算集群，在此集群中對(duì)數(shù)據(jù)進(jìn)行高速的逐條計(jì)算，如字段選擇、數(shù)據(jù)加解密、編碼轉(zhuǎn)換等等簡單但實(shí)時(shí)性要求非常高的操作。為保證及時(shí)性，Streams的數(shù)據(jù)源和結(jié)果存放均為Kafka集群。4.1.4實(shí)時(shí)計(jì)算中心/事件中心實(shí)時(shí)計(jì)算中心/事件中心是整個(gè)大數(shù)據(jù)平臺(tái)進(jìn)行在線運(yùn)算的部分，使用SparkSQL和Codis內(nèi)存庫的組合，可支持復(fù)雜的運(yùn)算。讀取Kafka集群數(shù)據(jù)，同時(shí)將運(yùn)算結(jié)果寫入Kafka集群讀取Codis內(nèi)存庫集群數(shù)據(jù)，同時(shí)將運(yùn)算結(jié)果寫入Codis4.1.5Codis集群Codis集群是分布式的內(nèi)存數(shù)據(jù)庫集群，可提供高并發(fā)、低延時(shí)的查詢。在大數(shù)據(jù)平臺(tái)中，主要為實(shí)時(shí)計(jì)算提供即時(shí)的查詢功能。數(shù)據(jù)的寫入和讀取由程序單獨(dú)控制。4.2實(shí)現(xiàn)原理項(xiàng)目建設(shè)需要針對(duì)XX市黃島分局40余處（西區(qū)）積水區(qū)域進(jìn)行水文預(yù)警信息推送，并返回每個(gè)積水區(qū)柵格內(nèi)的用戶數(shù)，考慮以下實(shí)施方案流程。確定40余處積水區(qū)域后，統(tǒng)計(jì)出這40余處積水區(qū)域中每個(gè)積水區(qū)對(duì)應(yīng)的基站信息。通過與水文局系統(tǒng)對(duì)接，可獲取汛期時(shí)哪幾個(gè)區(qū)域產(chǎn)生積水，移動(dòng)大數(shù)據(jù)平臺(tái)將根據(jù)這些積水區(qū)域?qū)?yīng)的基站信息，實(shí)時(shí)監(jiān)測進(jìn)入?yún)^(qū)域的用戶，并對(duì)這些用戶實(shí)時(shí)發(fā)送預(yù)警短信，同時(shí)為水文局輸出積水區(qū)域內(nèi)用戶數(shù)量。實(shí)現(xiàn)原理圖4.3建設(shè)內(nèi)容4.3.1基礎(chǔ)數(shù)據(jù)準(zhǔn)備（1）確定40余處積水區(qū)域監(jiān)測點(diǎn)及可能的范圍（2）根據(jù)積水區(qū)域及范圍，整理各積水區(qū)域?qū)?yīng)的基站信息，形成積水區(qū)域、移動(dòng)基站lac+cel列表，每個(gè)移動(dòng)基站是以扇區(qū)的方式覆蓋相應(yīng)的區(qū)域。根據(jù)范圍不同，每個(gè)積水區(qū)域可能對(duì)應(yīng)一個(gè)或多個(gè)基站。（3）指定幾條短信模板，記錄到移動(dòng)短信發(fā)送端口，每次發(fā)送時(shí)，只需發(fā)送指定的短信。4.3.3大數(shù)據(jù)平臺(tái)_汛期預(yù)警短信發(fā)送原理簡述：與水文局系統(tǒng)對(duì)接后，將水文局系統(tǒng)推送來的積水區(qū)域信息及短信模板信息，推送到移動(dòng)大數(shù)據(jù)預(yù)警短信平臺(tái)上，預(yù)警短信平臺(tái)將根據(jù)積水區(qū)域條件觸發(fā)相應(yīng)基站，通過實(shí)時(shí)監(jiān)測基站信息，獲取進(jìn)入積水區(qū)域用戶，并通過mas端口向積水區(qū)域用戶發(fā)送指定的預(yù)警短信。為滿足水文局發(fā)送預(yù)警短信需求，山東移動(dòng)大數(shù)據(jù)預(yù)警信息發(fā)送平臺(tái)提供兩類關(guān)鍵能力：1、客戶實(shí)時(shí)狀態(tài)捕獲能力。山東移動(dòng)已構(gòu)建基于大數(shù)據(jù)流平臺(tái)的事件處理中心，能夠?qū)崟r(shí)采集用戶位置和行為信息，每天實(shí)時(shí)處理信令數(shù)據(jù)超過20T，并對(duì)信令完成粗加工、精加工，形成用戶達(dá)到某區(qū)域、發(fā)生某行為的特定信息；原始數(shù)據(jù)獲?。韩@取信令等網(wǎng)絡(luò)事件源數(shù)據(jù)，以識(shí)別用戶的位置狀態(tài)、業(yè)務(wù)狀態(tài)、等事件行為。事件加工：根據(jù)原始數(shù)據(jù)，加工業(yè)務(wù)場景所需事件，如汛期時(shí)用戶到達(dá)某積水區(qū)域。2、客戶接觸管控功能：山東移動(dòng)的預(yù)警信息發(fā)送平臺(tái)，整合并打通了短信、彩信、郵件、網(wǎng)廳app等不同接觸渠道，根據(jù)水文局系統(tǒng)推送的事件行為及實(shí)時(shí)捕獲的用戶狀態(tài)，可實(shí)時(shí)對(duì)用戶發(fā)送預(yù)警短信。4.3.2積水區(qū)柵格用戶數(shù)統(tǒng)計(jì)通過積水區(qū)域?qū)?yīng)的移動(dòng)基站，可實(shí)時(shí)監(jiān)測積水區(qū)柵格中用戶數(shù)量，并以柵格形式輸出給水文局。輸出頻次待定。（1）程序啟動(dòng)從mysql數(shù)據(jù)庫讀取相關(guān)的元數(shù)據(jù)信息，以及配置信息。（2）開發(fā)streams程序，從kafka集群，讀取MC和LTE的位置信令數(shù)據(jù)，將數(shù)據(jù)按照固定格式進(jìn)行拆分。（3）streams程序?qū)崟r(shí)數(shù)據(jù)讀取codis集群中的用戶資料信息，篩選出指定積水區(qū)域的用戶，輸出到下一個(gè)流。（4）將積水區(qū)域內(nèi)的結(jié)果數(shù)據(jù)實(shí)時(shí)寫入kafka集群指定的topic。（5）在flume集群配置實(shí)時(shí)抽取進(jìn)程，將kafka中的數(shù)據(jù)輸出到接口機(jī)。（6）積水區(qū)域用戶數(shù)結(jié)果輸出。4.4系統(tǒng)對(duì)接 4.4.1輸出文件說明（1）積水區(qū)柵格用戶數(shù)文件（如表1）：計(jì)算時(shí)間、區(qū)域代碼、人數(shù)、文件發(fā)出時(shí)間。傳輸方式：ftp頻次為：待定。表1人員總數(shù)文件字段含義樣例備注時(shí)間監(jiān)控時(shí)間201604201430積水區(qū)域編碼監(jiān)控區(qū)域編碼001待定人數(shù)該區(qū)域聚集人數(shù)90文件發(fā)送時(shí)間文件發(fā)出時(shí)間201704271435（2）實(shí)時(shí)到達(dá)用戶每分鐘生成一個(gè)文件，每個(gè)文件中的手機(jī)號(hào)碼保證唯一。文件內(nèi)容：手機(jī)號(hào)碼，積水區(qū)域標(biāo)識(shí)。傳輸方式：ftp頻次為：分鐘級(jí)。4.4.2短信下發(fā)說明（1）由于積水區(qū)域發(fā)送的時(shí)間不確定，所以經(jīng)分側(cè)不對(duì)用戶做固定時(shí)間段內(nèi)的排重，以保證區(qū)域內(nèi)的用戶在災(zāi)情來臨，能夠及時(shí)的輸出；（2）短信下發(fā)時(shí)需要根據(jù)情況，在短信發(fā)送側(cè)做好用戶下發(fā)的排重處理，以避免同一用戶多次下發(fā)的情況；（3）大數(shù)據(jù)平臺(tái)流處理負(fù)責(zé)實(shí)時(shí)監(jiān)控，數(shù)據(jù)實(shí)時(shí)推送到短信中心，短信中心負(fù)責(zé)與XX水文局做好執(zhí)行控制。4.5云MAS平臺(tái)對(duì)接4.