水質(zhì)監(jiān)測分析解決方案說明書

水質(zhì)監(jiān)控解決方案說明書XX科技股份有限公司編制目錄一、項(xiàng)目存在問題及需解決問題 21. 存在問題 22. 需解決問題 4二、解決方案 41.解決方案總體架構(gòu) 42.核心技術(shù) 5（1）Hadoop 5（2）SpringMVC 6（3）MyBatis 6（4）Echarts 6（5）MySQL 6（6）Hive 7（7）HBASE 7（8）Zookeeper 7（9）Flume 8三、開發(fā)范圍 81.數(shù)據(jù)生產(chǎn) 82.數(shù)據(jù)采集/消費(fèi) 83.數(shù)據(jù)分析 94.數(shù)據(jù)展示 10項(xiàng)目存在問題及需解決問題存在問題1.1缺乏統(tǒng)一的監(jiān)測體系管理缺乏統(tǒng)一的監(jiān)測體系管理主要責(zé)任在于環(huán)境監(jiān)測部門繁多，因?yàn)橥ǔＧ闆r下，會根據(jù)水的流域進(jìn)行劃分，一個(gè)水流域，可能被分為多個(gè)部門管理，每個(gè)部門各自為政，各部門根據(jù)自身的實(shí)際情況，監(jiān)測方向和擅長的監(jiān)測方法不唯一，對問題具體的衡量標(biāo)準(zhǔn)不同，就會導(dǎo)致監(jiān)測的結(jié)果無法匯總到一起，忽視了水流域整體的利益，在工作開展的整個(gè)過程中，監(jiān)測部門繁多，嚴(yán)重影響了水環(huán)境保護(hù)工作的順利進(jìn)行，也在很大程度上影響了監(jiān)測數(shù)據(jù)的質(zhì)量以及處理問題的時(shí)效，長此以往，水環(huán)境監(jiān)測工作的穩(wěn)定會受到很大的影響，最終失去水環(huán)境監(jiān)測本身的作用。因此，若要使水環(huán)境監(jiān)測工作能夠正常有效的發(fā)揮作用，必須對水流域環(huán)境監(jiān)管部門進(jìn)行明確的劃分，明確各部門的權(quán)利和義務(wù)，對于環(huán)境監(jiān)測工作來說這不但十分重要而且非常迫切。1.2水環(huán)境監(jiān)測系統(tǒng)不夠完善隨著現(xiàn)代技術(shù)的不斷發(fā)展，人們對技術(shù)的要求也越來越高，在水環(huán)境監(jiān)測工作中，工作人員希望在整個(gè)水資源監(jiān)測過程中實(shí)現(xiàn)自動預(yù)警這一要求，達(dá)到檢測過程中的自動化和智能化，從而獲得更多的數(shù)據(jù)，使監(jiān)測結(jié)果更加真實(shí)、可靠。水資源監(jiān)測預(yù)警是通過對水的水文特征進(jìn)行預(yù)警，但是，由于我國現(xiàn)有的監(jiān)測系統(tǒng)不夠完善，檢測部門繁多，過程冗雜，分工不明，權(quán)利與義務(wù)不匹配，各部門各自為戰(zhàn)等等因素，導(dǎo)致監(jiān)測數(shù)據(jù)的真實(shí)性得不到保障，給監(jiān)測后的分析工作帶來了一定的困難，監(jiān)測工作中預(yù)警功能還沒有發(fā)揮出應(yīng)有的作用和價(jià)值。1.3缺乏評價(jià)和監(jiān)測指標(biāo)由于一個(gè)水流域中，涉及到多個(gè)環(huán)境監(jiān)測部門，而每個(gè)環(huán)境監(jiān)測部門都根據(jù)本部門的實(shí)際情況，制定了獨(dú)具自身部門特色的檢測標(biāo)準(zhǔn)和評價(jià)指標(biāo)，所以各部門對同樣的水資源污染程度有不同的評價(jià)結(jié)果，嚴(yán)重降低了水資源監(jiān)測中獲得的數(shù)據(jù)的使用率，導(dǎo)致了各部門做了大量重復(fù)的工作。所以制定水環(huán)境監(jiān)測指標(biāo)標(biāo)準(zhǔn)和評價(jià)指標(biāo)標(biāo)準(zhǔn)是我國急需解決的問題，一直以來，對于地表水或是我們飲用的水在整個(gè)監(jiān)測過程中都沒有統(tǒng)一的監(jiān)測指標(biāo)，所以水環(huán)境監(jiān)測中獲得的數(shù)據(jù)也無法統(tǒng)一，無法對各部門的結(jié)論進(jìn)行對比與驗(yàn)證，在一定程度上降低了水環(huán)境的監(jiān)測質(zhì)量，對我國水資源環(huán)境保護(hù)工作產(chǎn)生了非常不利的影響，所以國家要制定統(tǒng)一的污水排放標(biāo)準(zhǔn)和水環(huán)境質(zhì)量標(biāo)準(zhǔn)，同時(shí)結(jié)合當(dāng)?shù)厮h(huán)境實(shí)際條件構(gòu)建具有可行性的監(jiān)測和管理體系標(biāo)準(zhǔn)，只有這樣才能更好的做好水環(huán)境保護(hù)工作。需解決問題缺乏統(tǒng)一的監(jiān)測體系管理水環(huán)境監(jiān)測系統(tǒng)不夠完善缺乏評價(jià)和監(jiān)測指標(biāo)解決方案解決方案總體架構(gòu)圖1水質(zhì)監(jiān)控解決方案總體架構(gòu)HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫。另一個(gè)不同的是HBase基于列的而不是基于行的模式。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計(jì)方法，把整個(gè)系統(tǒng)看作是多個(gè)離散對象的組合。系統(tǒng)設(shè)計(jì)時(shí)，首先把業(yè)務(wù)流程分解成功能模塊及其業(yè)務(wù)實(shí)體對象，然后根據(jù)業(yè)務(wù)流程分析對于這些業(yè)務(wù)實(shí)體對象的操作方法，形成業(yè)務(wù)處理對象，最后把各個(gè)功能模塊關(guān)聯(lián)起來，形成系統(tǒng)。軟件設(shè)計(jì)是一個(gè)將需求轉(zhuǎn)變?yōu)檐浖倪^程，系統(tǒng)通過逐步求精使得設(shè)計(jì)陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計(jì)思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務(wù)處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計(jì)思想，定義和管理系統(tǒng)的實(shí)體及配置，調(diào)整實(shí)體以適應(yīng)外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實(shí)現(xiàn)的平臺無關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶操作的交互性，保證實(shí)際使用的易用性。系統(tǒng)采用echarts可視化框架實(shí)現(xiàn)數(shù)據(jù)展示。核心技術(shù)HadoopHadoop是一個(gè)由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊。MyBatisMYBatis：是支持普通SQL查詢，存儲過程和高級映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對象）映射成數(shù)據(jù)庫中的記錄。EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫，提供直觀，生動，可交互，可個(gè)性化定制的數(shù)據(jù)可視化圖表。MySQLMySQL是一個(gè)關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQLAB公司開發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點(diǎn)，一般中小型網(wǎng)站的開發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫。HiveHive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡稱HiveSQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的：具進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實(shí)現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴(kuò)展性。HBASEHBase–HadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群。ZookeeperZooKeeper是一個(gè)分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開源的實(shí)現(xiàn)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。FlumeFlume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。開發(fā)范圍數(shù)據(jù)生產(chǎn)對于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過程，一般并不會讓你來進(jìn)行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴(yán)密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項(xiàng)目的一體化方案的設(shè)計(jì)（數(shù)據(jù)的產(chǎn)生、存儲、分析、展示），則必須清楚每一個(gè)環(huán)節(jié)是如何處理的，包括其中每個(gè)環(huán)境可能隱藏的問題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問題。數(shù)據(jù)采集/消費(fèi)數(shù)據(jù)采集模塊（消費(fèi)），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們在此需要將實(shí)時(shí)數(shù)據(jù)通過flume采集到kafka然后供給給hbase消費(fèi)。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費(fèi)者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費(fèi)眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)-->HDFS線上數(shù)據(jù)-->flume-->kafka-->sparkstreaming實(shí)時(shí)