基于MongoDb海量數(shù)據(jù)存儲的商戶平臺監(jiān)控系統(tǒng)碩士學(xué)位論文

1、基于MongoDb海量數(shù)據(jù)存儲的商戶平臺監(jiān)控系統(tǒng)碩士學(xué)位論文 碩士學(xué)位論文基于MongoDb集群的商戶平臺海量數(shù)據(jù)存儲與呈現(xiàn)摘 要 隨著現(xiàn)代技術(shù)的發(fā)展和信息的急劇膨脹,數(shù)據(jù)的存儲在企業(yè)級應(yīng)用中顯得越來越重要,系統(tǒng)80%的時間都是在處理數(shù)據(jù),因此,一個系統(tǒng)性能的好壞直接取決于數(shù)據(jù)的處理上,而這又主要看數(shù)據(jù)的存與取。數(shù)據(jù)存儲的難點(diǎn)表現(xiàn)在如何高效安全的存入數(shù)據(jù)、如何快速的讀取存入的數(shù)據(jù)。同時很多時候數(shù)據(jù)并不是規(guī)則一致,傳統(tǒng)的關(guān)系型數(shù)據(jù)存儲技術(shù)很難處理這類數(shù)據(jù)的存儲問題。 MongoDB是一種介于關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫之間的產(chǎn)品,功能非常的豐富。它支持非常松散的數(shù)據(jù)結(jié)構(gòu),從而使得其可以存儲較為復(fù)

2、雜的數(shù)據(jù)類型。同時,MongoDB的查詢語言很強(qiáng)大,并且支持對數(shù)據(jù)的索引來優(yōu)化檢索的性能。本論文就是基于這樣的數(shù)據(jù)庫存儲方式來展開海量數(shù)據(jù)的存儲和平臺的實(shí)時監(jiān)控的實(shí)現(xiàn)的。 在線實(shí)時監(jiān)控系統(tǒng)是本地計算機(jī)通過互聯(lián)網(wǎng)絡(luò),對遠(yuǎn)端設(shè)備進(jìn)行監(jiān)視和控制,完成對分散控制網(wǎng)絡(luò)的狀態(tài)監(jiān)控以及設(shè)備的診斷維護(hù)等的功能。監(jiān)控系統(tǒng)的出現(xiàn)很早,現(xiàn)在的監(jiān)控系統(tǒng)的功能大多也很完善。本文所闡述的商戶平臺的監(jiān)控系統(tǒng)是根據(jù)實(shí)際的需求開發(fā)的數(shù)據(jù)異常報警提示的監(jiān)控系統(tǒng)。主要是探測線上數(shù)據(jù)是否在規(guī)定的閥值內(nèi)活動。 本論文將從非關(guān)系型數(shù)據(jù)庫到海量數(shù)據(jù)的存儲,再到數(shù)據(jù)安全穩(wěn)定的運(yùn)行,再到監(jiān)控平臺的實(shí)時報警,最后到數(shù)據(jù)分析結(jié)果的展示幾個部分來詳

3、細(xì)闡述基于MongoDb海量數(shù)據(jù)存儲的商戶平臺監(jiān)控系統(tǒng)。 關(guān)鍵詞:海量數(shù)據(jù)、非關(guān)系型數(shù)據(jù)、MongoDB、集群Abstract With the development of modern technology and the rapid expansion of the information, data storage in enterprise applications has become increasingly important. System spends 80% of the time in data processing, therefore, whether the pe

4、rformance of system is good or bad directly depends on data processing. The difficulty of data storage is manifested in how efficiently and safely store the data, and how to quickly read the stored data. While sometimes data is irregular. Traditional relational data storage technology is difficult t

5、o deal with this type of data storage. MongoDB is a product that cross relational and non-relational database. It supports very loosely data structure, so that it can store more complex data types. At the same time, the MongoDB query language is very powerful, which supports for data index to optimi

6、ze the retrieval performance. This thesis is based on the database storage mode to achieve the massive data storage and real-time monitoring platform. Real-time online monitoring system means that the local computer monitors and controls the remote equipment through the Internet, completing the moni

7、toring of distributed control network and the equipment maintenance and other functions. The main function of this monitoring system described in this paper is to detect on-line data whether in the specified threshold activities. This paper start from the non-relational database to the massive data

8、storage, and data security and stable operation, and then to the real-time monitoring platform, and finally to the presentation of several data analysis to elaborate merchant platform monitoring system based on the MongoDb mass data storage. Key Words:Massive data, non-relational data, MongoDB, clus

9、ter目 錄摘要iAbstractii圖目錄IV表目錄VI第1章 緒論11.1 課題背景11.2 技術(shù)背景21.3 國內(nèi)外研究現(xiàn)狀31.4 本文選題背景及研究內(nèi)容4第2章 監(jiān)控系統(tǒng)關(guān)鍵技術(shù)62.1 Maven2原理62.2 非關(guān)系型數(shù)據(jù)庫72.3 MongoDB技術(shù)92.4 EJSChart技術(shù)122.5 本章小結(jié)13第3章 數(shù)據(jù)庫設(shè)計143.1 配置庫143.2 實(shí)時采集庫183.3 匯總庫193.4 本章小結(jié)20第4章 數(shù)據(jù)庫集群的搭建224.1 集群數(shù)據(jù)存儲結(jié)構(gòu)224.2 集群數(shù)據(jù)的寫入?yún)f(xié)議234.3 監(jiān)控系統(tǒng)的集群配置方案254.4 集群主節(jié)點(diǎn)的選舉仲裁機(jī)制284.5 本章小結(jié)29第5

10、章 監(jiān)控系統(tǒng)的詳細(xì)設(shè)計305.1 系統(tǒng)整體架構(gòu)305.2 監(jiān)控平臺各模塊的設(shè)計方案315.3 監(jiān)控系統(tǒng)的程序?qū)崿F(xiàn)335.4 商戶平臺對監(jiān)控系統(tǒng)的調(diào)用方式355.5 本章小結(jié)37第6章 數(shù)據(jù)庫集群性能測試386.1 測試環(huán)境386.2 測試點(diǎn)和測試方案386.3 查詢性能測試396.4 插入性能測試396.5 測試結(jié)果總結(jié)406.6 本章小結(jié)40第7章 總結(jié)和展望427.1 總結(jié)427.2 展望和進(jìn)一步的工作43參考文獻(xiàn)44作者簡歷46致 謝47圖目錄圖2.1 pom.xml文件5 圖2.2 Maven原理圖6 圖2. 3目前NoSQL的分類7 圖2.4 MongoDB數(shù)據(jù)組織結(jié)構(gòu)8 圖2.5

11、Master/Slave示意圖9 圖2.6 Replca-Set示意圖10 圖2.7 Sharding架構(gòu)示意圖11 圖3.1 配置庫集合關(guān)系圖12 圖4.1 數(shù)據(jù)文件格式19 圖4.2 數(shù)據(jù)存儲示意圖20 圖4.3 監(jiān)控平臺集群架構(gòu)圖24 圖4.4 選舉仲裁機(jī)制示意圖25 圖5.1 監(jiān)控平臺架構(gòu)圖27 圖5.2 數(shù)據(jù)采集模塊設(shè)計圖28 圖5.3 數(shù)據(jù)匯總模塊設(shè)計圖29 圖5.4 監(jiān)控展現(xiàn)模塊設(shè)計圖29圖5.6 服務(wù)平臺監(jiān)控視圖32 圖6.1 集群查詢耗時統(tǒng)計35 圖6.2集群插入數(shù)據(jù)耗時統(tǒng)計36 表目錄表3.1 配置庫框架12表3.2 通用配置集合(config)13表3.3監(jiān)控項(xiàng)集合(it

12、em)14表3.4監(jiān)控視圖集合(service)14表3.5模塊視圖集合(module)14表3.6監(jiān)控視圖集合(view)15表3.7聯(lián)系人集合(contact)15表3.8實(shí)時采集庫框架16表3.9明細(xì)數(shù)據(jù)集合16表3.10匯總庫框架17表3.11匯總數(shù)據(jù)集合18表4.1請求操作碼21表4.2響應(yīng)標(biāo)示碼22表4.3 集群節(jié)點(diǎn)配置23 緒論課題背景 海量數(shù)據(jù)處理在現(xiàn)代技術(shù)中被廣泛應(yīng)用,在系統(tǒng)架構(gòu)時也是首要考慮的問題。目前,在用戶行為分析、廣告效果分析、報表統(tǒng)計、商務(wù)智能、監(jiān)控系統(tǒng)和產(chǎn)品設(shè)計分析上都廣泛使用海量數(shù)據(jù)處理技術(shù)1。現(xiàn)在的最熱的云平臺的出現(xiàn)就是數(shù)據(jù)處理出現(xiàn)瓶頸時因運(yùn)而生的時代產(chǎn)物?？?/p>

13、以說,現(xiàn)在的系統(tǒng)開發(fā)是離不開對數(shù)據(jù)的考慮的,這也是本研究選題的原因所在。 在處理海量數(shù)據(jù)的處理時,Database承受著嚴(yán)峻的考驗(yàn),其CPU的處理效率和IO的吞吐率都會處于高負(fù)荷的工作狀態(tài)。同時,網(wǎng)絡(luò)資源的迅速膨脹,數(shù)據(jù)庫服務(wù)器需要一邊解決訪問速度、存儲空間以及網(wǎng)絡(luò)瓶頸的問題,另一邊還要完成網(wǎng)絡(luò)數(shù)據(jù)的挖掘工作。因此,對于實(shí)時在線的龐大數(shù)據(jù)量的處理,系統(tǒng)的負(fù)載能力就顯得尤為重要了。本論文在線實(shí)時監(jiān)控系統(tǒng)的數(shù)據(jù)處理過程是系統(tǒng)周期性的采集線上數(shù)據(jù),再將這些原始數(shù)據(jù)存儲到數(shù)據(jù)庫中,再按監(jiān)控的時間顆粒度處理這些數(shù)據(jù),得到系統(tǒng)需要的數(shù)據(jù),再次存入數(shù)據(jù)庫中展示出來。整個過程都很實(shí)時,對系統(tǒng)和數(shù)據(jù)庫服務(wù)器的穩(wěn)

14、定性、高效性都很高。 隨著信息的急速擴(kuò)充,海量數(shù)據(jù)的處理是逐漸變成了一個嚴(yán)峻而艱巨但必須面對的任務(wù),主要表現(xiàn)在: 1)海量數(shù)據(jù)的情況在互諒網(wǎng)上的復(fù)雜性。比如數(shù)據(jù)的結(jié)構(gòu)、數(shù)據(jù)庫的安全性等。 大量的數(shù)據(jù)并不能保證數(shù)據(jù)的結(jié)構(gòu)的一致性,這些對于數(shù)據(jù)庫特別是關(guān)系型數(shù)據(jù)庫來說會給數(shù)據(jù)庫的安全性造成嚴(yán)重的破壞。 2)優(yōu)良的處理算法和系統(tǒng)架構(gòu)。在做海量數(shù)據(jù)的軟件時,良好的系統(tǒng)架構(gòu)會使程序的效率得以提高,因此,在程序的開始部分,要做好架構(gòu)的工作。同時,在開發(fā)的時候?qū)μ幚頂?shù)據(jù)這方面的算法要不斷的優(yōu)化,用最少的CPU處理過程處理數(shù)據(jù)。少量數(shù)據(jù)時看不出性能的優(yōu)越性,但在大數(shù)據(jù)量的時候這些性能對于整個系統(tǒng)來說就顯得很重

15、要了。 3)對系統(tǒng)和軟件的高要求和資源占用率高的問題。海量數(shù)據(jù)的處理是“費(fèi)時費(fèi)力”的,對CPU和IO吞吐率都有很高的要求,對軟件的處理性能也有很高的要求,不能出現(xiàn)頻繁的超時,同時也不能因?yàn)樘幚頃r間過長而放棄本應(yīng)該處理的數(shù)據(jù)。所以,系統(tǒng)的性能和容錯性能都有很大的要求。 隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和監(jiān)控范圍的擴(kuò)大,監(jiān)控系統(tǒng)已由過去的單機(jī)監(jiān)控過度到現(xiàn)在的網(wǎng)路監(jiān)控2,本論文所論述的商戶平臺就是一個網(wǎng)絡(luò)環(huán)境。這種過度并沒有想象中的那么順利和平滑,過度到網(wǎng)絡(luò)監(jiān)控存在著諸多的問題,并且這些問題一直存在著,主要表現(xiàn)在一下幾個方面: 第一,我國在項(xiàng)目風(fēng)險管理的研究和實(shí)踐方面起步較晚,雖然現(xiàn)在項(xiàng)目風(fēng)險管理受到越來越多

16、軟件企業(yè)的重視,但是往往停留在概念層面,缺乏具體管理制度和方法的支持2。 第二, 由于在項(xiàng)目風(fēng)險管理過程中缺乏定量分析的使用,因此有關(guān)項(xiàng)目資料和數(shù)據(jù)的收集缺乏目的性,從而導(dǎo)致該領(lǐng)域的知識不能得到有效的積累,影響管理水平的提高。 第三, 網(wǎng)絡(luò)環(huán)境的實(shí)時數(shù)據(jù)統(tǒng)計不像在單機(jī)環(huán)境中那么的及時,由于整體的軟硬件的延時和網(wǎng)絡(luò)的延時使得在線實(shí)時監(jiān)控不再是那么實(shí)時3。 本論文在基于海量數(shù)據(jù)的處理同時克服網(wǎng)絡(luò)實(shí)時在線監(jiān)控系統(tǒng)存在的問題,模擬數(shù)據(jù)的Map/Reduce模型,充分降低系統(tǒng)的數(shù)據(jù)處理消耗,完成對在線數(shù)據(jù)的實(shí)時監(jiān)控。技術(shù)背景 基于Maven的項(xiàng)目環(huán)境的構(gòu)建。Maven是基于項(xiàng)目對象模型(POM),可以通

17、過一小段描述信息來管理項(xiàng)目的構(gòu)建、報告和文檔的軟件項(xiàng)目管理工具4。Maven使得項(xiàng)目的構(gòu)建更加的容易,提供了編譯、測試、整合等統(tǒng)一的建構(gòu)系統(tǒng),同時Maven在依賴包上的管理更加的及時性,開發(fā)人員不用去下載包到本地,而是由Maven自動的到Maven中心庫中去更新。 MongoDB 是一個高性能,開源,無模式的文檔型數(shù)據(jù)庫,是當(dāng)前NoSQL 數(shù)據(jù)庫產(chǎn)品中最熱門的一種5。MongoDB支持的松散的數(shù)據(jù)結(jié)構(gòu)(類似于json的bjson格式)使得其可以存儲較為復(fù)雜的數(shù)據(jù)模型,而不像關(guān)系型數(shù)據(jù)庫那樣對數(shù)據(jù)結(jié)構(gòu)要求嚴(yán)格,很適合網(wǎng)絡(luò)環(huán)境中大量數(shù)據(jù)的存儲。MongoDb面向集合的存儲、模式自由、支持動態(tài)查詢和

18、故障修復(fù)功能使得其在成為本系統(tǒng)的首選數(shù)據(jù)存儲服務(wù)器。 監(jiān)控平臺采用PHP開發(fā),監(jiān)控數(shù)據(jù)的展示部分采用EJSChart(Emprise JavaScript Charts)呈現(xiàn)。EJSChart發(fā)布數(shù)據(jù)快速、格式多樣,其簡單直接的實(shí)施,以及無與倫比的功能,使得在圖表需求中占有一席之地。高效的交互性,支持鼠標(biāo)追蹤、鼠標(biāo)事件、按鍵追蹤、縮放、滾動等功能方便了用戶的查看6。同時由于其是純粹javascript,兼容性較好,所以在本項(xiàng)目中使用了EJSChart。國內(nèi)外研究現(xiàn)狀國外研究現(xiàn)狀 在線實(shí)時監(jiān)控系統(tǒng)最早發(fā)源于醫(yī)療系統(tǒng)中的遠(yuǎn)程診斷領(lǐng)域,但隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,實(shí)時監(jiān)控系統(tǒng)在諸如制造、煉金、電力等

19、行業(yè)中都有應(yīng)用,并取得了較為顯著的成就。2對計算機(jī)平臺的運(yùn)營情況的遠(yuǎn)程監(jiān)控是現(xiàn)在互聯(lián)網(wǎng)發(fā)展的一個重要方向,使得企業(yè)級網(wǎng)絡(luò)服務(wù)平臺的運(yùn)行處于可控的范圍之中。早在2001年國際控制基金會舉行的基于Internet控制研究的研討會,就有諸多學(xué)者和開發(fā)人員開始研究設(shè)計基于Internet的在線實(shí)時監(jiān)控平臺對運(yùn)營中的網(wǎng)站的監(jiān)控,基于Internet的在線實(shí)時監(jiān)控技術(shù)已經(jīng)成為當(dāng)下新一代的監(jiān)控模式。美國National Instruments公司在其虛擬一起產(chǎn)品LabView中加入了網(wǎng)絡(luò)通信處理模塊,因而可以再基于網(wǎng)絡(luò)范圍內(nèi)進(jìn)行監(jiān)控數(shù)據(jù)的傳送7。 同時,隨著信息技術(shù)的發(fā)展,監(jiān)控系統(tǒng)在大部分時間都是在處理數(shù)據(jù)

20、。海量數(shù)據(jù)的處理能力對監(jiān)控系統(tǒng)的要求越來越高。海量數(shù)據(jù)處理與實(shí)時監(jiān)控系統(tǒng)緊密的結(jié)合在一起。美國密歇根大學(xué)迪爾伯恩分校和加拿大沃特盧大學(xué)在CORDS項(xiàng)目中對海量數(shù)據(jù)的查詢處理特別是優(yōu)化查詢做了很多研究工作,他們提出了查詢采樣、查詢探測、模糊查詢等技術(shù)對全局查詢進(jìn)行優(yōu)化7。 云計算是繼1980年代大型計算機(jī)到客戶端-服務(wù)器的大轉(zhuǎn)變之后的又一種巨變?？梢哉f云計算的出現(xiàn)也是海量數(shù)據(jù)處理瓶頸之下的產(chǎn)物,通過使計算分布在大量的分布式計算機(jī)上,而非本地計算機(jī)或遠(yuǎn)程服務(wù)器中,使得服務(wù)數(shù)據(jù)處理能力得以大大提升。國內(nèi)研究現(xiàn)狀 國內(nèi)的計算機(jī)和互聯(lián)網(wǎng)行業(yè)起步都比較晚,在線實(shí)時監(jiān)控系統(tǒng)的發(fā)展大約在80年代末,這時隨著國

21、內(nèi)計算機(jī)產(chǎn)業(yè)的迅猛發(fā)展和普及應(yīng)用,很多制造企業(yè)進(jìn)行了以信息技術(shù)為基礎(chǔ)的改造,使得原來的系統(tǒng)具備了實(shí)現(xiàn)遠(yuǎn)程故障監(jiān)測、預(yù)報、診斷等能力。在互聯(lián)網(wǎng)方面,實(shí)時監(jiān)測、遠(yuǎn)程診斷等技術(shù)也有了一定的成果和經(jīng)驗(yàn)。 目前,國內(nèi)的對互聯(lián)網(wǎng)站實(shí)時監(jiān)控都進(jìn)行了大量的研究,其中西安交通大學(xué)、華中科技大學(xué)、上海交通大學(xué)的研究成果比較具有代表性8。西安交通大學(xué)開發(fā)的基于Internet的快速成型和快速加工技術(shù),只要用戶安裝瀏覽器,就可以通過HTTP獲得遠(yuǎn)程服務(wù)在線技術(shù)支持和數(shù)據(jù)交換。 國內(nèi)的海量數(shù)據(jù)處理,尤其是云計算發(fā)展迅速,中國的云計算中心首先是由IBM于2008年5月初組建的,并同時建立大中華區(qū)云計算中心。解放軍理工大學(xué)

22、研制的云存儲系統(tǒng)MassCloud支持基于3G的大規(guī)模視頻監(jiān)控應(yīng)用和數(shù)字地球系統(tǒng)。本文選題背景及研究內(nèi)容 盛大在線(SDO)提供了各種不同類型的服務(wù)的接口,供各注冊商戶調(diào)用。隨著盛大商戶平臺的不斷發(fā)展壯大,注冊商戶的數(shù)量也越來越多,各大商戶越來越頻繁地使用SDO提供的服務(wù)。商戶使用這些接口服務(wù)的情況變得越來越復(fù)雜,增加了SDO管理和維護(hù)這些服務(wù)的難度,人工化的監(jiān)控管理變得越來越困難。因此,基礎(chǔ)平臺中心計劃開發(fā)一套實(shí)時的監(jiān)控系統(tǒng),為商戶提供其使用SDO各種服務(wù)接口的使用情況的有效監(jiān)控及報警。基于此,本文主要結(jié)合監(jiān)控系統(tǒng)的整體架構(gòu)和主要實(shí)現(xiàn)技術(shù),研究如何實(shí)時地監(jiān)控各商戶的使用服務(wù)的情況,方便商戶平

23、臺的管理工作。 本課題針對SDO商戶平臺存在的人工化管理的問題,結(jié)合現(xiàn)代監(jiān)控在線監(jiān)控系統(tǒng)的特點(diǎn),對符合SDO實(shí)際使用情況的監(jiān)控系統(tǒng)進(jìn)行了研究。提出了海量數(shù)據(jù)存儲的存儲模型,是監(jiān)控系統(tǒng)有了數(shù)據(jù)結(jié)構(gòu)的支持;同時在這個數(shù)據(jù)結(jié)構(gòu)的基礎(chǔ)上,提出數(shù)據(jù)MapReduce的匯總模型。 本論文的整體結(jié)構(gòu)如下: 第一章對課題背景、研究現(xiàn)狀和研究內(nèi)容做了簡要介紹,并介紹了各章節(jié)的內(nèi)容安排。 第二章詳細(xì)介紹了實(shí)現(xiàn)監(jiān)控系統(tǒng)所涉及到的關(guān)鍵性技術(shù)。從其原理、特點(diǎn)、優(yōu)勢上分析,從而說明選擇這些技術(shù)的內(nèi)在原因。 第三章介紹了監(jiān)控系統(tǒng)數(shù)據(jù)庫方面的設(shè)計,詳細(xì)說明了配置庫、采集庫、匯總庫的在系統(tǒng)中的作用,以及各庫中集合的詳細(xì)設(shè)計,和

24、庫中各集合之間以及庫間集合之間的關(guān)聯(lián)關(guān)系。 第四章介紹了監(jiān)控系統(tǒng)的核心部分,數(shù)據(jù)庫集群的搭建。首先從理論上介紹了數(shù)據(jù)庫集群中數(shù)據(jù)的存儲機(jī)構(gòu)和數(shù)據(jù)寫入的協(xié)議,然后介紹了本系統(tǒng)中使用的副本模式集群的參數(shù)配置,和數(shù)據(jù)庫集群服務(wù)器的配置,從而構(gòu)建起數(shù)據(jù)庫集群。最后分析了集群的選舉仲裁機(jī)制。 第五章介紹了監(jiān)控系統(tǒng)的詳細(xì)設(shè)計工作。從系統(tǒng)的整體架構(gòu)到系統(tǒng)各個模塊的設(shè)計方案,最后介紹了程序上大體的一個實(shí)現(xiàn)。 第六章是對數(shù)據(jù)庫集群的性能測試報告。主要是考量數(shù)據(jù)庫集群的數(shù)據(jù)查詢、數(shù)據(jù)插入以及數(shù)據(jù)集群的穩(wěn)定三個方面測試了副本模式搭建的集群的系統(tǒng)性能。 第七章是對這次項(xiàng)目開發(fā)和論文撰寫的一個總結(jié)和對未來的展望。總結(jié)了

25、自己在本次開發(fā)中的主要工作以及得到的成長,對系統(tǒng)的不足和缺陷做了分析,希望在后期的工作中得以完善。 監(jiān)控系統(tǒng)關(guān)鍵技術(shù)Maven2原理 Maven作為Apache的一個開源項(xiàng)目,旨在給項(xiàng)目管理提供更多的支持9。它最早的意圖只是為了給apache組織的幾個項(xiàng)目提供統(tǒng)一的開發(fā)、測試、打包和部署,管理項(xiàng)目的配置文件和依賴的jar包,讓開發(fā)者在多個項(xiàng)目中方便的切換和管理大型項(xiàng)目。 Maven的基本原理很簡單,Maven管理著遠(yuǎn)程倉庫、本地倉庫和pom.xml文件。xml文件是jar包的描述文件,主要描述了配置文件,規(guī)則、項(xiàng)目的依賴關(guān)系,包括項(xiàng)目(或者組織的唯一標(biāo)識)、項(xiàng)目的通用名稱、項(xiàng)目的版本,組織和l

26、icense等。通過pom.xml的定義的依賴,將jar包從遠(yuǎn)程倉庫下載到本地倉庫中來,供本地程序使用,并且每個應(yīng)用系統(tǒng)使用同一個本地倉庫,而同一個版本的jar包只會打包下載一次。 圖2.1 pom.xml文件 Maven采用了現(xiàn)在非常流行的插件式的體系架構(gòu),只保留著最小的核心,其余的功能都是通過擴(kuò)展插件的形式提供出來10。同時,下載插件的操作只有在執(zhí)行Maven任務(wù)的時候才會進(jìn)行。這個原理和php擴(kuò)展與應(yīng)用庫的原理相似,都是在維護(hù)一個官方的倉庫,通過網(wǎng)絡(luò)下載到本地的倉庫中,并且內(nèi)核都很小。Maven的原理架構(gòu)如圖2-2所示。 相比于Ant,maven的優(yōu)勢就顯得比較突出。Maven包含了An

27、t的所有功能,并且更加強(qiáng)大,如對第三方依賴庫的同一版本管理,項(xiàng)目的目錄結(jié)構(gòu)都比較統(tǒng)一,每個項(xiàng)目可以很好的做到兼容,支持多種插件,并且可以把這些插件連同第三方依賴一起進(jìn)行統(tǒng)一版本的管理。而Ant需要為不同的項(xiàng)目編寫不通用的build.xml腳本,這使得每個項(xiàng)目都很繁雜并且不兼容。 圖2.2 Maven原理圖 這里的步驟是為了檢查本地庫庫中是否已經(jīng)存在需要下載的jar包了,如果沒有才會執(zhí)行、步驟。非關(guān)系型數(shù)據(jù)庫 非關(guān)系型數(shù)據(jù)庫的特點(diǎn)是:非關(guān)系型、分布式的、開源的、水平可擴(kuò)展的11。非關(guān)系型數(shù)據(jù)庫的出現(xiàn)和興起是隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興趣而出現(xiàn)的,因?yàn)樵诿鎸Υ笠?guī)模數(shù)據(jù)量和高并發(fā)訪問的web2.0

28、動態(tài)網(wǎng)站時,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫顯得力不從心,暴露了很多致命的問題。而這時,非關(guān)系型數(shù)據(jù)庫則由于其自身的特點(diǎn)得到很好的發(fā)展。NoSQL的發(fā)展和現(xiàn)狀 NoSQL(Not Only SQL)早起就有人提出,是一項(xiàng)對傳統(tǒng)關(guān)系數(shù)據(jù)庫的革命性運(yùn)動。但是NoSQL數(shù)據(jù)庫并不是想取代已經(jīng)廣泛使用的傳統(tǒng)的關(guān)系型數(shù)據(jù)庫,只是采用了一種不同于關(guān)系型的方式解決關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)存儲和計算方面的問題。 NoSQL數(shù)據(jù)庫的定義并不像傳統(tǒng)數(shù)據(jù)庫那樣的嚴(yán)格,只需要數(shù)據(jù)庫內(nèi)部數(shù)據(jù)的組織采用非關(guān)系型的方式就可以稱之為NoSQL12。目前的NoSQL數(shù)據(jù)按照內(nèi)部的數(shù)據(jù)組織形式可以分為5類: 圖2.3 目前NoSQL的分類13 1)

29、基于Key/Value的NoSQL數(shù)據(jù)庫。特點(diǎn)就是簡單并且足夠強(qiáng)大,運(yùn)行速度快。但存在一個很嚴(yán)重的問題,就是需要查找一段范圍內(nèi)的key。 2)基于排序Key/Value的NoSQL數(shù)據(jù)庫。在原來的Key/Value的基礎(chǔ)上做了數(shù)據(jù)集的有序化處理。但是它沒有對value提供具體的數(shù)據(jù)模型,通常而言,value的模型應(yīng)該可以由應(yīng)用負(fù)責(zé)解析和存取的。 3)基于Big Table的NoSQL數(shù)據(jù)庫。它的出現(xiàn)時為了解決上面value沒有提供具體的數(shù)據(jù)模型的問題。 4)基于文檔的NoSQL數(shù)據(jù)庫。對BigTable模型做了改進(jìn),第一是允許value中有主觀的模式,而不是無限制的map嵌套;第二是索引,提高

30、了數(shù)據(jù)庫的檢索速度和效率。這方面的代表產(chǎn)品是MongoDB,也是本文所采用的數(shù)據(jù)解決方案。 5)基于圖式的NoSQL數(shù)據(jù)庫。可以認(rèn)為是從排序Key/Value數(shù)據(jù)庫發(fā)展過來的的一個分支,允許構(gòu)建圖結(jié)構(gòu)的數(shù)據(jù)模型。NoSQL處理上的優(yōu)勢 滿足數(shù)據(jù)庫高并發(fā)讀寫的需求。NoSQL滿足了web2.0網(wǎng)站的實(shí)時生成動態(tài)頁面和提供動態(tài)信息而帶來的對數(shù)據(jù)庫高并發(fā)的要求。傳統(tǒng)的數(shù)據(jù)庫在處理上萬次的sql查詢和寫數(shù)據(jù)時,顯得很有壓力,而NoSQL則可以輕松達(dá)到數(shù)十萬次。 滿足海量數(shù)據(jù)的高效率存儲和訪問的需求。一個大型的SNS網(wǎng)站,每天產(chǎn)生的動態(tài)用戶信息就可以達(dá)到1億。對于關(guān)系型數(shù)據(jù)庫而言,在一張含有億條記錄的表

31、里進(jìn)行SQL的操作其效率是及其低下的。而對于web網(wǎng)站的用戶登錄系統(tǒng),其注冊賬號就數(shù)以億計了。 滿足數(shù)據(jù)庫的高可擴(kuò)展性和高可用性的需求。基于web的架構(gòu)中,數(shù)據(jù)庫的橫向擴(kuò)展往往被局限于技術(shù),當(dāng)一個應(yīng)用系統(tǒng)的用戶數(shù)和訪問量足夠大時,數(shù)據(jù)庫很難通過更多的硬件和服務(wù)節(jié)點(diǎn)來擴(kuò)充性能和負(fù)載能力。而對數(shù)據(jù)庫系統(tǒng)的升級擴(kuò)展往往需要停機(jī)維護(hù)和數(shù)據(jù)遷移,這對于web網(wǎng)站來說損失是不小的。MongoDB技術(shù)MongoDB數(shù)據(jù)結(jié)構(gòu) MongoDB是一個高性能,開源、無模式的文檔型數(shù)據(jù)庫。比之于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫,mongodb用集合的概念取代了表的概念,用文檔的概念取代了行。對MongoDB數(shù)據(jù)庫的理解就是把數(shù)據(jù)分

32、組存儲在數(shù)據(jù)集中,每個集合在數(shù)據(jù)庫中都有一個唯一的標(biāo)識名稱,并且可以包含無限數(shù)目的文檔14。這樣的組織及結(jié)構(gòu)也才能保證MongoDB數(shù)據(jù)的模式自由性。MongoDB的數(shù)據(jù)組織結(jié)構(gòu)如圖2.4所示: 圖2.4 MongoDB數(shù)據(jù)組織結(jié)構(gòu) 該圖通過用戶評論博客描述了MongoDB數(shù)據(jù)的組織形式和數(shù)據(jù)的關(guān)聯(lián)關(guān)系。這里有兩個集合(表):用戶表和博客表。博客表中又存在著非簡單數(shù)據(jù)模型,文章及其評論。在傳統(tǒng)的數(shù)據(jù)庫中,這兩個model會被設(shè)計成單獨(dú)的表結(jié)構(gòu),但是現(xiàn)在是作為博客表的一個字段存在(集合形式)。一個用戶可以在博客上寫很多文章和評論,用戶對文章和評論是一對多的關(guān)系。通過集合字段的存儲模式可以體現(xiàn)出了

33、這種模式關(guān)系?？梢钥闯?MongoDB的數(shù)據(jù)組織結(jié)構(gòu)使數(shù)據(jù)庫的變得簡單,表之間的關(guān)系在表的結(jié)構(gòu)中就已經(jīng)定義好了。MongoDB處理海量數(shù)據(jù)的策略主從模式(Master/Slave) 通常的數(shù)據(jù)庫配置方案是一個Master和一個或多個Slave。Master和Slave節(jié)點(diǎn)做到數(shù)據(jù)同步。從數(shù)據(jù)庫在啟動的時候即馬上和主服務(wù)器進(jìn)行數(shù)據(jù)的同步,這種同步是部分從數(shù)據(jù)庫的啟動先后的,也不需要手動操作。同時,可以對Mater節(jié)點(diǎn)進(jìn)行數(shù)據(jù)的讀寫操作,但是Slave節(jié)點(diǎn)只允許讀取操作而不能寫入。這樣既提高了數(shù)據(jù)庫的讀的效率,也保證了數(shù)據(jù)的一致性。同時寫入多個節(jié)點(diǎn)就可能造成數(shù)據(jù)在各個節(jié)點(diǎn)的不一致,最后從節(jié)點(diǎn)到主節(jié)

34、點(diǎn)上進(jìn)行數(shù)據(jù)同步就可能取得錯誤的數(shù)據(jù)。 主從模式的缺點(diǎn)是不能保證數(shù)據(jù)庫的安全性。即主節(jié)點(diǎn)宕機(jī)或異常情況下的數(shù)據(jù)庫的正常使用。因?yàn)樗鼪]有節(jié)點(diǎn)自動切換的功能。 圖2.5 Master/Slave示意圖副本模式(Relpica-Set) 副本模式是在主從模式的基礎(chǔ)上而來,它包含了主從模式所包含的功能。集群結(jié)構(gòu)也同主從模式一樣,一個Primary節(jié)點(diǎn)和一個或多個Secondary節(jié)點(diǎn)。需要注意的是這里的主節(jié)點(diǎn)和從節(jié)點(diǎn)不是一成不變的,它們的關(guān)系不像是主從模式那樣固定。副本模式的Primary節(jié)點(diǎn)是通過自動協(xié)商競選出來的。 副本模式最大的優(yōu)勢在于其數(shù)據(jù)庫安全性能的提高。副本模式的配置方案保證了Primar

35、y節(jié)點(diǎn)宕機(jī)時的數(shù)據(jù)庫的正常運(yùn)行。因?yàn)樵谥鞴?jié)點(diǎn)異常時,Secondary節(jié)點(diǎn)會通過競選的機(jī)制來選取其中的一個節(jié)點(diǎn)來充當(dāng)Primary節(jié)點(diǎn)。而這些操作對應(yīng)用程序來說,這些是完全透明的,不會影響到程序的正常運(yùn)行。同時,當(dāng)原來的主節(jié)點(diǎn)回復(fù)后,當(dāng)前的“臨時”主節(jié)點(diǎn)就會自動降為slave。 圖2.6 Replca-Set示意圖分片(Sharding) 分片集群是一種可以水平擴(kuò)展的模式,在特別適合處理大數(shù)據(jù)。構(gòu)建一個分片集群需要三個部分15: 1)分片服務(wù)(Shard Server):用于存儲實(shí)際的數(shù)據(jù)分片,實(shí)際環(huán)境中可以由多臺機(jī)器組成一個replica-set來承擔(dān),可以避免主機(jī)單點(diǎn)故障。 2)配置服務(wù)(

36、Config Server):存儲整個集群的元數(shù)據(jù)。 3)路由服務(wù)(Routing Server):前端路由,屏蔽分配服務(wù)的細(xì)節(jié),使整個集群對客戶端來說是一個單一的數(shù)據(jù)庫,前端可以透明的使用。 圖2.7 Sharding架構(gòu)示意圖14 MongoDB的分片機(jī)制是根據(jù)shard keys來劃分?jǐn)?shù)據(jù),keys可以通過文檔的一個或者多個物理鍵值組成。同時,chunk不存儲實(shí)際的數(shù)據(jù),而是一組數(shù)據(jù)集合,表示為collection、minKey和Key構(gòu)成的三元組。當(dāng)chunk的大小查過了ChunkSize,mongoDB會根據(jù)minKey和Key的中間值將這個chunk切分為兩個子chunk,再根據(jù)各

37、個分片的負(fù)載情況,存儲到分片16。EJSChart技術(shù) EJSChart提供了真正易于使用和完全定制化的圖表展示,可以快速發(fā)布各種數(shù)據(jù)的各種格式。之所以選擇EJSChart作為監(jiān)控數(shù)據(jù)圖層的展示,是由于其所具有的特點(diǎn): 1)交互性。EJSChart提供了拐點(diǎn)信息提示、鼠標(biāo)軌跡跟蹤、鍵盤事件、圖像的放大、縮小等功能,使得圖層的展示不再死板,而是可以根據(jù)用戶自己的愛好和關(guān)注點(diǎn)對圖像做出選擇的查看。 2)坐標(biāo)軸的自動縮放。開發(fā)人員不必再在圖像展示前確定坐標(biāo)軸的范圍,EJSChart會自動的計算和測量出刻度來展示各種數(shù)據(jù)值。 3)堆疊性。多個圖像可以在一個圖層上展示,它們可以很好的占據(jù)圖層,而不會出現(xiàn)

38、圖像的混亂。這很適應(yīng)監(jiān)控系統(tǒng)多個項(xiàng)目的線數(shù)據(jù)的展示。 4)多種圖類型支持。EJSChart提供了線圖、塊圖、餅圖、柱狀圖等的支持,可以滿足各種實(shí)際的業(yè)務(wù)需求。而隨著EJSChart的火熱發(fā)展,新的高可用的圖將會出現(xiàn)。 5)Ajax動態(tài)數(shù)據(jù)加載。EJSChart提供了xml格式的數(shù)據(jù)顯示,同時可以動態(tài)的加載數(shù)據(jù),這樣一方面提高了圖層的應(yīng)用范圍,同時也是加快的頁面的展示速度。 6)兼容性好。EJSChart在IE、firefox、chrome等瀏覽器上都具有很好的兼容性,顯示的圖像不會因?yàn)闉g覽器的不同而存在差異。本章小結(jié) 本章介紹了監(jiān)控系統(tǒng)所使用到的關(guān)鍵技術(shù)。包括java程序的標(biāo)準(zhǔn)構(gòu)建工具mave

39、n的實(shí)現(xiàn)原理、非關(guān)系型數(shù)據(jù)庫的發(fā)展和現(xiàn)狀,以及其比之于傳統(tǒng)關(guān)系型數(shù)據(jù)庫上的優(yōu)勢、并重點(diǎn)介紹了非關(guān)系型數(shù)據(jù)庫中發(fā)展的比較成熟的MongoDB,論述了MongoDB的數(shù)據(jù)結(jié)構(gòu),以及其在處理海量數(shù)據(jù)上特有的集中策略,這些策略包括:主從模式、副本模式、分片。在分析了各自的原理和特點(diǎn)后,在本項(xiàng)目中采用了副本模式作為集群服務(wù)器的搭建方案。最后介紹了下完全基于JS實(shí)現(xiàn)的頁面圖像展示技術(shù)EJSChart,重點(diǎn)介紹了EJSChart的幾大特點(diǎn),以及其在處理頁面圖像上的優(yōu)勢,從而確定其作為圖像展示的解決方法。數(shù)據(jù)庫設(shè)計配置庫 配置庫主要是存儲監(jiān)控項(xiàng)相關(guān)的屬性以及監(jiān)控試圖的屬性。控制監(jiān)控系統(tǒng)的操作行為,是系統(tǒng)的“指

40、令中心”。該庫中包含了6個集合(表):監(jiān)控項(xiàng)集合、監(jiān)控試圖集合、服務(wù)集合、模塊集合、聯(lián)系人集合和通用配置集合。表3.1 配置庫框架DBCOLLECTIONEXPLANATIONsdmm_configitem監(jiān)控項(xiàng)view監(jiān)控視圖service服務(wù)module模塊contact聯(lián)系人config通用配置整體框架和集合間關(guān)系 配置庫處在監(jiān)控系統(tǒng)數(shù)據(jù)庫配置中的核心位置,它是系統(tǒng)的調(diào)度中心,決定著系統(tǒng)工作的模式。因此配置庫中的集合也比較多比較復(fù)雜,如圖3.1所示: 圖3.1 配置庫集合關(guān)系圖 通用配置集合是監(jiān)控系統(tǒng)訪問MongoDB數(shù)據(jù)庫的入口,它最重要的字段就是configValue,其指明執(zhí)行的配

41、置值,也就是對哪些數(shù)據(jù)進(jìn)行采集監(jiān)控,哪些是不需要的。通用配置集合直接關(guān)聯(lián)到監(jiān)控項(xiàng)集合,是“one-to-many”的關(guān)系。一個通用配置文檔可以對應(yīng)多個監(jiān)控項(xiàng)文檔。 監(jiān)控項(xiàng)集合在整個數(shù)據(jù)庫方案中很處于中心地位,它的serviceId字段直接關(guān)聯(lián)到服務(wù)集合上,定義這樣的關(guān)聯(lián)關(guān)系是為了得到匯總集合的名稱前綴。它的關(guān)聯(lián)關(guān)系是“one-to-one”的模式,即一個serviceId只能在服務(wù)集合中取得一個前綴。 服務(wù)集合的作用就是存儲上面描述的集合前綴,前綴的作用是用來區(qū)分監(jiān)控數(shù)據(jù),相當(dāng)于是數(shù)據(jù)的分類。表現(xiàn)這個功能的字段是collectionPrefix。 監(jiān)控試圖集合和其他的集合的關(guān)聯(lián)最多,因?yàn)樗亲?/p>

42、后監(jiān)控圖層展示所讀取的數(shù)據(jù)庫。它和監(jiān)控項(xiàng)集合存在著“one-to-many”的關(guān)系,和服務(wù)集合和模塊集合存在“one-to-one”,是對數(shù)據(jù)的一次大的匯總。 模塊集合和聯(lián)系人集合存儲著輔助的一些數(shù)據(jù)。配置庫集合詳細(xì)設(shè)計 通用配置集合定義了系統(tǒng)的執(zhí)行行為,它不僅決定著對那些數(shù)據(jù)進(jìn)行采集和匯總,而且還可以配置執(zhí)行的頻率和定時任務(wù),這個是通過parentKey和configValue來起作用的。同時,可以通過configKey來做到分布式的處理,提高系統(tǒng)的運(yùn)行效率。表3.2 通用配置集合(config)字段類型說明_idObjectId配置編號configKeyString配置項(xiàng)parentKey

43、String父配置項(xiàng)configValueString配置值beginTimeDate(可選)生效時間endTimeDate(可選)失效時間seqInt(可選)序列memoString(可選)備注statusInt狀態(tài): 0 無效 1 有效createTimeDate創(chuàng)建時間updateTimeDate更新時間 監(jiān)控項(xiàng)集合存儲了監(jiān)控項(xiàng)數(shù)據(jù)。它相當(dāng)于對采集的原始數(shù)據(jù)的分類,對用戶關(guān)心的數(shù)據(jù)進(jìn)行統(tǒng)一的監(jiān)控處理。這是通過監(jiān)控項(xiàng)集合的主鍵_id來區(qū)分不同類別的采集結(jié)果的。表3.3監(jiān)控項(xiàng)集合(item)字段類型說明_idObjectId監(jiān)控項(xiàng)編號itemString監(jiān)控項(xiàng)itemEntitiesArra

44、yItemEntity(可選)監(jiān)控項(xiàng)鍵值對象列表ItemEntity: key Stringvalue StringparticlesArrayInt 顆粒度數(shù)組(秒)serviceIdString(可選)服務(wù)編號moduleIdString(可選)模塊編號contactIdsArrayString(可選)聯(lián)系人編號數(shù)組customizableIpBoolean(可選)可自定義傳入IPmemoString(可選)備注signTypeString(可選)簽名方式signKeyString(可選)簽名密鑰allowedIpsArrayString(可選)允許訪問IP列表statusInt狀態(tài): 0

45、 無效 1 有效 2 待審核createTimeDate創(chuàng)建時間updateTimeDate更新時間 服務(wù)集合的作用其實(shí)和監(jiān)控項(xiàng)集合的功能類似,都是用來區(qū)分?jǐn)?shù)據(jù)類別的。只不過服務(wù)集合是用來區(qū)分匯總后的數(shù)據(jù),是對結(jié)果數(shù)據(jù)的區(qū)分。其中最為重要的字段是collectionPrefix,它完成上面的區(qū)分功能。表3.4監(jiān)控視圖集合(service)字段類型說明_idObjectId服務(wù)編號serviceString服務(wù)collectionPrefixString監(jiān)控數(shù)據(jù)集前綴contactIdsArrayString(可選)聯(lián)系人編號數(shù)組memoString(可選)備注statusInt狀態(tài): 0 無效

46、 1 有效createTimeDate創(chuàng)建時間updateTimeDate更新時間 模塊集合用在監(jiān)控試圖的展示上。其主要功能是區(qū)分各個模塊的數(shù)據(jù),存儲一些輔助信息。它主要是和服務(wù)模塊以及聯(lián)系人模塊有關(guān)聯(lián)關(guān)系,它有個status的字段,這個字段有兩個狀態(tài):有效和無效。通過這個字段在對模塊數(shù)據(jù)的監(jiān)控上做區(qū)分,只對有效的模塊進(jìn)行監(jiān)控操作。表3.5模塊視圖集合(module)字段類型說明_idObjectId模塊編號moduleString模塊serviceIdString(可選)服務(wù)編號contactIdsArrayString(可選)聯(lián)系人編號數(shù)組memoString(可選)備注statusInt

47、狀態(tài): 0 無效 1 有效createTimeDate創(chuàng)建時間updateTimeDate更新時間 監(jiān)控視圖集合是前端展示監(jiān)控數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。它存儲著展示圖層的具體信息,包括圖層名稱、橫縱坐標(biāo)的數(shù)值、模塊、聯(lián)系人等。圖層的展示就是通過這個集合加載數(shù)據(jù)的。表3.6監(jiān)控視圖集合(view)字段類型說明_idObjectId監(jiān)控視圖編號viewString監(jiān)控視圖itemIdsArrayString監(jiān)控項(xiàng)編號數(shù)組typeInt視圖類型: 1 折線圖viewTemplateJSON(可選)監(jiān)控視圖模板serviceIdString(可選)服務(wù)編號moduleIdString(可選)模塊編號contac

48、tIdsArrayString(可選)聯(lián)系人編號數(shù)組memoString(可選)備注signTypeString(可選)簽名方式signKeyString(可選)簽名密鑰allowedIpsArrayString(可選)允許訪問IP列表statusInt狀態(tài): 0 無效 1 有效2 待審核createTimeDate創(chuàng)建時間updateTimeDate更新時間 聯(lián)系人集合是個輔助集合類,存儲著商戶的個人信息。它與其他集合的關(guān)聯(lián)是最多的,這樣也保證了系統(tǒng)中各個商戶數(shù)據(jù)的安全性,只有當(dāng)前商戶的用戶可以看到自己的數(shù)據(jù)或者已經(jīng)授權(quán)的商戶的數(shù)據(jù)信息。表3.7聯(lián)系人集合(contact)字段類型說明_id

49、ObjectId聯(lián)系人編號續(xù)表 3.7字段類型說明companyString(可選)公司departmentString(可選)部門contactString(可選)聯(lián)系人emailString(可選)郵箱mobileString(可選)手機(jī)telString(可選) addressString(可選)地址memoString(可選)備注statusInt狀態(tài): 0 無效 1 有效createTimeDate創(chuàng)建時間updateTimeDate更新時間實(shí)時采集庫 實(shí)時采集庫存儲著實(shí)時采集的原始監(jiān)控數(shù)據(jù)。這個數(shù)據(jù)庫存儲的數(shù)據(jù)就非常的大,通常一個集合的數(shù)據(jù)會有1億條。它是對每個服務(wù)每天的數(shù)據(jù)的采集,同時會對舊的數(shù)據(jù)做定時的清理。表3.8實(shí)時采集庫框架DBCOLLECTIONROWsdmm_realservice1.20120701service1的1日明細(xì)數(shù)據(jù)service1.20120702service1的2日明細(xì)數(shù)