基于負(fù)載均衡的國土資源調(diào)度模型研究

基于負(fù)載均衡的國土資源調(diào)度模型研究

隨著社會(huì)經(jīng)濟(jì)各領(lǐng)域?qū)临Y源數(shù)據(jù)的需求增加，以及國土資源監(jiān)督管理和技術(shù)的不斷提高，對(duì)國土資源信息數(shù)據(jù)的使用形式和效率提出了更高的要求。同時(shí)，黑龍江省金土工程進(jìn)入?yún)^(qū)級(jí)應(yīng)用階段，大量業(yè)務(wù)數(shù)據(jù)和二次國土資源調(diào)查形成的1.1萬空間數(shù)據(jù)構(gòu)成了黑龍江省國土資源信息數(shù)據(jù)。然而，在使用數(shù)據(jù)時(shí)，存在許多問題，包括數(shù)據(jù)分布的業(yè)務(wù)數(shù)據(jù)和空間數(shù)據(jù)。該數(shù)據(jù)的軟件具有很強(qiáng)的特異性，操作復(fù)雜。用戶請(qǐng)求的速度較慢，數(shù)據(jù)信息無法獲取。最終，形成的大量成果閑置，無法直接參與土地資源管理和其他領(lǐng)域的生產(chǎn)和生活?，F(xiàn)在，問題的方法是每年增加硬件設(shè)備的投資。經(jīng)過研究，作者認(rèn)為，由于缺乏區(qū)域信息數(shù)據(jù)的硬件資源，軟件層面沒有形成普遍的系統(tǒng)架構(gòu)，網(wǎng)絡(luò)中的信息數(shù)據(jù)分布不足，無法系統(tǒng)優(yōu)化物理節(jié)點(diǎn)和業(yè)務(wù)應(yīng)用。黑龍江省國土資源信息數(shù)據(jù)包括業(yè)務(wù)信息、空間信息和大量的過程數(shù)據(jù),已經(jīng)具備大數(shù)據(jù)概念,國土專網(wǎng)同時(shí)具備構(gòu)建行業(yè)云基礎(chǔ).因此本研究利用云計(jì)算、物聯(lián)網(wǎng)和GIS集成技術(shù),從計(jì)算力整合、數(shù)據(jù)分布式部署、節(jié)點(diǎn)緩存優(yōu)化、負(fù)載均衡算法,以及云計(jì)算、物聯(lián)網(wǎng)和GIS集成構(gòu)架等方面進(jìn)行研究,通過節(jié)點(diǎn)優(yōu)化模型、負(fù)載均衡模型和業(yè)務(wù)平臺(tái)模型共同構(gòu)成黑龍江國土資源數(shù)據(jù)高效利用云計(jì)算模型.同時(shí)利用云計(jì)算模型搭建測試平臺(tái),通過壓力測試、性能測試和穩(wěn)定性測試,驗(yàn)證模型的性能和實(shí)用性.達(dá)到現(xiàn)有硬件設(shè)施不變的情況下,提高信息數(shù)據(jù)利用效率,創(chuàng)新國土資源數(shù)據(jù)利用形式.1部署策略及流程節(jié)點(diǎn)優(yōu)化策略模型是指在確定節(jié)點(diǎn)計(jì)算力同時(shí),通過部署對(duì)應(yīng)數(shù)據(jù)資源,達(dá)到整體調(diào)控用戶訪問量目的.在對(duì)黑龍江省國土專網(wǎng)內(nèi)的硬件資源調(diào)研的基礎(chǔ)上,首先對(duì)13個(gè)地市進(jìn)行計(jì)算力評(píng)價(jià),設(shè)定節(jié)點(diǎn)層級(jí)和數(shù)據(jù)分布式部署策略.在數(shù)據(jù)分類的基礎(chǔ)上,設(shè)計(jì)數(shù)據(jù)處理流程,通過以計(jì)算力權(quán)值模型為核心的策略模型構(gòu)建,達(dá)到對(duì)用戶請(qǐng)求進(jìn)行節(jié)點(diǎn)緩存分配的目的.1.1各級(jí)單位計(jì)算力計(jì)算力是指以省廳、各地市國土局、各縣區(qū)國土分局作為基礎(chǔ)單位,對(duì)能用于國土資源數(shù)據(jù)管理計(jì)算機(jī)硬件計(jì)算性能的總和.因此選取CPU頻率、個(gè)數(shù)、線程、硬盤轉(zhuǎn)速、容量等14項(xiàng)指標(biāo),對(duì)全省計(jì)算機(jī)性能指標(biāo)進(jìn)行統(tǒng)計(jì).歸一化后作為確定服務(wù)器計(jì)算力的基礎(chǔ)依據(jù).各級(jí)單位可能擁有多臺(tái)服務(wù)器,因此各級(jí)單位計(jì)算力指標(biāo)為各臺(tái)服務(wù)器單項(xiàng)指標(biāo)加和,即式中:i為指標(biāo)編號(hào),n為擁有服務(wù)器臺(tái)數(shù).因?yàn)楦鲉雾?xiàng)指標(biāo)性能對(duì)整體計(jì)算力具有聯(lián)動(dòng)效應(yīng),需要全省統(tǒng)一協(xié)同確定各單項(xiàng)指標(biāo)對(duì)計(jì)算力影響程度,因此構(gòu)建權(quán)重計(jì)算矩陣R后,采用熵權(quán)法確定各指標(biāo)權(quán)重,基本模型如下:式中:j為各級(jí)單位編碼總數(shù),hi為熵值,wi為指標(biāo)權(quán)重.經(jīng)過計(jì)算得出各項(xiàng)權(quán)重,見表1.采用各指標(biāo)權(quán)重與各單位指標(biāo)和的乘積作為各級(jí)單位計(jì)算力CPj:依據(jù)各級(jí)單位計(jì)算力結(jié)果,將計(jì)算力值域平均分為5個(gè)等級(jí),得出計(jì)算力分布圖如1所示.可以看出黑龍江省國土資源信息計(jì)算力存在嚴(yán)重的結(jié)構(gòu)性差異,省級(jí)計(jì)算力尤為突出,占到全省計(jì)算力的37%.但所有的服務(wù)器都是承擔(dān)著與省廳基本一致的數(shù)據(jù)部署情況.有些區(qū)縣只有一臺(tái)低性能服務(wù)器同時(shí)承載業(yè)務(wù)功能和空間數(shù)據(jù)服務(wù)功能,而有的地市、區(qū)縣將業(yè)務(wù)服務(wù)器和空間數(shù)據(jù)服務(wù)器分開,更有的地市具有自己的小型計(jì)算中心.1.2實(shí)現(xiàn)四級(jí)以上省市數(shù)據(jù)服務(wù)器的部署根據(jù)計(jì)算力分布及實(shí)際情況,首先需要對(duì)服務(wù)器資源進(jìn)行分類,即縣級(jí)業(yè)務(wù)服務(wù)器、縣級(jí)空間服務(wù)器、市級(jí)業(yè)務(wù)服務(wù)器、市級(jí)空間服務(wù)器、市級(jí)數(shù)據(jù)備份服務(wù)器、省級(jí)數(shù)據(jù)備份服務(wù)器等6類服務(wù)器,并增加設(shè)置緩存節(jié)點(diǎn)和邏輯調(diào)度服務(wù)器.并設(shè)定將五級(jí)市縣只作為當(dāng)?shù)財(cái)?shù)據(jù)的業(yè)務(wù)數(shù)據(jù)服務(wù)器;在四級(jí)以上市縣部署所轄地區(qū)的數(shù)據(jù)的業(yè)務(wù)服務(wù)器和空間服務(wù)器;在三級(jí)以上市縣部署邏輯調(diào)度服務(wù)器;在二級(jí)以上市部署備份所轄地區(qū)數(shù)據(jù)的市級(jí)數(shù)據(jù)備份服務(wù)器;在一級(jí)省市計(jì)算力設(shè)置全省數(shù)據(jù)的省級(jí)數(shù)據(jù)級(jí)備份中心.優(yōu)化后的各級(jí)服務(wù)器都會(huì)在計(jì)算力相對(duì)充沛的時(shí)候承擔(dān)所轄地區(qū)的用戶請(qǐng)求,具體拓?fù)浣Y(jié)構(gòu)如圖2所示.1.3存儲(chǔ)的計(jì)算力權(quán)數(shù)據(jù)和用戶請(qǐng)求在節(jié)點(diǎn)間通信過程中,不同的請(qǐng)求,響應(yīng)數(shù)據(jù)類型有所不同,進(jìn)而處理過程中被分配到物理資源也應(yīng)有所差異.因此將數(shù)據(jù)分為邏輯業(yè)務(wù)數(shù)據(jù)、邏輯空間數(shù)據(jù)、非邏輯業(yè)務(wù)數(shù)據(jù)、非邏輯空間數(shù)據(jù)4類數(shù)據(jù).即在各服務(wù)器節(jié)點(diǎn)設(shè)置邏輯處理方法,判斷并緩存用戶的4類請(qǐng)求,通過優(yōu)化策略模型分發(fā)至相對(duì)空閑的服務(wù)器.同時(shí)采用省、市、縣三級(jí)協(xié)同處理數(shù)據(jù)的方式,達(dá)到計(jì)算力之和瞬時(shí)均等.即當(dāng)用戶請(qǐng)求任何一個(gè)縣、市、或全省的數(shù)據(jù),其用戶數(shù)據(jù)都會(huì)得到同等計(jì)算力的分配.為達(dá)到計(jì)算力之和瞬時(shí)均等,根據(jù)全省計(jì)算力分布,計(jì)算得出各地瞬時(shí)計(jì)算力權(quán)值.定時(shí)將計(jì)算力權(quán)值發(fā)送給各服務(wù)器,供各服務(wù)器上的邏輯處理方法調(diào)用.根據(jù)以上設(shè)計(jì),邏輯處理方法形成了不同層級(jí)的緩存節(jié)點(diǎn),緩存節(jié)點(diǎn)根據(jù)計(jì)算力權(quán)值決定是否發(fā)送給調(diào)度服務(wù)器,最后利用資源調(diào)度模型完成對(duì)數(shù)據(jù)請(qǐng)求的處理,并周期性修正計(jì)算力權(quán)值.具體數(shù)據(jù)流程如圖3所示.1.4計(jì)算力權(quán)值模型確定用戶請(qǐng)求根據(jù)計(jì)算力權(quán)值分配節(jié)點(diǎn)內(nèi)存,如有節(jié)點(diǎn)服務(wù)器能夠接收節(jié)點(diǎn)內(nèi)存,就需要剩余計(jì)算力占系統(tǒng)內(nèi)剩余計(jì)算力的比重,以及上一周期該服務(wù)器處理數(shù)據(jù)的效率.同時(shí),邏輯數(shù)據(jù)可能占據(jù)內(nèi)存的時(shí)間較長并可能隨時(shí)都會(huì)有新請(qǐng)求補(bǔ)充進(jìn)內(nèi)存,因此非邏輯數(shù)據(jù)較多的服務(wù)器應(yīng)有機(jī)會(huì)分配到更多的用戶請(qǐng)求.因此確定計(jì)算力權(quán)值模型如下:式中:Wcp為計(jì)算力權(quán)值,PR為服務(wù)器剩余計(jì)算力占據(jù)系統(tǒng)內(nèi)總剩余計(jì)算力的比重了,Q為上一周期服務(wù)器數(shù)據(jù)處理效率了,S為積壓數(shù)據(jù)中非邏輯數(shù)據(jù)的比重.其中,其中,T為周期時(shí)間,N為該服務(wù)器積壓用戶請(qǐng)求總數(shù),n為上一周期處理用戶請(qǐng)求數(shù),Nnl為該服務(wù)器中積壓的非邏輯數(shù)據(jù)請(qǐng)求數(shù).2基于效率的負(fù)載均衡算法確定節(jié)點(diǎn)優(yōu)化策略模型后,就需要對(duì)用戶請(qǐng)求進(jìn)行響應(yīng)計(jì)算、資源分配和通信傳輸,就需要構(gòu)建資源調(diào)度模型進(jìn)行負(fù)載均衡的計(jì)算.在調(diào)研過程中可以看出,國土資源信息數(shù)據(jù)利用存在物理節(jié)點(diǎn)較復(fù)雜,數(shù)據(jù)形式及邏輯關(guān)系類型多樣,但瞬時(shí)訪問量不大.因此需要一種部署方便,能夠快速實(shí)現(xiàn)資源調(diào)度和分配,并能夠處理多種邏輯關(guān)系數(shù)據(jù)的負(fù)載均衡算法.匈牙利算法作為一種用增廣路徑求二分圖最大匹配的算法,可以在多項(xiàng)式時(shí)間內(nèi)解決問題,非常符合黑龍江省國土資源數(shù)據(jù)高效利用的需求.具有循環(huán)歷遍次數(shù)少,指向快速明確,數(shù)據(jù)邏輯關(guān)系容易設(shè)置和實(shí)現(xiàn),適用于物理資源相對(duì)充足,部署方式需要靈活的網(wǎng)絡(luò)構(gòu)架中.因此選用匈牙利算法作為負(fù)載均衡核心算法,并利用Matlab實(shí)現(xiàn)其核心算法,并生成com組件部署在邏輯調(diào)度服務(wù)器,實(shí)現(xiàn)對(duì)資源的合理調(diào)度.2.1負(fù)載un設(shè)定服務(wù)器數(shù)量為n;請(qǐng)求任務(wù)為m;總請(qǐng)求任務(wù)數(shù)為M;運(yùn)行時(shí)間定為Tn,即n服務(wù)器完成m請(qǐng)求所需要的時(shí)間;負(fù)載定為Un,即n服務(wù)器上完成現(xiàn)有分配請(qǐng)求所需要的時(shí)間;網(wǎng)絡(luò)延遲定位Dn,即因傳輸介質(zhì)所造成的時(shí)間損耗.設(shè)Wnm為第n臺(tái)服務(wù)器去執(zhí)行第m個(gè)請(qǐng)求任務(wù)時(shí)的綜合權(quán)重.Wnm與Wcp權(quán)值負(fù)相關(guān),Wnm越小表示完成請(qǐng)求任務(wù)的條件越好.定義調(diào)度變量:基于Wnm構(gòu)建綜合權(quán)重矩陣,并轉(zhuǎn)換為0-1線性規(guī)劃問題.2.2算法流程具體算法步驟和流程見圖4所示.2.3com組件資源調(diào)度模型需要在服務(wù)形式在邏輯調(diào)度服務(wù)器運(yùn)行.采用C#開發(fā)服務(wù)程序,調(diào)用基于匈牙利算法的com組件,并接收、歷遍和采集專網(wǎng)內(nèi)的資源請(qǐng)求和處理信息,提供給匈牙利算法進(jìn)行計(jì)算,再將結(jié)果與用戶請(qǐng)求進(jìn)行耦合,完成資源分配.文本采用MatlabR2010a來編寫資源調(diào)度模型,并編譯成com組件.具體核心代碼如下:3saas層和gis的模型構(gòu)建為整合節(jié)點(diǎn)優(yōu)化策略模型和資源調(diào)度模型,需要建立業(yè)務(wù)平臺(tái)架構(gòu)模型,通過在IaaS、PaaS、SaaS層分別集成物聯(lián)網(wǎng)技術(shù)和GIS二次開發(fā)技術(shù),通過服務(wù)的形式,簡單快捷為用戶提供國土資源信息數(shù)據(jù)獲取和使用的渠道.業(yè)務(wù)平臺(tái)模型作為云計(jì)算模型的重要組成部分,通過改變信息數(shù)據(jù)利用形式和方法,改善用戶利用數(shù)據(jù)的體驗(yàn)和效果,進(jìn)一步提高其利用效率.同時(shí)為測試云計(jì)算模型的整體性能提供測試載體.3.1基于云計(jì)算模型的金土工程業(yè)務(wù)優(yōu)化業(yè)務(wù)平臺(tái)依托節(jié)點(diǎn)優(yōu)化策略和資源調(diào)度模型進(jìn)行設(shè)置.達(dá)到功能操作簡單化、操作平臺(tái)多元化、信息變更實(shí)時(shí)化,檢索查詢快捷化等要求.從構(gòu)架結(jié)構(gòu)和數(shù)據(jù)流程2個(gè)方面開展對(duì)現(xiàn)有金土工程業(yè)務(wù)系統(tǒng)的優(yōu)化.主要功能則保持穩(wěn)定的基礎(chǔ)上,大幅增加GIS現(xiàn)實(shí)和操作的功能,主要實(shí)現(xiàn)的功能包括:建設(shè)用地審批、地籍變更、現(xiàn)狀地物與監(jiān)察影像對(duì)照等.實(shí)現(xiàn)云計(jì)算模型的同時(shí),使云計(jì)算模型能夠開展各項(xiàng)測試.3.2平臺(tái)總體架構(gòu)現(xiàn)有金土工程應(yīng)用平臺(tái)完全采用了B/S結(jié)構(gòu),沒有考慮到數(shù)據(jù)分布式利用效率,以及空間數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)的邏輯結(jié)構(gòu)和性能特點(diǎn)的不同.為適應(yīng)整體的云計(jì)算模型,根據(jù)云計(jì)算、物聯(lián)網(wǎng)基本構(gòu)架思想,按照“分層設(shè)計(jì)、模塊構(gòu)建”的思想,規(guī)劃出平臺(tái)整體總體架構(gòu).平臺(tái)總體架構(gòu)如圖5所示,顯示出了平臺(tái)的組成及各組成部分相互之間的關(guān)系.在平臺(tái)的總體架構(gòu)中,建設(shè)遵從黑龍江省金土工程標(biāo)準(zhǔn)體系,依托信息安全保障體系和國土資源管理體系,在IaaS層集成物聯(lián)網(wǎng)的傳輸層和感知層,在PaaS層集成物聯(lián)網(wǎng)的應(yīng)用層,利用SaaS層來進(jìn)行新應(yīng)用系統(tǒng)的構(gòu)建和已有系統(tǒng)的集成,借助信息共享平臺(tái)實(shí)現(xiàn)信息資源的共享,通過信息服務(wù)平臺(tái)提供各項(xiàng)信息服務(wù).按照平臺(tái)總體架構(gòu)進(jìn)行系統(tǒng)的規(guī)劃與設(shè)計(jì),有利于金土工程升級(jí)改造,集成和減少國土相關(guān)單位“信息孤島”出現(xiàn),從而減少集成的難度和投入,最終提升金土工程成體性能.3.3系統(tǒng)流程架構(gòu)根據(jù)系統(tǒng)總體構(gòu)架,將信息數(shù)據(jù)流程進(jìn)行整體設(shè)計(jì)并優(yōu)化,集成資源調(diào)度模型和節(jié)點(diǎn)優(yōu)化模型,實(shí)現(xiàn)系統(tǒng)的穩(wěn)定安全運(yùn)行,以及各終端設(shè)備的高效無縫鏈接,具體流程架構(gòu)如圖6所示.3.4s架構(gòu)平臺(tái)的開發(fā)根據(jù)模型設(shè)計(jì)并實(shí)現(xiàn)建設(shè)用地審批、地籍變更、現(xiàn)狀地物與監(jiān)察影像對(duì)照等業(yè)務(wù)功能,并且保證能在多平臺(tái)上執(zhí)行測試頁面.功能實(shí)現(xiàn)通過C#語言對(duì)ArcGIS平臺(tái)進(jìn)行二次開發(fā),通過ArcGISServer和AppLogic設(shè)置地圖和業(yè)務(wù)服務(wù)器提供發(fā)布數(shù)據(jù)所需的硬件環(huán)境;通過ArcGISOnline和ArcGISWebMappingAPI在PaaS層部署開發(fā)所需的API;ArcGISSever發(fā)布空間數(shù)據(jù)資源并調(diào)用響應(yīng)的API實(shí)現(xiàn)以上功能.證明本研究所構(gòu)成的模型體系能夠解決黑龍江省國土資源信息化建設(shè)中所面臨的突出問題,并能提供云計(jì)算所需的測試界面.應(yīng)用如圖7所示.4測試實(shí)驗(yàn)和結(jié)果為了測試多用戶請(qǐng)求同時(shí)訪問土資源數(shù)據(jù)高效利用云計(jì)算模型時(shí)性能和極限指標(biāo),需要對(duì)模型進(jìn)行負(fù)載測試,從而對(duì)模型的各項(xiàng)性能給出量化分析.因此,根據(jù)國土部門日常工作特點(diǎn),選擇建設(shè)用地審批用例模擬和代替日常審批工作,采用地籍變更用例模擬和代替矢量數(shù)據(jù)操作工作,采用現(xiàn)狀地物與監(jiān)察影像對(duì)照用例模擬和代替空間數(shù)據(jù)查詢和影像數(shù)據(jù)瀏覽、對(duì)比和切換工作.本測試通過一臺(tái)IBM筆記本,主頻2.4GHz,內(nèi)存4GB,采用windows7ultimatesp1x64操作系統(tǒng),部署LoadRunner11.0作為測試環(huán)境.測試方案為設(shè)定測試時(shí)間為6h,模擬一天國土業(yè)務(wù)工作工作時(shí)間;擬定逐步增加虛擬用戶數(shù)量到3000,前10min增加至2000.迭代次數(shù)設(shè)為10,即隨機(jī)選取測試案例循環(huán)10次.測試過程中,運(yùn)行虛擬用戶的最大數(shù)目:2143;總吞吐量(Byte):25697503649;平均吞吐量(Byte/s):1189699.運(yùn)行事務(wù)總數(shù):21773356;事務(wù)執(zhí)行速率1008個(gè)/s;錯(cuò)誤總數(shù):379.用戶數(shù)達(dá)到2000之前錯(cuò)誤數(shù)為8,用戶數(shù)達(dá)到2000之后錯(cuò)誤數(shù)逐漸增多,可以確定同時(shí)并發(fā)用戶數(shù)達(dá)到2000時(shí),本模型可正確運(yùn)行.采用同樣硬件環(huán)境測試金土工程,案例采用建設(shè)用地審批、矢量數(shù)據(jù)操作,以及遙感影像瀏覽.測試10min,增加用戶至104個(gè),無迭代,事務(wù)運(yùn)行總數(shù)20464,錯(cuò)誤總數(shù):572.用戶數(shù)量達(dá)到63時(shí)出現(xiàn)8個(gè)錯(cuò)誤.根據(jù)測試結(jié)果可以看出,所構(gòu)建的模型相對(duì)現(xiàn)有金土工程系統(tǒng)性能優(yōu)勢比較明顯,并發(fā)能力大,響應(yīng)時(shí)間短,錯(cuò)誤率低,同時(shí)穩(wěn)定性高.同時(shí)響應(yīng)時(shí)間、硬件利用率和整體性能也都大幅提高,解決了系統(tǒng)運(yùn)行效率和穩(wěn)定性問題.根據(jù)黑龍江省金土工程用戶數(shù)量和業(yè)務(wù)種類,基本可以滿足要求.5研究結(jié)論與建議本研究根據(jù)黑龍江省國土資源信息化發(fā)展中所遇到的各種問題,結(jié)合現(xiàn)有基礎(chǔ)設(shè)施情況,采用云計(jì)算、物聯(lián)網(wǎng)和GIS相集成的理念,設(shè)計(jì)并研發(fā)了由節(jié)點(diǎn)優(yōu)化模型、資源調(diào)度模型、業(yè)務(wù)平臺(tái)構(gòu)架模型等組成的國土資源數(shù)據(jù)高效利用云計(jì)算模型,構(gòu)建了各層級(jí)結(jié)構(gòu)和流程框圖.同時(shí)在黑龍江工程學(xué)院云計(jì)算及大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室經(jīng)行模擬了黑龍江省國土資源硬件環(huán)境,并整體測試和驗(yàn)證了本研究的可行性結(jié)果證明,本模型不僅提高了國土資源基礎(chǔ)物理環(huán)境的整體性能,增加了穩(wěn)定性,并且拓展了使用方式和應(yīng)用模式.根據(jù)本研究成果,建議黑龍江省國土資源信息化建設(shè)中可首先依托省國土廳、哈爾濱市國土資源局和大慶市國土資源局,首先建立資源調(diào)度服務(wù)器和數(shù)據(jù)備份中心;再在各省市縣金土工程服務(wù)器中設(shè)置節(jié)點(diǎn)策略優(yōu)化軟件,建立節(jié)點(diǎn)緩存層,并與調(diào)度服務(wù)器實(shí)現(xiàn)數(shù)據(jù)交換;接著逐步在省市縣三級(jí)完善地圖服務(wù)器的配置,上級(jí)計(jì)算力充裕的地區(qū)要為