云GIS及其關(guān)鍵技術(shù)

云GIS及其關(guān)鍵技術(shù)彭義春王云鵬【摘要】ThecombinationofGISandcloudingcomputingprovidesanextensivedevelopmentprospectforGISinformationstorage,management,processingandapplication.ThedefinitionofcloudcomputingandcloudGISarepresented,fourapplicationmodeandamulti-levelarchitecturemodelofcloudGISareproposed.Thekeytechniques,suchasvirtualtechnology,distributeddatastoragetechnology(GoogleFileSystem),virtualdatamanagementtechnology(BigTable),parallelspatialanalysistechnology,dataandfunctionalinteroperabilitytechnologyaswellasdeploymentmodelaremainlystudied.Finally,anactualapplicationframeworkofcloudGISisgiven.%GIS與云計(jì)算的結(jié)合為GIS的數(shù)據(jù)存儲(chǔ)、管理、處理及其應(yīng)用提供了一個(gè)新的發(fā)展前景。分別給出了云計(jì)算和云GIS的定義，提出了云GIS的四種應(yīng)用模式和一個(gè)多層次架構(gòu)模型，重點(diǎn)研究了云GIS的關(guān)鍵技術(shù)：虛擬化技術(shù)、分布式數(shù)據(jù)存儲(chǔ)技術(shù)(GFS)、虛擬化數(shù)據(jù)管理技術(shù)(BigtableX并行空間分析技術(shù)、數(shù)據(jù)和功能互操作技術(shù)和部署模式，最后給出了一個(gè)云GIS實(shí)際應(yīng)用框架?！酒诳Q】《計(jì)算機(jī)系統(tǒng)應(yīng)用》【年(卷)期】2014(000)008【總頁(yè)數(shù)】8頁(yè)(P10-17)【關(guān)鍵詞】云計(jì)算云GIS;數(shù)據(jù)存儲(chǔ);數(shù)據(jù)管理并行編程模型【作者】彭義春;王云鵬【作者單位】東莞理工學(xué)院城市學(xué)院計(jì)算機(jī)與信息科學(xué)系，東莞523106;中國(guó)科學(xué)院廣州地球化學(xué)研究所，廣州510640;中國(guó)科學(xué)院研究生院，北京100049;中國(guó)科學(xué)院廣州地球化學(xué)研究所，廣州510640【正文語(yǔ)種】中文GIS即地理信息系統(tǒng),是用于采集、存儲(chǔ)、管理、處理、檢索、分析和表達(dá)地理空間數(shù)據(jù)的計(jì)算機(jī)系統(tǒng),是一種分析和處理海量地理數(shù)據(jù)的技術(shù)系統(tǒng).一個(gè)完整的GIS是由計(jì)算機(jī)軟硬件、空間數(shù)據(jù)和用戶組成，其中，空間數(shù)據(jù)是GIS的操作對(duì)象也是其核心，而GIS的技術(shù)優(yōu)勢(shì)在于它的空間數(shù)據(jù)處理和分析能力.當(dāng)前,GIS具有以下特點(diǎn):1）空間數(shù)據(jù)生產(chǎn)單位相對(duì)較少,而數(shù)據(jù)使用者眾多且多樣化2）基礎(chǔ)數(shù)據(jù)多，數(shù)據(jù)量龐大,更新頻度低;3）并發(fā)用戶數(shù)很大,但每次使用量較小;4）需要海量數(shù)據(jù)存儲(chǔ)，進(jìn)行數(shù)據(jù)處理和數(shù)據(jù)挖掘.這些特點(diǎn)已不能完全滿足當(dāng)前海量的并發(fā)用戶對(duì)海量數(shù)據(jù)的數(shù)據(jù)分析、處理的需求，同時(shí)，現(xiàn)有的數(shù)據(jù)管理和處理的體系結(jié)構(gòu)、方法和技術(shù)也不能完全滿足上述要求.云計(jì)算的出現(xiàn)給GIS新的發(fā)展帶來(lái)契機(jī),云計(jì)算非常適合當(dāng)今GIS的需求.首先,在地理數(shù)據(jù)存儲(chǔ)方面,云計(jì)算的高可靠、高吞吐和可伸縮的新型地理數(shù)據(jù)存儲(chǔ)技術(shù)可為GIS提供可靠、安全的數(shù)據(jù)存儲(chǔ)中心,也可滿足海量地理數(shù)據(jù)在高并發(fā)下的地理信息服務(wù)要求;其次,在地理數(shù)據(jù)計(jì)算方面,云計(jì)算基于虛擬集群這一新型云計(jì)算設(shè)施的可伸縮處理數(shù)據(jù)計(jì)算技術(shù)，可滿足海量地理數(shù)據(jù)高性能計(jì)算;最后,在地理信息服務(wù)方面,云計(jì)算具有松耦合，數(shù)據(jù)、功能、服務(wù)的全共享,服務(wù)可聚合、可遷移等特點(diǎn),可解決傳統(tǒng)GIS缺乏統(tǒng)一的平臺(tái)、地理信息資源難以共享以及〃信息孤島”等問(wèn)題，同時(shí),重復(fù)投入和資源浪費(fèi)也將大大減少并可快速搭建和部署GIS應(yīng)用.中國(guó)電子學(xué)會(huì)云計(jì)算專家委員會(huì)給出的云計(jì)算的定義[1]:云計(jì)算就是一種基于互聯(lián)網(wǎng)的、大眾參與的計(jì)算模式，其計(jì)算資源（包括計(jì)算能力、存儲(chǔ)能力、交互能力等）是動(dòng)態(tài)、可伸縮、被虛擬化的,以服務(wù)的方式提供.提供資源的網(wǎng)絡(luò)被稱為〃云”，〃云”中的資源在使用者看來(lái)是可以無(wú)限擴(kuò)展的,并且可以隨時(shí)獲取，按需使用，隨時(shí)擴(kuò)展，按使用付費(fèi).加利福尼亞大學(xué)圣塔芭芭拉分校的博士生LamiaYouseff和紐約IBMT.J.Watson研究中心的研究員MariaButrico、DilmaDaSilva在2008年發(fā)表了一份題為《TowardaUnifiedOntologyofCloudComputing》的研究報(bào)告，該報(bào)告建立了一個(gè)五層模型[2],主要包括以下服務(wù)SaaS（Software-as-a-Service:軟件即服務(wù)）、PaaS（Platform-as-a-Service:平臺(tái)即服務(wù)）、IaaS（Infrastructure-as-a-Service:基礎(chǔ)架構(gòu)即服務(wù)）、DaaS（Data-as-a-Service:數(shù)據(jù)即服務(wù)）和HaaS（Hardware-as-a-Service:硬件即服務(wù)）.其中，IaaS是云計(jì)算的基礎(chǔ)；DaaS基于IaaS構(gòu)建;SaaS可基于PaaS部署或直接部署于IaaS之上,以便高效、便捷的對(duì)外提供服務(wù);PaaS可基于IaaS構(gòu)建或直接構(gòu)建于物理資源之上,可直接向用戶提供開(kāi)發(fā)和應(yīng)用部署服務(wù).將SaaS、PaaS、IaaS結(jié)合DaaS就可以構(gòu)建一個(gè)完整的云計(jì)算環(huán)境.除了這幾種常見(jiàn)模式之外,云計(jì)算又有很多新的模式：NaaS（NetworkasaService:網(wǎng)絡(luò)即服務(wù)）、STaaS（StorageasaService:存儲(chǔ)即服務(wù)）、SECaaS（SecurityasaService:安全即服務(wù)）、DBaaS（DatabaseasaService:數(shù)據(jù)庫(kù)即服務(wù)）、TEaaS（TestEnvironmentasaService:測(cè)試環(huán)境即服務(wù)）、APIaaS（APIasaService:API即服務(wù)）、BaaS（BackendasaService:后端即服務(wù)，為應(yīng)用開(kāi)發(fā)提供后臺(tái)的云服務(wù)）等.所謂云GIS[3],就是將云計(jì)算的各種特征用于支撐地理空間信息的各要素,包括建模、存儲(chǔ)、處理等等,從而改變用戶傳統(tǒng)的GIS應(yīng)用方法和建設(shè)模式,以一種更加友好的方式,高效率、低成本的使用地理信息資源.3.1云GIS的四種應(yīng)用模式當(dāng)前，云GIS還處于發(fā)展階段,云計(jì)算的四種服務(wù)模式在云GIS都有體現(xiàn).〃云”的規(guī)?？砂葱袠I(yè)、規(guī)模、流程、業(yè)務(wù)和不同層次的用戶可以動(dòng)態(tài)伸縮；〃云”之間也可根據(jù)不同需要、根據(jù)不同業(yè)務(wù)屬性進(jìn)行聚合;服務(wù)提供商可重新定制其應(yīng)用,為各種用戶提供無(wú)限多的千變?nèi)f化的應(yīng)用.根據(jù)云計(jì)算的四種服務(wù)模式，云GIS也提出了四種GIS應(yīng)用模式,即:地理信息軟件即服務(wù)（也即SaaS）、地理信息平臺(tái)即服務(wù)（也即PaaS）、地理信息基礎(chǔ)設(shè)施即服務(wù)（也即IaaS）、地理信息內(nèi)容即服務(wù)（也即DaaS）.云GIS的四種應(yīng)用模式如圖1所示.3.2云GIS的多層架構(gòu)模型按照云計(jì)算平臺(tái)的架構(gòu)模型，云GIS體系結(jié)構(gòu)也采用了一個(gè)多層次模型如圖2所示.自下向上分為物理層、虛擬層、數(shù)據(jù)資源層、云計(jì)算機(jī)支持平臺(tái)及服務(wù)組件層、服務(wù)層、應(yīng)用層以及涉及多個(gè)層的服務(wù)發(fā)現(xiàn)、服務(wù)監(jiān)控、資源調(diào)度、計(jì)量（計(jì)費(fèi)）統(tǒng)計(jì)等多種服務(wù).4.1虛擬化技術(shù)虛擬化技術(shù)以前在計(jì)算機(jī)體系結(jié)構(gòu)、操作系統(tǒng)、編譯器和編程語(yǔ)言等領(lǐng)域得到了廣泛應(yīng)用.虛擬化技術(shù)實(shí)現(xiàn)了資源的邏輯抽象和統(tǒng)一表示，它從邏輯上對(duì)資源進(jìn)行重新組織,從而使資源能實(shí)現(xiàn)共享.虛擬化技術(shù)在服務(wù)器、網(wǎng)絡(luò)及存儲(chǔ)管理等方面發(fā)揮了巨大的作用,大大降低了管理復(fù)雜度，提高了資源利用率，提高了運(yùn)營(yíng)效率,從而有效地控制了成本，同時(shí)，在大規(guī)模數(shù)據(jù)中心管理、基于Internet等解決方案交付運(yùn)營(yíng)方面也有著巨大的價(jià)值，不過(guò)，虛擬化技術(shù)雖然可以有效地簡(jiǎn)化數(shù)據(jù)中心管理，但仍然不能消除企業(yè)為了使用IT系統(tǒng)而進(jìn)行的數(shù)據(jù)中心構(gòu)建、硬件采購(gòu)、軟件安裝、系統(tǒng)維護(hù)等環(huán)節(jié),與云計(jì)算的結(jié)合使得兩者相得益彰.云計(jì)算借助虛擬化技術(shù)的伸縮性和靈活性，提高了資源利用率，簡(jiǎn)化了資源和服務(wù)的管理和維護(hù),而在大規(guī)模數(shù)據(jù)中心管理和解決方案交付方面因云存儲(chǔ)使得數(shù)據(jù)更加安全.當(dāng)前，虛擬化已成為云計(jì)算的關(guān)鍵技術(shù)之一,虛擬化技術(shù)包括計(jì)算虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化等.在云GIS中,虛擬化主要包括資源的虛擬化和應(yīng)用的虛擬化：資源虛擬化.為了實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離,在云GIS平臺(tái)體系結(jié)構(gòu)中專門(mén)設(shè)計(jì)了一層虛擬層,它采用將單個(gè)資源劃(硬件和軟件)分成多個(gè)虛擬資源的裂分模式和將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式.它通過(guò)抽象化,可為系統(tǒng)提供多臺(tái)可用的〃虛擬機(jī)”，這些虛擬機(jī)之間在邏輯上是獨(dú)立可用的硬件資源集合，當(dāng)多種操作系統(tǒng)運(yùn)行在虛擬機(jī)上時(shí)，資源組織仍然是獨(dú)立的，這樣也就保證了系統(tǒng)運(yùn)行的可靠性；應(yīng)用虛擬化.分布式的GIS應(yīng)用服務(wù)器集群是整個(gè)云GIS建立的核心,主要完成包括人機(jī)交互、數(shù)據(jù)編輯、拓?fù)潢P(guān)系生成、投影、格式轉(zhuǎn)換、影像處理與信息提取、地圖生成和發(fā)布等GIS專業(yè)應(yīng)用，為了便于在各個(gè)服務(wù)器之間進(jìn)行動(dòng)態(tài)切換、相互替代,服務(wù)器集群應(yīng)具有統(tǒng)一的標(biāo)準(zhǔn).一個(gè)服務(wù)器實(shí)例可以運(yùn)行一個(gè)或者多個(gè)應(yīng)用實(shí)例,具體運(yùn)行的是哪個(gè)實(shí)例需要通過(guò)“服務(wù)監(jiān)控”進(jìn)行分配,服務(wù)器實(shí)例也是虛擬的計(jì)算資源.另一方面，虛擬化將應(yīng)用程序與操作界面遷移到用戶本地來(lái)實(shí)現(xiàn)交互和顯示操作,而數(shù)據(jù)的處理、應(yīng)用程序的運(yùn)行則在遠(yuǎn)端的〃云”中來(lái)完成.4.2分布式數(shù)據(jù)存儲(chǔ)技術(shù)云GIS的空間數(shù)據(jù)具有海量、異構(gòu)、多源、多尺度和多時(shí)空等特點(diǎn)，這導(dǎo)致了系統(tǒng)的空間數(shù)據(jù)通常是無(wú)序、雜亂、動(dòng)態(tài)的，因此云GIS數(shù)據(jù)采用分布式存儲(chǔ)方式，通過(guò)冗余存儲(chǔ)的方式來(lái)保證數(shù)據(jù)的可靠性.云存儲(chǔ)技術(shù)具有分布式、高吞吐率和高傳輸率的特點(diǎn),完全適合空間數(shù)據(jù)的上述特點(diǎn).當(dāng)前,大多數(shù)云GIS采用基于BigTable、HBase、NoSQL等數(shù)據(jù)庫(kù)技術(shù)來(lái)存儲(chǔ)和管理空間數(shù)據(jù),并通過(guò)標(biāo)準(zhǔn)的空間數(shù)據(jù)庫(kù)連接技術(shù)(SDE)和REST接口來(lái)統(tǒng)一訪問(wèn)，同時(shí),分布式緩存技術(shù)(如Memcached)的應(yīng)用也能有效地降低后臺(tái)服務(wù)器的壓力和加快響應(yīng)速度.目前數(shù)據(jù)存儲(chǔ)技術(shù)主要有Google的非開(kāi)源的GFS(GoogleFileSystem)和Hadoop的開(kāi)源的HDFS(HadoopDistributedFileSystem).下面對(duì)GFS作一個(gè)概述.GFS是Google公司為了存儲(chǔ)海量搜索數(shù)據(jù)而設(shè)計(jì)的專用文件系統(tǒng),是一個(gè)適用于大規(guī)模分布式數(shù)據(jù)處理、可擴(kuò)展的分布式文件系統(tǒng).它對(duì)硬件設(shè)備要求不高,包括了容錯(cuò)技術(shù)且為大量客戶端提供極高的聚合處理性能.GFS的體系結(jié)構(gòu)(GFS集群)由單個(gè)的master和多個(gè)chunkserver(塊服務(wù)器)組成，還有相應(yīng)的很多客戶端client.GFS的體系結(jié)構(gòu)如圖3所示：chunkserver.在GFS下,每一個(gè)文件都拆成固定大小的chunk(塊).每一個(gè)塊都由master根據(jù)塊創(chuàng)建的時(shí)間產(chǎn)生一個(gè)全局唯一的以后不會(huì)改變的64位的chunkhandle標(biāo)志.chunkservers在本地磁盤(pán)上用Linux文件系統(tǒng)保存這些塊，并且根據(jù)chunkhandle和字節(jié)范圍,通過(guò)Linux文件系統(tǒng)讀寫(xiě)這些塊的數(shù)據(jù).為了保證數(shù)據(jù)的可靠性，每一個(gè)塊都會(huì)在不同的chunkserver上備份.master.負(fù)責(zé)管理所有的文件系統(tǒng)的元數(shù)據(jù)(metadata),包括文件和chunk的命名空間、訪問(wèn)控制信息、文件到chunk的映射關(guān)系、當(dāng)前chunk的位置等.它也控制系統(tǒng)范圍的活動(dòng)，如塊租約(lease)管理,孤兒塊的垃圾收集,chunkserver間的塊遷移.master定期通過(guò)HeartBeat消息與每一個(gè)chunkserver通信，給chunkserver傳遞指令并收集它的狀態(tài).⑶client.client代碼包含了文件系統(tǒng)的API并與master和chunkserver通信以實(shí)現(xiàn)應(yīng)用程序讀、寫(xiě)數(shù)據(jù).client與master的交換只限于對(duì)元數(shù)據(jù)的操作,而所有數(shù)據(jù)通信都直接和chunkserver聯(lián)系,client和chunkserver都不緩存文件數(shù)據(jù)，這是由于數(shù)據(jù)太多或工作集太大而無(wú)法緩存，同時(shí)，因不必考慮緩存的一致性問(wèn)題反而簡(jiǎn)化了客戶程序和整個(gè)系統(tǒng).client緩存元數(shù)據(jù),chunkserver也不緩存文件，因?yàn)閏hunk是作為本地文件存儲(chǔ)的.Client讀取數(shù)據(jù)的操作順序：(1)client把應(yīng)用要讀取的文件名和偏移量，根據(jù)固定的chunk大小，轉(zhuǎn)換成為文件的chunkindex.向master發(fā)送這個(gè)包含了文件名和chunkindex的請(qǐng)求.master返回相關(guān)的chunkhandle以及對(duì)應(yīng)的位置,client緩存這些信息.client就向最近的對(duì)應(yīng)位置的chunkserver發(fā)起請(qǐng)求,請(qǐng)求包含chunkhandle以及一個(gè)在這個(gè)chunk內(nèi)需要讀取得字節(jié)區(qū)間.⑸chunkserver返回給client要讀取的chunkdata.client向master詢問(wèn)哪一^個(gè)chunkserver保存了當(dāng)前的租約lease,以及其他副本的位置.master回復(fù)主塊的chunkhandle以及其他副本的位置.client把數(shù)據(jù)推送到所有的副本上.⑷所有的副本都被確認(rèn)已經(jīng)得到數(shù)據(jù)后,client發(fā)送寫(xiě)請(qǐng)求到主塊.主塊把寫(xiě)請(qǐng)求傳遞到所有的二級(jí)副本.所有二級(jí)副本回復(fù)主塊說(shuō)明他們已經(jīng)完成操作.⑺主塊回復(fù)client.4.3虛擬化數(shù)據(jù)管理技術(shù)云GIS由大量分布式服務(wù)器組成,要并行地為大量用戶提供服務(wù),要對(duì)分布的、海量的空間數(shù)據(jù)進(jìn)行處理和分析，在傳統(tǒng)的GIS的“RDBMS+SDE”結(jié)構(gòu)和“ExtendedORDBMS”的結(jié)構(gòu)中,空間數(shù)據(jù)庫(kù)管理系統(tǒng)則會(huì)成為系統(tǒng)性能的瓶頸.如何提高數(shù)據(jù)的更新速率以及進(jìn)一步提高隨機(jī)訪問(wèn)速度是云GIS數(shù)據(jù)管理技術(shù)必須解決的問(wèn)題.一方面，虛擬化技術(shù)的空間數(shù)據(jù)管理,具有離線應(yīng)用和在線更新技術(shù),支持在系統(tǒng)之間、部門(mén)之間、層級(jí)之間快速遷移和自動(dòng)同步數(shù)據(jù)，實(shí)現(xiàn)了分布式、多級(jí)別、支持多終端的空間數(shù)據(jù)保障流程;另一方面,云計(jì)算系統(tǒng)的平臺(tái)管理技術(shù),能將分布式服務(wù)器群協(xié)同工作，為業(yè)務(wù)的部署和開(kāi)通提供了極大的便利,也能快速發(fā)現(xiàn)系統(tǒng)故障并能及時(shí)恢復(fù)系統(tǒng)，同時(shí)，運(yùn)用自動(dòng)化、智能化方法保障大規(guī)模系統(tǒng)運(yùn)營(yíng)的可靠性.當(dāng)前主要有Google的BigTable數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開(kāi)發(fā)的開(kāi)源數(shù)據(jù)管理模塊HBase.下面以BigTable為例介紹如何實(shí)現(xiàn)云計(jì)算的大規(guī)模數(shù)據(jù)集管理.Bigtable是一個(gè)分布式的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng),它被設(shè)計(jì)用來(lái)處理海量數(shù)據(jù):通常是分布在數(shù)千臺(tái)普通服務(wù)器上的PB級(jí)的數(shù)據(jù).Bigtable是一個(gè)稀疏的、分布式的、持久化存儲(chǔ)的多維度排序Map.Map的索引是行關(guān)鍵字、列關(guān)鍵字以及時(shí)間戳；Map中的每個(gè)value都是一個(gè)未經(jīng)解析的byte數(shù)組.BigTable管理的數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)為：<row:string,column:string,time:int64>->string.BigTable中的數(shù)據(jù)項(xiàng)按照行關(guān)鍵字的字典序排列,每行動(dòng)態(tài)地劃分到記錄板中.每個(gè)節(jié)點(diǎn)管理大約100個(gè)記錄板.時(shí)間戳是一個(gè)64位的整數(shù),表示數(shù)據(jù)的不同版本.BigTable整體結(jié)構(gòu)如圖5所示,包括:主控服務(wù)器(masterserver),子表服務(wù)器(tabletserver)和客戶端程序：主控服務(wù)器:負(fù)責(zé)整個(gè)系統(tǒng)的管理工作、子表的分配、子表服務(wù)器的負(fù)載均衡、子表服務(wù)器失效檢測(cè)等；子表服務(wù)器:負(fù)責(zé)子表的數(shù)據(jù)存儲(chǔ)和管理,響應(yīng)客戶端程序的讀/寫(xiě)請(qǐng)求，對(duì)應(yīng)所負(fù)責(zé)的子表以GFS的格式存儲(chǔ),一個(gè)子表就是由子表服務(wù)器中存儲(chǔ)的若干個(gè)SSTable文件組成的；客戶端:具體應(yīng)用的接口程序,與子表服務(wù)器進(jìn)行通信，讀寫(xiě)子表對(duì)應(yīng)的數(shù)據(jù).BigTable采用一個(gè)三層類似B+樹(shù)的結(jié)構(gòu)存儲(chǔ)Tablet的位置信息，如圖6所示.其中第一級(jí)的Chubbyfile中包含RootTablet的位置,RootTablet包含所有METADATATablets的位置信息,每個(gè)MetaDataTablets包含許多UserTable的位置信息.對(duì)應(yīng)客戶存儲(chǔ)的數(shù)據(jù),被分割到對(duì)應(yīng)的表格中,并且每個(gè)表格又被分割為若干子表，存儲(chǔ)在不同的子表服務(wù)器中.BigTable利用Chubby系統(tǒng)和元數(shù)據(jù)表來(lái)維護(hù)系統(tǒng)管理數(shù)據(jù).Chubby中某個(gè)特殊文件則指出Root子表所在的子表服務(wù)器地址；元數(shù)據(jù)表:每一行記載了了整個(gè)BigTable中某個(gè)具體子表存儲(chǔ)在那臺(tái)服務(wù)器上等管理信息,而這些元數(shù)據(jù)表也被分割成若干子表,并存儲(chǔ)在不同的子表服務(wù)器中.第一個(gè)元數(shù)據(jù)子表為Root子表，它記錄元數(shù)據(jù)表自身除Root子表外其他子表的位置信息.通過(guò)Root子表記錄可以找到元數(shù)據(jù)表中其他子表存儲(chǔ)在哪臺(tái)機(jī)器上,從而得到完整的元數(shù)據(jù)表,而在元數(shù)據(jù)表的每一行，記錄了BigTable中應(yīng)用程序生成的表格的某個(gè)子表的管理數(shù)據(jù);每一行以用戶表名和子表內(nèi)存儲(chǔ)的最后一個(gè)行主鍵共同構(gòu)成元數(shù)據(jù)表內(nèi)此條記錄的行主鍵;在記錄行的數(shù)據(jù)里則存儲(chǔ)了這個(gè)子表對(duì)應(yīng)的子表服務(wù)器等其他管理信息.某個(gè)客戶端需要查找用戶表的某行記錄,先讀取Chubby系統(tǒng)中的特殊文件，從中得知Root子表的所在位置,然后根據(jù)Root子表獲取元數(shù)據(jù)表其他子表的所在位置通過(guò)和要查詢的用戶表以及待查詢記錄的行主鍵比較，知道具體那臺(tái)子表服務(wù)器存儲(chǔ)著這條記錄.然后客戶端將這些信息緩存在本地,并直接和子表服務(wù)器通信來(lái)讀取對(duì)應(yīng)的數(shù)據(jù).4.4并行空間分析技術(shù)云GIS的數(shù)據(jù)處理能力必須:具有面向任務(wù)的異步空間數(shù)據(jù)處理架構(gòu),支持大型集群的并發(fā)處理和處理流程控制,支持長(zhǎng)時(shí)間運(yùn)行、長(zhǎng)事務(wù)處理,支持移動(dòng)終端操作處理大型空間數(shù)據(jù)庫(kù),具有處理流程的可視化設(shè)計(jì)和運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)控功能，可以跨平臺(tái)、跨地域整合空間數(shù)據(jù)的處理流程,并能夠?qū)崟r(shí)將處理結(jié)果進(jìn)行發(fā)布，等等.另外，云GIS的空間分析能力必須:具有統(tǒng)一的空間分析框架,豐富的、標(biāo)準(zhǔn)化的空間分析模型庫(kù),支持空間分析流程的快速構(gòu)建和自動(dòng)化運(yùn)行,并能夠?qū)崟r(shí)將分析結(jié)果進(jìn)行發(fā)布.為此,我們必須充分利用云平臺(tái)的計(jì)算能力，盡可能地使用并行算法,以提高云GIS的空間數(shù)據(jù)處理和空間分析能力.Google的MapReduce是一種并行編程模型和分布式計(jì)算框架，它把要執(zhí)行的問(wèn)題分解成Map（映射）和Reduce（歸約）兩個(gè)階段來(lái)完成,首先是將每一個(gè)任務(wù)拆分成若干個(gè)Map任務(wù)并分配到不同的計(jì)算機(jī)上去執(zhí)行,每一個(gè)Map任務(wù)將輸入文件的一部分作為自己的輸入，經(jīng)過(guò)計(jì)算生成與最終所需的文件格式完全一致但僅包含部分?jǐn)?shù)據(jù)的中間文件，當(dāng)所有Map任務(wù)完成后，系統(tǒng)會(huì)生成若干個(gè)Reduce任務(wù)并分配到不同的計(jì)算機(jī)上去執(zhí)行,Reduce任務(wù)的目標(biāo)是將若干個(gè)Map任務(wù)生成的中間文件為匯總到最后的輸出文件中去,最終,生成所需的目標(biāo)文件.整個(gè)算法的關(guān)鍵,就在于增加了一個(gè)中間文件生成的流程,大大提高了靈活性,使其分布式擴(kuò)展性得到了保證.圖7為MapReduce并行處理空間選擇查詢的數(shù)據(jù)流圖.以HDFS中輸入文件分塊或HBase表分塊作為Map任務(wù)劃分依據(jù),使用空間選擇查詢算子（點(diǎn)查詢算子或區(qū)域查詢算子）作為Map函數(shù),k1為空間對(duì)象在文件中的行號(hào)或在HBase中的ID,v1為該對(duì)象的所有屬性值.各Map任務(wù)分別對(duì)不同的文件塊或表分塊中的對(duì)象執(zhí)行空間選擇查詢,Map任務(wù)的計(jì)算結(jié)果直接放入HBase或HDFS作為最終結(jié)果.由于不需要對(duì)Reduce任務(wù)的結(jié)果進(jìn)行歸約運(yùn)算，因此，空間選擇查詢處理作業(yè)不需要Reduce階段.下面再以柵格疊加分析來(lái)并行空間分析算法的設(shè)計(jì).某一記錄的輸入格式為F<MBR,Value>,其中,MBR是這條記錄的外包矩形，Value是此矩形范圍內(nèi)的某個(gè)柵格點(diǎn)的屬性值的數(shù)組.使用兩次Map和Reduce階段的算法來(lái)完成疊加分析操作.（1）在第一次Map階段，按照某一空間劃分方法,根據(jù)每條記錄的外包矩形將其劃分成若干長(zhǎng)和寬相同的新記錄.新記錄的鍵是它的外包矩形與屬性類別的組合,若屬性值數(shù)組中與原記錄的坐標(biāo)重疊則使用原來(lái)的值,新增處則沒(méi)有值，暫用一個(gè)特殊值來(lái)標(biāo)記.在第一次Reduce階段，按照新記錄的鍵進(jìn)行合并，在同一個(gè)外包矩形內(nèi)的記錄取有值的部分合并.經(jīng)過(guò)上述MapReduce階段結(jié)束后，中間結(jié)果被保存起來(lái),原來(lái)每一個(gè)的數(shù)據(jù)文件被劃分成了規(guī)則的格網(wǎng).在第二次Map階段，選擇每一個(gè)記錄的外包矩形作為鍵,而將屬性類別和值數(shù)組作為值.在第二次Reduce階段,選擇具有相同鍵的記錄按照設(shè)定的疊加算法進(jìn)行處理，處理后的結(jié)果以文件形式保存.將此文件按照輸出要求進(jìn)行歸約，柵格疊加分析操作就完成了.4.5數(shù)據(jù)和功能互操作技術(shù)云GIS必須實(shí)現(xiàn)跨操作系統(tǒng)(Linux/Unix/AIX/Windows)、跨GIS平臺(tái)、數(shù)據(jù)源(格式)異構(gòu)、硬件異構(gòu)、環(huán)境異構(gòu)，同時(shí)，云GIS必須支持單點(diǎn)發(fā)布、自動(dòng)同步、頻度統(tǒng)計(jì)和自動(dòng)優(yōu)化,支持云內(nèi)部的數(shù)據(jù)互操作、私有公有云的互操作和云中心之間的互操作.為了實(shí)現(xiàn)上述功能和操作可從以下幾方面去實(shí)現(xiàn)：(1)制定相關(guān)的數(shù)據(jù)政策和標(biāo)準(zhǔn)根據(jù)云GIS的六層體系結(jié)構(gòu),就要包括實(shí)現(xiàn)上述六個(gè)層次的標(biāo)準(zhǔn)化,具體涉及到云計(jì)算互操作和集成標(biāo)準(zhǔn)、云計(jì)算的服務(wù)接口標(biāo)準(zhǔn)和應(yīng)用程序開(kāi)發(fā)標(biāo)準(zhǔn)、云計(jì)算不同層面之間的接口標(biāo)準(zhǔn)、云計(jì)算服務(wù)目錄管理、不同云之間無(wú)縫遷移的可移植性標(biāo)準(zhǔn)、云計(jì)算商業(yè)指標(biāo)標(biāo)準(zhǔn)、云計(jì)算架構(gòu)治理標(biāo)準(zhǔn)、云計(jì)算安全和隱私標(biāo)準(zhǔn)等一系列接口、規(guī)范和標(biāo)準(zhǔn),目前,眼下三大國(guó)際標(biāo)準(zhǔn)化組織(ISO、IEC、ITU)紛紛展開(kāi)云標(biāo)準(zhǔn)工作，國(guó)內(nèi)外卜數(shù)十個(gè)標(biāo)準(zhǔn)組織也已啟動(dòng)云計(jì)算相關(guān)標(biāo)準(zhǔn)體系的研究.這些組織可以分為三類:一是傳統(tǒng)信息技術(shù)標(biāo)準(zhǔn)化組織:包括ISO/IEC、美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)研究所(NIST)、分布式管理任務(wù)組(DMTF)、網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)(SNIA)、互聯(lián)網(wǎng)工程任務(wù)組(IETF)、開(kāi)放移動(dòng)聯(lián)盟(OMA)等.二是針對(duì)云計(jì)算新成立的組織:包括開(kāi)放式數(shù)據(jù)中心聯(lián)盟(ODCA)、筋斗云(OpenCirrus)、云計(jì)算安全聯(lián)盟(CSA)、Hadoop社區(qū)、開(kāi)放網(wǎng)格論壇(OGF)、開(kāi)放云計(jì)算聯(lián)盟(OCC)、綠色網(wǎng)格(TGG)等.三是傳統(tǒng)電信領(lǐng)域的標(biāo)準(zhǔn)化組織:包括國(guó)際電信聯(lián)盟(ITU)、世界移動(dòng)通信大會(huì)(GSMA)、歐洲電信標(biāo)準(zhǔn)研究所(ETSI)、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)(CCSA)等.(2)基于WebService技術(shù)構(gòu)建云GIS是GIS與應(yīng)用模型將以服務(wù)模式向用戶提供應(yīng)用,可通過(guò)WebService將云GIS各類信息資源包裝成統(tǒng)一的形式,采用XML/GML等標(biāo)準(zhǔn)格式來(lái)進(jìn)行空間信息傳輸和存儲(chǔ)的，實(shí)現(xiàn)分布式、異構(gòu)環(huán)境下空間信息標(biāo)準(zhǔn)化、同構(gòu)化,從而為進(jìn)一步實(shí)現(xiàn)分布式異構(gòu)網(wǎng)絡(luò)環(huán)境下的GIS集成和互操作奠定了基礎(chǔ);構(gòu)建與OpenGIS的空間信息服務(wù)體系相對(duì)應(yīng)的包括模型交互、模型管理、工作流及任務(wù)管理、模型處理、模型通訊、模型系統(tǒng)管理等六大類服務(wù)的應(yīng)用模型服務(wù)體系.通過(guò)對(duì)分布式、異構(gòu)環(huán)境下信息資源的統(tǒng)一管理和調(diào)度，云GIS真正實(shí)現(xiàn)了跨平臺(tái)、跨系統(tǒng)、跨硬件設(shè)施的異構(gòu)整合.ArcGIS10.1forServer就是一款純WebService產(chǎn)品.⑶采用WebServer集群技術(shù)采用WebServer集群技術(shù)，可構(gòu)建能夠整合跨區(qū)域、跨平臺(tái)、跨部門(mén)的GIS服務(wù)器，實(shí)現(xiàn)多資源的應(yīng)用整合,完成企業(yè)各類信息的互通互聯(lián).在ESRI的ArcGIS10.1forServersite中必須至少有一個(gè)集群,當(dāng)?shù)谝淮蝿?chuàng)建ArcGIS10.1forServersite的時(shí)候,會(huì)產(chǎn)生一個(gè)名為“default”的默認(rèn)集群.以后創(chuàng)建的RunnableGISServer節(jié)點(diǎn)都可以添加到這個(gè)集群內(nèi),某個(gè)Site站點(diǎn)也可以創(chuàng)建多個(gè)集群.這種集群架構(gòu)保證了系統(tǒng)的健壯性和擴(kuò)展性，即使是某一個(gè)GISServer節(jié)點(diǎn)意外的宕掉，也不會(huì)導(dǎo)致整個(gè)地圖服務(wù)的停止運(yùn)行;同樣，當(dāng)需要增加一個(gè)GISServer節(jié)點(diǎn)時(shí)，以plug-in方式插入一個(gè)節(jié)點(diǎn)為服務(wù)提高負(fù)載能力.同時(shí),在邏輯上,在多個(gè)GIS服務(wù)器中我們可以根據(jù)服務(wù)器的性能,或者根據(jù)我們應(yīng)用的不同而進(jìn)行分組，不同的組用于處理不同的服務(wù),比如說(shuō)性能比較好的機(jī)器用于處理GP服務(wù),性能一般的用于處理地圖服務(wù)，進(jìn)行彈性的服務(wù)部署.4.6部署模式云GIS的建設(shè)模式與云計(jì)算相同,主要有三種的建設(shè)模式:共有云GIS、私有云GIS和混合云GIS.其中,混合云GIS是共有云GIS和私有云GIS之間的權(quán)衡模式.共有云GIS(PublicCloudGIS),由專業(yè)的云GIS供應(yīng)商負(fù)責(zé)提供各種類型的GIS資源服務(wù)，用戶無(wú)需關(guān)心云端所有資源的安全、管理、部署和維護(hù),也無(wú)需任何前期投入而只要按需獲取并使用即可.共有云GIS具有前期投入少，周期短;數(shù)據(jù)更新維護(hù)簡(jiǎn)單;系統(tǒng)維護(hù)簡(jiǎn)單;自動(dòng)在線升級(jí)等優(yōu)點(diǎn).圖8為共有云GIS部署模式.目前，發(fā)展成熟的共有云GIS,有ESRI提供的共有云GIS產(chǎn)品,包括ArcGIS.COM、ArcGISAPPs/APIs以及ArcGISInAmazon,國(guó)內(nèi)的有SuperMap與微軟WindowsAzure平臺(tái)開(kāi)展合作的產(chǎn)品等等.私有云GIS(PrivateCloudGIS):私有云是為一個(gè)客戶單獨(dú)使用而構(gòu)建的,因而提供對(duì)數(shù)據(jù)、安全性和服務(wù)質(zhì)量的最有效控制.對(duì)于企業(yè)應(yīng)用來(lái)說(shuō)，由于一些其他的原因,例如網(wǎng)絡(luò)條件的限制、對(duì)數(shù)據(jù)安全的更高要求、有能力建設(shè)私有云等等，企業(yè)用戶同時(shí)也需要搭建企業(yè)自己的云GIS環(huán)境,并由企業(yè)自己來(lái)管理和維護(hù)云端的各種資源，即建設(shè)企業(yè)的私有云GIS.私有云具有數(shù)據(jù)安全、網(wǎng)絡(luò)通達(dá)性好、資源可控、易于定制等優(yōu)點(diǎn).圖9為常見(jiàn)的私有云GIS結(jié)構(gòu).當(dāng)前,ArcGISServer可實(shí)現(xiàn)〃云端發(fā)布服務(wù),本地搭建應(yīng)用”，讓用戶能夠發(fā)布具有彈性調(diào)整能力的GIS服務(wù),并可將其應(yīng)用于自己的業(yè)務(wù)應(yīng)用系統(tǒng)當(dāng)中，同時(shí),允許用戶將開(kāi)發(fā)的應(yīng)用托管至云端；SuperMapiServer6R為用戶提供數(shù)據(jù)、硬件、IaaS解決方案、GIS平臺(tái)軟件(PaaS)等支撐服務(wù).混合云GIS(HybridCloudGIS):指供自己和用戶共同使用的云，它所提供的服務(wù)既可以供別人使用,也可以供自己使用.混合云表現(xiàn)為多種云配置的組合，數(shù)個(gè)云以某種方式整合在一起.例如有時(shí)用戶可能需要用一套單獨(dú)的證書(shū)訪問(wèn)多個(gè)云，有時(shí)數(shù)據(jù)可能需要在多個(gè)云之間流動(dòng)，或者某個(gè)私有云的應(yīng)用可能需要臨時(shí)使用共有云的資源.一些單位考慮到安全問(wèn)題，選擇私有云或“混合云”的部署模型,共有云是最通用的云計(jì)算,基礎(chǔ)設(shè)施和應(yīng)用都由提供云服務(wù)的機(jī)構(gòu)維護(hù).當(dāng)然由于許多的傳統(tǒng)提供商和用戶目