基于xml的gml數據存儲研究

基于xml的gml數據存儲研究

一、gml的存儲管理隨著地理標記語言（pml）技術的成熟，民法在gis領域得到了廣泛應用。許多gis軟件提供商已經開始在他們設計的軟件中支持vml數據。在GML技術給我們帶來便利的同時,也給我們帶來了一個重大的問題,就是面對不斷涌現的GML數據我們如何去管理和操縱?？臻g數據管理一直是GIS研究的主題,它包括空間數據模型和空間數據庫兩方面的內容。而GML就是空間數據建模標準規(guī)范,為空間數據的描述提供了標準框架。GML是開放地理信息系統(tǒng)協會OGC(OpenGeospatialConsortium)制定的基于XML的中立于任何廠商、任何平臺的地理信息編碼標準,用于地理信息的傳輸、存儲和發(fā)布。OGC先后推出了三個版本的GML,其應用和研究還處于起步階段。目前絕大多數空間數據還是存儲在傳統(tǒng)的關系數據庫或對象關系數據庫中,各GIS軟件廠商只是用GML作為傳輸和交換的中間文件格式。在發(fā)送方需要專門的轉換軟件來將發(fā)送方的GIS文件格式轉換為GML格式,在接受方也需要專門的轉換軟件來將GML格式轉換為接受方的GIS文件格式。GML不僅可以作為一種有效的空間數據傳輸、交換的手段,而且也是一種很好的空間數據存儲格式。如果使用GML來存儲管理空間數據,即各GIS軟件開發(fā)商都使用GML作為其數據模型和文件格式,那么就不需要任何轉換,所有GIS的空間數據都可以有效地集成與共享。關鍵是如何有效地存儲管理GML空間數據。由于XML/GML半結構化(樹狀結構)的數據模型與傳統(tǒng)的關系模型之間的重大區(qū)別,傳統(tǒng)的關系數據庫并不適合存儲管理XML/GML數據。隨著XML技術的快速發(fā)展,已經涌現出了一批專門用來存儲管理XML數據的數據庫系統(tǒng)(NativeXMLDatabase,NXD),這些系統(tǒng)能夠很好地實現XML數據的存儲管理、查詢檢索等功能,為XML數據的存儲管理提供了有效的解決方案。由于GML數據是基于XML標準的空間數據,XML的所有技術都可以應用于GML,人們很自然地想到能否使用XML數據庫系統(tǒng)來存儲管理GML空間數據?若能用XML數據庫系統(tǒng)來存儲、傳輸GML空間數據,那么就不需要專門的數據格式轉換軟件,因為這種本原XML數據庫存儲、傳輸的就是XML數據,GML數據也是一種XML數據。但是GML并不等同于XML,GML技術與XML技術的區(qū)別正如GIS技術與MIS技術的區(qū)別,GML空間數據庫與XML數據庫的區(qū)別正如空間數據庫與一般數據庫的區(qū)別。所以需要進一步研究GML空間數據的存儲管理問題。二、擴展sql以支持gml查詢目前國內外對GML空間數據的存儲管理研究較少。文獻對GML空間數據在三種關系數據庫中的存儲和查詢(SQL)性能進行了比較,提出了基于SQL的GML空間查詢語言,由于XML數據模型與傳統(tǒng)的關系模型之間的重大差別,擴展SQL以支持GML查詢并不是GML查詢系統(tǒng)的最有效方案。當用戶需要進行GML查詢或其他處理時,在GML與關系數據庫之間進行來回轉換要耗費相當多的處理時間,這會降低數據的處理速度。此外,這種處理方式與XML查詢語言標準XQuery不相符。文獻比較了幾種XML查詢語言,并提出了對XQuery語言進行擴展以支持GML查詢的設想,但文中并沒有涉及如何實現等更深層次的問題。GML空間數據庫的研究還有很多理論和技術問題需要解決。目前,有的歐洲國家開始給用戶發(fā)布GML數據,已不再直接提供傳統(tǒng)的數據形式,這就迫使我們不得不研制一種能夠具有傳統(tǒng)數據庫的功能,但又與傳統(tǒng)數據庫有區(qū)別的基于GML數據的新型數據庫。三、存儲數據的功能1.gmlss軟件GML是一種用于建模、傳輸和存儲地理及與地理相關信息的XML編碼語言,它包括了地理要素(Feature)與層(Coverage)的空間與非空間特征。GML建立在W3C系列標準之上,以一種互聯網上容易共享的方式來描述、表達地理信息,是第一個被GIS界廣泛接受的元標記語言。在這之前開發(fā)的各種用于存儲和交換地理信息的文件格式或標準,由于缺少相應的支持工具而沒有被廣泛接受。GML一個重要優(yōu)勢就是它能夠讓開發(fā)者或用戶非常靈活地使用已被廣泛接受的XML技術,它建立在XML,XMLSchema,XLink和XPointer基礎之上。GML數據能夠很容易地與非空間數據集成使用。GML使用XML對地理數據進行編碼,為開發(fā)商和用戶提供了一種開放的、中立于任何廠商的地理數據建?？蚣?使地理信息能夠在不同領域、不同部門進行語義共享。GML采用要素(Feature)來描述地理實體和地理現象,GML要素是通過其屬性(Property)來描述的,這些屬性包括空間屬性、時態(tài)屬性及其他非空間時態(tài)屬性。OGC先后推出了三個版本的GML。GML1.0版本于2000年4月正式推出,GML2.0版本于2001年2月推出,GML2.12版本于2002年9月推出,2003年1月推出GML3.0版本。3.0版增加了對復雜的幾何實體、拓撲、空間參照系統(tǒng)、元數據、時間特征和動態(tài)要素等的支持,使其更加適合描述現實世界問題。GML作為一個空間數據編碼規(guī)范,它并沒有強制采用它的用戶使用規(guī)定的XML標識,而是提供了一套基本的標簽、公共的數據模型,以及用戶構建應用模式(GMLApplicationSchemas)的機制。2.gml在其他方面的應用和傳統(tǒng)空間數據相比,GML空間數據具有如下特征:1.GML遵循OGC所制定的地理抽象模型,該模型已得到了大多數GIS軟件廠商及第三方軟件廠商的支持,因此數據在轉換成GML時不會有信息的損失。2.GML是基于文本的地理信息表示,比較簡單、直觀,容易理解和編輯,使用一般的文字編輯軟件或專門的XML編輯器即可閱讀和編輯,并不依賴任何GIS軟件。3.GML空間數據的有效性控制,GML模式定義了GML文檔的內容和結構,通過GML模式可以在數據編輯及傳輸時驗證其規(guī)格是否有效。4.GML容易與非空間數據集成,傳統(tǒng)的二進制文件必須了解其數據結構,才能進行編輯修改,而且數據結構修改時,應用程序也必須跟著修改,故不易與其他系統(tǒng)的數據整合應用。而GML可通過XLink,XPointer或URI與其他XML數據鏈接。5.可將GML數據轉換成任一向量數據格式(例如SVG,VML或VRMI),即可在任意瀏覽器上顯示,不需要安裝特別的圖形插件。6.GML是基于XML的地理信息表示,各種XML技術如XML解析,XMLSchema,XLink,XPointer,XSL,XML查詢語言等都可應用于GML。7.GML封裝了地理信息及其屬性,GML地理要素(Feature)包括一系列的屬性和相應的幾何信息、拓撲信息,一般來說屬性由名字、類型和值組成,幾何信息由基本元素如點、線、面、曲線、多邊形等組成,拓撲信息由拓撲基元Node,Edge,Face,TopoSolid以及這些基元之間的關系來描述。GML允許構建相當復雜的要素,如要素間的嵌套。8.GML封裝了空間地理參考系統(tǒng),空間地理參考系統(tǒng)是地理信息系統(tǒng)數據處理的基礎。GML封裝了空間地理參考系統(tǒng)、主要的投影關系等,保證了分布式處理的擴展性和靈活性。9.GML可以實現空間數據的分布式存儲,GML對空間數據的分發(fā)是非常方便的技術手段,但其作用不局限于此,同樣可以成為空間數據分布式存儲的重要手段。10.GML不僅可以表達基于要素模型的矢量數據,還可以表達基于場模型的柵格數據。3.結構的動態(tài)設計考慮到對象關系數據庫存儲空間數據的必要條件以及空間數據庫的可操作性,如便于查詢數據,本文設計了一種中粒度方法解決空間數據庫的存儲問題?？臻g實體有兩個最基本的要素:空間要素和屬性要素。實踐證明:如果將空間要素和屬性要素分開存儲在兩個表中,數據庫在最終進行查詢時將會耗費大量時間來進行表的連接,可操作性較差。由于一個GML文件可能包含多個圖層信息,本文考慮將同一圖層的數據都存儲在同一表中,表分為兩部分,分別表示空間要素與屬性要素。每個GML文件都有一個對應的XSD文件用來解釋此GML文件的結構,通過解析該XSD文件動態(tài)設計表結構。屬性要素由分析XSD文件得來,空間要素包括兩部分:一個是表示此空間要素的外接矩形,另一個是組成此空間要素的點集。它的主要缺點在于:首先,由于XML數據是一種半結構化數據,而關系數據庫管理系統(tǒng)都是面向結構化數據的,在兩者之間進行數據的轉化必然要丟失一定的信息;而且為了適應XML文檔表示方式的隨意性,必定要產生大量的冗余數據,這就破壞了表結構的緊湊性,也浪費了存儲空間;其次,由于XML文檔具有結構多變的特點,結構上的每一次變化都可能引起所對應數據庫管理系統(tǒng)表結構的改變,這對現有數據庫系統(tǒng)的性能產生很大的影響,不符合對結構化數據進行管理的特點;此外在對XML數據進行增刪操作時,這種XML數據的管理方法會因數據的改變引起結構上的變化,使數據表結構要作相應的改變。當遇到大型或復雜文檔時或當用戶需要進行XML查詢或其他處理時,在XML與數據庫之間進行來回轉換要耗費相當多的處理時間,數據庫需要重新組合這些數據,這降低了數據處理的速度。4.gml相關文本處理模式NXD支持“文檔集合”的概念,通常它提供兩種模式,即有模式和無模式。前者是一個文檔集合關聯一種模式,當將GML文檔加入到有模式的文檔集合時,NXD會對該GML文檔進行模式檢查,只有符合模式的文檔才能添加到該集合中。當NXD使用“無模式”文檔集合時,則更方便用戶操作,靈活性大。本文假定所有要存儲的空間數據均以GML格式進行編碼,不存在用戶存儲格式不同的問題,故采用有模式的文檔集合存儲GML文件。四、6ml空間數據庫設計1.數據庫設計Table表包含ID,屬性要素1…n,x1,y1,x2,y2,空間要素點集。其中屬性要素需要解析XSD文件后存入下面的數據結構中,待動態(tài)建表用。x1,y1,x2,y2四個字段表示空間要素外接矩形的左上角和右下角坐標,保證了在空間分析查詢中系統(tǒng)的實時性和有效性。由于對象關系數據庫中的記錄存在無次序、無層次的問題,需定義一個ID標識每一條記錄,顯然對于初始記錄指定為1,依次自增。而空間要素點集通常采用LOB(LargeObject)大對象存儲空間對象的圖形數據。LOB以兩種形式存儲在數據庫中,一般大型數據庫都提供了相應的數據類型存放LOB數據。一種是以BLOB形式存儲,比較典型的有Access數據庫中OLE對象數據類型、SQLServer數據庫中的Image數據類型、Oracle中的LONGRAW和BLOB數據類型等;另一種是以CLOB形式存儲,比較典型的有SQLServer數據庫中的Text和Ntext數據類型、Oracle中的CLOB和NCLOB數據類型。目前,對XML文檔進行讀、寫等操作主要有三種方式:文檔對象模型.NetFramework提供的PULL模式、DOM和SAX。第一種模式相對于后兩者優(yōu)勢明顯,它按照只向前、無緩存的方式遍歷XML文檔,不但快捷、高效,且易于使用。圖1給出了該方案的GML入庫流程圖。2.空間數據存儲技術本文以Tamino數據庫為例,討論NXD數據庫的存儲機理。Tamino豐富的SDK工具為開發(fā)人員提供了必需的開發(fā)接口,無論采用Java平臺還是.NET平臺都有相關支持。Tamino所支持的開發(fā)語言主要有:Java,C/C++,JavaScript和C#等。本文采取TaminoAPIfor.net將空間數據存入數據庫。Tamino是純XML數據庫,對XML數據的格式要求不僅完全遵循W3C的規(guī)范,還對Schema文件有特殊的格式要求。Schema文件格式要按照一定的格式才能被XMLParser識別。GML文檔入庫分兩步:GMLSchema入庫,Schema對應的GML文件入庫。Schema入庫可以通過Tamino的Manager來進行,也可以通過TaminoX-Plorer來進行,對應的GML文件入庫流程圖如圖2所示。3.gml文件的速度本文對兩種數據庫存入速度、查詢速度和GML文件大小與復雜程度進行了測評。測試結果表明:存儲結構簡單、數據量小的GML文件,XED和NXD的速度相近,但是隨著GML文件增大以及結構復雜度提高,NXD的存儲優(yōu)勢明顯提高。隨著GML