版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)的建立欒振東第一作者:欒振東 出生于1976年,助理研究員。電話:E-mail: luan。 閻 軍 代亮 范奉鑫 陳長(zhǎng)安(中國(guó)科學(xué)院海洋研究所,青島 266071)提要 探討了把GIS技術(shù)和空間數(shù)據(jù)倉(cāng)庫(kù)技術(shù)引入正在建設(shè)的海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)中,從空間數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)手段上闡述了建設(shè)海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)的構(gòu)想和實(shí)現(xiàn)方法。關(guān)鍵詞:海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù),信息管理系統(tǒng),空間數(shù)據(jù)倉(cāng)庫(kù),GIS 1、 建立海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)的必要性隨著信息技術(shù)的飛速發(fā)展,數(shù)字地球的觀念深入人心,各發(fā)達(dá)國(guó)家紛紛競(jìng)相投入巨大
2、的人力、財(cái)力進(jìn)行開(kāi)發(fā)和研究。數(shù)字地球基礎(chǔ)平臺(tái)是多維、多種分辨率,能嵌入巨大數(shù)量的地理數(shù)據(jù)、屬性數(shù)據(jù)和多媒體數(shù)據(jù)等。構(gòu)成數(shù)字地球的數(shù)據(jù)的基石是可以具有空間信息屬性的空間數(shù)據(jù)庫(kù),數(shù)字海洋則是數(shù)字地球的重要組成部分。在我國(guó),海洋學(xué)的研究,已經(jīng)經(jīng)歷了近百年的時(shí)間。建國(guó)以來(lái),各相關(guān)單位在我國(guó)海域和大洋地區(qū)相繼開(kāi)展了多次大規(guī)模的海洋調(diào)查研究工作,積累了豐富的資料。隨著以信息化技術(shù)為代表的高新技術(shù)的應(yīng)用,例如遙感、多波束探測(cè)等,使得海洋研究數(shù)據(jù)呈指數(shù)規(guī)律爆炸性增長(zhǎng)。海洋學(xué)是一門綜合性極強(qiáng)的學(xué)科,涉及眾多的領(lǐng)域,而以上每一領(lǐng)域又包括了眾多的研究方向和研究手段,在海洋科學(xué)研究領(lǐng)域中,從資料采集、數(shù)據(jù)處理到研究方
3、式都發(fā)生了巨大的變化,如何從浩瀚的資料中快速提取所需的信息用于特定研究目的,是擺在科研人員面前的重要問(wèn)題。近幾年來(lái)我們已開(kāi)發(fā)的數(shù)據(jù)庫(kù)系統(tǒng)基本上是面向事物處理的簡(jiǎn)單管理信息系統(tǒng)隨著海洋信息需求的日益廣泛、復(fù)雜和迫切、這些傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)存在的問(wèn)題也越來(lái)越明顯1: (1)數(shù)據(jù)系統(tǒng)隨機(jī)性的綜合信息提取功能差;(2)原有數(shù)據(jù)庫(kù)系統(tǒng)是面向事物處理而非面向分析處理的;(3)原有系統(tǒng)難以適應(yīng)研究對(duì)象對(duì)數(shù)據(jù)的要求。地理信息系統(tǒng)(GIS)技術(shù)作為一種利用計(jì)算機(jī)對(duì)地球空間數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、檢索、查詢、分析、建模 和表示的有效工具,不僅能夠管理屬性數(shù)據(jù)及空間數(shù)據(jù),而且能夠進(jìn)行各種空間分析。自20世紀(jì)60年代中期,
4、加拿大建立起世界上第一個(gè)地理信息系統(tǒng)(CGIS, 主要用于土地資源管理)以來(lái),GIS在應(yīng)用和技術(shù)方面都有了飛速的發(fā)展,在測(cè)繪、制圖、環(huán)境及資源管理等傳統(tǒng)領(lǐng)域有了更深入、更廣泛的應(yīng)用。隨著海洋科學(xué)的不斷發(fā)展,信息的大量增加,GIS技術(shù)已成為海洋科學(xué)研究中不可缺少的組成部分,在海洋科學(xué)研究與管理的各個(gè)領(lǐng)域發(fā)揮愈來(lái)愈重要的作用2??臻g數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是近幾年才興起的一門新技術(shù)。空間數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、穩(wěn)定的、不同時(shí)間的空間數(shù)據(jù)集合,用以支持空間信息管理中的決策制定過(guò)程。自二十世紀(jì)90年代開(kāi)始對(duì)海洋基礎(chǔ)數(shù)據(jù)信息管理系統(tǒng)研究至今已有十余年的歷史。最初的海洋基礎(chǔ)數(shù)據(jù)信息管理系統(tǒng)是基于數(shù)據(jù)庫(kù)、數(shù)模庫(kù)
5、的系統(tǒng)結(jié)構(gòu)。實(shí)踐證明,這種系統(tǒng)結(jié)構(gòu)很難做到內(nèi)在的統(tǒng)一和完整,加上缺乏面向最終用戶的決策支持工具多年來(lái)直處于理論探討和實(shí)驗(yàn)階段,沒(méi)有取得實(shí)質(zhì)性進(jìn)展。近年以來(lái),國(guó)外興起的空間數(shù)據(jù)倉(cāng)庫(kù)(Spatial Data Warehousing)技術(shù)、聯(lián)機(jī)分析處理(OLAP)技術(shù)及數(shù)據(jù)挖掘(DM)技術(shù)為海洋信息決策管理系統(tǒng)的研究和系統(tǒng)開(kāi)發(fā)提供了一條新的途徑,將海洋研究推向了實(shí)用化階段??臻g數(shù)據(jù)倉(cāng)庫(kù)是現(xiàn)代計(jì)算機(jī)系統(tǒng)信息處理技術(shù)的熱點(diǎn)之一1更是計(jì)算機(jī)應(yīng)用領(lǐng)域里的一個(gè)嶄新方向??臻g數(shù)據(jù)倉(cāng)庫(kù)以集成的、全海洋行業(yè)范圍的歷史數(shù)據(jù)作為堅(jiān)實(shí)的基礎(chǔ),把行業(yè)的原始操作數(shù)據(jù)和來(lái)自外部的數(shù)據(jù)匯集和整理成數(shù)據(jù)庫(kù)群,在此基礎(chǔ)上通過(guò)通暢、
6、合理、全面的信息處理使最終用戶從數(shù)據(jù)倉(cāng)庫(kù)提取數(shù)據(jù)進(jìn)行各種數(shù)據(jù)分析??梢匝杆贉?zhǔn)確地對(duì)某一海域的科學(xué)研究、資源開(kāi)發(fā)、利用和管理、環(huán)境監(jiān)測(cè)與保護(hù),油氣生產(chǎn)宏觀調(diào)控、及港口建設(shè)等提供基礎(chǔ)數(shù)據(jù),為各種方案的分析比較和重大戰(zhàn)略決策提供信息服務(wù)。面向分析處理(oLAP)、支持?jǐn)?shù)據(jù)的多維分析與挖掘(DM)、支持決策系統(tǒng)是數(shù)據(jù)倉(cāng)庫(kù)的主要持征,就是將空間數(shù)據(jù)倉(cāng)庫(kù)技術(shù)與空間數(shù)據(jù)挖掘技術(shù)運(yùn)用到海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)中來(lái)2。當(dāng)代海洋學(xué)問(wèn)題的提出和解決常常要求多學(xué)科多部門之間的協(xié)作。因此,空間信息的共享與互操作、分析與綜合在對(duì)于海洋學(xué)問(wèn)題的綜合研究中便顯得日益重要。2、 海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)的主
7、要內(nèi)容海洋信息有明顯的空間信息特點(diǎn)和多用途的服務(wù)對(duì)象。利用數(shù)據(jù)庫(kù)和地理信息系統(tǒng)(GIS)技術(shù)建立空間數(shù)據(jù)庫(kù)是解決這一問(wèn)題的途徑之一。健全的海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)可以迅速準(zhǔn)確地對(duì)某一海域的資源開(kāi)發(fā)、利用和管理、環(huán)境監(jiān)測(cè)與保護(hù),油氣生產(chǎn)宏觀調(diào)控、及港口建設(shè)等提供基礎(chǔ)數(shù)據(jù),為各種方案的分析比較和重大戰(zhàn)略決策提供信息服務(wù)。其信息具有類型多、數(shù)據(jù)量大、來(lái)源多、獲取代價(jià)大等特點(diǎn)。目前各研究、生產(chǎn)和其它相關(guān)機(jī)構(gòu)基于不同的目的,已經(jīng)和正在建立各種各樣的海洋空間數(shù)據(jù)庫(kù),這為歷史資料的查詢和資料存儲(chǔ)、更新提供的很大的方便。正在建設(shè)的海洋科學(xué)數(shù)據(jù)庫(kù)包括:物理海洋基礎(chǔ)數(shù)據(jù)庫(kù)、海洋地質(zhì)基礎(chǔ)數(shù)據(jù)庫(kù)、環(huán)境物理參
8、數(shù)數(shù)據(jù)庫(kù)、海洋遙感數(shù)據(jù)庫(kù)、海洋生物數(shù)據(jù)庫(kù)等(見(jiàn)圖1);完成后數(shù)據(jù)量可達(dá)400GB以上。海洋科學(xué)數(shù)據(jù)庫(kù)物理海洋庫(kù)海洋地質(zhì)庫(kù)水文庫(kù)海流庫(kù)地形庫(kù)沉積類型庫(kù) 各學(xué)科數(shù)據(jù)庫(kù)各專業(yè)子庫(kù)各專業(yè)子庫(kù)圖1 海洋科學(xué)數(shù)據(jù)庫(kù)結(jié)構(gòu)框圖由于現(xiàn)在的GIS技術(shù)是一種面向空間數(shù)據(jù)管理及處理的技術(shù),因此這就要求資源與環(huán)境信息系統(tǒng)設(shè)計(jì)中首先建立資源環(huán)境信息向GIS空間概念的影射關(guān)系,其空間特征的正確表達(dá)是最重要的5。海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)對(duì)數(shù)據(jù)的管理是基于圖層的,并通過(guò)關(guān)鍵字段將空間數(shù)據(jù)和屬性數(shù)據(jù)連接起來(lái)3。為了能對(duì)數(shù)據(jù)合理地分層,首先必須進(jìn)行合理地分類,設(shè)立主題、亞層主題等。其次,應(yīng)對(duì)每一層的空間符號(hào)(點(diǎn)、線、面)
9、進(jìn)行定義,制定出合理分類、分層體系。屬性數(shù)據(jù)通常用來(lái)反映與空間實(shí)體對(duì)應(yīng)的屬性,一般是通過(guò)分類、量算、命名、統(tǒng)計(jì)等方法得到的。海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)主要內(nèi)容包括柵格數(shù)據(jù)和矢量數(shù)據(jù)的輸入、存儲(chǔ),地理數(shù)據(jù)的操作和分析(矢量數(shù)據(jù)空間分析和柵格數(shù)據(jù)空間分析)、將用戶查詢的結(jié)果或是數(shù)據(jù)分析的結(jié)果以合適的形式輸出1。海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)柵格數(shù)據(jù)和矢量數(shù)據(jù)的質(zhì)量控制方法及標(biāo)準(zhǔn):各專子庫(kù)都包括一個(gè)質(zhì)量標(biāo)準(zhǔn)表,含質(zhì)量標(biāo)志碼、質(zhì)量級(jí)別、數(shù)據(jù)精度、說(shuō)明等信息,數(shù)據(jù)庫(kù)中業(yè)每條數(shù)據(jù)記錄都含有質(zhì)量標(biāo)志描述,具體標(biāo)準(zhǔn)將根據(jù)各專業(yè)歷史及現(xiàn)狀,用戶需求而定。質(zhì)量控制過(guò)程采用分階段(粗篩與精篩)自動(dòng)與人機(jī)
10、交互相結(jié)合,以確保數(shù)據(jù)入庫(kù)的質(zhì)量與速度。海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)的進(jìn)一步開(kāi)發(fā),就是將空間數(shù)據(jù)倉(cāng)庫(kù)技術(shù)與空間數(shù)據(jù)挖掘技術(shù)運(yùn)用到海洋科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)中來(lái),通過(guò)空間數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、空間數(shù)據(jù)挖掘技術(shù)、元數(shù)據(jù)管理技術(shù)、網(wǎng)絡(luò)技術(shù)以及地理信息系統(tǒng)(GIS)技術(shù),將不同來(lái)源、不同格式的空間數(shù)據(jù)庫(kù)資源有機(jī)結(jié)合起來(lái),為用戶提供統(tǒng)一、友好的界面,以人機(jī)交互方式實(shí)現(xiàn)海量數(shù)據(jù)的海洋科學(xué)信息分析系統(tǒng),將極大的提高海洋科學(xué)信息的使用效率。3、 海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)3.1資料預(yù)處理(數(shù)據(jù)抽?。?由于歷史的原因及各類資料采集設(shè)備的不同,原始資料的數(shù)據(jù)結(jié)構(gòu)與格式和應(yīng)用標(biāo)準(zhǔn)間存在著很大差異
11、,需要編制相應(yīng)的資料預(yù)處理軟件對(duì)其進(jìn)行抽取、整理、轉(zhuǎn)換等處理;另外還要將需要的圖件及模擬資料數(shù)字化;數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉(cāng)庫(kù)的入口。由于數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境,它需要通過(guò)抽取過(guò)程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)中導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復(fù)制、增量、轉(zhuǎn)換、調(diào)度和監(jiān)控等幾個(gè)方面。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)并不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)保持實(shí)時(shí)的同步,因此數(shù)據(jù)抽取可以定時(shí)進(jìn)行,但多個(gè)抽取操作執(zhí)行的時(shí)間、相互的順序、成敗對(duì)數(shù)據(jù)倉(cāng)庫(kù)中信息的有效性則至關(guān)重要。在技術(shù)發(fā)展上,數(shù)據(jù)抽取所涉及的單個(gè)技術(shù)環(huán)節(jié)都已相對(duì)成熟,其中有一些是躲不開(kāi)編程的,但整體的集成度還很不夠。目前市
12、場(chǎng)上所提供的大多是數(shù)據(jù)抽取工具。這些工具通過(guò)用戶選定源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的對(duì)應(yīng)關(guān)系,會(huì)自動(dòng)生成數(shù)據(jù)抽取的代碼。但數(shù)據(jù)抽取工具支持的數(shù)據(jù)種類是有限的;同時(shí)數(shù)據(jù)抽取過(guò)程涉及數(shù)據(jù)的轉(zhuǎn)換,它是一個(gè)與實(shí)際應(yīng)用密切相關(guān)的部分,其復(fù)雜性使得不可嵌入用戶編程的抽取工具往往不能滿足要求。因此,實(shí)際的數(shù)據(jù)倉(cāng)庫(kù)實(shí)施過(guò)程中往往不一定使用抽取工具。整個(gè)抽取過(guò)程能否因工具的使用而納入有效的管理、調(diào)度和維護(hù)則更為重要。 3.2 數(shù)據(jù)存儲(chǔ)和管理系統(tǒng)對(duì)大量數(shù)據(jù)的存儲(chǔ)和管理,這里所涉及的數(shù)據(jù)量比傳統(tǒng)事務(wù)處理大得多,且隨時(shí)間的推移而累積。從現(xiàn)有技術(shù)和產(chǎn)品來(lái)看,只有關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)能夠擔(dān)當(dāng)此任。關(guān)系數(shù)據(jù)庫(kù)經(jīng)過(guò)近30年的發(fā)展,在數(shù)據(jù)存儲(chǔ)和管
13、理方面已經(jīng)非常成熟,非其它數(shù)據(jù)管理系統(tǒng)可比。目前不少關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)已支持?jǐn)?shù)據(jù)分割技術(shù),能夠?qū)⒁粋€(gè)大的數(shù)據(jù)庫(kù)表分散在多個(gè)物理存儲(chǔ)設(shè)備中,進(jìn)一步增強(qiáng)了系統(tǒng)管理大數(shù)據(jù)量的擴(kuò)展能力。采用關(guān)系數(shù)據(jù)庫(kù)管理數(shù)百個(gè)GB甚至到TB的數(shù)據(jù)已是一件平常的事情。數(shù)據(jù)倉(cāng)庫(kù)要解決并行處理問(wèn)題,在傳統(tǒng)聯(lián)機(jī)事務(wù)處理應(yīng)用中,用戶訪問(wèn)系統(tǒng)的特點(diǎn)是短小而密集;對(duì)于一個(gè)多處理機(jī)系統(tǒng)來(lái)說(shuō),能夠?qū)⒂脩舻恼?qǐng)求進(jìn)行均衡分擔(dān)是關(guān)鍵,這便是并發(fā)操作。而在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中,用戶訪問(wèn)系統(tǒng)的特點(diǎn)是龐大而稀疏,每一個(gè)查詢和統(tǒng)計(jì)都很復(fù)雜,但訪問(wèn)的頻率并不是很高。此時(shí)系統(tǒng)需要有能力將所有的處理機(jī)調(diào)動(dòng)起來(lái)為這一個(gè)復(fù)雜的查詢請(qǐng)求服務(wù),將該請(qǐng)求并行處理。因此,并行
14、處理技術(shù)在數(shù)據(jù)倉(cāng)庫(kù)中比以往更加重要,主要包括數(shù)據(jù)的錄入、維護(hù)、查詢等功能。錄入模塊將預(yù)處理過(guò)的數(shù)據(jù)資料經(jīng)篩選、質(zhì)控檢驗(yàn)入庫(kù);維護(hù)模塊負(fù)責(zé)對(duì)入庫(kù)數(shù)據(jù)進(jìn)行修正、剔除等操作;查詢模塊可查詢輸出已入庫(kù)數(shù)據(jù)內(nèi)容。系統(tǒng)是面向數(shù)據(jù)管理與操作人員的。通過(guò)系統(tǒng)可保證數(shù)據(jù)準(zhǔn)確無(wú)誤的入庫(kù)。3.3數(shù)據(jù)服務(wù)系統(tǒng)系統(tǒng)包括信息發(fā)布、數(shù)據(jù)咨詢服務(wù)等功能,是面向最終用戶的。3.4海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)的工作流程(圖2)顯示、校驗(yàn)地理底圖圖形予處理及數(shù)據(jù)分類數(shù)據(jù)采集輸入屬性數(shù)據(jù)數(shù)據(jù)錄入關(guān)系數(shù)據(jù)庫(kù)空間數(shù)據(jù)數(shù)字化采集空間數(shù)據(jù)庫(kù)ID碼數(shù)據(jù)匹配(自動(dòng)、手動(dòng))合法性檢查入庫(kù)進(jìn)入信息發(fā)布、咨詢系統(tǒng)編輯、修改有錯(cuò)否數(shù)據(jù)整理分類數(shù)據(jù)
15、予處理數(shù)據(jù)錄入 有錯(cuò)圖2 海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)的工作流程圖4、 海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)采用的主要技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)并不是一種市場(chǎng)上現(xiàn)成可買的軟件產(chǎn)品,但許多軟件生產(chǎn)廠商都提供相應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)解決方案,并開(kāi)發(fā)了相應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)支持軟件工具產(chǎn)品。使用這些軟件產(chǎn)品可以方便地根據(jù)自己應(yīng)用需求構(gòu)建相應(yīng)數(shù)據(jù)倉(cāng)庫(kù)。下面是市場(chǎng)上可見(jiàn)的幾種數(shù)據(jù)倉(cāng)庫(kù)解決方案:(1)Infomax數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品;(2)Sybase數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品;(3)Oracle數(shù)據(jù)倉(cāng)庫(kù)解決方案及OLAP產(chǎn)品技術(shù)分析。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)理論日趨完善,國(guó)內(nèi)外在企業(yè)界已經(jīng)有了廣泛的應(yīng)用,成功開(kāi)發(fā)出了許多基于數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用系統(tǒng)4。聯(lián)合和交
16、叉是未來(lái)學(xué)科發(fā)展的方向。海洋科學(xué)也不例外。用于只能采集、存儲(chǔ)、管理、利用海洋信息資源的海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)必然要面臨解決一系列新的問(wèn)題,雖然現(xiàn)在要描述一幅完善的未來(lái)藍(lán)圖尚有困難,但一些方向已日漸明朗。首先對(duì)目前所擁有的數(shù)據(jù)庫(kù)進(jìn)行面向主題的數(shù)據(jù)“倉(cāng)庫(kù)化”處理在此基礎(chǔ)上進(jìn)行應(yīng)用系統(tǒng)的多次開(kāi)發(fā),因而在技術(shù)上可以根據(jù)它的工作過(guò)程分為:數(shù)據(jù)的抽取、存儲(chǔ)和管理、數(shù)據(jù)的表現(xiàn)以及數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)的技術(shù)咨詢四個(gè)方面。由于海洋信息中的數(shù)據(jù)具有多來(lái)源性,這就決定了網(wǎng)絡(luò)技術(shù)和分布式數(shù)據(jù)庫(kù)技術(shù)會(huì)在今后的海洋信息系統(tǒng)發(fā)揮日益重要的作用,加上數(shù)據(jù)倉(cāng)庫(kù)技術(shù),可將海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)組織為圖3所示的整
17、體結(jié)構(gòu)。數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù),是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的核心,是數(shù)據(jù)存放的地方和提供對(duì)數(shù)據(jù)檢索的支持。相對(duì)于操縱型數(shù)據(jù)庫(kù)來(lái)說(shuō)其突出的特點(diǎn)是對(duì)海量數(shù)據(jù)的支持和快速的檢索技術(shù)。元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)。元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和管理人員用于開(kāi)發(fā)和日常管理數(shù)據(jù)倉(cāng)庫(kù)是用的數(shù)據(jù)。包括:數(shù)據(jù)源信息;數(shù)據(jù)轉(zhuǎn)換的描述;數(shù)據(jù)倉(cāng)庫(kù)內(nèi)對(duì)象和數(shù)據(jù)結(jié)構(gòu)的定義;數(shù)據(jù)清理和數(shù)據(jù)更新時(shí)用的規(guī)則;源數(shù)據(jù)到目的數(shù)據(jù)的映射;用戶訪問(wèn)權(quán)限,數(shù)據(jù)備份歷史記錄,數(shù)據(jù)導(dǎo)入歷史記錄,信息發(fā)布?xì)v史記錄等。元數(shù)據(jù)為訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)提供了一個(gè)信息目錄(information directory),這個(gè)目錄全面描述了數(shù)據(jù)倉(cāng)庫(kù)中都有什么數(shù)據(jù)、這
18、些數(shù)據(jù)怎么得到的、和怎么訪問(wèn)這些數(shù)據(jù)。是數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行和維護(hù)的中心,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器利用他來(lái)存貯和更新數(shù)據(jù),用戶通過(guò)他來(lái)了解和訪問(wèn)數(shù)據(jù)。從圖3中可以看出所有內(nèi)容都基于一個(gè)統(tǒng)一的主題數(shù)據(jù)庫(kù)全局?jǐn)?shù)據(jù)倉(cāng)庫(kù),全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)中動(dòng)態(tài)地保存著國(guó)家或某部門最新的海洋基礎(chǔ)數(shù)據(jù)。應(yīng)用數(shù)據(jù)抽取工具,把數(shù)據(jù)從各種各樣的存儲(chǔ)方式中拿出來(lái),進(jìn)行必要的轉(zhuǎn)化、整理,再存放到數(shù)據(jù)倉(cāng)庫(kù)內(nèi)。對(duì)各種不同數(shù)據(jù)存儲(chǔ)方式的訪問(wèn)能力是數(shù)據(jù)抽取工具的關(guān)鍵,應(yīng)能生成COBOL程序、MVS作業(yè)控制語(yǔ)言(JCL)、UNIX腳本、和SQL語(yǔ)句等,以訪問(wèn)不同的數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換都包括,刪除對(duì)決策應(yīng)用沒(méi)有意義的數(shù)據(jù)段;轉(zhuǎn)換到統(tǒng)一的數(shù)據(jù)名稱和定義;計(jì)算統(tǒng)計(jì)和衍生數(shù)據(jù)
19、;給缺值數(shù)據(jù)賦給缺省值;把不同的數(shù)據(jù)定義方式統(tǒng)一。海洋源數(shù)據(jù)是應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)管理中專門的數(shù)據(jù)提取程序在網(wǎng)絡(luò)上或從分散的分布式數(shù)據(jù)庫(kù)中抽取出來(lái)并經(jīng)過(guò)嚴(yán)格的數(shù)據(jù)篩選、綜合和集成后才進(jìn)入全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)的。應(yīng)用時(shí),不同研究領(lǐng)域從全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)中提取自己所需要的數(shù)據(jù)形式而成一個(gè)領(lǐng)域的數(shù)據(jù)集合-DataMart,該領(lǐng)域的不同研究單位 再按需要和權(quán)限從中提取數(shù)據(jù),應(yīng)用系統(tǒng)分析工具進(jìn)行處理。關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)文件其他數(shù)據(jù)倉(cāng)庫(kù)管理工具抽取,轉(zhuǎn)換,裝載綜合數(shù)據(jù)用戶查詢工具當(dāng)前數(shù)據(jù)歷史數(shù)據(jù)DM工具數(shù)據(jù)建模工具OLAP工具元數(shù)據(jù)庫(kù)C/S工具海洋源數(shù)據(jù)全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)分析工具數(shù)據(jù)倉(cāng)庫(kù)管理DataMart圖3: 海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)
20、及其信息管理系統(tǒng)框圖需要說(shuō)明的是,整個(gè)系統(tǒng)都是在基礎(chǔ)系統(tǒng)網(wǎng)絡(luò)下運(yùn)行的,基礎(chǔ)系統(tǒng)網(wǎng)絡(luò)把不同地區(qū)、不同環(huán)境(操作環(huán)境和信息環(huán)境)和不同技術(shù)系統(tǒng)連接到一個(gè)統(tǒng)一的物理網(wǎng)絡(luò)之中,實(shí)現(xiàn)系統(tǒng)的基本功能:及時(shí)、難確、隨機(jī)地向決策者及需求者提供信息;直接面向決策者及需求者、簡(jiǎn)單易用的操作界面;提供精度可控制的、多層次的信息訪問(wèn)處理功能;多維數(shù)據(jù)視圖及數(shù)據(jù)挖掘;信息分析處理功能。5、海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)模塊的開(kāi)發(fā)應(yīng)用海洋數(shù)據(jù)涵蓋了眾多的領(lǐng)域,包括地質(zhì)學(xué)、生物學(xué)、海洋化學(xué)、物理物理學(xué)、古海洋學(xué)、海洋遙感等,而以上每一領(lǐng)域又包括了眾多的研究方向和研究手段,例如,海洋地球物理學(xué)就包括了重力、磁力、地震(人
21、工、天然)、電法、地?zé)岬缺姸鄡?nèi)容。用戶范圍包括國(guó)內(nèi)各職能部門及其他一些研究單位,數(shù)據(jù)庫(kù)使用頻率相當(dāng)高,原來(lái)的數(shù)據(jù)庫(kù)系統(tǒng)已經(jīng)無(wú)法滿足用戶紛繁復(fù)雜的查詢和分析要求。海洋基礎(chǔ)數(shù)據(jù)信息管理系統(tǒng)的數(shù)據(jù)應(yīng)來(lái)源于中國(guó)科學(xué)院等多家涉海研究單位長(zhǎng)期積累的多學(xué)科、多尺度、多類型的科學(xué)資料和信息,面向決策支持及科研的,數(shù)據(jù)量大,數(shù)據(jù)類型多樣,既有空間特性又有時(shí)間特性,因此,空間信息的共享與互操作、分析與綜合在對(duì)于海洋學(xué)的綜合研究中便顯得日益重要5。傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)一般是面向某一個(gè)具體應(yīng)用、由日常的工作流程驅(qū)動(dòng)的,數(shù)據(jù)往往處于采集時(shí)的原始狀態(tài);系統(tǒng)應(yīng)用也只是對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行增、刪、改等事務(wù)處理操作和簡(jiǎn)單的空間查詢與分析
22、。為了更好地適應(yīng)當(dāng)今全球變化和可持續(xù)發(fā)展研究的需要,需要用一個(gè)統(tǒng)一的信息視圖將來(lái)自不同學(xué)科的相關(guān)數(shù)據(jù)按照相應(yīng)的主題轉(zhuǎn)換成統(tǒng)一的格式,集成、存儲(chǔ)在一起,然后通過(guò)各種專業(yè)模型從多個(gè)角度去得到有用的信息和知識(shí),在設(shè)計(jì)上需要按照不同的主題來(lái)組織數(shù)據(jù)。因此海洋基礎(chǔ)數(shù)據(jù)信息管理系統(tǒng)的空間信息研究比較適合利用空間數(shù)據(jù)倉(cāng)庫(kù)技術(shù)來(lái)完成。海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)中的數(shù)據(jù)來(lái)源于不同的平臺(tái),如Mapinfo、Arc/info、Mapgis、Intergraph/MGE,類型多種多樣,有海洋地質(zhì)學(xué)數(shù)據(jù)、海洋生物學(xué)數(shù)據(jù)、海洋化學(xué)數(shù)據(jù)、物理海洋學(xué)數(shù)據(jù)、古海洋學(xué)數(shù)據(jù)、海洋遙感數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)和專題數(shù)據(jù)等。為更好的將多
23、年來(lái)積累的豐富數(shù)據(jù)為決策和科研服務(wù),海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)按照不同學(xué)科的基礎(chǔ)數(shù)據(jù)的時(shí)空變化為主題來(lái)組織數(shù)據(jù)。海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)是面向主題的、集成的、穩(wěn)定的、不同時(shí)間的空間數(shù)據(jù)集合,用以支持空間信息管理中的決策制定過(guò)程。系統(tǒng)中的空間數(shù)據(jù)面向主題與傳統(tǒng)的空間數(shù)據(jù)庫(kù)面向應(yīng)用相對(duì)應(yīng)。主題是一個(gè)在較高層次將空間數(shù)據(jù)歸類的標(biāo)準(zhǔn),每一個(gè)主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域??臻g數(shù)據(jù)倉(cāng)庫(kù)的集成特性是指在空間數(shù)據(jù)進(jìn)入空間數(shù)據(jù)倉(cāng)庫(kù)之前,必須進(jìn)行數(shù)據(jù)加工和集成,這是海洋基礎(chǔ)數(shù)據(jù)信息管理系統(tǒng)的關(guān)鍵步驟,首先要統(tǒng)一原始空間數(shù)據(jù)中的矛盾之處,還要將原始空間數(shù)據(jù)結(jié)構(gòu)做一個(gè)從面向應(yīng)用向面向主題的轉(zhuǎn)變,系統(tǒng)的
24、穩(wěn)定性是指空間數(shù)據(jù)倉(cāng)庫(kù)反映的是歷史空間數(shù)據(jù)的內(nèi)容,數(shù)據(jù)經(jīng)加工和集成進(jìn)入空間數(shù)據(jù)倉(cāng)庫(kù)后是很少修改或根本不修改的;空間數(shù)據(jù)倉(cāng)庫(kù)是不同時(shí)間的數(shù)據(jù)集合,它要求空間數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)保存時(shí)限能滿足進(jìn)行決策分析的需要,而且空間數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都要標(biāo)明該數(shù)據(jù)的歷史時(shí)期。數(shù)據(jù)組織采用多維數(shù)組結(jié)構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ),并有維索引及相應(yīng)的元數(shù)據(jù)軟件與數(shù)據(jù)相對(duì)應(yīng)。為優(yōu)化查詢、分析過(guò)程,采用星型模型使系統(tǒng)的復(fù)雜查詢可直接通過(guò)各維層次比較等操作完成3。以現(xiàn)有系統(tǒng)為基礎(chǔ),應(yīng)用空間數(shù)據(jù)挖掘(Spatial Data Mining)技術(shù)從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的空間數(shù)據(jù)中,提取隱含在其中的、人們事先不知道的、但又是潛
25、在有用的信息和知識(shí)的數(shù)據(jù),轉(zhuǎn)化更新到的的系統(tǒng)之上進(jìn)行統(tǒng)一管理。常用的方法有分類、聚類、關(guān)聯(lián)、序列分析、孤立點(diǎn)分析、依賴關(guān)系分析、偏差檢測(cè)、概念描述、模式識(shí)別、決策樹(shù)、遺傳算法、不確定性處理等。 數(shù)據(jù)管理和調(diào)度部分通過(guò)元數(shù)據(jù)(Metadata)集中統(tǒng)一地管理;元數(shù)據(jù)是有關(guān)海洋基礎(chǔ)空間數(shù)據(jù)的屬性數(shù)據(jù)、空間數(shù)據(jù)、其他非結(jié)構(gòu)化數(shù)據(jù)等的詳細(xì)描述。采用ESRI的空間數(shù)據(jù)引擎SDE平臺(tái)和Sybase數(shù)據(jù)庫(kù),適合于多用戶并發(fā)查詢,具有強(qiáng)大的在線分析。并可利用ArcView等工具軟件進(jìn)行數(shù)據(jù)的查詢和顯示,建立應(yīng)用模型、可視化分析工具、數(shù)據(jù)匯總、報(bào)表和詳查工作3。將空間數(shù)據(jù)倉(cāng)庫(kù)技術(shù)與空間數(shù)據(jù)挖掘技術(shù)運(yùn)用到海洋基礎(chǔ)
26、科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)中來(lái),走出了此前類似系統(tǒng)的簡(jiǎn)單性和非實(shí)用性,達(dá)到了服務(wù)科研和支持決策的目的。通過(guò)空間數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、空間數(shù)據(jù)挖掘技術(shù)、元數(shù)據(jù)管理技術(shù)、網(wǎng)絡(luò)技術(shù)以及地理信息系統(tǒng)(GIS)技術(shù),將不同來(lái)源、不同格式的空間數(shù)據(jù)庫(kù)資源有機(jī)結(jié)合起來(lái),為用戶提供統(tǒng)一、友好的界面,以人機(jī)交互方式實(shí)現(xiàn)海量數(shù)據(jù)的海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)。6、 結(jié)束語(yǔ)海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)建設(shè)將是我國(guó)目前及今后相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)很重要的基礎(chǔ)信息建設(shè)工程。該工程在實(shí)施過(guò)程中必須綜合利用世界范圍內(nèi)的新理論、技術(shù)和方法。數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是信息領(lǐng)域的一門新興技術(shù),該技術(shù)的一些核心思想早在數(shù)年前就已被應(yīng)用在我國(guó)信息系統(tǒng)建設(shè)中,把數(shù)據(jù)倉(cāng)庫(kù)技術(shù)引入到海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)中是一種著眼現(xiàn)在、面向未來(lái)的合理解決方案。海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng)不僅要服務(wù)于海洋的科學(xué)研究,同時(shí)服務(wù)于海洋預(yù)報(bào)、海洋工程環(huán)境的評(píng)估、軍事海洋學(xué)的戰(zhàn)場(chǎng)環(huán)境準(zhǔn)備、生物多樣性的研究、海域使用評(píng)價(jià)與論證以及海洋科普工作等國(guó)家需求的各個(gè)方面。綜上所述,可以看出,正在建設(shè)和開(kāi)發(fā)的海洋基礎(chǔ)科學(xué)數(shù)據(jù)庫(kù)及其信息管理系統(tǒng),不僅對(duì)海洋科學(xué)研究有強(qiáng)勁的推動(dòng)作用,還有著廣闊的市場(chǎng)前景。不僅具有重要的經(jīng)濟(jì)意義,還具有極大的
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度深圳汽車租賃合同5篇
- 二零二五年度高新技術(shù)產(chǎn)業(yè)基地劃撥地轉(zhuǎn)讓合同3篇
- 2025年度大型活動(dòng)臨時(shí)弱電系統(tǒng)搭建與拆除合同4篇
- 二零二五版智能電梯采購(gòu)及維護(hù)保養(yǎng)合作協(xié)議書3篇
- 2025年度高校與企業(yè)產(chǎn)學(xué)研合作開(kāi)發(fā)協(xié)議3篇
- 二零二五年度雞肉產(chǎn)品電商平臺(tái)合作推廣合同3篇
- 2025版文化演出項(xiàng)目履約保函標(biāo)準(zhǔn)協(xié)議書4篇
- 二零二五年度個(gè)人個(gè)人留學(xué)擔(dān)保抵押貸款合同范本3篇
- 二零二五年鋼結(jié)構(gòu)工程勞務(wù)分包合同風(fēng)險(xiǎn)評(píng)估與管理3篇
- 2025年度離婚協(xié)議書:無(wú)共同財(cái)產(chǎn)財(cái)產(chǎn)分割及子女撫養(yǎng)安排4篇
- (正式版)QC∕T 1206.1-2024 電動(dòng)汽車動(dòng)力蓄電池?zé)峁芾硐到y(tǒng) 第1部分:通 用要求
- 《煤礦地質(zhì)工作細(xì)則》礦安﹝2024﹞192號(hào)
- 平面向量及其應(yīng)用試題及答案
- 2024高考復(fù)習(xí)必背英語(yǔ)詞匯3500單詞
- 消防控制室值班服務(wù)人員培訓(xùn)方案
- 《貴州旅游介紹》課件2
- 2024年中職單招(護(hù)理)專業(yè)綜合知識(shí)考試題庫(kù)(含答案)
- 無(wú)人機(jī)應(yīng)用平臺(tái)實(shí)施方案
- 挪用公款還款協(xié)議書范本
- 事業(yè)單位工作人員年度考核登記表(醫(yī)生個(gè)人總結(jié))
- 盾構(gòu)隧道施工數(shù)字化與智能化系統(tǒng)集成
評(píng)論
0/150
提交評(píng)論