堤防工程數(shù)據(jù)庫發(fā)展現(xiàn)狀及其在國內(nèi)的發(fā)展趨勢

1、堤防工程數(shù)據(jù)庫發(fā)展現(xiàn)狀及其在國內(nèi)的發(fā)展趨勢堤防工程管理論文第五篇：堤防工程數(shù)據(jù)庫發(fā)展現(xiàn)狀及其在國內(nèi)的發(fā)展趨勢摘要：通過分析數(shù)據(jù)庫技術(shù)與堤防工程數(shù)據(jù)庫的發(fā)展現(xiàn)狀, 探討了堤防工程數(shù)據(jù)庫未來發(fā)展的趨勢。隨著現(xiàn)代技術(shù)的不斷進步、基礎(chǔ)數(shù)據(jù)的不斷累積, 堤防工程基礎(chǔ)數(shù)據(jù)庫的構(gòu)建是一個長期的系統(tǒng)工程。利用新技術(shù)開展堤防工程數(shù)據(jù)庫的研究與開發(fā)工作, 整合現(xiàn)有堤防的海量數(shù)據(jù), 實現(xiàn)堤防工程全壽命周期基礎(chǔ)數(shù)據(jù)的管理與共享, 是堤防工程信息化管理的重要基礎(chǔ), 并為堤防工程安全運行提供基礎(chǔ)支撐。關(guān)鍵詞：數(shù)據(jù)庫; 大數(shù)據(jù); 全壽命周期; 非結(jié)構(gòu)化; 堤防工程;Development summary of embank

2、ment engineering database at home and abroadHAN Xu MA Guisheng JIANG Yuan MA Danxuan LUO Dengchang1 引言洪水災(zāi)害是當(dāng)今人類經(jīng)常遭受的最嚴重災(zāi)害之一。據(jù)統(tǒng)計, 世界上發(fā)生的自然災(zāi)害當(dāng)中有60%是洪水災(zāi)害, 我國約有2/3的國土面積受到不同程度的洪水災(zāi)害。1998年夏季相繼發(fā)生在中國長江流域、嫩江和松花江流域的特大洪水, 以及2005年8月美國新奧爾良市由颶風(fēng)卡特里娜;導(dǎo)致的洪水災(zāi)害, 都給當(dāng)?shù)厝嗣駧砹司薮蟮慕?jīng)濟與財產(chǎn)損失。堤防工程是防御洪水最普遍、最有效的工程措施, 也是人類最早抵御洪水、保護自

3、身的方式。黃河堤防始建于公元前500多年, 距今近2 500多年;長江荊江大堤始建于公元300多年, 距今有l(wèi) 600多年的歷史;浙江海堤始建于1153年, 距今有850多年1。目前, 我國已建設(shè)江、河、湖、海各類堤防累計長達數(shù)十萬km, 在綜合防洪工程體系中起著非常重要的作用2, 為我國的經(jīng)濟與社會發(fā)展發(fā)揮了巨大的效益。我國堤防建設(shè)經(jīng)歷了數(shù)百甚至上千年的歷史, 在建設(shè)與維護過程中積累了大量地質(zhì)、險情、搶險加固等方面的資料。1998年大洪水過后, 全國各地針對堤防工程開展了全面、細致的工程地質(zhì)勘察、除險加固等工作3, 也積累了大量的基礎(chǔ)資料。隨著現(xiàn)代科學(xué)技術(shù)在水利上的應(yīng)用, 流域堤防工程管理的

4、觀念發(fā)生了根本的改變, 盡管世界各國河流的自然條件千差萬別, 但實現(xiàn)流域堤防工程管理信息化, 是世界各國發(fā)展和追求的共同目標(biāo), 也是當(dāng)今社會進步的強烈需求4。利用新技術(shù)開展堤防工程數(shù)據(jù)庫的研究與開發(fā)工作, 整合現(xiàn)有堤防的海量數(shù)據(jù), 實現(xiàn)堤防工程全壽命周期基礎(chǔ)數(shù)據(jù)的管理與共享, 是堤防工程管理信息化建設(shè)的重要組成部分, 讓堤防管理部門及時準確地掌握堤防運行狀況, 為防汛搶險和堤防日常運行管理提供必要的保障5。2 數(shù)據(jù)庫技術(shù)發(fā)展概況20世紀50年代初數(shù)據(jù)管理還只是對穿孔卡片進行存儲管理, 直到后來出現(xiàn)以磁帶為存儲介質(zhì)并按照字母順序作為索引的數(shù)據(jù)庫, 這其中要以1951年雷明頓蘭德公司推出的每秒存儲

5、幾百條數(shù)據(jù)的磁帶驅(qū)動器作為代表。第二次世界大戰(zhàn)以后, 尤其是蘇聯(lián)的第一顆人造衛(wèi)星的發(fā)射帶來計算機和信息技術(shù)的高速發(fā)展, 情報資料猛增6, 從而數(shù)據(jù)庫的數(shù)量大幅度增加, 而同時磁盤技術(shù)的加速發(fā)展帶來了聯(lián)機檢索, 磁盤帶來的最大好處是可以隨機存儲數(shù)據(jù)。隨著后來人們共享數(shù)據(jù)的意識越來越強烈, 過去傳統(tǒng)的文件管理系統(tǒng)已經(jīng)不能滿足人們?nèi)找嬖鲩L的需求, 這時統(tǒng)一管理和數(shù)據(jù)共享的管理系統(tǒng) (DBMS) 產(chǎn)生了, 但是無論各種各樣的管理系統(tǒng)有著怎樣的功能, 它們都是建立在數(shù)據(jù)模型的基礎(chǔ)上, 而在這其中數(shù)據(jù)模型分成:第一代數(shù)據(jù)模型為網(wǎng)狀和層次數(shù)據(jù)庫, 第二代為關(guān)系型數(shù)據(jù)庫, 第三代為面向?qū)ο髷?shù)據(jù)庫7。美國通用電

6、氣公司在1961年開發(fā)了第一個網(wǎng)狀數(shù)據(jù)庫管理系統(tǒng)IDS, 而其后便是層次數(shù)據(jù)庫, 這其中要以IBMS 1968年開發(fā)的IMS的層次數(shù)據(jù)庫為代表。第二代關(guān)系數(shù)據(jù)庫最大的優(yōu)勢是解決了網(wǎng)狀和層次數(shù)據(jù)庫在數(shù)據(jù)獨立和抽象方面的缺點。關(guān)系數(shù)據(jù)庫產(chǎn)品也主要分成桌面數(shù)據(jù)庫和客戶/服務(wù)器數(shù)據(jù)庫。桌面數(shù)據(jù)庫主要是以Access和Foxbase為代表, 但也只是適合小型單機應(yīng)用程序?？蛻舳?服務(wù)器數(shù)據(jù)庫主要以SQL Server、Oracle為代表, 適合于大型系統(tǒng), 后來出現(xiàn)的Mysql適合小型且使用方便的系統(tǒng), 越來越受程序開發(fā)者的青睞。雖然關(guān)系數(shù)據(jù)庫在存儲及管理方面非常強大, 但是仍然無法適應(yīng)頻繁變動的需求。

7、20世紀80年代已開始出現(xiàn)面向?qū)ο蟮臄?shù)據(jù)庫, 作為第三代數(shù)據(jù)庫具有前兩代數(shù)據(jù)庫無法比擬的優(yōu)點, 滿足復(fù)雜數(shù)據(jù)結(jié)構(gòu)和海量存儲需要, 是新型數(shù)據(jù)庫如多媒體數(shù)據(jù)庫、空間數(shù)據(jù)庫、演繹數(shù)據(jù)庫、工程數(shù)據(jù)庫實現(xiàn)的基礎(chǔ)8, 多數(shù)這樣的面向?qū)ο髷?shù)據(jù)庫被用于基本設(shè)計的學(xué)科和工程應(yīng)用領(lǐng)域。分布式數(shù)據(jù)庫的出現(xiàn)主要是數(shù)據(jù)庫技術(shù)與計算機網(wǎng)絡(luò)技術(shù)的結(jié)合。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展, 人們希望共享所有有用信息, 原來的集中式數(shù)據(jù)庫將數(shù)據(jù)存儲于單個計算機上, 難以實現(xiàn)這個目標(biāo)。后來研究者們提出了分布式的概念, 將數(shù)據(jù)分別存儲在多臺計算機中進行存儲, 這樣就可以通過并發(fā)操作提高數(shù)據(jù)的訪問能力;分布式中的數(shù)據(jù)相互獨立, 提高數(shù)據(jù)的安全可靠

8、性;多臺計算機存儲也可以提高數(shù)據(jù)的存儲容量, 以及在不同的操作系統(tǒng)上, 可以通過不同的網(wǎng)絡(luò)來進行通信等等。在這其中典型的代表當(dāng)屬Sysbase數(shù)據(jù)庫9。由于多媒體技術(shù)的發(fā)展, 數(shù)據(jù)不僅呈現(xiàn)異構(gòu)多元化、信息量大、數(shù)據(jù)實時性要求高、交互性強等特點, 而且對數(shù)據(jù)存儲也有著極大的需求, 從而促進了多媒體與數(shù)據(jù)庫的結(jié)合。與此同時, 由于人工智能的迅速發(fā)展, 它可以模擬人的邏輯思維能力, 對于數(shù)據(jù)分析和挖掘有著很大的優(yōu)勢, 但是信息檢索能力不好, 而數(shù)據(jù)庫在信息檢索和存儲上卻有著顯著優(yōu)勢。人工智能與數(shù)據(jù)庫的結(jié)合產(chǎn)生了數(shù)據(jù)倉庫, 數(shù)據(jù)倉庫主要是通過數(shù)據(jù)挖掘等工具來從各種結(jié)構(gòu)類型的數(shù)據(jù)源中挖掘出有價值的信息。

9、在這過程中數(shù)據(jù)源的存儲也促進了非結(jié)構(gòu)化數(shù)據(jù)庫的產(chǎn)生, 如MongoDB、Redis等, 非結(jié)構(gòu)化數(shù)據(jù)庫主要采用倒排擋技術(shù)來對媒體數(shù)據(jù)庫比如音頻、視頻、圖片等各種非結(jié)構(gòu)化數(shù)據(jù)進行存儲。隨著Web技術(shù)的大力發(fā)展, Web數(shù)據(jù)庫也得到快速應(yīng)用。Web數(shù)據(jù)庫是建立在瀏覽器/服務(wù)器 (B/S) 模型之上的10, 通過Web接口方式來訪問數(shù)據(jù)庫資源, Web數(shù)據(jù)庫主要將數(shù)據(jù)庫服務(wù)器、中間件、Web服務(wù)器、瀏覽器組織在一起, 從而實現(xiàn)在Internet環(huán)境下對數(shù)據(jù)庫的訪問操作。3 國內(nèi)外堤防工程數(shù)據(jù)庫發(fā)展現(xiàn)狀國外早在20世紀60年代就充分利用現(xiàn)代信息技術(shù)對堤防工程數(shù)據(jù)進行管理, 如意大利、葡萄牙、西班牙、法

10、國等, 在堤防工程安全監(jiān)測上建立較為完善的監(jiān)控系統(tǒng)11。美國在20世紀70年代就開始對全國的大壩數(shù)據(jù)進行管理, 通過立法并授權(quán)美國陸軍工程師團 (USACE) 負責(zé)進行建設(shè)、維護、發(fā)布、管理聯(lián)邦所有大壩的基本信息網(wǎng)絡(luò)數(shù)據(jù)庫12。該數(shù)據(jù)庫共計收錄82 642座大壩, 每兩年進行一次更新維護, 用戶可通過互聯(lián)網(wǎng)訪問并瀏覽有關(guān)信息。美國大部分堤防建于20世紀中葉, 由聯(lián)邦、州和地方機構(gòu)或私人建造, 多數(shù)超設(shè)計壽命期限服役。2006年USACE開發(fā)了包含十幾萬英里堤防基礎(chǔ)數(shù)據(jù)的美國堤防數(shù)據(jù)庫 (NLD) , 為堤防安全決策提供數(shù)據(jù)資源。英國基于Microsoft Access和ArcGIS構(gòu)建了泰晤士

11、河口防洪數(shù)據(jù)庫13, 用于存儲和維護與倫敦泰晤士河口沿河堤防相關(guān)的所有數(shù)據(jù), 實現(xiàn)了對結(jié)構(gòu)化數(shù)據(jù)與圖形文檔的管理與共享。法國大約有9000km的堤防, 2004年法國環(huán)境與農(nóng)業(yè)科技研究院 (IRSTEA) 基于Microsoft Access和ArcView開發(fā)了法國堤防數(shù)據(jù)庫SIRS Digues1.0版14, 實現(xiàn)對超過1000km堤防結(jié)構(gòu)化數(shù)據(jù)以及圖形文件的存儲與管理。后來經(jīng)過不斷的改進, 于2015年發(fā)布了SIRS Digues 2.0版, SIRS Digues 2.0采用Java編程語言, 基于面向文檔的NoSQL數(shù)據(jù)庫Apache CouchDB、以及地理空間數(shù)據(jù)庫庫Geotoo

12、lkit和Apache-SIS, 可兼容Linux、Windows、MacOS等操作系統(tǒng), 并開發(fā)了基于Web的移動客戶端。20世紀70年代, 數(shù)據(jù)庫技術(shù)開始傳人我國。90年代以后, 我國開始重視堤防工程安全監(jiān)測自動化。南京水利科學(xué)研究院和南京電力自動化研究院等開發(fā)了分布式土石壩安全監(jiān)測采集系統(tǒng), 實現(xiàn)了數(shù)據(jù)自動采集、數(shù)字量傳輸和資料整理的自動化。2002年水利部大壩安全管理中心開始開發(fā)堤防工程安全管理信息系統(tǒng), 探索堤防工程基本資料數(shù)據(jù)庫建設(shè)及網(wǎng)絡(luò)化信息發(fā)布的技術(shù)途徑, 成果包括基于C/S的數(shù)據(jù)庫管理和基于B/S方式的信息發(fā)布, 其Web Server為Apach, 網(wǎng)絡(luò)數(shù)據(jù)庫采用Oracl

13、e8i11。長江水利委員會于2003年建立了長江堤防工程地質(zhì)信息系統(tǒng)15, 系統(tǒng)以數(shù)據(jù)管理為核心, 集成了GIS、DBMS、和CADS等技術(shù), 保障了流域級堤防數(shù)據(jù)的一致性、完整性、準確性和安全性, 有效存儲并管理了長江堤防工程地質(zhì)資料。長江堤防工情信息服務(wù)系統(tǒng)16提出了一種基于Client/Server, Browser/Server, Browser/ArcIMS三重架構(gòu)的開發(fā)模式, 構(gòu)建了系統(tǒng)的體系結(jié)構(gòu), 對后臺數(shù)據(jù)庫進行了優(yōu)化和重組, 提出了一種基于樹形數(shù)據(jù)結(jié)構(gòu)的超;實體多級遞歸算法, 給出了無限層次的動態(tài)下拉列表實現(xiàn)方法, 引入面向?qū)ο蠹夹g(shù), 采用多種開發(fā)工具, 實現(xiàn)了DBMS與GI

14、S的集成一體化。長江重要堤防隱蔽工程勘測設(shè)計數(shù)據(jù)庫系統(tǒng)17基于ArcGIS, 采用關(guān)系數(shù)據(jù)庫Access、Dbase4以及空間數(shù)據(jù)庫Arc/Info, 建立了隱蔽工程勘測設(shè)計數(shù)據(jù)庫, 為勘測設(shè)計技術(shù)數(shù)據(jù)資料構(gòu)建一個具備輸入、貯存、管理、查詢、輸出和分析應(yīng)用等功能的平臺。黃河下游堤防地質(zhì)信息管理及安全評價系統(tǒng)18將數(shù)據(jù)庫管理系統(tǒng)和圖形管理系統(tǒng)有機結(jié)合, 不僅實現(xiàn)了數(shù)據(jù)庫的輸入、輸出、統(tǒng)計分析, 以及其與圖形屬性庫之間的轉(zhuǎn)換與管理, 而且實現(xiàn)了信息的空間查詢、空間分析、圖形編輯、輸出和圖形管理, 系統(tǒng)同時提供堤岸穩(wěn)定性評價的方法和其它實用工具, 為黃河下游堤防安全管理和規(guī)劃提供了輔助決策工具。黃河

15、堤防管理信息系統(tǒng)19以VS.NET和SQL Server技術(shù)為基礎(chǔ), 結(jié)合了WebGIS關(guān)鍵技術(shù), 實現(xiàn)了B/S環(huán)境下數(shù)據(jù)的顯示、查詢、統(tǒng)計及組織管理, 通過預(yù)留接口還可以實現(xiàn)堤防工程實時監(jiān)測、安全評價、預(yù)警預(yù)報、專用分析等功能。珠江流域重點堤防數(shù)據(jù)庫系統(tǒng)20、第二松花江地理信息系統(tǒng)21數(shù)據(jù)庫底層的RDBMS均采用SQL Server 2000;而淮河流域基礎(chǔ)空間數(shù)據(jù)庫22、海河流域數(shù)據(jù)庫23均選擇Oracle作為數(shù)據(jù)庫管理系統(tǒng), 并基于ArcGIS應(yīng)用平臺, 實現(xiàn)大規(guī)模、多類型海量空間數(shù)據(jù)的統(tǒng)一管理, 提供強大的地理信息存儲訪問和分析功能。安徽數(shù)字長江信息系統(tǒng)24基于ArcGIS, 采用B/

16、S結(jié)構(gòu)的組織模式, 以O(shè)racle數(shù)據(jù)庫服務(wù)器作為基礎(chǔ)空間數(shù)據(jù)庫建設(shè)基礎(chǔ), 提供基礎(chǔ)空間信息、元數(shù)據(jù)的查詢, 為用戶提供對長江安徽段基礎(chǔ)信息數(shù)據(jù)、水利工程數(shù)據(jù)、防汛、長江河道演變和采砂數(shù)據(jù)、影像數(shù)據(jù)的顯示、查詢、統(tǒng)計、分析、服務(wù)等功能。4 國內(nèi)堤防工程數(shù)據(jù)庫的發(fā)展趨勢自20世紀90年代以來, 我國堤防工程數(shù)據(jù)庫的研究與開發(fā)有了很大的發(fā)展。迄今為止, 國內(nèi)各大流域均已建成堤防數(shù)據(jù)庫或基礎(chǔ)數(shù)據(jù)庫管理系統(tǒng), 但大都是十幾年前建成的, 建設(shè)的年代相對久遠。其次, 傳統(tǒng)的堤防數(shù)據(jù)庫多以關(guān)系數(shù)據(jù)庫為主, 不能處理非結(jié)構(gòu)化的數(shù)據(jù), 擴展性較差。另外, 堤防基礎(chǔ)數(shù)據(jù)規(guī)模正在呈幾何級數(shù)增長, 數(shù)據(jù)規(guī)模越來越龐大

17、, 數(shù)據(jù)庫應(yīng)當(dāng)具備支持海量數(shù)據(jù)、高性能、高可靠性、易擴展、資源的高重復(fù)利用率等特性, 而現(xiàn)有的存儲體系架構(gòu)很難滿足這些需求。隨著信息技術(shù)的不斷發(fā)展, 信息傳播量的日益劇增, 傳統(tǒng)的數(shù)據(jù)庫已經(jīng)滿足不了新時代背景下對新技術(shù)以及海量信息處理的需求。計算機科學(xué)技術(shù)日益革新, 在未來發(fā)展中, 堤防數(shù)據(jù)庫技術(shù)升級也必將持續(xù)進行。在此背景下, 一些新的數(shù)據(jù)管理系統(tǒng)如并行數(shù)據(jù)庫、網(wǎng)格數(shù)據(jù)庫、分布式數(shù)據(jù)庫、云平臺、可擴展數(shù)據(jù)庫等, 它們?yōu)榻鉀Q堤防工程海量數(shù)據(jù)提供了多種選擇25。大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)26以及人工智能27作為目前最熱門的技術(shù)話題, 其理念已經(jīng)在智慧城市、智慧政務(wù)的建設(shè)中發(fā)揮出了巨大潛能28。云計算

18、技術(shù)的發(fā)展和社會對大數(shù)據(jù)的需求為非關(guān)系型數(shù)據(jù)庫帶來了新的機遇, 云計算所處理的海量數(shù)據(jù)使傳統(tǒng)的RDBMS (關(guān)系型數(shù)據(jù)庫) 的性能瓶頸日益突出。而為了突破這些瓶頸問題, NoSQL數(shù)據(jù)庫的設(shè)計和實現(xiàn)是云數(shù)據(jù)管理領(lǐng)域中非常典型的且行之有效的解決方案29。5 結(jié)語數(shù)據(jù)庫作為現(xiàn)代人們管理各種數(shù)據(jù)的基本工具, 已經(jīng)深入到了生活中各個領(lǐng)域, 與人們的生活息息相關(guān)。本文根據(jù)國內(nèi)外在海量堤防基礎(chǔ)數(shù)據(jù)庫方面的發(fā)展建設(shè)情況, 探討了堤防數(shù)據(jù)庫未來發(fā)展的趨勢。海量的多格式、多類型、多尺度、跨地域的堤防工程基礎(chǔ)數(shù)據(jù), 形成了一個分布式的、異構(gòu)的、跨部門的、資源類型多樣的數(shù)據(jù)庫群。在大數(shù)據(jù)時代的浪潮下, 如何實現(xiàn)堤防

19、工程基礎(chǔ)數(shù)據(jù)的存儲、管理與共享, 如何將堤防基礎(chǔ)大數(shù)據(jù)與現(xiàn)代網(wǎng)絡(luò)、云計算、物聯(lián)網(wǎng)以及人工智能等新技術(shù)相結(jié)合, 對其進行科學(xué)的挖掘與利用, 提高相應(yīng)的服務(wù)水平, 對于促進國民經(jīng)濟發(fā)展, 具有十分重要的意義。參考文獻1包承綱, 吳昌瑜, 丁金華.中國堤防建設(shè)技術(shù)綜述J.人民長江, 1999, 30 (10) :15-16.2解家畢, 張金接, 劉舒, 等.堤防工程信息管理與風(fēng)險評價系統(tǒng)的研究與開發(fā)J.水利水電技術(shù), 2007, 38 (3) :69-72.3SL 188-2005堤防工程地質(zhì)勘察規(guī)程S.4尚宏琦.國內(nèi)外典型江河治理經(jīng)驗及水利發(fā)展理論研究M.鄭州:黃河水利出版社, 2003.5孫金勇

20、.堤防工程運行管理系統(tǒng)的技術(shù)研究與系統(tǒng)實現(xiàn)D.武漢:華中科技大學(xué), 2010.6羿文.數(shù)據(jù)庫發(fā)展史的回顧與思考J.情報學(xué)刊, 1989 (6) :52-56.7黃麗.數(shù)據(jù)庫技術(shù)的發(fā)展J.科技風(fēng), 2018 (14) :82.8朱亞楠, 毛國平, 孫圣軍.面向?qū)ο髷?shù)據(jù)庫技術(shù)及其前景分析J.軟件導(dǎo)刊, 2009, 8 (2) :162-164.9呂玲玲.數(shù)據(jù)庫技術(shù)的發(fā)展現(xiàn)狀與趨勢J.信息與電腦 (理論版) , 2011 (8) :118-120.10汪倍貝.Web數(shù)據(jù)庫訪問技術(shù)的研究J.科技資訊, 2010 (24) :24-26.11常向前, 沈細中, 冷元寶, 等.中國堤防工程管理信息系統(tǒng)開發(fā)

21、與應(yīng)用M.北京:中國水利水電出版社, 2014.12黎剛.美國大壩數(shù)據(jù)庫綜述J.水利水電快報, 2010, 31 (5) :32-36.13Ciria, Ecology M O.The International Levee HandbookR.2013.14Moins I, Boggio D.SIRS Digues 2.0:A Cooperative Software For Levees ManagementR.2016, 7:04018.15劉軍旗, 黃長青, 吳沖龍.長江堤防工程地質(zhì)信息管理策略及實現(xiàn)方法J.長江科學(xué)院院報, 2007 (4) :38-41.16張瑞軍, 陳定方, 石林, 等.基于三重模式的長江堤防信息系統(tǒng)的研究與實現(xiàn)J.武漢理工大學(xué)學(xué)報 (交通科學(xué)與工程版) , 2007 (1) :27-30.17 翟建軍.長江重要堤防隱蔽工程勘測設(shè)計數(shù)據(jù)庫系統(tǒng)C/長江護岸及堤防防滲工程論文選集, 武漢:水利部長江水利委