（計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)論文）實(shí)時(shí)歷史數(shù)據(jù)庫的設(shè)計(jì)與分析.pdf

摘要 實(shí)時(shí)歷史數(shù)據(jù)庫是工業(yè)企業(yè)自動(dòng)化體系中的一個(gè)關(guān)鍵技術(shù)，在電力企業(yè)等流 程工業(yè)中有著廣泛應(yīng)用。本文是在與中國(guó)電力科學(xué)研究院下屬某公司合作開發(fā)的 g d r e a l 實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)上，進(jìn)行了理論和實(shí)踐創(chuàng)新之后完成的。 g d r e a l 是一大型實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)，本文所涉及的磁盤歷史數(shù)據(jù)庫和實(shí)時(shí)內(nèi) 存數(shù)據(jù)庫是g d r e a l 的重要組成部分。 論文以磁盤歷史數(shù)據(jù)庫的開發(fā)為背景，分析了磁盤歷史數(shù)據(jù)庫設(shè)計(jì)中的問題， 對(duì)制約歷史數(shù)據(jù)庫發(fā)展的瓶頸一一磁盤i o 、文件的索引和數(shù)據(jù)的組織結(jié)構(gòu)等進(jìn)行 了深入的研究，提出了一種新的磁盤存儲(chǔ)結(jié)構(gòu)是一一z 樹結(jié)構(gòu)，減少了磁盤i o 操 作次數(shù)，極大地提高了磁盤存儲(chǔ)性能；采用文件組的方式，設(shè)計(jì)了一個(gè)高效的文 件集管理系統(tǒng)；對(duì)寫入頁面的大小和查詢性能做了分析。 論文以實(shí)時(shí)內(nèi)存數(shù)據(jù)庫的開發(fā)為背景，分析了實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)流程，完成了 實(shí)時(shí)內(nèi)存數(shù)據(jù)庫和歷史數(shù)據(jù)緩沖區(qū)的設(shè)計(jì)和實(shí)現(xiàn)：為了避免內(nèi)存碎片和減少動(dòng)態(tài) 內(nèi)存分配和釋放的開銷，設(shè)計(jì)了一個(gè)內(nèi)存池，將動(dòng)態(tài)內(nèi)存分配改為預(yù)先分配；結(jié) 合歷史數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)實(shí)現(xiàn)了基于雙隊(duì)列的內(nèi)存頁面l r u 淘汰算法，將之用于 歷史數(shù)據(jù)緩存頁面的管理；采用斷點(diǎn)續(xù)傳機(jī)制，很好地實(shí)現(xiàn)了大量數(shù)據(jù)的分批返 回。 論文詳細(xì)介紹了實(shí)時(shí)歷史數(shù)據(jù)庫的事務(wù)和并發(fā)控制，結(jié)合傳統(tǒng)的事務(wù)并發(fā)控 制協(xié)議，區(qū)分實(shí)時(shí)事務(wù)和非實(shí)時(shí)事務(wù)，設(shè)計(jì)了基于優(yōu)先級(jí)繼承的有序共享的兩段 鎖協(xié)議。 關(guān)鍵詞：磁盤歷史數(shù)據(jù)庫，文件管理，實(shí)時(shí)數(shù)據(jù)庫，內(nèi)存管理，并發(fā)控制 a b s t r a c t a b s t r a c t r e a l t i m eh i s t o r i c a ld a t a b a s ei sak e yt e c h n o l o g yi nt h ei n d u s t r i a le n t e r p r i s e a u t o m a t i o ns y s t e mw h i c hh a se x t e n s i v ea p p l i c a t i o ni nt h ep r o c e s si n d u s t r ys u c ha s p o w e re n t e r p r i s e s o nt h eb a s i so fg d r e a lr e a l t i m e h i s t o r i c a ld a t a b a s es y s t e m c o - d e v e l o p e dw i t hac o m p a n ya f f i l i a t e dw i t ht h ec h i n ae l e c t r i cp o w e rr e s e a r c h i n s t i t u t e , t h i st h e s i si sc o m p l e t e da f t e rt h et h e o r e t i c a la n dp r a c t i c a li n n o v a t i o n s g d r e a li sal a r g er e a l - t i m eh i s t o r i c a ld a t a b a s es y s t e m t h ed i s kh i s t o r i c a ld a t a b a s e a n dr e a l - t i m em e m o r yd a t a b a s ea l em a j o rc o m p o n e n t so fg d r e a l t h i st h e s i sa n a l y z e si n - d e p t ht h ep r o b l e m si nt h ed e s i g no fd i s kh i s t o r i c a l d a t a b a s e ，a n dt h ed i s ki o ，f i l e si n d e xa n do r g a n i z a t i o n a ls t r u c t u r eo fd a t aw h i c ha r et h e b o t t l e n e c kt ot h ed e v e l o p m e n to fh i s t o r i c a ld a t a b a s e i tp r o p o s e sau e wd i s ks t o r i n g s t r u c t u r e zt r e e ，w h i c hr e d u c e st h en u m b e ro fd i s ki oo p e r a t i o na n dg r e a t l yi m p r o v e s t h ep e r f o r m a n c eo fd i s ks t o r a g ea n d q u e r y i n g b yt h ea d o p t i n go ff i l es e t s a ne f f i c i e n t f i l em a n a g e m e n ts y s t e mi sd e s i g n e d t h es i z eo fp a g e sa n dq u e r y i n gp e r f o r m a n c ea r e a l s oa n a l y z e d t h i st h e s i sa n a l y z e st h es t o r a g ep r o c e d u r eo ft h er e a l t i m ed a t aa n dt h ed e s i g n a n di m p l e m e n t a t i o no ft h er e a l t i m em e m o r yd a t a b a s ea n dh i s t o r i c a ld a t ab u f f e r so nt h e b a c k g r o u n do fd e v e l o p m e n to f r e a l - t i m em e m o r yd a t a b a s e am e m o r yp o o li sd e s i g n e d t oa v o i dt h em e m o r yc h i p s t om a k et h ec h a n g ef r o mt h ed y n a m i cm e m o r ya l l o c a t i o nt o t h ep r e a l l o c a t i o n ，i td e c r e a s e st h eo v e r h e a do fd y n a m i cm e m o r ya l l o c a t i o na n dr e l e a s e t h em a n a g e m e n to fh i s t o r yd a t ab u f f e r su s e st h el r u a l g o r i t h mb a s e do i lt h eb i q u e u e t op r o c e s st h ep a g ee l i m i n a t i o n f o rt h ed e s t i n a t i o no fr e t u r n i n gal a r g ev o l u m eo fd a t a i nb a t c h e s , an e w t e c h n o l o g yn a m e db r o k e np o i n tr e t r a n s m i s s i o n i sp r o p o s e d t h i st h e s i s d i s p l a y s t h et r a n s a c t i o n sa n dc o n c u r r e n c yc o n t r o lo fr e a l - t i m e d a t a b a s e o nt h eb a s i so ft h et r a d i t i o n a lt r a n s a c t i o nc o n c u r r e n c yc o n t r o lp r o t o c o l sa n d d i s t i n g u i s h i n gt h ed i f f e r e n c eo fr e a l - t i m et r a n s a c t i o n sa n dn o n - r e a l t i m et r a n s a c t i o n s ，i t b r i n g sf o r w a r dt h et w op h r a s e sp r o t o c o lw i t ho r d e r e ds h a r i n gl o c kb a s e do nt h ep r i o r i t y s u c c e s s i o n k e yw o r d s ：d i s kh i s t o r i c a ld a t a b a s e ，d i s kf o ，f i l em a n a g e m e n t ，r e a l - t i m ed a t a b a s e ， m e m o r ym a n a g e m e n t ，c o n c u r r e n c yc o n t r o l 圖表清單 圖表清單 圖2 - 1 分布式實(shí)時(shí)數(shù)據(jù)庫網(wǎng)絡(luò)結(jié)構(gòu)圖 圖2 - 2g d r e a l 模塊劃分 圖2 - 3 存儲(chǔ)數(shù)據(jù)流圖 圖2 - 4 查詢數(shù)據(jù)流圖 圖3 - i 歷史數(shù)據(jù)庫數(shù)據(jù)流示意圖 圖3 - 2 文件索引總體結(jié)構(gòu) 圖3 - 3z 樹存儲(chǔ)結(jié)構(gòu) 圖3 - 4 一個(gè)標(biāo)簽點(diǎn)的索引結(jié)構(gòu) 圖3 5 單一區(qū) 圖3 - 6 混合區(qū) 圖3 7 追加流程圖。 圖3 8 查詢流程圖。 圖 l 數(shù)據(jù)存儲(chǔ)流程 圖 2 實(shí)時(shí)內(nèi)存數(shù)據(jù)庫的組織結(jié)構(gòu) 圖4 _ 3 查詢緩沖區(qū)兩級(jí)a v l 樹結(jié)構(gòu) 圖爭(zhēng)4 基于雙隊(duì)列的節(jié)點(diǎn)組織 圖4 5 斷點(diǎn)驗(yàn)證流程圖 圖4 - 6 追加實(shí)時(shí)數(shù)據(jù)流程圖 圖4 - 7 查詢數(shù)據(jù)流程圖 圖5 1g d r e a l 的資源管理 表2 - 1 服務(wù)器功能模塊。 表2 - 2 客戶端功能模塊 表3 - 1 查詢功能表 表3 2 異步操作技術(shù) 表3 - 3 不同頁面的寫入執(zhí)行時(shí)間 表5 - 1 實(shí)時(shí)數(shù)據(jù)庫中鎖的共享關(guān)系 v i 1 1 1 2 1 4 3 8 4 6 7 6 】1 3 1 9 蝤加殂 乃斟抖弱 卯n 夠鉑毋 勰缸 獨(dú)創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工 作及取得的研究成果。據(jù)我所知，除了文中特別加以標(biāo)注和致謝的地 方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，也不包含 為獲得電子科技大學(xué)或其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。 與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均己在論文中作了明 確的說明并表示謝意。 簽名：望墊日期- ) 旃嗍鏟日 關(guān)于論文使用授權(quán)的說明 本學(xué)位論文作者完全了解電子科技大學(xué)有關(guān)保留、使用學(xué)位論文 的規(guī)定，有權(quán)保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁 盤，允許論文被查閱和借閱。本人授權(quán)電子科技大學(xué)可以將學(xué)位論文 的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或 掃描等復(fù)制手段保存、匯編學(xué)位論文。 ( 保密的學(xué)位論文在解密后應(yīng)遵守此規(guī)定) 簽名： 曾強(qiáng) 導(dǎo)師簽 日期： 第一章引言 第一章引言 1 1 實(shí)時(shí)歷史數(shù)據(jù)庫的研究背景和意義 在我國(guó)國(guó)民經(jīng)濟(jì)中占有重要經(jīng)濟(jì)地位的流程工業(yè)如石化、煉油、化工、冶金、 制藥、建材、輕工、造紙、采礦、環(huán)保、電力等工業(yè)行業(yè)，這些行業(yè)普遍存在能 耗大、產(chǎn)品質(zhì)量差、生產(chǎn)過程工藝落后、自動(dòng)化水平低、管理水平低、信息集成 度低、綜合競(jìng)爭(zhēng)力弱等現(xiàn)狀。在此背景下，如何不斷提高企業(yè)的競(jìng)爭(zhēng)力，減少能 耗、降低成本、提高質(zhì)量成為擺在我國(guó)流程工業(yè)企業(yè)面前的一個(gè)迫切需要解決的 課題1 1 j 。這對(duì)當(dāng)前我國(guó)正在建設(shè)資源節(jié)約型、環(huán)境友好型社會(huì)，不斷提高資源環(huán)境 保障能力，實(shí)現(xiàn)國(guó)民經(jīng)濟(jì)又快又好發(fā)展具有重要意義。 實(shí)時(shí)數(shù)據(jù)作為企業(yè)的重要數(shù)據(jù)資源為企業(yè)決策提供支持，并對(duì)提高企業(yè)管理 水平和生產(chǎn)效率、保證企業(yè)生產(chǎn)安全穩(wěn)定運(yùn)行、增強(qiáng)企業(yè)的競(jìng)爭(zhēng)能力以及提高企 業(yè)的綜合效益具有重要意義。實(shí)時(shí)歷史數(shù)據(jù)庫是工業(yè)企業(yè)自動(dòng)化體系中的一個(gè)關(guān) 鍵技術(shù)，研究和開發(fā)具有自主知識(shí)產(chǎn)權(quán)的實(shí)時(shí)歷史數(shù)據(jù)庫產(chǎn)品具有重大的理論研 究和現(xiàn)實(shí)意義。 從2 0 世紀(jì)8 0 年代開始，美國(guó)等發(fā)達(dá)國(guó)家陸續(xù)出現(xiàn)了有關(guān)實(shí)時(shí)數(shù)據(jù)處理的論 文和專著，對(duì)實(shí)時(shí)數(shù)據(jù)庫的理論進(jìn)行了很好地探索，使實(shí)時(shí)數(shù)據(jù)庫成為一個(gè)新興 的研究領(lǐng)域，得到了學(xué)術(shù)界的普遍重視，出現(xiàn)了大量論文和原型系統(tǒng)。研究人員 利用數(shù)據(jù)庫技術(shù)來解決實(shí)時(shí)系統(tǒng)中的數(shù)據(jù)管理問題，并利用實(shí)時(shí)系統(tǒng)技術(shù)提高數(shù) 據(jù)庫處理數(shù)據(jù)的實(shí)時(shí)性。也出現(xiàn)了若干實(shí)用化的商業(yè)實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)，并在實(shí)踐 中得到了很好的應(yīng)用。但是由于實(shí)時(shí)數(shù)據(jù)庫作為一新興的研究領(lǐng)域，提出的要求 高出傳統(tǒng)數(shù)據(jù)庫，到目前為止，實(shí)時(shí)數(shù)據(jù)庫的理論和應(yīng)用研究還未發(fā)展成熟，也 沒有形成統(tǒng)一的實(shí)時(shí)數(shù)據(jù)庫標(biāo)準(zhǔn)。 另一方面，實(shí)時(shí)數(shù)據(jù)庫理論的研究主要集中在如下幾個(gè)方面：數(shù)據(jù)和數(shù)據(jù)庫 的結(jié)構(gòu)與組織：事務(wù)的截至?xí)r間的軟硬性；事務(wù)的優(yōu)先級(jí)分派、調(diào)度和并發(fā)控制 的協(xié)議與算法【2 】；系統(tǒng)資源調(diào)度、恢復(fù)、通信的協(xié)議與算法【3 l ；查詢處理算法；數(shù) 據(jù)和事務(wù)特性的語義及這種語義與一致性、正確性的關(guān)系等等。但對(duì)制約歷史數(shù) 據(jù)庫發(fā)展的瓶頸的文件的索引和數(shù)據(jù)的組織結(jié)構(gòu)、內(nèi)存緩存策略及磁盤i o 等沒有 深入的研究。因此，有必要對(duì)歷史數(shù)據(jù)庫進(jìn)行專門的研究。 電子科技大學(xué)碩士學(xué)位論文 1 2 實(shí)時(shí)歷史數(shù)據(jù)庫的研究歷史及現(xiàn)狀 1 2 1 關(guān)系數(shù)據(jù)庫簡(jiǎn)介 數(shù)據(jù)庫系統(tǒng)的萌芽出現(xiàn)于6 0 年代。當(dāng)時(shí)計(jì)算機(jī)開始廣泛地應(yīng)用于數(shù)據(jù)管理， 對(duì)數(shù)據(jù)的共享提出了越來越高的要求。傳統(tǒng)的文件系統(tǒng)已經(jīng)不能滿足人們的需要。 能夠統(tǒng)一管理和共享數(shù)據(jù)的數(shù)據(jù)庫管理系統(tǒng)( d b m s ) 應(yīng)運(yùn)而生。數(shù)據(jù)模型是數(shù)據(jù)庫 系統(tǒng)的核心和基礎(chǔ)，各種d b m s 軟件都是基于某種數(shù)據(jù)模型的。所以通常也按照 數(shù)據(jù)模型的特點(diǎn)將傳統(tǒng)數(shù)據(jù)庫系統(tǒng)分成網(wǎng)狀數(shù)據(jù)庫、層次數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫三 類【4 】。 最早出現(xiàn)的是網(wǎng)狀d b m s ，是美國(guó)通用電氣公司b a c h m a n 等人在1 9 6 1 年開發(fā) 成功的i d s ( i n t e g r a t e dd a t a s t o r e ) 。1 9 6 1 年通用電氣公司( g e n e r a le l e c t r i cc o ) 的 c h a r l e sb a c h m a n 成功地開發(fā)出世界上第一個(gè)網(wǎng)狀d b m s 也是第一個(gè)數(shù)據(jù)庫管理系 統(tǒng)集成數(shù)據(jù)存儲(chǔ)( i n t e g r a t e dd a t a s t o r ei d s ) ，奠定了網(wǎng)狀數(shù)據(jù)庫的基礎(chǔ)，并在當(dāng) 時(shí)得到了廣泛的發(fā)行和應(yīng)用。 網(wǎng)狀數(shù)據(jù)庫模型對(duì)于層次和非層次結(jié)構(gòu)的事務(wù)都能比較自然的模擬，在關(guān)系 數(shù)據(jù)庫出現(xiàn)之前網(wǎng)狀d b m s 要比層次d b m s 用得普遍。在數(shù)據(jù)庫發(fā)展史上，網(wǎng)狀 數(shù)據(jù)庫占有重要地位。 層次型d b m s 是緊隨網(wǎng)絡(luò)型數(shù)據(jù)庫而出現(xiàn)的。最著名最典型的層次數(shù)據(jù)庫系 統(tǒng)是i b m 公司在1 9 6 8 年開發(fā)的i b i s ( i n f o r m a t i o nm a n a g e m e n ts y s t e m ) ，一種適合 其主機(jī)的層次數(shù)據(jù)庫。這是i b m 公司研制的最早的大型數(shù)據(jù)庫系統(tǒng)程序產(chǎn)品。 網(wǎng)狀數(shù)據(jù)庫和層次數(shù)據(jù)庫已經(jīng)很好地解決了數(shù)據(jù)的集中和共享問題，但是在 數(shù)據(jù)獨(dú)立性和抽象級(jí)別上仍有很大欠缺。用戶在對(duì)這兩種數(shù)據(jù)庫進(jìn)行存取時(shí)，仍 然需要明確數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)，指出存取路徑。而后來出現(xiàn)的關(guān)系數(shù)據(jù)庫較好地解 決了這些問題。 1 9 7 0 年，璐m 的研究員e e c o d d 博士在刊物 c o m m u n i c a t i o no ft h ea c m ) 上發(fā)表了一篇名為“ar e l a t i o n a lm o d e lo fd a t af o rl a r g es h a r e dd a t ab a n k s ”的論 文，提出了關(guān)系模型的概念，奠定了關(guān)系模型的理論基礎(chǔ)。盡管之前在1 9 6 8 年 c h i l d s 已經(jīng)提出了面向集合的模型，然而這篇論文被普遍認(rèn)為是數(shù)據(jù)庫系統(tǒng)歷史上 具有劃時(shí)代意義的里程碑。后來c o d d 又陸續(xù)發(fā)表多篇文章，論述了范式理論和衡 量關(guān)系系統(tǒng)的1 2 條標(biāo)準(zhǔn)，用數(shù)學(xué)理論奠定了關(guān)系數(shù)據(jù)庫的基礎(chǔ)。關(guān)系模型有嚴(yán)格 的數(shù)學(xué)基礎(chǔ)，抽象級(jí)別比較高，而且簡(jiǎn)單清晰，便于理解和使用。 2 第一章引言 1 9 7 0 年關(guān)系模型建立之后，m m 公司在s a nj o s e 實(shí)驗(yàn)室增加了更多的研究人 員研究這個(gè)項(xiàng)目，這個(gè)項(xiàng)目就是著名的s y s t e mr 。其目標(biāo)是論證一個(gè)全功能關(guān)系 d b m s 的可行性。該項(xiàng)目結(jié)束于1 9 7 9 年，完成了第一個(gè)實(shí)現(xiàn)s q l 的d b m s 。 關(guān)系型數(shù)據(jù)庫系統(tǒng)以關(guān)系代數(shù)為堅(jiān)實(shí)的理論基礎(chǔ)，經(jīng)過幾十年的發(fā)展和實(shí)際 應(yīng)用，技術(shù)越來越成熟和完善。其代表產(chǎn)品有o r a c l e 、i b m 公司的d b 2 、微軟公 司的m ss q l s e r v e r 以及i n f o r m i x 、a d a b a s d 等等。 1 2 2 實(shí)時(shí)數(shù)據(jù)庫簡(jiǎn)介 以關(guān)系型數(shù)據(jù)庫為代表的傳統(tǒng)數(shù)據(jù)庫系統(tǒng)旨在處理永久、穩(wěn)定的數(shù)據(jù)，強(qiáng)調(diào) 維護(hù)數(shù)據(jù)的完整性和一致性，其目標(biāo)是追求高的數(shù)據(jù)量和低的系統(tǒng)代價(jià)，而不會(huì) 考慮數(shù)據(jù)及事務(wù)的時(shí)間限制。 但新的數(shù)據(jù)庫應(yīng)用領(lǐng)域不斷出現(xiàn)，包括數(shù)據(jù)通信、電力調(diào)度、股票交易、雷 達(dá)跟蹤及交通控制等。這些新的領(lǐng)域與傳統(tǒng)的數(shù)據(jù)庫應(yīng)用領(lǐng)域有著明顯不同的區(qū) 別： ( 1 ) 數(shù)據(jù)庫系統(tǒng)要維護(hù)大量的共享數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù)庫管理系統(tǒng)和普通的關(guān)系型 數(shù)據(jù)庫管理系統(tǒng)一個(gè)重要的區(qū)別是數(shù)據(jù)庫的存儲(chǔ)容量。由于流程工業(yè)企業(yè)生產(chǎn)的 復(fù)雜性導(dǎo)致了大量的實(shí)時(shí)信息需要存儲(chǔ)，普通的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)是無法實(shí) 現(xiàn)的嘲。 ( 2 ) 系統(tǒng)的對(duì)數(shù)據(jù)的處理有很強(qiáng)的時(shí)間限制，要求在規(guī)定的時(shí)間內(nèi)完成數(shù)據(jù)操 作，其主要目標(biāo)是使盡量多的事務(wù)“在規(guī)定的時(shí)間要求內(nèi)”完成，而不是公平地 分配系統(tǒng)資源，因此它具有明顯的時(shí)間約束特點(diǎn)憫。對(duì)數(shù)據(jù)的時(shí)間約束是在數(shù)據(jù)庫 的普通一致性要求外，又規(guī)定了時(shí)態(tài)一致性的要求。在實(shí)時(shí)系統(tǒng)中，具有時(shí)間約 束的數(shù)據(jù)主要來自于外部的動(dòng)態(tài)數(shù)據(jù)，如由傳感器采集的現(xiàn)場(chǎng)數(shù)據(jù)和由這些數(shù)據(jù) 導(dǎo)出的數(shù)據(jù)。 ( 3 ) 實(shí)時(shí)數(shù)據(jù)庫的調(diào)度系統(tǒng)與傳統(tǒng)數(shù)據(jù)庫中的事務(wù)調(diào)度是有差別的。它要求的 是能使盡量多的事務(wù)在其期限內(nèi)完成，因此大多數(shù)的實(shí)時(shí)事務(wù)調(diào)度策略都是圍繞 事務(wù)的優(yōu)先級(jí)進(jìn)行的?？紤]到實(shí)時(shí)數(shù)據(jù)庫中實(shí)時(shí)性是第一位的要求，其存儲(chǔ)管理 策略應(yīng)使實(shí)時(shí)數(shù)據(jù)庫在系統(tǒng)運(yùn)行過程中，占用空間少，并常駐內(nèi)存，從而保證數(shù) 據(jù)庫讀取速度快，存取靈活，易于各功能模塊之間的數(shù)據(jù)共享 7 1 。 傳統(tǒng)的實(shí)時(shí)系統(tǒng)雖然支持任務(wù)的定時(shí)限制，但只針對(duì)結(jié)構(gòu)和關(guān)系比較簡(jiǎn)單的 數(shù)據(jù)，不涉及維護(hù)數(shù)據(jù)的完整性和一致性。因此，實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)是傳統(tǒng)的實(shí)時(shí) 3 電子科技大學(xué)碩士學(xué)位論文 系統(tǒng)和數(shù)據(jù)庫系統(tǒng)相結(jié)合的產(chǎn)物，但不是二者簡(jiǎn)單的相加。實(shí)時(shí)數(shù)據(jù)庫使用與傳 統(tǒng)的關(guān)系數(shù)據(jù)庫完全不同的算法來保證實(shí)時(shí)性，使用比實(shí)時(shí)系統(tǒng)復(fù)雜得多的數(shù)據(jù) 維護(hù)機(jī)制來管理實(shí)時(shí)數(shù)據(jù)。在實(shí)時(shí)系統(tǒng)中，任務(wù)具有時(shí)間限制，通常以完成截止 期的形式出現(xiàn)，并且以能夠在這些事務(wù)的截止期之前完成的方式調(diào)度。在傳統(tǒng)的 實(shí)時(shí)系統(tǒng)中不考慮保持?jǐn)?shù)據(jù)庫的一致性，而在傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)中沒有事務(wù)的時(shí) 間限制問題。實(shí)時(shí)數(shù)據(jù)庫事務(wù)和傳統(tǒng)的數(shù)據(jù)庫事務(wù)一樣，也必須保持?jǐn)?shù)據(jù)庫的一 致性，此外它還必須滿足事務(wù)的定時(shí)限制。也就是說為了成功的提交一個(gè)事務(wù)， 將不得不同時(shí)滿足事務(wù)的定時(shí)限制和事務(wù)的邏輯一致性要求。實(shí)時(shí)數(shù)據(jù)庫事務(wù)處 理的目標(biāo)通常是最大化滿足截止期的事務(wù)數(shù)，而傳統(tǒng)數(shù)據(jù)庫事務(wù)處理的目標(biāo)是最 小化事務(wù)的平均響應(yīng)時(shí)間或最大化事務(wù)的平均吞吐量1 8 j 。 1 9 8 8 年發(fā)表的a c ms i g m o dr e c o r d 實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)?？崾玖藃 t d b s ( r e a l - t u n ed a t a b a s es y s t e m ，實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)) 研究領(lǐng)域的誕生，標(biāo)志著實(shí)時(shí)和傳統(tǒng) 數(shù)據(jù)庫的融合產(chǎn)生的新興研究領(lǐng)域的確立。 在數(shù)據(jù)庫理論中，實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)就是其事務(wù)和數(shù)據(jù)都可以具有定時(shí)特性或 顯式的定時(shí)限制的數(shù)據(jù)庫系統(tǒng)【9 】。系統(tǒng)的正確性不僅依賴于邏輯結(jié)果，而且還依賴 于邏輯結(jié)果產(chǎn)生的時(shí)間1 1 0 l 。實(shí)時(shí)數(shù)據(jù)庫的主要特征是在其數(shù)據(jù)和事務(wù)上施加了時(shí) 間約束。數(shù)據(jù)的時(shí)間約束是在數(shù)據(jù)的一致性要求之外，增加了時(shí)態(tài)的一致性要求； 事務(wù)的時(shí)間約束，即為事務(wù)規(guī)定了一個(gè)執(zhí)行期限1 1 1 】。 目前國(guó)外已有許多實(shí)時(shí)數(shù)據(jù)庫產(chǎn)品，如美國(guó)的o s i 公司的p l a n t i n f o r m a t i o n s y s t e m ，簡(jiǎn)稱p i ；美國(guó)a s p e n t e c h 公司的l 砸o p l u s 2 1 系統(tǒng)；美國(guó)h o n e y w e l l 公司的 u n i f o r m a n c e ( 1 h d ) 系統(tǒng)；英國(guó)w o n d e r w a r e 公司的i n d u s t r i a l s q l s e r v e r 產(chǎn)品等。這 些軟件產(chǎn)品在技術(shù)、設(shè)計(jì)和解決方案上多數(shù)依賴其公司主營(yíng)業(yè)務(wù)的發(fā)展歷史。例 如i n d u s t r i a l 是實(shí)時(shí)關(guān)系型數(shù)據(jù)庫，u n i f o 徹a n c e 嚴(yán)格依賴一個(gè)大型關(guān)系數(shù)據(jù)庫系 統(tǒng)，同時(shí)這些系統(tǒng)的產(chǎn)品成本和工程成本高，在一些技術(shù)和工程方面并不適合中 國(guó)的流程工業(yè)。 9 0 年代初期，國(guó)內(nèi)也相繼出現(xiàn)了一些實(shí)時(shí)數(shù)據(jù)庫產(chǎn)品，如中國(guó)國(guó)家電力公司 自動(dòng)化研究院的n s i s 系統(tǒng)；中國(guó)大慶金橋信息技術(shù)工程有限公司的c o n r t d b 系 統(tǒng)；中國(guó)北京三維天地計(jì)算技術(shù)開發(fā)有限公司開發(fā)的s u p e r i n f o 系統(tǒng)；中國(guó)北京石 林電腦公司的s l r s 系統(tǒng)：中國(guó)北京合利時(shí)系統(tǒng)工程股份有限公司的r e a l m i s 系 統(tǒng)等。但由于自身?xiàng)l件和技術(shù)的限制，與國(guó)外的實(shí)時(shí)數(shù)據(jù)庫產(chǎn)品還有很大的差距。 1 2 3 歷史數(shù)據(jù)庫簡(jiǎn)介 4 第一章引言 歷史數(shù)據(jù)庫往往做為整個(gè)實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)的一部分嵌入其中。與對(duì)實(shí)時(shí)數(shù)據(jù) 庫進(jìn)行研究的熱門程度進(jìn)行比較，就會(huì)發(fā)現(xiàn)對(duì)歷史數(shù)據(jù)庫的研究要冷清很多。對(duì) 制約歷史數(shù)據(jù)庫發(fā)展的瓶頸的文件的索引和數(shù)據(jù)的組織結(jié)構(gòu)、內(nèi)存緩存策略及磁 盤f o 等沒有深入的研究，會(huì)影響整個(gè)實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)的效率和性能。 歷史數(shù)據(jù)有助于工藝流程的改進(jìn)、設(shè)備性能的維護(hù)和故障原因的診斷。它一 般同趨勢(shì)分析、報(bào)表生成和打印等服務(wù)緊密結(jié)合，在實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)中發(fā)揮著越 來越重要的作用。 歷史數(shù)據(jù)庫保存實(shí)時(shí)數(shù)據(jù)的歷史記錄。流程工業(yè)對(duì)歷史數(shù)據(jù)庫的需求表現(xiàn)在 兩個(gè)方面；一個(gè)是先進(jìn)控制和實(shí)時(shí)優(yōu)化等應(yīng)用的需要，它們需要的歷史數(shù)據(jù)的特 點(diǎn)是近期和實(shí)時(shí)性，也就是說，它們需要常?；蛘甙凑漳彻潭ǖ闹芷诒M快地得到 近期的歷史數(shù)據(jù)；另一個(gè)是永久存儲(chǔ)，提供實(shí)時(shí)性要求不高的歷史數(shù)據(jù)查詢。 歷史數(shù)據(jù)庫功能的實(shí)現(xiàn)一般采用兩種方案，第一種是利用商用關(guān)系數(shù)據(jù)庫， 比如m ss o ls e r v e r ，o r a c l e ，m ys q l 等，進(jìn)行二次開發(fā)；第二種是使用過程控 制專用的歷史數(shù)據(jù)庫。采用兩種方案實(shí)現(xiàn)的歷史數(shù)據(jù)庫均有成功的產(chǎn)品，比如 s i m e n s 的w i i l c c 就是由微軟公司采用s q l s e r v e r 開發(fā)；但是，大部分自動(dòng)化組態(tài) 軟件采用專用的歷史數(shù)據(jù)庫，比如i n t o u c h 使用了p l 實(shí)時(shí)數(shù)據(jù)庫( 包含歷史數(shù)據(jù)庫 部分1 ，i n t e l l u t i o n 使用了實(shí)時(shí)歷史數(shù)據(jù)庫i f f i s t o r i a n ，組態(tài)王也自行開發(fā)了專 用的歷史數(shù)據(jù)庫。由于歷史數(shù)據(jù)是基于時(shí)間的一些連續(xù)的模擬量或數(shù)字量( 比如溫 度、壓力、流量、閥門開關(guān)等) ，完全不同于普通關(guān)系數(shù)據(jù)庫處理的那些離散的、 非連續(xù)的、不基于時(shí)間的二維關(guān)系表數(shù)據(jù)( 比如訂單信息、財(cái)務(wù)信息、人事管理信 息等1 ，所以，從技術(shù)應(yīng)用層面來看，專用歷史數(shù)據(jù)庫將會(huì)更有優(yōu)勢(shì)，使用專用歷 史數(shù)據(jù)庫在存儲(chǔ)效率上占有明顯的優(yōu)勢(shì)。 國(guó)際上系統(tǒng)研究實(shí)時(shí)數(shù)據(jù)庫的時(shí)間不過2 0 多年，而同實(shí)時(shí)數(shù)據(jù)庫緊密相關(guān)的 歷史數(shù)據(jù)庫的研究時(shí)間更短。這意味著歷史數(shù)據(jù)庫的研究任重而道遠(yuǎn)。進(jìn)入2 l 世 紀(jì)后，國(guó)外一些知名的自動(dòng)化公司加大了對(duì)流程工業(yè)數(shù)據(jù)庫的研發(fā)力度，像 i n t e l l u t i o n ，w 0 n d e 剛吼r e 等均推出了自己的歷史數(shù)據(jù)庫。這些國(guó)外的數(shù) 據(jù)庫產(chǎn)品( 如o s 工公司的p i 系統(tǒng)等) 占領(lǐng)了國(guó)內(nèi)大部分流程工業(yè)數(shù)據(jù)庫市場(chǎng)，正是 由于存在著技術(shù)上的壟斷性，因而價(jià)格昂貴，維護(hù)費(fèi)用高。盡管國(guó)內(nèi)在一些公司 和研究機(jī)構(gòu)的積極努力下，也相繼推出了一些流程工業(yè)數(shù)據(jù)庫系統(tǒng)，不過研究的 重點(diǎn)主要集中在實(shí)時(shí)數(shù)據(jù)庫功能的擴(kuò)展、穩(wěn)定性的提高以及增強(qiáng)開放性等，對(duì)于 歷史數(shù)據(jù)高效、快速的存取以及歷史數(shù)據(jù)庫系統(tǒng)構(gòu)架的研究還遠(yuǎn)遠(yuǎn)不夠。 5 電子科技大學(xué)碩士學(xué)位論文 1 3 本文的工作 本論文是在與中國(guó)電力科學(xué)研究院下屬某公司合作開發(fā)的g d r e a l 系統(tǒng)的基 礎(chǔ)上，并進(jìn)行了理論和實(shí)踐創(chuàng)新后完成的。g d r e a l 是一大型實(shí)時(shí)歷史數(shù)據(jù)庫系 統(tǒng)，最多支持1 0 0 0 0 0 個(gè)標(biāo)簽點(diǎn)。作者有幸參與開發(fā)了這一大型項(xiàng)目的完整開發(fā)過 程，包括從需求分析、概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)、編碼和最終的測(cè)試過程。 本文從我國(guó)流程工業(yè)特別是電力企業(yè)的現(xiàn)狀入手，充分考慮了實(shí)際需求，并 在參考了國(guó)內(nèi)外相關(guān)領(lǐng)域的理論研究和實(shí)際產(chǎn)品的基礎(chǔ)上完成的。 主要設(shè)計(jì)和實(shí)現(xiàn)了在整個(gè)系統(tǒng)中占核心地位的磁盤歷史數(shù)據(jù)庫和實(shí)時(shí)內(nèi)存數(shù) 據(jù)庫部分，創(chuàng)新點(diǎn)體現(xiàn)在以下幾個(gè)方面： ( 1 ) 提出了一種新的磁盤存儲(chǔ)結(jié)構(gòu)是- - - - z 樹結(jié)構(gòu)，減少了磁盤i o 操作次數(shù)， 極大地提高了磁盤存儲(chǔ)性能； ( 2 ) 采用文件組的方式，設(shè)計(jì)了一個(gè)高效的文件集管理系統(tǒng)； 0 1 為了避免內(nèi)存碎片和減少動(dòng)態(tài)內(nèi)存分配和釋放的開銷，設(shè)計(jì)了一個(gè)內(nèi)存 池，改動(dòng)態(tài)內(nèi)存分配為預(yù)先分配； ( 4 ) 結(jié)合歷史數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)實(shí)現(xiàn)了基于雙隊(duì)列的內(nèi)存頁面l r u 淘汰算法， 將之用于歷史數(shù)據(jù)緩存頁面的管理； ( 5 ) 采用斷點(diǎn)續(xù)傳機(jī)制，很好地實(shí)現(xiàn)了大數(shù)據(jù)量的分批返回； ( 6 ) 結(jié)合傳統(tǒng)的事務(wù)并發(fā)控制協(xié)議，區(qū)分實(shí)時(shí)事務(wù)和非實(shí)時(shí)事務(wù)，提出并設(shè)計(jì) 了基于優(yōu)先級(jí)繼承的有序共享的兩段鎖協(xié)議。 論文共分六章，各章的主要內(nèi)容如下： 第一章，介紹了實(shí)時(shí)歷史數(shù)據(jù)庫的研究背景和意義，對(duì)其歷史和研究現(xiàn)狀進(jìn) 行了詳細(xì)的描述并對(duì)相關(guān)內(nèi)容進(jìn)行了評(píng)述，對(duì)課題的研究目標(biāo)和作者所做的工作 進(jìn)行了說明。 第二章，介紹了作者參與開發(fā)的g d r e a l 實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)，對(duì)其基本功 能和所要達(dá)到的技術(shù)指標(biāo)進(jìn)行了說明，詳細(xì)描述了g d r e a l 的體系結(jié)構(gòu)，包括網(wǎng) 絡(luò)結(jié)構(gòu)、模塊劃分和數(shù)據(jù)流程。 第三章，以磁盤歷史數(shù)據(jù)庫的開發(fā)為背景，分析了磁盤歷史數(shù)據(jù)庫設(shè)計(jì)中的 問題，提出了以z 樹作為存儲(chǔ)結(jié)構(gòu)的思想，結(jié)合w i n d o w s 操作系統(tǒng)的文件操作， 最終完成了磁盤歷史數(shù)據(jù)庫的設(shè)計(jì)和實(shí)現(xiàn)，并對(duì)性能做了分析。 第四章，以實(shí)時(shí)內(nèi)存數(shù)據(jù)庫的開發(fā)為背景，分析了實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)流程，完 成了實(shí)時(shí)內(nèi)存數(shù)據(jù)庫和歷史數(shù)據(jù)緩沖區(qū)的設(shè)計(jì)和實(shí)現(xiàn)。 第一章引言 第五章，詳細(xì)介紹了實(shí)時(shí)歷史數(shù)據(jù)庫的事務(wù)和并發(fā)控制，結(jié)合w i n d o w s 操作 系統(tǒng)提供的同步機(jī)制，設(shè)計(jì)和實(shí)現(xiàn)了基于優(yōu)先級(jí)繼承的有序共享的兩段鎖協(xié)議。 第六章，結(jié)論部分，對(duì)課題研究工作進(jìn)行了總結(jié)，并對(duì)進(jìn)一步進(jìn)行實(shí)時(shí)歷史 數(shù)據(jù)庫的研究和系統(tǒng)開發(fā)提出了設(shè)想和建議。 7 電子科技大學(xué)碩士學(xué)位論文 第二章g d r e a l 實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)介紹 電力企業(yè)利用實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)保存大量的實(shí)時(shí)歷史數(shù)據(jù)。但在已投入使 用的系統(tǒng)中，大都采用國(guó)外的實(shí)時(shí)歷史數(shù)據(jù)庫產(chǎn)品，如p i ，e d n a 等。但這樣一 套實(shí)時(shí)歷史數(shù)據(jù)庫產(chǎn)品動(dòng)輒上百萬元，在實(shí)際使用中也與電廠實(shí)際有較大差距。 而對(duì)于國(guó)內(nèi)的實(shí)時(shí)歷史數(shù)據(jù)庫產(chǎn)品由于技術(shù)等方面的原因，在實(shí)際應(yīng)用中也不盡 如人意。為此，結(jié)合電力企業(yè)的實(shí)際情況，設(shè)計(jì)和開發(fā)了g d r e a l 實(shí)時(shí)歷史數(shù)據(jù) 庫系統(tǒng)。 g d r e a l 是一大型實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)，從立項(xiàng)到一期工程的完成用了近兩 年時(shí)間，現(xiàn)已進(jìn)入了現(xiàn)場(chǎng)環(huán)境下的試運(yùn)行，并在明年投入正式運(yùn)行。二期工程即 將展開。 2 1g d r e a l 需求分析 2 1 1 基本描述 在符合相關(guān)國(guó)內(nèi)外技術(shù)標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，滿足軟件平臺(tái)、硬件平臺(tái)的兼容要 求的基礎(chǔ)上，實(shí)時(shí)歷史數(shù)據(jù)庫平臺(tái)應(yīng)提供數(shù)據(jù)實(shí)時(shí)分布采集、壓縮存儲(chǔ)、方便管 理以及可擴(kuò)展的協(xié)同應(yīng)用，支持生產(chǎn)過程數(shù)據(jù)實(shí)時(shí)采集、歷史存儲(chǔ)，建立數(shù)據(jù)平 臺(tái)的基礎(chǔ)，按照標(biāo)簽點(diǎn)( 測(cè)量點(diǎn)) 的形式定時(shí)地收集、存儲(chǔ)生產(chǎn)過程帶有時(shí)間序 列性質(zhì)數(shù)據(jù)、手工數(shù)據(jù)、或者其他外部應(yīng)用數(shù)據(jù)，并針對(duì)這些數(shù)據(jù)和數(shù)據(jù)庫平臺(tái) 提供實(shí)時(shí)管理和應(yīng)用能力。 實(shí)時(shí)歷史數(shù)據(jù)庫平臺(tái)的結(jié)構(gòu)設(shè)計(jì)、系統(tǒng)配置、軟件編制，應(yīng)滿足對(duì)生產(chǎn)過程 的可靠運(yùn)行要求，必須保證生產(chǎn)過程數(shù)據(jù)采集過程的實(shí)時(shí)性、數(shù)據(jù)的完整性；需 要保證系統(tǒng)及其數(shù)據(jù)的安全，提供適當(dāng)?shù)臄?shù)據(jù)備份措旎和相應(yīng)的數(shù)據(jù)安全保證措 施；提供嚴(yán)格的用戶認(rèn)證、權(quán)限管理和審計(jì)手段，并考慮信息保密的時(shí)效性。 從開放性和可擴(kuò)展性考慮，實(shí)時(shí)歷史數(shù)據(jù)庫平臺(tái)應(yīng)采用開放式體系結(jié)構(gòu)和分 布式系統(tǒng)設(shè)計(jì)，以滿足未來企業(yè)信息綜合應(yīng)用的要求。 2 1 2 基本功能 8 第二章g d r e a l 實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)介紹 本系統(tǒng)的服務(wù)器端運(yùn)行環(huán)境為m sw i n d o w s2 0 0 3s e r v e r ，客戶端運(yùn)行環(huán)境 為m sw i n d o w sx pp r o f e s s i o n a i 忸o m e ，m sw i n d o w s2 0 0 0p r o f e s s i o n a l ， 可采用不同系統(tǒng)平臺(tái)版本予以發(fā)布。 本系統(tǒng)應(yīng)實(shí)現(xiàn)的基本功能包括： 1 數(shù)據(jù)歸檔與存儲(chǔ) 本系統(tǒng)應(yīng)提供面向過程數(shù)據(jù)經(jīng)濟(jì)存儲(chǔ)或者優(yōu)化存儲(chǔ)的手段，并且提供數(shù)據(jù) 壓縮方法； 提供計(jì)算引擎或者計(jì)算接口，支持?jǐn)?shù)據(jù)的二次計(jì)算存儲(chǔ)能力，既可直接 存儲(chǔ)過程數(shù)據(jù)又可存儲(chǔ)過程數(shù)據(jù)中間計(jì)算結(jié)果。計(jì)算引擎以及接口支持統(tǒng) 計(jì)功能包括最大值、最小值、平均值和累計(jì)值計(jì)算功能； 針對(duì)每條過程數(shù)據(jù)，記錄包含如下內(nèi)容：標(biāo)簽點(diǎn)名稱、標(biāo)簽點(diǎn)時(shí)間標(biāo) 簽、標(biāo)簽點(diǎn)描述、數(shù)據(jù)源地址、數(shù)據(jù)點(diǎn)工程單位、數(shù)據(jù)類型、掃描周期、 量程范圍、數(shù)據(jù)時(shí)間標(biāo)志、數(shù)據(jù)值、數(shù)據(jù)狀態(tài)冶數(shù)據(jù)質(zhì)量或者其它數(shù)據(jù) 點(diǎn)狀態(tài)信息) 等； 本系統(tǒng)應(yīng)能提供針對(duì)已有歷史數(shù)據(jù)的移植和擴(kuò)容方案，并實(shí)現(xiàn)多卷存儲(chǔ)機(jī) 制。 2 數(shù)據(jù)庫管理 數(shù)據(jù)庫的建立、刪除、修改； 設(shè)置系統(tǒng)運(yùn)行參數(shù)和系統(tǒng)運(yùn)行監(jiān)視： 通過手工方式或者自動(dòng)方式備份數(shù)據(jù)庫系統(tǒng)配置信息和歷史歸檔數(shù)據(jù)，并 可從備份文件恢復(fù)數(shù)據(jù)。 3 應(yīng)用編程接口 支持以下采用程序方式對(duì)數(shù)據(jù)庫進(jìn)行維護(hù)、存取的編程接口： 建立和維護(hù)數(shù)據(jù)庫； 建立和刪除關(guān)于數(shù)據(jù)庫的連接； 數(shù)據(jù)插入，以單點(diǎn)方式或批方式； 支持?jǐn)?shù)據(jù)緩存恢復(fù)功能，比如，在服務(wù)器端中斷工作后，接口機(jī)內(nèi)可緩存 一定時(shí)間的數(shù)據(jù)，這些數(shù)據(jù)在服務(wù)器恢復(fù)工作后，可以無損失的存入數(shù)據(jù) 庫； 數(shù)據(jù)查詢和提取，可以單點(diǎn)或多點(diǎn)方式以單一時(shí)間、時(shí)間段方式提??； 數(shù)據(jù)的修改和刪除，可以單點(diǎn)或多點(diǎn)方式以單一時(shí)間、時(shí)間段方式對(duì)數(shù)據(jù) 庫進(jìn)行維護(hù)。 9 電子科技大學(xué)碩士學(xué)位論文 4 事務(wù)機(jī)制 數(shù)據(jù)更新事務(wù)：包括事務(wù)開始、更新數(shù)據(jù)時(shí)間、更新數(shù)據(jù)值、檢查數(shù)據(jù)狀 態(tài)、設(shè)置數(shù)據(jù)狀態(tài)、事務(wù)結(jié)束。此功能尤其在數(shù)據(jù)恢復(fù)和備份功能中要有 合理的實(shí)現(xiàn)； 數(shù)據(jù)計(jì)算事務(wù)：l i p - - 次計(jì)算點(diǎn)的數(shù)據(jù)更新，其包含的操作有：事務(wù)開始、 獲取二次計(jì)算所需的數(shù)據(jù)點(diǎn)值及其對(duì)應(yīng)時(shí)間、產(chǎn)生計(jì)算結(jié)果、更新二次計(jì) 算點(diǎn)的數(shù)據(jù)時(shí)間、更新二次計(jì)算點(diǎn)的數(shù)據(jù)值、檢查數(shù)據(jù)狀態(tài)、設(shè)置數(shù)據(jù)狀 態(tài)、事務(wù)結(jié)束。 數(shù)據(jù)回取事務(wù)：其包含的操作有：事務(wù)開始、按照指定條件獲取數(shù)據(jù)、事 務(wù)結(jié)束。 5 權(quán)限管理機(jī)制 系統(tǒng)應(yīng)支持基于角色的用戶權(quán)限管理，可以對(duì)每個(gè)用戶指定具體的操作權(quán) 限，確保其只能進(jìn)行限定范圍內(nèi)的操作； e l 志功能，記錄數(shù)據(jù)庫系統(tǒng)運(yùn)行中的操作信息、警告信息、錯(cuò)誤信息等； 應(yīng)實(shí)現(xiàn)審計(jì)功能，記錄和追蹤數(shù)據(jù)庫配置信息與數(shù)據(jù)庫修改信息。 2 1 3 技術(shù)指標(biāo) 本系統(tǒng)的主要技術(shù)指標(biāo)包括事務(wù)吞吐量、數(shù)據(jù)壓縮能力、數(shù)據(jù)存儲(chǔ)標(biāo)簽、每 秒存取點(diǎn)數(shù)，以下指標(biāo)應(yīng)在當(dāng)前的主流計(jì)算機(jī)系統(tǒng)硬件配置下實(shí)現(xiàn)，系統(tǒng)硬件的 性能指標(biāo)理論上應(yīng)給以保證： 讀事務(wù)吞吐量：1 0t p s 寫事務(wù)吞吐量：8t p s ； 數(shù)據(jù)壓縮能力：數(shù)據(jù)壓縮率為1 1 0 ； 支持的數(shù)據(jù)存儲(chǔ)標(biāo)簽量：1 0 0 0 0 0 ； 連接客戶端數(shù)量：5 0 個(gè)客戶； 每秒存取點(diǎn)數(shù)：1 0 0 0 0 點(diǎn)。 2 2g d r e a l 體系結(jié)構(gòu)介紹 2 2 1g d r e a l 網(wǎng)絡(luò)結(jié)構(gòu) 第二章g d r e a l 實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)介紹 實(shí)時(shí)歷史數(shù)據(jù)庫的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 1 所示。 圖2 1 分布式實(shí)時(shí)數(shù)據(jù)庫網(wǎng)絡(luò)結(jié)構(gòu)圖 各數(shù)據(jù)采集工作站負(fù)責(zé)將屬于本站的各標(biāo)簽點(diǎn)實(shí)時(shí)數(shù)據(jù)實(shí)時(shí)傳輸?shù)綄?shí)時(shí)數(shù)據(jù) 庫服務(wù)器中。服務(wù)器采用雙機(jī)熱備份：一個(gè)主服務(wù)器、一個(gè)備份服務(wù)器。備份服 務(wù)器和主服務(wù)器同時(shí)運(yùn)行，當(dāng)主服務(wù)器出現(xiàn)故障時(shí)，備份服務(wù)器能迅速替代主服 務(wù)器工作。配置終端負(fù)責(zé)對(duì)整個(gè)實(shí)時(shí)數(shù)據(jù)庫的配置。終端為獲取數(shù)據(jù)的最終目的 地。如為實(shí)時(shí)數(shù)據(jù)則從實(shí)時(shí)數(shù)據(jù)庫中獲得；如為歷史數(shù)據(jù)則從歷史數(shù)據(jù)庫中獲得 壓縮歷史數(shù)據(jù)，并在本地解壓后得到最終的歷史數(shù)據(jù)。歷史數(shù)據(jù)庫是數(shù)據(jù)存放的 最終歸宿地，同時(shí)也是查詢數(shù)據(jù)的來源。 由圖2 - 1 可看出，實(shí)時(shí)歷史數(shù)據(jù)庫處于整個(gè)系統(tǒng)的核心，有一個(gè)好的實(shí)時(shí)歷史 數(shù)據(jù)庫，就能快速地存取數(shù)據(jù)，滿足系統(tǒng)的實(shí)時(shí)性要求。 2 2 2g d r e a l 模塊劃分 g d r e a l 分為服務(wù)器和客戶端。其功能模塊的劃分如圖2 2 所示： 1 1 電子科技大學(xué)碩士學(xué)位論文 圖2 - 2g d r e a l 模塊劃分 對(duì)于服務(wù)器端各模塊名稱及其功能如表2 - 1 所示： 表2 - 1 服務(wù)器功能模塊 模塊名稱 英文名稱功能 直接操作數(shù)據(jù)庫文件，主 數(shù)據(jù)庫操作 d b o p e r a t i o n 要用于建立庫，修改庫， 刪除庫等操作 處理各種數(shù)據(jù)的訪問。實(shí) 數(shù)據(jù)訪問 d a t a i n t e r f a c 圮 時(shí)數(shù)據(jù)寫入，數(shù)據(jù)查詢， 數(shù)據(jù)修改 管理各種外部應(yīng)用程序 通信管理 c o m m u n i c a t i o n m a n a g e 的接口，協(xié)調(diào)接口工作 第二章g d r e a l 實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)介紹 產(chǎn)生系統(tǒng)日志，并寫入日 日志生成 l o g c r e a t e 志數(shù)據(jù)庫 負(fù)責(zé)整個(gè)系統(tǒng)所有任務(wù) 任務(wù)調(diào)度 t a s k a t t e m p e r 的調(diào)度和分配 時(shí)鐘同步 同步系統(tǒng)中所有機(jī)器的 s y a c h r o c l o c k 時(shí)鐘，記錄整個(gè)系統(tǒng)中機(jī) 狀態(tài)監(jiān)控 器的工作狀態(tài) 權(quán)限管理 p u r v i c w m a n a g c 管理登陸用戶的權(quán)限 管理數(shù)據(jù)庫各種狀態(tài)信 數(shù)據(jù)庫管理 d b m a n a g e 息，進(jìn)行系統(tǒng)的參數(shù)設(shè)定 日志審計(jì) l o g m a n a g e 查看系統(tǒng)日志 設(shè)置雙機(jī)備份，在必要時(shí) 雙機(jī)備份控制中心 d b c o p y 進(jìn)行雙機(jī)備份。 管理數(shù)據(jù)庫中的各種事 事務(wù)管理 t r a n s a c t i o n p r o c c s s i n g 務(wù) 對(duì)于客戶端各模塊的名稱和功能如表2 2 所示： 表2 - 2 客戶端功能模塊 模塊名稱英文名稱功能 分布式管理 用于管理客戶端的各種 時(shí)鐘同步 c l i e n t m a n a g e 狀態(tài)信息 狀態(tài)監(jiān)控 用于提供所有客戶端的 客戶接口c l i c n t i n t e r f a c e 接口功能 數(shù)據(jù)壓縮 c l i e n t c o m p r e s s 壓縮實(shí)時(shí)數(shù)據(jù) 數(shù)據(jù)解壓 c l i e n t d c c o m p r e s s 解壓縮歷史數(shù)據(jù) 電子科技大學(xué)碩士學(xué)位論文 2 2 3g d r e a l 的數(shù)據(jù)流程 g d r e a l 的數(shù)據(jù)存儲(chǔ)過程如圖2 - 3 所示。首先在接1 2 1 機(jī)( 客戶端) 上，從數(shù)據(jù)采 集點(diǎn)上傳的現(xiàn)場(chǎng)數(shù)據(jù)通過調(diào)用接口機(jī)上的數(shù)據(jù)提取模塊，產(chǎn)生原始數(shù)據(jù)送往數(shù)據(jù) 壓縮模塊，經(jīng)過死區(qū)壓縮和旋轉(zhuǎn)門壓縮后產(chǎn)生實(shí)時(shí)數(shù)據(jù)，將不同標(biāo)簽點(diǎn)的實(shí)時(shí)數(shù) 據(jù)打包，經(jīng)過網(wǎng)絡(luò)傳輸?shù)椒?wù)器。在服務(wù)器上，將接收到的數(shù)據(jù)包解包，經(jīng)過數(shù) 據(jù)分發(fā)模塊，將不同標(biāo)簽點(diǎn)的實(shí)時(shí)數(shù)據(jù)存放在實(shí)時(shí)內(nèi)存數(shù)據(jù)庫的對(duì)應(yīng)位置處。此 時(shí)，在內(nèi)存數(shù)據(jù)庫中，數(shù)據(jù)只是暫時(shí)存儲(chǔ)，以提高實(shí)時(shí)數(shù)據(jù)的查詢速度和減少磁 盤i o 。當(dāng)一個(gè)標(biāo)簽點(diǎn)的實(shí)時(shí)內(nèi)存庫中的數(shù)據(jù)填滿以后，通過數(shù)據(jù)存儲(chǔ)模塊存放在 磁盤歷史數(shù)據(jù)庫中。至此，實(shí)時(shí)數(shù)據(jù)便以歷史數(shù)據(jù)的形式完成了永久存儲(chǔ)。 內(nèi)存庫 圖2 3 存儲(chǔ)數(shù)據(jù)流圖 g d r e a l 的查詢過程如圖2 4 所示。當(dāng)用戶從客戶端發(fā)出的查詢請(qǐng)求傳到服 務(wù)器上時(shí)，首先進(jìn)行查詢分類，判斷其是實(shí)時(shí)數(shù)據(jù)查詢還是歷史數(shù)據(jù)查詢。如果 是實(shí)時(shí)數(shù)據(jù)查詢，則直接從實(shí)時(shí)內(nèi)存庫中獲得數(shù)據(jù)后返回。如果是歷史數(shù)據(jù)查詢， 首先檢查實(shí)時(shí)內(nèi)存數(shù)據(jù)庫中是否已存在有用戶需要的數(shù)據(jù)，如有，則立即返回歷 史數(shù)據(jù)；否則需要查詢磁盤歷史數(shù)據(jù)庫，并將讀出的數(shù)據(jù)存放在歷史數(shù)據(jù)緩存中， 返回歷史數(shù)據(jù)給用戶。 1 4 第二章g d r e a l 實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)介紹 2 3 小結(jié) 圖2 q 查詢數(shù)據(jù)流圖 磁盤陣列 包 本章介紹了作者參與開發(fā)的g d r e a l 實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)，對(duì)其基本功能和 所要達(dá)到的技術(shù)指標(biāo)進(jìn)行了說明，詳細(xì)描述了g d r e a l 的體系結(jié)構(gòu)，包括網(wǎng)絡(luò)結(jié) 構(gòu)、模塊劃分和數(shù)據(jù)流圖。 電子科技大學(xué)碩士學(xué)位論文 第三章g d r e a l 磁盤歷史數(shù)據(jù)庫 磁盤歷史數(shù)據(jù)庫是實(shí)時(shí)歷史數(shù)據(jù)庫系統(tǒng)的重要組成部分。磁盤歷史數(shù)據(jù)庫永 久保存實(shí)時(shí)數(shù)據(jù)的歷史記錄。 3 1 磁盤歷史數(shù)據(jù)庫設(shè)計(jì)中的問題 3 1 1 存儲(chǔ)的數(shù)據(jù)對(duì)象 實(shí)時(shí)數(shù)據(jù)庫的數(shù)據(jù)分為兩類，實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)即歷史數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù) 包括從過程控制系統(tǒng)中實(shí)時(shí)采集的數(shù)據(jù)和對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行二次計(jì)算產(chǎn)生的中間數(shù) 據(jù)。實(shí)時(shí)數(shù)據(jù)具有時(shí)間性，隨著時(shí)間的推移，實(shí)時(shí)數(shù)據(jù)就失效了。歷史數(shù)據(jù)是指 過時(shí)的實(shí)時(shí)數(shù)據(jù)。歷史數(shù)據(jù)對(duì)系統(tǒng)應(yīng)用人員有極其重要的參考價(jià)值。它從實(shí)時(shí)數(shù) 據(jù)庫中得到且與時(shí)間有關(guān)，反映了測(cè)量的標(biāo)簽點(diǎn)在某一特定時(shí)刻的狀態(tài)，如果離 開了時(shí)間，歷史數(shù)據(jù)也就失去了意義。 普通的關(guān)系型數(shù)據(jù)庫的設(shè)計(jì)和應(yīng)用主要是面對(duì)離散的、非連續(xù)的、不帶有時(shí) 間標(biāo)識(shí)的數(shù)據(jù)對(duì)象，并通過二維表的方式來表現(xiàn)和建立數(shù)據(jù)之間的關(guān)系，例如訂 單信息、人事信息、銷售數(shù)據(jù)【1 2 1 。實(shí)時(shí)歷史數(shù)據(jù)庫的主要存儲(chǔ)對(duì)象為生產(chǎn)過程數(shù) 據(jù)，它有以下主要特點(diǎn)： ( 1 ) 歷史數(shù)據(jù)存儲(chǔ)的格式相對(duì)簡(jiǎn)單。如連續(xù)性、帶時(shí)標(biāo)的現(xiàn)場(chǎng)的溫度、壓力等 模擬量；基于時(shí)間的連續(xù)的事件記錄，如閥門開關(guān)、電機(jī)啟停等開關(guān)量；離線手 工數(shù)據(jù)，如通過二次計(jì)算得到的中間數(shù)據(jù)。但其占用的空間固定為1 字節(jié)( 布爾型 開關(guān)量) 、4 字節(jié)( 整型、單精度浮點(diǎn)型模擬量) 和8 字節(jié)( 雙精度浮點(diǎn)型模擬量) 。所 以記錄格式少而固定，沒有復(fù)雜的關(guān)系。 ( 2 ) 海量數(shù)據(jù)存儲(chǔ)。一套工業(yè)設(shè)備從投入使用起，一般都要經(jīng)歷5 年以上時(shí)間， 期間需要不斷記錄生產(chǎn)過程中的關(guān)鍵數(shù)據(jù)，作為改進(jìn)生產(chǎn)工藝、提高生產(chǎn)效率、 監(jiān)視故障信息的重要參考。這個(gè)過程積累的數(shù)據(jù)一般要幾百g 甚至上t 的存儲(chǔ)空 間。如本系統(tǒng)可允許最多1 0 0 0 0 0 個(gè)標(biāo)簽點(diǎn)的數(shù)據(jù)存儲(chǔ)，且其時(shí)間標(biāo)簽為毫秒級(jí)。 ( 3 ) 數(shù)據(jù)保存的時(shí)間間隔相差很大。如在電廠的現(xiàn)場(chǎng)環(huán)境中，有些開關(guān)量最短 幾十毫秒保存一次，而一些模擬量最長(zhǎng)1 5 分鐘才保存一次。 這些特點(diǎn)決定了歷史數(shù)據(jù)庫具有與關(guān)系型數(shù)據(jù)完全不同的體系結(jié)構(gòu)。在 1 6 第三章g d r e a l 磁盤歷史數(shù)據(jù)庫 g d r e a l 數(shù)據(jù)庫中主要有四種數(shù)據(jù)類型：布爾型( 開關(guān)量) 、整型、單精度浮點(diǎn)型 和雙精度浮點(diǎn)型數(shù)據(jù)。每條記錄都是一個(gè)四元組： d ：( 1 a b e l ，t i m e ，s t a t e ，d a t a ) l a b e l 表示標(biāo)簽點(diǎn)名稱，t i m e 表示數(shù)據(jù)的采集時(shí)間，s t a t e 表示當(dāng)時(shí)的數(shù)據(jù)狀態(tài) 和d a t a 表示采集的數(shù)據(jù)，一條數(shù)據(jù)記錄的長(zhǎng)度對(duì)應(yīng)不同的數(shù)據(jù)類型分別是9 b 、1 2 b 、 1 2 b 和1 6 b 。 3 1 2 實(shí)時(shí)性 實(shí)時(shí)數(shù)據(jù)是指從過程控制系統(tǒng)中實(shí)時(shí)采集的數(shù)據(jù)，也是在數(shù)據(jù)庫中存放的當(dāng) 前最新的一條數(shù)據(jù)，由于其數(shù)量少，能立刻從內(nèi)存中獲得；歷史數(shù)據(jù)是指除實(shí)時(shí) 數(shù)據(jù)外的所有數(shù)據(jù)，它從實(shí)時(shí)數(shù)據(jù)庫中得到且與時(shí)間有關(guān)，反映了實(shí)體在某一特 定時(shí)刻的狀態(tài)。歷史數(shù)據(jù)的查詢雖然不象實(shí)時(shí)數(shù)據(jù)那樣要求很高的實(shí)時(shí)性，但作 為外部系統(tǒng)的一個(gè)客觀反映，它表示了外部系統(tǒng)的當(dāng)前狀態(tài)，只有數(shù)據(jù)與外部系 統(tǒng)的實(shí)際情況相吻合時(shí)，數(shù)據(jù)才有意義。所以也要求歷史數(shù)據(jù)的查詢必須高效， 能夠?qū)崿F(xiàn)快速響應(yīng)