嵌入式數(shù)據(jù)庫典型技術(shù)―SQLite和Berkeley DB的研究

1、嵌入式數(shù)據(jù)庫典型技術(shù)SQLite和Berkeley DB的研究摘要:與常見的數(shù)據(jù)庫相比，嵌入式數(shù)據(jù)庫具有體積孝功能齊備、可移植性、強健性等特點，本文分析和比擬了典型的嵌入式數(shù)據(jù)庫SQLite和BerkeleyDB。首先從體系構(gòu)造、子系統(tǒng)間調(diào)用關(guān)系、任務(wù)執(zhí)行過程等角度對SQLite和BerkeleyDB進展了詳細分析，然后重點從數(shù)據(jù)類型、存儲方式、形式、數(shù)據(jù)庫引擎和錯誤處理及加密功能等方面討論了SQLite和BerkeleyDB的異同點，最后列舉了一個基于ARLinux的SQLite應用實例。關(guān)鍵詞:SQLite、BerkeleyDB、SQL、虛擬數(shù)據(jù)庫引擎VDBE引言隨著計算機技術(shù)與其它學科間

2、的不斷交融、浸透，數(shù)據(jù)庫應用的范圍更加深化和詳細。那些僅適用于P機，體積龐大、延時較長的數(shù)據(jù)庫技術(shù)已不能滿足針對性較強的嵌入式系統(tǒng)開發(fā)的需求。SLite和BerkeleyDB是目前應用較廣泛、技術(shù)較穩(wěn)定的兩種嵌入式數(shù)據(jù)庫。然而，國內(nèi)對嵌入式數(shù)據(jù)庫的研究起步較晚，還沒能引起更多人的關(guān)注。更多人熟悉那些基于/S或B/S構(gòu)造的關(guān)系型數(shù)據(jù)庫來實現(xiàn)數(shù)據(jù)的存儲、檢索等功能。然而，在嵌入式系統(tǒng)中，由于軟硬件資源有限，不可能安裝龐大的數(shù)據(jù)庫效勞器，而用戶的需求可能由一個簡單的基于磁盤文件的數(shù)據(jù)庫系統(tǒng)就能實現(xiàn)，這僅僅是利用了那些數(shù)據(jù)庫的根本特性。此時，對嵌入式數(shù)據(jù)庫的研究就顯得尤為重要了。1嵌入式數(shù)據(jù)庫嵌入式數(shù)

3、據(jù)庫通常是與嵌入式操作系統(tǒng)及詳細的應用集成在一起，無需獨立運行數(shù)據(jù)庫引擎，由程序直接調(diào)用相應的API就可實現(xiàn)對數(shù)據(jù)的存取操作。嵌入式系統(tǒng)的開發(fā)環(huán)境決定了其數(shù)據(jù)庫的特點：1、體積適當由于嵌入式系統(tǒng)自身的特點，對數(shù)據(jù)的存儲和程序的運行都有較強的空間限制，所以嵌入式數(shù)據(jù)庫首先應該保障的就是適當?shù)捏w積。進一步來說就是占用盡量少的R、RA及PU的資源。2、功能齊備嵌入式系統(tǒng)開發(fā)中，用戶需求決定了需要一個大小適中、功能齊備的數(shù)據(jù)庫來實現(xiàn)數(shù)據(jù)管理，這就使得開發(fā)人員要采用一個可以提供完備開發(fā)文檔且易于開發(fā)的數(shù)據(jù)庫技術(shù)。此外，國家863工程2002AA714023，研究生精品課程資助05531451在嵌入式設(shè)備

4、中，數(shù)據(jù)庫的管理對用戶來說是透明的，這就要求此數(shù)據(jù)庫可以自動完成啟動初始化、日志管理、數(shù)據(jù)壓縮、備份、數(shù)據(jù)恢復等功能；而且嵌入式設(shè)備經(jīng)常有不可意料的硬復位，這就需要此數(shù)據(jù)庫有高度的強健性。3、可移植性嵌入式系統(tǒng)的平臺種類繁多，因此嵌入式數(shù)據(jù)庫應有一定的可移植性，以適用于不同的軟硬件平臺。4、代碼開源開源的代碼在產(chǎn)品的開發(fā)過程中不僅可以減少開發(fā)本錢，更重要的是為后期的維護完善和穩(wěn)定運行都提供了最為徹底的解決方法。2SQLiteSQLite的體系構(gòu)造大體上可以分成八個主要的子系統(tǒng)，如圖1所示。對數(shù)據(jù)庫進展的各種操作都是按照此順序，逐一執(zhí)行的。頂層是標記處理器tkenize和分析器parser。SQ

5、Lite有自己高度優(yōu)化的代碼生成器，可以快速、高效地消費出代碼。底部是經(jīng)過優(yōu)化的B樹，這樣有助于運行在可調(diào)整的頁面緩沖上時，對磁盤的查找降低到最校再往下是頁面高速緩存，它作用在S的抽象層之上，這樣的體系構(gòu)造使數(shù)據(jù)庫的可移植性變?yōu)榭赡?。該體系構(gòu)造的核心是虛擬數(shù)據(jù)庫引擎VDBE。VDBE完成與數(shù)據(jù)操作相關(guān)的全部任務(wù)，并且是客戶和存儲之間信息交換的中間單元。從各個角度分析，它都是SQLite的核心。當SQL語句被分析后，VDBE便開場工作。代碼生成器將分析樹翻譯成一個袖珍程序，隨后這些袖珍程序又被組合成VDBE的虛擬機器語言表示的一系列指令。如此反復，VDBE執(zhí)行每條指令，最終完成SQL語句指定的查

6、詢要求。SQLite有以下特性：支持AID事務(wù)、零配置無需安裝和管理配置、存儲在單一磁盤文件中的一個完好的數(shù)據(jù)庫、數(shù)據(jù)庫文件可以在不同字節(jié)順序的機器間自由共享、支持數(shù)據(jù)庫大小至2TB、足夠孝全部源碼大致3萬行代碼，250KB、比目前流行的大多數(shù)據(jù)庫運行速度快，提供了對事務(wù)功能和并發(fā)處理的支持、應用Transatin既保證了數(shù)據(jù)的完好性，也會進步運行速度，因為多條語句一起提交給數(shù)據(jù)庫的速度會比逐一提交的方式更快、獨立、沒有額外依賴。3BerkeleyDBBerkeleyDB是由sleepyatsftare開發(fā)的輕量級嵌入式數(shù)據(jù)庫，它不僅適用于嵌入式系統(tǒng)，而且可以直接連接到應用程序內(nèi)部，和應用程序

7、運行在同一地址空間。傳統(tǒng)的數(shù)據(jù)庫一般作為獨立效勞器工作，而BerkeleyDB是軟件開發(fā)庫，開發(fā)者將它嵌入到應用程序中，應用程序本身就是一個效勞器，而只是利用嵌入式數(shù)據(jù)庫開發(fā)來實現(xiàn)定制的數(shù)據(jù)庫邏輯，防止了與應用效勞器進程間通信的開銷，因此BerkeleyDB具有較高的運行效率，適用于資源受限的嵌入式系統(tǒng)。一般而言，BerkeleyDB數(shù)據(jù)庫系統(tǒng)可以大致分為五個子系統(tǒng)，如圖2所示。1、存取管理子系統(tǒng)Aessethds該子系統(tǒng)為創(chuàng)立和訪問數(shù)據(jù)庫文件提供根本的支持。在沒有事務(wù)管理的情況下，該子系統(tǒng)中的模塊可單獨使用，為應用程序提供快速高效的數(shù)據(jù)存取效勞。2、內(nèi)存池管理子系統(tǒng)eryPl該子系統(tǒng)就是Be

8、rkeleyDB所使用的通用共享內(nèi)存緩沖區(qū)，該子系統(tǒng)可以被應用程序單獨使用。3、事務(wù)子系統(tǒng)Transatin該子系統(tǒng)為BerkekeyDB提供事務(wù)管理功能，保證操作的原那么性、一致性和孤立性。事務(wù)子系統(tǒng)適用于對需要事務(wù)保證的數(shù)據(jù)進展修改的場合。4、鎖子系統(tǒng)Lking該子系統(tǒng)提供進程之間以及進程內(nèi)部的并發(fā)管理機制，為系統(tǒng)提供多用戶讀取和單用戶修改同一對象的共享控制。該子系統(tǒng)可以被應用程序單獨使用。5、日志子系統(tǒng)Lgging該子系統(tǒng)采用的是先寫日志的策略，支持事務(wù)子系統(tǒng)進展數(shù)據(jù)恢復，保證數(shù)據(jù)一致性。4、SQLite與BerkeleyDB的異同通過上面的一些介紹，也許會對SQLite和Berkele

9、yDB有了一定的理解。從目前的趨勢看，這兩款嵌入式數(shù)據(jù)庫有著旺盛的生命力，較好的應用領(lǐng)域及開展空間。筆者翻閱了大量的資料，從各個角度，對它們的異同進展了多方面，多層次的比擬，如表1所示。表1SQLite與BerkeleyDB的異同特性BerkeleyDB是否為關(guān)系數(shù)據(jù)庫是否支持SQL開發(fā)語言數(shù)據(jù)類型存儲方式存儲形式數(shù)據(jù)庫引擎適用系統(tǒng)錯誤處理加密功能是否免費難易程度是是語言無轉(zhuǎn)換成ASII碼Btree虛擬從AR/Linux到SPAR/Slaris多種硬件平臺較少弱全部較易否否、Java語言無原樣存儲Btree、Hash、Queue和Ren無UNIX/PSIXsystes、in32及嵌入式系統(tǒng)in

10、E、Vxrks等較詳細強部分較難通過此表我們可以較為直觀地看到，SQLite和BerkeleyDB在數(shù)據(jù)庫類型、開發(fā)語言、存儲方式、形式等方面有著較大的差異。下面筆者就對其中某些重要方面進展相對詳細的闡述：1、數(shù)據(jù)庫類型SQLite基于關(guān)系數(shù)據(jù)庫形式，支持絕大多數(shù)標準的SQL92語句,在很大程度上實現(xiàn)了ANSISQL92標準，特別是支持視圖、觸發(fā)器、事務(wù)，支持嵌套SQL。它通過SQL編譯器(SQLplier)來實現(xiàn)SQL語言對數(shù)據(jù)庫進展操作，采用單文件存放數(shù)據(jù)庫。在操作語句上更類似關(guān)系型數(shù)據(jù)庫的產(chǎn)品使用,非常方便。這也就使得那些曾經(jīng)有過P機數(shù)據(jù)庫經(jīng)歷的人，對SQLite的學習變得易如反掌。此外

11、，SQLite也有API的概念，而且極其易于使用,只需要三個用來執(zhí)行SQL和獲得數(shù)據(jù)的函數(shù)。它還是可以擴展的,允許程序員自定義函數(shù)，然后以allbak的形式集合進去。語言API是腳本接口的根底,如已經(jīng)發(fā)布的(Tl接口)。開放源碼團體已經(jīng)擴展了眾多的客戶接口、適配器、驅(qū)動等,這就使得其他語言對SQLite的使用也成為可能。BerkeleyDB不是關(guān)系型的數(shù)據(jù)庫，不能應用標準的SQL語句對數(shù)據(jù)庫操作，對它的操作要調(diào)用專用的API實現(xiàn)。這些API提供了查詢、插入、刪除等功能。使用BerkeleyDB提供的函數(shù)來進展數(shù)據(jù)庫的訪問和管理并不復雜。在大多數(shù)場合下，只需按照統(tǒng)一的接口標準進展調(diào)用就可以完成最

12、根本的操作。2、存儲方式及形式SQLite只提供了Btree存儲數(shù)據(jù)的形式。對二進制數(shù)據(jù)，SQLite不能直接保存；但可以先將二進制的數(shù)據(jù)轉(zhuǎn)換成ASII編碼，然后再保存。Base64編碼機制是最常見的把二進制數(shù)據(jù)轉(zhuǎn)換成ASII編碼的手段。在SQLite的語言代碼ende.中，提供了Base64編碼的功能。BerkeleyDB對任何存入的數(shù)據(jù)都是按原樣直接存儲到數(shù)據(jù)文件中去，無論其是二進制數(shù)據(jù)還是ASII或Unide等編碼的文本。BerkeleyDB提供了四種存儲數(shù)據(jù)的形式：Btree、Hash、Queue和Ren。在翻開數(shù)據(jù)庫的時候，要指定一種存儲形式。對于以上各種存儲形式的詳細定義、優(yōu)缺點、

13、及適用范圍，由于篇幅有限，在此就不過多表達，如有需要可參閱相關(guān)資料。3、數(shù)據(jù)類型SQLite最大的特點在于其數(shù)據(jù)類型為無數(shù)據(jù)類型(typelessness)。這意味著可以保存任何類型的數(shù)據(jù)到所想要保存的任何表的任何列中，無論這列聲明的數(shù)據(jù)類型是什么。雖然在生成表構(gòu)造的時候，要聲明每個域的數(shù)據(jù)類型，但SQLite并不做任何檢查。開發(fā)人員要靠自己的程序來控制輸入與讀出數(shù)據(jù)的類型。這里有一個例外，就是當主鍵為整型值時，假如要插入一個非整型值時會產(chǎn)生異常。雖然，SQLite允許忽略數(shù)據(jù)類型，但是，仍然建議在reateTable語句中指定數(shù)據(jù)類型，因為數(shù)據(jù)類型有利于增強程序的可讀性。另外，雖然在插入或讀

14、出數(shù)據(jù)的時候是不區(qū)分類型的，但在比擬的時候，不同數(shù)據(jù)類型是有區(qū)別的。在BerkeleyDB中關(guān)鍵字(key)和數(shù)據(jù)(data)是用來進展數(shù)據(jù)庫管理的根底，由這兩者構(gòu)成的key/data對，組成了數(shù)據(jù)庫中的一個根本構(gòu)造單元。通過使用這種方式，用API函數(shù)訪問數(shù)據(jù)庫時，只需提供關(guān)鍵字就可以訪問到相應的數(shù)據(jù)。關(guān)鍵字和數(shù)據(jù)在BerkeleyDB中都是用一個名為DBT的簡單構(gòu)造來表示的，它的作用主要是保存相應的內(nèi)存地址及其長度。5應用SQLite嵌入式數(shù)據(jù)庫提供了以源碼發(fā)布的方式,要在眾多的硬件平臺進展移植,可以根據(jù)不同平臺對源碼進展穿插編譯來實現(xiàn)。編譯主要有以下幾個步驟:2、用“eh$PATH命令查看

15、PATH中是否已經(jīng)包含穿插編譯工具ar-linux-g。3、為了在AR-Linux下能正常運行sqlite,需要對sqlite/sr/sqlitEint.h作一定的修改,以確保btree(樹)有正確的變量大小,如“ptr和“har。不同體系構(gòu)造的Linux,如X86和AR,會有些差異。對于AR-Linux可以找到如下部分:#ifndefINTPTR_TYPE#ifSQLITE_PTR_SZ=4#defineINTPTR_TYPEint#else#defineINTPTR_TYPElnglng#endif在上面的代碼前加上一句#defineSQLITE_PTR_SZ4這樣后面的“typedefI

16、NTPTR_TYPEptr;就是定義的“int類型，而不是“l(fā)nglng。4、使用nfigure進展一些配置。修改sqlite目錄下的nfigure,讓nfigure不去檢查穿插編譯環(huán)境。由于篇幅有限不再詳述。6、在AR板上運行sqlite。將sqlite拷貝到AR板上,方法很多,需要根據(jù)詳細的情況來選擇。如ftp、-dftp、get等。將sqlite下載到AR板的/tp目錄,因為此目錄是可寫的。修改權(quán)限并運行:hd+xsqlite./sqlitetest.sqlite會出現(xiàn)sqlite假如一切正常，如今sqlite已經(jīng)在AR-Linux下跑了起來，然后就可以基于此進展下一步的應用開發(fā)了。6結(jié)語嵌入式數(shù)據(jù)庫SQLite和BerkeleyDB，在體積上、功能上、運行速度及難易程度都存在著或多或少的異同