一種DVR專(zhuān)用文件系統(tǒng)的研究與設(shè)計(jì)

1、CN431258/TP ISSN 1007130X計(jì)算機(jī)工程與科學(xué)C=(MPUTER ENGINEERING&SCIENCE2005年第27卷第6期 V01.27,No.6,2005文章編號(hào):1007130X(200506005003一種DVR專(zhuān)用文件系統(tǒng)的研究與設(shè)計(jì)+ Research and Design of a DVR SpecialPurpose File System詹玲。黃浩ZltAN Ling。HUANG Hao(華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院信息存儲(chǔ)系統(tǒng)國(guó)家專(zhuān)業(yè)實(shí)驗(yàn)室暨教育部重點(diǎn)實(shí)驗(yàn)室,湖北武漢430074 f Peripheral Memory System La

2、boratory of the Ministry of Education,School of Computer Science and Technology, Huazhong University ofScience and Technology,Wuhan 430074。China摘要:隨著多媒體技術(shù)的快速發(fā)展,融合電視及視頻點(diǎn)播、數(shù)字錄像、DVD播放、網(wǎng)絡(luò)共享等功能的數(shù)字影像錄像系 統(tǒng)(DvR正成為新的研究熱點(diǎn)。針對(duì)DVR文件存儲(chǔ)和訪問(wèn)的特點(diǎn),我們實(shí)現(xiàn)了一種適合DVR多媒體文件存儲(chǔ)的文件系 統(tǒng),并將它同TCP/IP網(wǎng)絡(luò)和CWS協(xié)議結(jié)合,設(shè)計(jì)支持網(wǎng)絡(luò)文件共享的DVR網(wǎng)絡(luò)文件系統(tǒng)。在文中,

3、我們?cè)敿?xì)介紹了這 種文件系統(tǒng)的設(shè)計(jì)方案,并進(jìn)行了相應(yīng)的試驗(yàn)測(cè)試和性能分析。Abstract:With the rapid development of multimedia technology,DVR,which is integrated with TV,VOD,digital re cording,DVD play and network sharing,etc,is becoming a new research focus.Aiming at the features of storage and ac tess toDVR files.we have designed a file

4、 system for the storage of DVR multimedia files.And in order tO support the sharing of network files,we combine the rue system with TCP/IP and SMB protocols,anddesign the DVRNetwork File Systern.In this paper,we particularly introduce the design of the file system,and perform the corresponding tests

5、 and per formance analysis.關(guān)鍵詞:DvIt;網(wǎng)絡(luò)文件系統(tǒng);CIFS;TCP/伊Key words:DVR;network file system;CIFS;TCP/IP中圖分類(lèi)號(hào):TP37文獻(xiàn)標(biāo)識(shí)碼:A1引言多媒體技術(shù)、多媒體處理技術(shù)和影像壓縮芯片技術(shù)的 快速發(fā)展,引發(fā)了一場(chǎng)席卷全球的技術(shù)革命。以數(shù)字技術(shù) 為主導(dǎo)的產(chǎn)品以其獨(dú)一無(wú)二的優(yōu)勢(shì),在許多領(lǐng)域逐漸取代 了以模擬技術(shù)為主導(dǎo)的產(chǎn)品。由于數(shù)字技術(shù)產(chǎn)品相對(duì)價(jià)格 低,再加上穩(wěn)定的性能和廣泛的應(yīng)用范圍,已迅速地占領(lǐng)市 場(chǎng),成為數(shù)字化革命的領(lǐng)導(dǎo)者。近年來(lái)引起關(guān)注的數(shù)字影像錄像系統(tǒng)(Digital Video Recorder

6、,簡(jiǎn)稱D即為數(shù)字技術(shù)產(chǎn)品之一,已逐漸地在 金融機(jī)構(gòu)、居民住宅、公用設(shè)施、無(wú)人看守的工業(yè)場(chǎng)所以及 道路交通監(jiān)控等領(lǐng)域得到了非常廣泛的應(yīng)用。而具有信息 存儲(chǔ)、傳輸與處理功能的信息家電已成為家用電器領(lǐng)域的 一個(gè)重要組成部分,以網(wǎng)絡(luò)、DVD和高清晰度電視為核心 的家庭數(shù)字音影中心將成為家庭集成信息處理和使用平 臺(tái),該平臺(tái)將支持電視及視頻點(diǎn)播、數(shù)字錄像、DVD播放、 通訊、網(wǎng)絡(luò)瀏覽和收發(fā)電子郵件等功能。根據(jù)目前的技術(shù)條件和發(fā)展趨勢(shì),我們同臺(tái)灣的EMC 公司合作開(kāi)發(fā)以DVR為核心,支持網(wǎng)絡(luò)和大容量存儲(chǔ)的 家庭數(shù)字音影中心項(xiàng)目。該家庭數(shù)字音影中心具有很實(shí)用 的功能:(1可以播放DVD影碟;(2可以錄制并重放

7、電 視節(jié)目和各種視頻音頻信息;(3可以支持網(wǎng)絡(luò)瀏覽和電 子郵件收發(fā);(4可以支持?jǐn)?shù)據(jù)共享和遠(yuǎn)程數(shù)據(jù)交換。2磁盤(pán)讀寫(xiě)性能的分析磁盤(pán)的讀寫(xiě)過(guò)程如圖1所示。由圖1可知,對(duì)于每一 收稿日期:2004-03-15;修訂日期:2004-05-28基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(60273077 、作者簡(jiǎn)介:詹玲(1973一,女,湖北武漢人,碩士生,研究方向?yàn)椴捎眯略淼某呙芏?、超高速存?chǔ)技術(shù);黃浩,博士后,研究方向 為研究領(lǐng)域?yàn)椴捎眯略淼某呙芏取⒊咚俅鎯?chǔ)技術(shù)。通訊地址:430074湖北省武漢市武昌關(guān)山口特一號(hào)虹景花園A101;Tel:(02787807298;Email:zhan ._2316

8、3COITIAddress:Room A101,Hongiing Garden,T1Guanshankou Area,Wuchang District,Wuhan,Hubei 430074,P.R China50 萬(wàn) 方數(shù)據(jù)次磁盤(pán)操作的存取時(shí)間通常由四個(gè)部分組成:控制器負(fù)載、 尋道時(shí)間、旋轉(zhuǎn)延遲和數(shù)據(jù)讀/寫(xiě)時(shí)間?？刂破髫?fù)載 尋道 旋轉(zhuǎn)延遲 數(shù)據(jù)傳輸圖l磁盤(pán)的讀過(guò)程數(shù)據(jù)在磁盤(pán)上是以磁道和扇區(qū)來(lái)組織的。當(dāng)一個(gè)磁盤(pán) 驅(qū)動(dòng)器從主機(jī)收到一個(gè)讀或?qū)懻?qǐng)求時(shí),磁盤(pán)控制器必須花 費(fèi)定的時(shí)間用于和總線之間傳送數(shù)據(jù)以及對(duì)請(qǐng)求的命令 進(jìn)行譯碼解釋,此過(guò)程稱為控制器負(fù)載,一般將用去1ms 的時(shí)間。為了讀寫(xiě)磁盤(pán)上的數(shù)據(jù),

9、磁盤(pán)控制器需將磁頭移 動(dòng)到目標(biāo)磁道,此過(guò)程稱為尋道時(shí)間,平均花費(fèi)56ms。 在開(kāi)始讀寫(xiě)數(shù)據(jù)前,還要等待目標(biāo)扇區(qū)旋轉(zhuǎn)到磁頭下方,此 過(guò)程稱為旋轉(zhuǎn)延遲,對(duì)于7200RPM(轉(zhuǎn)/分轉(zhuǎn)速的現(xiàn)代磁 盤(pán)而言,將用去大約4.2ms。而數(shù)據(jù)的讀/寫(xiě)時(shí)間是指數(shù) 據(jù)真正讀寫(xiě)磁盤(pán)介質(zhì)的時(shí)間,這要取決于請(qǐng)求數(shù)據(jù)的大小 及磁盤(pán)的傳送速度。對(duì)于讀/寫(xiě)通道速度為40MB/s的現(xiàn) 代磁盤(pán)而言,傳送4KB和1MB的數(shù)據(jù)將分別花費(fèi)0.1ms和 25.6ms的時(shí)間來(lái)讀寫(xiě)磁盤(pán)介質(zhì)。在了解磁盤(pán)的讀寫(xiě)過(guò)程之后我們發(fā)現(xiàn),對(duì)于一個(gè)小寫(xiě) 請(qǐng)求,如4KB的數(shù)據(jù)請(qǐng)求,一個(gè)常用的現(xiàn)代磁盤(pán)將花費(fèi) 1ms用于控制器負(fù)載,5ms用于尋道時(shí)間,4.2ms用

10、于旋轉(zhuǎn) 延遲,整個(gè)負(fù)載時(shí)間是10.2ms,而真正傳送數(shù)據(jù)到磁盤(pán)介 質(zhì)的時(shí)間只有大約0.1ms?？梢?jiàn),對(duì)用小寫(xiě)請(qǐng)求而言,數(shù)據(jù) 傳送的效率是十分低的。從日常操作的經(jīng)驗(yàn)也可知,向磁 盤(pán)上寫(xiě)如1000個(gè)1KB大小的小文件所需的時(shí)間,比向磁 盤(pán)寫(xiě)1個(gè)1MB大小的文件要長(zhǎng)得多,因?yàn)檫^(guò)多的時(shí)間花費(fèi) 到了負(fù)載上。由于磁盤(pán)讀寫(xiě)過(guò)程中的這種機(jī)械特性,目前 的存儲(chǔ)系統(tǒng)對(duì)于小寫(xiě)請(qǐng)求的I/O性能還是很低的。3針對(duì)DVR特點(diǎn)的文件系統(tǒng)設(shè)計(jì)3.1DVR的文件存儲(chǔ)特點(diǎn)DVR上存儲(chǔ)的主要是多媒體文件,它們有如下特點(diǎn): (1平均大小很大。常用的多媒體文件格式一般為 MPEG-1和腳EG2。MPEG-1制定于1992年,它可針對(duì)

11、SIF標(biāo)準(zhǔn)分辨率(NTSC制為352×240;PAL制為352×288的圖像進(jìn)行壓縮,傳輸速率為1.5Mb/s,每秒播放30幀,那么,10分鐘MPEG一1格式的多媒體文件大小就為 1.5*10*60900Mb=112.5MB。EG2制定于1994年,設(shè)計(jì)目標(biāo)是高級(jí)工業(yè)標(biāo)準(zhǔn)的圖像質(zhì)量以及更高的傳輸 率。MPEG2所能提供的傳輸率在3Mb10Mb/s之間, 那么,10分鐘MPEG-2格式的多媒體文件大小就為3*10 *60一l 800Mb=225M略到10*10*60=6000Mb= 750MB。(2內(nèi)容不會(huì)直接修改。多媒體文件存放的是視頻信 息,一旦制作完成就不會(huì)修改,如果需

12、要壓縮等其它處理, 都會(huì)產(chǎn)生新的文件,而不可能直接在原來(lái)的文件上修改。 3.2DVR文件存儲(chǔ)方案設(shè)計(jì)針對(duì)DVR特點(diǎn),我們采用一種簡(jiǎn)單高效的分區(qū)文件 存儲(chǔ)技術(shù),這種技術(shù)類(lèi)似操作系統(tǒng)內(nèi)存管理的分區(qū)管理,首 先將磁盤(pán)按照固定的大小N劃分為不同的磁盤(pán)區(qū),這里的 磁盤(pán)區(qū)就是文件存儲(chǔ)的基本單位。為了記錄磁盤(pán)區(qū)的使用 情況,采用位圖的方式表示。位圖的一個(gè)二進(jìn)制位表示磁 盤(pán)的一個(gè)區(qū),該位值為1表示該區(qū)被使用,為0表示該區(qū)空 閑。當(dāng)需要存儲(chǔ)文件時(shí),就在位圖中找一個(gè)位為0的空閑 區(qū)分配給該文件。當(dāng)文件刪除后,就將此文件所占用的磁 盤(pán)區(qū)對(duì)應(yīng)的位圖二進(jìn)制位置0。在這種方案中,磁盤(pán)區(qū)的大小N是一個(gè)很關(guān)鍵的數(shù) 據(jù),它關(guān)系

13、到位圖的大小、磁盤(pán)的利用率、文件系統(tǒng)的性能 等。下面來(lái)分析它們之間的關(guān)系,假定磁盤(pán)的大小為S,則 位圖的大小B=s/N位,如果用字節(jié)表示,就是S/N/8字 節(jié)?，F(xiàn)在采用的磁盤(pán)大小S為120GB,如果磁盤(pán)區(qū)的大小 N為512KB,則位圖的大小B=120×1024×1024/512/8 =30720B=30KB,這個(gè)大小DVR系統(tǒng)是可以接受的;如 果磁盤(pán)區(qū)的大小N為4KB,則位圖的大小B=120×1024×1024/4/8=3932160B=3.75MB,這需要3.75MB的內(nèi) 存空間存放位圖,這對(duì)DVR系統(tǒng)來(lái)說(shuō)是不可能的。另一方面,N的大小跟磁盤(pán)利用率也很

14、有關(guān)系,因?yàn)?文件大小不可能都是N的整數(shù)倍,而我們分配的磁盤(pán)空間 都是以N為單位的磁盤(pán)區(qū)。因此,這種分配必然會(huì)有一定 的磁盤(pán)空間浪費(fèi)。下面分析磁盤(pán)空間的利用率同磁盤(pán)區(qū)大 小N的關(guān)系。平均起來(lái)看,每個(gè)文件浪費(fèi)的磁盤(pán)空間為 i'4/2。設(shè)文件的平均大小為F,那么磁盤(pán)的利用率為R= F/(F÷N/2,通過(guò)實(shí)際應(yīng)用的統(tǒng)計(jì),在Windows環(huán)境下平均文件大 小為110KB左右。如果DVR上存放的是這種文件,且磁 盤(pán)區(qū)大小N為512KB,則磁盤(pán)的利用率R一110/(110+ 512/2=30%,顯然這種情況下磁盤(pán)的利用率很低。如果 磁盤(pán)區(qū)大小N為4KB,則磁盤(pán)的利用率R=110/(110

15、+4/ 2一98.2oA,這時(shí)磁盤(pán)的利用率就比較高了。因?yàn)樵贒應(yīng)用中存放的文件是多媒體文件,通常 文件很大。假定其平均文件大小為32M,當(dāng)磁盤(pán)區(qū)大小N 為512KB時(shí),磁盤(pán)的利用率R=32×1024/(32×l 024+ 512/2=99.2%。因此,對(duì)于DVR來(lái)說(shuō),采用512KB大小 的磁盤(pán)區(qū)是可以接受的。采用大磁盤(pán)區(qū)帶來(lái)的另一個(gè)好處就是大大地提高了文 件系統(tǒng)的性能,從上面對(duì)磁盤(pán)讀寫(xiě)性能的分析可以看出,大 的磁盤(pán)區(qū)可以大大減少磁盤(pán)的讀寫(xiě)次數(shù),從而提高了文件 系統(tǒng)的性能。另外,因?yàn)镈VR上的文件不存在修改,因此在磁盤(pán)區(qū) 的分配策略上采用盡可能連續(xù)的方式,而且多媒體文件的 讀

16、取方式一般是順序的,從而可以根據(jù)他們讀寫(xiě)的特點(diǎn)進(jìn) 一步提高文件系統(tǒng)的整體性能。3.3DVR附網(wǎng)文件系統(tǒng)的實(shí)現(xiàn)為了實(shí)現(xiàn)DVR的附網(wǎng)存儲(chǔ)功能,在DVR上實(shí)現(xiàn)以太 網(wǎng)接口,能夠使用戶在網(wǎng)絡(luò)上共享DVR上的空間和數(shù)據(jù), 我們將TCP/P網(wǎng)絡(luò)、CIFS(Common Intemet File System, 簡(jiǎn)稱CIFS協(xié)議同我們的專(zhuān)用文件系統(tǒng)相結(jié)合,設(shè)計(jì)一個(gè) 高效的網(wǎng)絡(luò)文件系統(tǒng),使用戶可以直接通過(guò)網(wǎng)絡(luò)共享DVR 上的數(shù)據(jù),方便用戶對(duì)DVR的使用。附網(wǎng)DVR的連接如圖2所示。附網(wǎng)DVR和網(wǎng)絡(luò)上 的計(jì)算機(jī)通過(guò)以太網(wǎng)連接,計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)向DVR發(fā)送 51 萬(wàn) 方數(shù)據(jù)請(qǐng)求;DVR的網(wǎng)絡(luò)硬件接口接收到請(qǐng)求后,經(jīng)

17、過(guò)網(wǎng)絡(luò)的 TcP/IP層將請(qǐng)求傳輸?shù)紺IFS協(xié)議層,CIFS層將網(wǎng)絡(luò)請(qǐng) 求轉(zhuǎn)換為文件系統(tǒng)的請(qǐng)求,然后調(diào)用文件系統(tǒng)的接口,由磁 盤(pán)驅(qū)動(dòng)訪問(wèn)物理磁盤(pán)。磁盤(pán)讀寫(xiě)完成后,再通過(guò)FS、CIFS、 TCP/IP將請(qǐng)求處理的結(jié)果通過(guò)以太網(wǎng)返回附網(wǎng)計(jì)算機(jī)。 畫(huà)畫(huà)畫(huà)圃網(wǎng)絡(luò)上的計(jì)算機(jī) 網(wǎng)絡(luò)上的計(jì)算機(jī)圖2附網(wǎng)DVR的網(wǎng)絡(luò)連接圖為了保證在DVR網(wǎng)絡(luò)訪問(wèn)DVR的過(guò)程中能夠正常 地播放或及時(shí)響應(yīng)用戶請(qǐng)求,我們對(duì)網(wǎng)絡(luò)上的文件共享請(qǐng) 求采用異步的狀態(tài)機(jī)方案。這種方案的基本設(shè)計(jì)原則是盡 可能使CPU同硬盤(pán)、網(wǎng)絡(luò)等外部設(shè)備IO操作并行工作,因 為CPU的處理速度要遠(yuǎn)遠(yuǎn)高于硬盤(pán)、網(wǎng)絡(luò)等外部設(shè)備的速 度。因此,當(dāng)一個(gè)客戶端的用戶請(qǐng)求

18、需要訪問(wèn)硬盤(pán)、網(wǎng)絡(luò)等 外部設(shè)備時(shí),CPU需要長(zhǎng)時(shí)間的等待,導(dǎo)致CPU的利用率 也很低。為了解決這個(gè)問(wèn)題,我們采用操作系統(tǒng)CPU調(diào)度的思 想,操作系統(tǒng)中調(diào)度程序每次從等待CPU調(diào)度的就緒隊(duì)列 中取一個(gè)進(jìn)程使用CPUI當(dāng)正在使用CPU的進(jìn)程需要調(diào) 度10操作時(shí),它就釋放CPU,調(diào)度程序就從就緒隊(duì)列中取 下一個(gè)進(jìn)程使用CPU,從而提高CPU的利用率。在我們的DVR系統(tǒng)中,因?yàn)闆](méi)有進(jìn)程和線程的功能, 系統(tǒng)中只有一個(gè)程序在循環(huán)執(zhí)行。這里雖然沒(méi)有進(jìn)程調(diào) 度,但對(duì)客戶端用戶請(qǐng)求的處理調(diào)度可以采用同樣的原理。 為了充分利用CPU的資源,我們根據(jù)請(qǐng)求的特點(diǎn),將請(qǐng)求 處理過(guò)程按照使用CPU和10劃分不同的階段。下

19、面以讀請(qǐng)求為例來(lái)說(shuō)明請(qǐng)求階段的劃分方法,如圖 3所示。因?yàn)檫@里處理的請(qǐng)求都是客戶端通過(guò)網(wǎng)絡(luò)發(fā)送過(guò) 來(lái)的,所以一個(gè)請(qǐng)求的初始狀態(tài)為網(wǎng)絡(luò)10狀態(tài)。當(dāng)DVR 系統(tǒng)完整地接收到一個(gè)客戶端讀請(qǐng)求時(shí),需要對(duì)讀請(qǐng)求進(jìn) 行一定的處理,需要使用CPU,讀請(qǐng)求就進(jìn)入CPU狀態(tài), 讀請(qǐng)求CPU處理完成后,就計(jì)算出讀請(qǐng)求需要的數(shù)據(jù)在磁 盤(pán)上的物理位置。需要讀取磁盤(pán)上的數(shù)據(jù),讀請(qǐng)求就進(jìn)入 磁盤(pán)IO狀態(tài),當(dāng)磁盤(pán)數(shù)據(jù)讀取完成后,需要CPU進(jìn)一步的 處理,讀請(qǐng)求就進(jìn)入CPU狀態(tài)。CPU處理完成后,需要將 讀取的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)發(fā)送給請(qǐng)求的客戶端,因此需要網(wǎng)絡(luò) 10操作,讀請(qǐng)求就進(jìn)入網(wǎng)絡(luò)10狀態(tài)。網(wǎng)絡(luò)傳輸數(shù)據(jù)完成 后,需要對(duì)請(qǐng)求進(jìn)

20、行最后的收尾處理,讀請(qǐng)求就進(jìn)入CPU 狀態(tài)。CPU處理完成后,讀請(qǐng)求就處理完成。圖3讀請(qǐng)求階段劃分示意圖根據(jù)上面請(qǐng)求的階段劃分,我們將DVR系統(tǒng)設(shè)計(jì)為 一種請(qǐng)求處理狀態(tài)機(jī)結(jié)構(gòu),每個(gè)請(qǐng)求都在這個(gè)狀態(tài)機(jī)中運(yùn) 52行?，F(xiàn)以網(wǎng)絡(luò)讀請(qǐng)求為例來(lái)說(shuō)明網(wǎng)絡(luò)請(qǐng)求狀態(tài)機(jī)處理過(guò) 程,如圖4所示。首先,系統(tǒng)處于空閑狀態(tài);當(dāng)收到一個(gè)網(wǎng) 絡(luò)讀請(qǐng)求時(shí),就處理讀請(qǐng)求,系統(tǒng)的狀態(tài)就轉(zhuǎn)換為處理讀請(qǐng) 求狀態(tài),并向磁盤(pán)發(fā)讀請(qǐng)求;因?yàn)槲募到y(tǒng)通過(guò)的是異步讀 接口,這樣在磁盤(pán)讀取數(shù)據(jù)的過(guò)程中,系統(tǒng)能夠處理其它的 請(qǐng)求;當(dāng)磁盤(pán)讀完成后,系統(tǒng)查詢到讀完成,就向網(wǎng)絡(luò)傳輸 數(shù)據(jù);同樣,網(wǎng)絡(luò)傳輸數(shù)據(jù)的過(guò)程中,系統(tǒng)能夠處理其它的 請(qǐng)求;當(dāng)網(wǎng)絡(luò)傳輸數(shù)

21、據(jù)完成,此讀請(qǐng)求處理完成,系統(tǒng)重新 回到空閑狀態(tài),準(zhǔn)備接收下一個(gè)網(wǎng)絡(luò)請(qǐng)求。圖4網(wǎng)絡(luò)文件系統(tǒng)讀請(qǐng)求狀態(tài)轉(zhuǎn)換圖4性能測(cè)試與結(jié)果分析存儲(chǔ)系統(tǒng)性能評(píng)價(jià)領(lǐng)域有許多性能指標(biāo),本文采用的 有:(1吞吐率:指存儲(chǔ)系統(tǒng)在單位時(shí)間內(nèi)能處理的I/0請(qǐng) 求數(shù)量。它有兩種形式:I/0速率,即每秒鐘I/0訪問(wèn)次 數(shù);數(shù)據(jù)傳輸率,即每秒鐘傳輸?shù)臄?shù)據(jù)量。在事務(wù)處理應(yīng)用 中追求高I/0速率,在科學(xué)計(jì)算應(yīng)用中則要求較高的數(shù)據(jù) 傳輸率。吞吐率是系統(tǒng)管理維護(hù)人員最關(guān)心的性能指標(biāo), 在本文的測(cè)試中采用數(shù)據(jù)傳輸率。(2響應(yīng)時(shí)間:指的是存 儲(chǔ)系統(tǒng)從接收訪問(wèn)請(qǐng)求到完成服務(wù)請(qǐng)求的時(shí)間。4.1性能測(cè)試平臺(tái)為了驗(yàn)證針對(duì)DVR特點(diǎn)改進(jìn)后的文件系統(tǒng)性

22、能,本 文分別對(duì)不同的磁盤(pán)區(qū)進(jìn)行了測(cè)試,同時(shí)測(cè)試了DVR網(wǎng)絡(luò)文件系統(tǒng)的性能。測(cè)試是在兩臺(tái)通過(guò)100M以太網(wǎng)交換 機(jī)連接起來(lái)的一臺(tái)PC機(jī)和一臺(tái)DVR樣機(jī)上進(jìn)行的。PC 機(jī)的硬件配置為:Intel Celeron 1.8GHZ CPU、256M R AM、IBMDTLA-307030ATA Disk(最大數(shù)傳率40MB/ s、100M網(wǎng)卡;操作系統(tǒng)是Windows 2000。4.2磁盤(pán)區(qū)大小同性能的關(guān)系測(cè)試及分析為了分析不同磁盤(pán)區(qū)的性能,我們對(duì)1KB到1024KB 大小的磁盤(pán)區(qū)分別進(jìn)行測(cè)試。測(cè)試的方法是采用lo%寫(xiě)、 90%讀情況下每次讀寫(xiě)一個(gè)磁盤(pán)區(qū),計(jì)算每種情況下的平 均響應(yīng)時(shí)間。測(cè)試結(jié)果如圖5

23、所示?？梢钥闯?8KB以下 的磁盤(pán)區(qū)其平均響應(yīng)時(shí)間基本跟讀寫(xiě)的磁盤(pán)區(qū)大小無(wú)關(guān), 主要由控制器負(fù)載、尋道時(shí)間、旋轉(zhuǎn)延遲三部分決定;但是, 當(dāng)磁盤(pán)區(qū)達(dá)到512KB時(shí),數(shù)據(jù)讀/寫(xiě)時(shí)間就占大部分了,這 說(shuō)明大磁盤(pán)區(qū)可以很好地改善文件系統(tǒng)的性能。4.3網(wǎng)絡(luò)讀寫(xiě)請(qǐng)求測(cè)試及分析為了分析DVR網(wǎng)絡(luò)文件系統(tǒng)的性能,我們?cè)?00M以 (下轉(zhuǎn)第64頁(yè) 萬(wàn) 方數(shù)據(jù)sheet計(jì)算引擎在數(shù)據(jù)集上定義了直接訪問(wèn)結(jié)構(gòu),能夠方便 地進(jìn)行點(diǎn)查詢。我們?cè)O(shè)計(jì)了兩層的hash表作為這個(gè)直接 訪問(wèn)結(jié)構(gòu)。在第一層,數(shù)據(jù)在PBY列上進(jìn)行hash劃分;在 第二層上,在第一層的每個(gè)劃分中,在PBY和DBY列上建 立一個(gè)hash表。公式每次在一個(gè)

24、Spreadsheet劃分上執(zhí) 行。對(duì)于使用Spreadsheet的查詢,只需要進(jìn)行一次數(shù)據(jù)掃 描并生成這一結(jié)構(gòu)。這一結(jié)構(gòu)能夠被多次使用,并且與等 價(jià)的傳統(tǒng)SQL所需的多個(gè)連接相比,在性能上具有很大的 優(yōu)勢(shì)。Spreadsheet計(jì)算引擎的結(jié)構(gòu)如圖1所示。圖1Spreadsheet計(jì)算引擎結(jié)構(gòu)圖此外,因?yàn)樵诖颂幚淼牟樵兪轻槍?duì)數(shù)據(jù)倉(cāng)庫(kù)中的原始 關(guān)系型數(shù)據(jù)進(jìn)行的,而并非是在已經(jīng)計(jì)算了的數(shù)據(jù)立方上 進(jìn)行的,所以在步驟(3的中,將標(biāo)準(zhǔn)的SQL查詢交給底 層的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器進(jìn)行處理。數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器具有強(qiáng)大 的查詢處理功能,而DMOLAP服務(wù)器中的Spreadsheet 計(jì)算引擎則只需進(jìn)行針對(duì)OLAP應(yīng)用

25、相關(guān)的公式處理和 計(jì)算。這樣,分工合作各自的功能相對(duì)集中,避免功能重 復(fù),更利于管理和擴(kuò)展。在通信和數(shù)據(jù)傳遞方面,Spreadsheet計(jì)算引擎通過(guò)標(biāo) 準(zhǔn)的接口(如0D13c與數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器進(jìn)行查詢提交(圖1中的和結(jié)果的檢索(圖1中的,而Spreadsheet計(jì)算 引擎也提供類(lèi)似的封裝接口,與前端工具進(jìn)行通信(圖1中 的、,方便用戶使用。5結(jié)束語(yǔ)針對(duì)OLAP查詢中的多維計(jì)算需求,我們?cè)贒M_DW 原型系統(tǒng)的中間層DMOLAP服務(wù)器中增加了Spread sheet計(jì)算引擎,并設(shè)計(jì)了類(lèi)似電子表格工具中公式的表示 語(yǔ)言。在這些設(shè)計(jì)的基礎(chǔ)上,我們已經(jīng)完成了相關(guān)的詞法 語(yǔ)法分析等工作。我們還將迸步研究S

26、preadsheet的分 析、執(zhí)行和優(yōu)化等問(wèn)題,使Spreadsheet計(jì)算引擎在DM一 0LAP原型中成為一個(gè)功能完善的組件。參考文獻(xiàn):1陳長(zhǎng)清,馮玉才,袁磊.國(guó)產(chǎn)數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)DM_DW的 設(shè)計(jì)J.小型微型計(jì)算機(jī)系統(tǒng),2002,23(5:596599. 2The Role of the OLAP Server in a Data Warehousing Solu tionEB/OL.http:/嗍 edge/whitepapers/hyperion_68.pdf,200302.64 3Andrew Witkowski,Srikanth Bellamkonda,Totga Bozkaya,

27、 et a1.Spreadsheets inRDBMS for OLAPA.SIGMOD 2003c3.2003.5263.(上接第52頁(yè)圖5不同大小磁盤(pán)區(qū)的讀寫(xiě)平均響應(yīng)時(shí)間圖太網(wǎng)環(huán)境下對(duì)DVR網(wǎng)絡(luò)文件系統(tǒng)進(jìn)行了測(cè)試。為了便于 對(duì)比,我們同時(shí)測(cè)試了Linux下的SAMBA的性能,測(cè)試結(jié) 果如圖6所示?？梢钥闯?在小請(qǐng)求情況下,DVR要比 Linux下的SAMBA性能低10%左右;但是,當(dāng)請(qǐng)求大于 64KB時(shí),DVR文件系統(tǒng)性能要比SAMBA性能高出10% 20%左右。I/O請(qǐng)求數(shù)據(jù)塊大小KB圖6DVR網(wǎng)絡(luò)文件系統(tǒng)同SAMBA性能對(duì)比曲線5結(jié)束語(yǔ)總的來(lái)說(shuō),我們?cè)O(shè)計(jì)的DVR網(wǎng)絡(luò)文件系統(tǒng)是一個(gè)針 對(duì)

28、性強(qiáng)、性能很高的網(wǎng)絡(luò)文件系統(tǒng),但還并不是一個(gè)很完善 的文件系統(tǒng)。我們?cè)O(shè)計(jì)它主要是針對(duì)DVR系統(tǒng)的需要。 但是,通過(guò)完善和改進(jìn),能夠?qū)⑺鼞?yīng)用到大文件存儲(chǔ)的各個(gè) 領(lǐng)域,當(dāng)然這還需要做很多工作。參考文獻(xiàn):1G布休斯,等.匡正芳譯.光盤(pán)系統(tǒng)原理M.北京:國(guó)防工 業(yè)出版社,1989.2徐端頤.光盤(pán)存儲(chǔ)系統(tǒng)設(shè)計(jì)原理M.北京:國(guó)防工業(yè)出版 社,2000.3T Yoichi.Optical Head for CD&DVDEJ.Laser Review, 2002,30(3.4Garth A Gibson.Network Attached Storage Architecture J.Communica

29、tions of the ACM,2000,43(11:3745. 53O Yoshihiro.State of Arts and Future on Optical Pick Up TechnologyJ.Laser Review,2002,30(3.63Matt DeBergalis,Peter Corbett,Steve KleimarL The Direct Access File SystemAt File and Storage Technologies (FAST02C.2002.217232. 萬(wàn) 方數(shù)據(jù) 一種DVR專(zhuān)用文件系統(tǒng)的研究與設(shè)計(jì)作者:詹玲 , 黃浩 , Zhan Ling, HUANG Hao作者單位:華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院信息存儲(chǔ)系統(tǒng)國(guó)家專(zhuān)業(yè)實(shí)驗(yàn)室暨教育部重點(diǎn)實(shí)驗(yàn)室,湖 北,武漢,430074刊名:計(jì)算機(jī)工程與科學(xué) 英文刊名:COMPUTER ENGINEERING AND SCIENCE年,卷(期:2005,27(6被引用次數(shù):2次參考文獻(xiàn)(6條1. G布休斯;等;匡正芳 光盤(pán)系統(tǒng)原理 19892. 徐端頤 光盤(pán)存儲(chǔ)系統(tǒng)設(shè)計(jì)原理 20003. T Yo