第八章.多媒體數(shù)據(jù)庫(kù)概述

第8章

多媒體數(shù)據(jù)庫(kù)技術(shù)概述1第8章

多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.1多媒體數(shù)據(jù)管理的問(wèn)題28.1多媒體數(shù)據(jù)管理的問(wèn)題計(jì)算機(jī)的世界真實(shí)世界設(shè)計(jì)者的映射表示法傳統(tǒng)數(shù)據(jù)庫(kù)38.1多媒體數(shù)據(jù)管理的問(wèn)題(續(xù))計(jì)算機(jī)的世界真實(shí)世界投影表示法多媒體數(shù)據(jù)庫(kù)圖像聲音視頻48.1多媒體數(shù)據(jù)管理的問(wèn)題(續(xù))多媒體數(shù)據(jù)與多媒體數(shù)據(jù)管理：靜態(tài)與動(dòng)態(tài)數(shù)據(jù)

字符數(shù)據(jù)：同關(guān)系數(shù)據(jù)庫(kù)中的字符數(shù)據(jù)。多媒體數(shù)據(jù)庫(kù)仍然需要對(duì)其進(jìn)行管理。文本數(shù)據(jù)：書(shū)籍、文獻(xiàn)、檔案等。聲音數(shù)據(jù)：音樂(lè)、語(yǔ)音等。圖形數(shù)據(jù)：GIS/CAD等。通常是用符號(hào)或特定的數(shù)據(jù)結(jié)構(gòu)表示的。圖像數(shù)據(jù)：照片、圖片等。指位圖式圖像。視頻數(shù)據(jù)：引入了時(shí)間屬性，在時(shí)間空間上進(jìn)行管理。58.1多媒體數(shù)據(jù)管理的問(wèn)題(續(xù))多媒體帶來(lái)的問(wèn)題

數(shù)據(jù)量大（量的差異也大）媒體種類多

多解查尋(非精確匹配/相似性查詢)用戶接口的支持(操作與表示技術(shù))多媒體信息分布(WWW網(wǎng)絡(luò)信息空間)處理時(shí)間長(zhǎng)(長(zhǎng)事務(wù))服務(wù)質(zhì)量的要求(及時(shí)、逼真或滿意)版本控制問(wèn)題(歷史版本/選擇版本)6第8章

多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)78.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)的一般結(jié)構(gòu)形式

聯(lián)邦型集中統(tǒng)一型客戶/服務(wù)器型超媒體型88.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))聯(lián)邦型結(jié)構(gòu)每一種媒體的數(shù)據(jù)庫(kù)都有自己獨(dú)立的數(shù)據(jù)庫(kù)管理系統(tǒng)：每一種媒體數(shù)據(jù)庫(kù)的設(shè)計(jì)不必考慮與其他媒體的匹配和協(xié)調(diào)。對(duì)多媒體的聯(lián)合操作交給用戶去完成用戶有靈活性。但是，對(duì)多種媒體的聯(lián)合操作、合成處理和概念查詢等都比較難以實(shí)現(xiàn)，為此要求較高的標(biāo)準(zhǔn)化程度。98.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))用戶圖像數(shù)據(jù)庫(kù)圖像DBMS視頻數(shù)據(jù)庫(kù)視頻DBMS聲音數(shù)據(jù)庫(kù)聲音DBMS文本數(shù)據(jù)庫(kù)文本DBMS用戶應(yīng)用程序聯(lián)邦型結(jié)構(gòu)108.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))集中統(tǒng)一型結(jié)構(gòu)單一的多媒體數(shù)據(jù)庫(kù)和單一的多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)：各種媒體被統(tǒng)一地建模，對(duì)各種媒體的管理與操縱被集中到一個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)之中，各種用戶的需求被統(tǒng)一到一個(gè)多媒體用戶接口上，多媒體的查詢檢索結(jié)果可以統(tǒng)一地表現(xiàn)。實(shí)際上，這種多媒體數(shù)據(jù)庫(kù)系統(tǒng)是很難實(shí)現(xiàn)的，目前還沒(méi)有一個(gè)比較恰當(dāng)而且效率比較高的方法來(lái)管理所有的多媒體數(shù)據(jù)。面向?qū)ο蠓椒榻⑦@樣的系統(tǒng)帶來(lái)了一線曙光。118.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))用戶聲音數(shù)據(jù)文本數(shù)據(jù)多媒體數(shù)據(jù)庫(kù)管理系統(tǒng)視頻數(shù)據(jù)圖像數(shù)據(jù)其它媒體數(shù)據(jù)集中統(tǒng)一型結(jié)構(gòu)128.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))客戶/服務(wù)型結(jié)構(gòu)各種單媒體數(shù)據(jù)仍然相對(duì)獨(dú)立，系統(tǒng)將每一種媒體的管理與操縱各用一個(gè)服務(wù)器來(lái)實(shí)現(xiàn)，所有服務(wù)器的綜合和操作也用一個(gè)服務(wù)器完成，與用戶的接口采用客戶進(jìn)程實(shí)現(xiàn)，客戶與服務(wù)器之間通過(guò)特定的中件系統(tǒng)連接。這種體系結(jié)構(gòu)必須采用標(biāo)準(zhǔn)化的和開(kāi)放的接口界面，否則，對(duì)多種媒體的聯(lián)合操作、合成處理和概念查詢等都比較難以實(shí)現(xiàn)。138.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))客戶/服務(wù)型結(jié)構(gòu)用戶圖像數(shù)據(jù)庫(kù)圖像服務(wù)器視頻數(shù)據(jù)庫(kù)視頻服務(wù)器聲音數(shù)據(jù)庫(kù)聲音服務(wù)器文本數(shù)據(jù)庫(kù)文本服務(wù)器用戶接口客戶進(jìn)程用戶用戶接口客戶進(jìn)程用戶接口客戶進(jìn)程用戶多媒體數(shù)據(jù)庫(kù)服務(wù)器及中間件148.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))超媒體型結(jié)構(gòu)強(qiáng)調(diào)對(duì)數(shù)據(jù)時(shí)空索引的組織。依據(jù)如下：數(shù)據(jù)庫(kù)分散在網(wǎng)絡(luò)上（信息空間）,沒(méi)有必要建立一個(gè)統(tǒng)一多媒體數(shù)據(jù)庫(kù)系統(tǒng),能夠通過(guò)超鏈建立起各種數(shù)據(jù)的時(shí)空關(guān)系.目前的WWW使我們看到了這種數(shù)據(jù)庫(kù)的雛形.158.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫(kù)的層次結(jié)構(gòu)168.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫(kù)的層次結(jié)構(gòu)傳統(tǒng)數(shù)據(jù)庫(kù)的層次對(duì)抽象化的字符和數(shù)值進(jìn)行比較、排序、查找和增刪改等操作數(shù)據(jù)庫(kù)物理模式概念模式外部模式外部模式外部模式用戶用戶用戶178.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫(kù)的層次結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)的層次劃分（示例）.最高層支持多媒體的綜合表現(xiàn)和用戶的查詢描述：多媒體用戶接口層：完成查詢描述和結(jié)果描述。中間增加對(duì)多媒體數(shù)據(jù)的關(guān)聯(lián)和超鏈的處理。（建立數(shù)據(jù)模型）概念數(shù)據(jù)模型層：對(duì)現(xiàn)實(shí)世界用多媒體數(shù)據(jù)信息進(jìn)行的描述。是在全局概念下的一個(gè)整體視圖通過(guò)概念數(shù)據(jù)模型為上層的用戶接口、下層的多媒體數(shù)據(jù)存儲(chǔ)和存取建立起一個(gè)在邏輯上統(tǒng)一的通道。存取與存儲(chǔ)數(shù)據(jù)模型層：通過(guò)存取與存儲(chǔ)數(shù)據(jù)模型，描述媒體數(shù)據(jù)的邏輯位置安排、相互的內(nèi)容關(guān)聯(lián)、特征與數(shù)據(jù)的關(guān)系以及超鏈的建立等。完成多媒體數(shù)據(jù)的邏輯存儲(chǔ)與存取。底層增加對(duì)多媒體數(shù)據(jù)的控制與支持:媒體支持層:建立在多媒體操作系統(tǒng)之上,對(duì)不同性質(zhì)媒體分別進(jìn)行相應(yīng)的分割、識(shí)別、變換等操作。188.2多媒體數(shù)據(jù)庫(kù)體系結(jié)構(gòu)(續(xù))多媒體數(shù)據(jù)庫(kù)的層次結(jié)構(gòu)多媒體數(shù)據(jù)庫(kù)的層次劃分（示例）

.多媒體用戶接口層用戶第4層概念數(shù)據(jù)模型層第3層存取與存儲(chǔ)數(shù)據(jù)模型層第2層媒體支持層第1層19第8章

多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.3多媒體數(shù)據(jù)模型20數(shù)據(jù)模型：計(jì)算機(jī)所能接受的-----對(duì)現(xiàn)實(shí)世界中所要研究對(duì)象相關(guān)被操作特性的抽象描述。21數(shù)據(jù)模型：數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)操縱完整性約束規(guī)則228.3多媒體數(shù)據(jù)模型(續(xù))對(duì)關(guān)系數(shù)據(jù)庫(kù)的要求：第一范式（1NF）：在關(guān)系模式R中的每一個(gè)具體關(guān)系r中，如果每個(gè)屬性值都是不可再分的最小數(shù)據(jù)單位，則稱R是第一范式的關(guān)系。（不允許表中表）238.3多媒體數(shù)據(jù)模型(續(xù))NF2

(NonFirstNormalForm)數(shù)據(jù)模型:在關(guān)系模型的基礎(chǔ)上通過(guò)擴(kuò)展來(lái)提高關(guān)系數(shù)據(jù)庫(kù)處理多媒體數(shù)據(jù)的能力----打破關(guān)系數(shù)據(jù)庫(kù)中關(guān)于1NF的要求，允許在表中可以有表。248.3多媒體數(shù)據(jù)模型(續(xù))主要手段：在關(guān)系數(shù)據(jù)庫(kù)中引人抽象數(shù)據(jù)類型（如，標(biāo)準(zhǔn)的擴(kuò)展字段），能夠定義和表示多媒體信息對(duì)象。258.3多媒體數(shù)據(jù)模型(續(xù))主要特點(diǎn)：優(yōu)點(diǎn)：利用關(guān)系數(shù)據(jù)庫(kù)特有的優(yōu)勢(shì)。缺點(diǎn)：建模能力不強(qiáng)，在反映多媒體數(shù)據(jù)各成分間的空間關(guān)系、時(shí)間關(guān)系和媒體對(duì)象的處理方法方面仍有困難。在特殊媒體的基于內(nèi)容查詢方面、存儲(chǔ)效率方面等，都有很大的困難。268.3多媒體數(shù)據(jù)模型(續(xù))NF2數(shù)據(jù)模型(NonFirstNormalForm)屬性CGeneral屬性A屬性B帶結(jié)構(gòu)數(shù)據(jù)對(duì)關(guān)系進(jìn)行擴(kuò)展可以利用標(biāo)準(zhǔn)的擴(kuò)展字段，例如：FoxproinGeneral字段；Paradoxforwindows的動(dòng)態(tài)注釋，格式注釋，圖形，BLOB（大二進(jìn)制對(duì)象,BinaryLargeObject）等278.3多媒體數(shù)據(jù)模型(續(xù))超媒體數(shù)據(jù)模型：網(wǎng)狀結(jié)構(gòu)，由節(jié)點(diǎn)和鏈組成的有向圖。節(jié)點(diǎn)：信息單位（信息元）。鏈：用來(lái)表示媒體間的時(shí)空關(guān)系。支持開(kāi)放性信息建模，支持瀏覽和搜索等新型操作。288.3多媒體數(shù)據(jù)模型(續(xù))文獻(xiàn)模型：層次狀樹(shù)形結(jié)構(gòu)。

例如：邏輯結(jié)構(gòu)：教科書(shū)、章、節(jié)、小節(jié)、段落段落一般為頁(yè)塊對(duì)象。非頁(yè)塊對(duì)象須定義一個(gè)屬性，用來(lái)說(shuō)明該對(duì)象與它的下層子對(duì)象之間的從屬關(guān)系布局結(jié)構(gòu)：頁(yè)、框架和塊等298.3多媒體數(shù)據(jù)模型(續(xù))文獻(xiàn)模型： 嚴(yán)格地說(shuō)，文獻(xiàn)不是一種數(shù)據(jù)庫(kù)，而更像一個(gè)實(shí)際的應(yīng)用。此結(jié)構(gòu)符合一般的文獻(xiàn)或文章的組織。308.3多媒體數(shù)據(jù)模型(續(xù))專有媒體數(shù)據(jù)模型：針對(duì)特定領(lǐng)域的多媒體數(shù)據(jù)庫(kù)建立符合自己特性的數(shù)據(jù)模型，以完成特定的任務(wù)。例如，如下為5級(jí)模式和4級(jí)映射的體系結(jié)構(gòu)：模式及映射用戶視圖語(yǔ)意特征視圖圖像特征視圖特征表示視圖特征組織任務(wù)空間推理圖像知識(shí)形成結(jié)構(gòu)圖像理解圖像數(shù)據(jù)形成結(jié)構(gòu)圖像數(shù)據(jù)存儲(chǔ)檢索查尋的例子查尋帶輪子的物體查尋(image-object,wheel)查尋(image-object,circle)查尋(image-object,color-of-circle)查尋(image-object,color-data-structure)318.3多媒體數(shù)據(jù)模型(續(xù))多媒體對(duì)象：十分復(fù)雜面向?qū)ο髷?shù)據(jù)模型：理想的多媒體數(shù)據(jù)模型表示方法面向?qū)ο髷?shù)據(jù)模型328.3多媒體數(shù)據(jù)模型(續(xù))面向?qū)ο髷?shù)據(jù)模型

對(duì)象、屬性、方法、消息

對(duì)象類、類層次和繼承性

語(yǔ)意關(guān)聯(lián)的描述：聚集、概括、相互作用關(guān)聯(lián)、示例關(guān)聯(lián)、has_method/has_rule關(guān)聯(lián)等。

運(yùn)算體系：類和對(duì)象的定義、查詢和操縱。338.3多媒體數(shù)據(jù)模型(續(xù))面向?qū)ο蠖嗝襟w數(shù)據(jù)模型的可以實(shí)現(xiàn)如下功能：聚集層次：不同媒體信息的有機(jī)組合關(guān)系建模設(shè)施：進(jìn)行復(fù)雜交叉關(guān)系的建模方法管理：通過(guò)具體媒體技術(shù)實(shí)現(xiàn)多媒體數(shù)據(jù)的存取多種屬性的支持和語(yǔ)義信息的維護(hù)：構(gòu)造包含語(yǔ)義信息的類屬性及操作方法的結(jié)構(gòu)支持特性傳播：通過(guò)自動(dòng)繼承超類的內(nèi)容，實(shí)現(xiàn)特性傳播支持模式的演進(jìn)：動(dòng)態(tài)修改層次各節(jié)點(diǎn)的模式(如產(chǎn)品結(jié)構(gòu)更改)版本管理：支持版本的創(chuàng)建和控制、版本變化的通知并發(fā)控制和數(shù)據(jù)恢復(fù)：多用戶訪問(wèn)數(shù)據(jù)共享：進(jìn)行靈活的讀寫控制快速存儲(chǔ)和靈活交付：實(shí)現(xiàn)物理表示與邏輯表示的映射348.3多媒體數(shù)據(jù)模型(續(xù))面向?qū)ο髷?shù)據(jù)模型：人規(guī)則1姓名出生年月相片求年齡課程名課程學(xué)生學(xué)號(hào)選修選修教師工資選用擁有連環(huán)畫(huà)頁(yè)插圖頁(yè)號(hào)文字聲音說(shuō)明教材書(shū)名稱價(jià)錢作者h(yuǎn)as_rulehas_method35第8章

多媒體數(shù)據(jù)庫(kù)技術(shù)概述8.4基于內(nèi)容檢索36web上出現(xiàn)大量多媒體信息例如:遙感、醫(yī)療、安全、商業(yè)等部門，都會(huì)產(chǎn)生大量信息。37基于內(nèi)容檢索所謂基于內(nèi)容的檢索（ContentBasedRetrieval，CBR)就是指根據(jù)媒體和媒體對(duì)象的內(nèi)容語(yǔ)義及上下文聯(lián)系進(jìn)行檢索。

多媒體數(shù)據(jù)庫(kù)特征/屬性多媒體數(shù)據(jù)提取匹配38多媒體特征音頻靜態(tài)圖像視頻文本圖形難以用文字描述，但可以進(jìn)行關(guān)鍵字屬性描述39多媒體特征（續(xù)）提取關(guān)鍵字屬性的方式手工方式

簡(jiǎn)單方便；人員要求高；工作量大；不確定性高自動(dòng)方式混合方式自動(dòng)提取是人們研究和應(yīng)用的目標(biāo)40基本方法格式化數(shù)據(jù)的內(nèi)容檢索基于關(guān)鍵字的檢索全文本檢索基于文件模型等方法非格式化數(shù)據(jù)的檢索依據(jù)實(shí)例檢索,分為:準(zhǔn)確實(shí)例檢索準(zhǔn)確查詢實(shí)例模糊實(shí)例檢索依照例子查找與它相似的圖像描繪示例檢索給出所需圖像的粗略結(jié)構(gòu)41系統(tǒng)實(shí)例IBM公司開(kāi)發(fā)的QBIC通過(guò)友好的界面為用戶提供顏色、紋理、草圖、形狀等多種檢索方法。系統(tǒng)以示例方式進(jìn)行查詢，查找物體的移動(dòng)，攝影機(jī)的操作。42系統(tǒng)實(shí)例美國(guó)加州大學(xué)伯克利分校與加州水資源部合作Chabot計(jì)劃對(duì)水利資源部大量圖像提供基于內(nèi)容的有效檢索手段43系統(tǒng)實(shí)例麻省理工學(xué)院Photobook可以利用人臉Face(臉)、shape(形狀)、texture(紋理)進(jìn)行基于內(nèi)容的檢索。Virage系統(tǒng)又進(jìn)一步發(fā)展了將多種檢索特征的融合。44系統(tǒng)實(shí)例澳大利亞NewSouthWales的NUTTAB系統(tǒng)用于食品成分?jǐn)?shù)據(jù)庫(kù)的檢索458.4基于內(nèi)容檢索多媒體數(shù)據(jù)的用戶接口46多媒體用戶接口層用戶第4層概念數(shù)據(jù)模式層第3層存取與存儲(chǔ)數(shù)據(jù)模型層第2層媒體支持層第1層所處層次478.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口字符數(shù)值型接口示例型接口用戶表現(xiàn)接口488.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口字符數(shù)值型接口KeywordAttr1日出海邊海燕SELECTimagetoWin1:segFROMimageDBWHEREkeyword=“日出”498.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口示例型接口示例圖像結(jié)果圖像示例圖像的查尋508.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口示例型接口語(yǔ)意結(jié)構(gòu)示例518.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口示例型接口結(jié)構(gòu)示例的舉例——查詢居民建筑物528.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口示例型接口圖像數(shù)據(jù)庫(kù)特征數(shù)據(jù)庫(kù)示例查詢模塊查詢格式化圖像數(shù)據(jù)庫(kù)的示例接口知識(shí)輔助模塊插入模塊用戶示例圖像新圖像圖像處理模塊538.4基于內(nèi)容檢索(續(xù))多媒體數(shù)據(jù)的用戶接口用戶表現(xiàn)接口查詢結(jié)果