多媒體技術(shù)的應(yīng)用

1、第7章 多媒體計(jì)算機(jī)的運(yùn)用技術(shù)7.1 多媒體電子出版物的創(chuàng)作7.2 多媒領(lǐng)會(huì)議系統(tǒng)7.3 多媒體數(shù)據(jù)庫(kù)及基于內(nèi)容檢索本章重點(diǎn)引見(jiàn) 視頻會(huì)議系統(tǒng)的構(gòu)造和規(guī)范 第7章 多媒體計(jì)算機(jī)的運(yùn)用技術(shù)7.2.1 視頻會(huì)議系統(tǒng)的構(gòu)造和規(guī)范三、視頻會(huì)議系統(tǒng)的規(guī)范一、視頻會(huì)議系統(tǒng)的分類(lèi)二、視頻會(huì)議系統(tǒng)的構(gòu)造一、視頻會(huì)議系統(tǒng)的分類(lèi)點(diǎn)對(duì)點(diǎn)視頻會(huì)議系統(tǒng)多點(diǎn)視頻會(huì)議系統(tǒng) 根據(jù)通訊節(jié)點(diǎn)的數(shù)量，視頻會(huì)議系統(tǒng)可分為 點(diǎn)對(duì)點(diǎn)視頻會(huì)議系統(tǒng)支持兩個(gè)通訊節(jié)點(diǎn)間視頻會(huì)議通訊功能，它的主要業(yè)務(wù)是： 可視 桌面視頻會(huì)議系統(tǒng) 會(huì)議室型會(huì)議室視頻會(huì)議1.點(diǎn)對(duì)點(diǎn)的視頻會(huì)議系統(tǒng) 多點(diǎn)視頻會(huì)議系統(tǒng)允許三個(gè)或三個(gè)以上不同地點(diǎn)的參與者同時(shí)參與會(huì)議。多點(diǎn)視

2、頻會(huì)議系一致個(gè)關(guān)鍵技術(shù)是多點(diǎn)控制問(wèn)題，多點(diǎn)控制單元MCU在通訊網(wǎng)絡(luò)上控制各個(gè)點(diǎn)的視頻、音頻、通用數(shù)據(jù)和控制信號(hào)的流向，使與會(huì)者可以接納到相應(yīng)的視頻、音頻等信息，維持會(huì)議正常進(jìn)展。2.多點(diǎn)視頻會(huì)議系統(tǒng)二、視頻會(huì)議系統(tǒng)的構(gòu)造視頻會(huì)議終端多點(diǎn)控制器信道網(wǎng)絡(luò)控制管理軟件視頻會(huì)議系統(tǒng)構(gòu)造框圖 完成視頻音頻信號(hào)的采集、編輯處置及輸出、視頻音頻數(shù)字信號(hào)的緊縮編碼和解碼，最后將符合國(guó)際規(guī)范的緊縮碼流經(jīng)線路接口送到信道，或從信道上將規(guī)范緊縮碼流經(jīng)線路接口送到終端。1.視頻會(huì)議終端的主要功能它的主要功能是對(duì)視頻、語(yǔ)音及數(shù)據(jù)信號(hào)進(jìn)展切換，例如它會(huì)把傳送到MCU某會(huì)場(chǎng)發(fā)言者的圖象信號(hào)切換到一切會(huì)場(chǎng)。對(duì)于語(yǔ)音信號(hào)，假設(shè)

3、同時(shí)有幾個(gè)發(fā)言，可以對(duì)它們進(jìn)展混合處置，選出最高的音頻信號(hào)，切換到其它會(huì)場(chǎng)。2.多點(diǎn)控制單元的功能MCU-Multipoint Control Unit信道網(wǎng)絡(luò)的主要功能是：保證視頻音頻數(shù)據(jù)緊縮碼流平安在信道上傳輸?shù)揭曨l會(huì)議系統(tǒng)的終端。3.信道的功能QOSQuality of Service 平安嚴(yán)密4.控制管理軟件二、視頻會(huì)議系統(tǒng)的構(gòu)造終端多點(diǎn)控制器信道網(wǎng)絡(luò)控制管理軟件 QOSQuality of Service 平安嚴(yán)密三、視頻會(huì)議系統(tǒng)的規(guī)范在20世紀(jì)80年代,國(guó)際電信聯(lián)盟(ITU)專(zhuān)門(mén)成立了一個(gè)小組研討視頻會(huì)議,建立了一系列的建議和規(guī)范.關(guān)于視頻會(huì)議最著名的規(guī)范是H.320系列和T.12

4、0系列建議.1994年以Intel為首的90多家計(jì)算機(jī)和通訊公司結(jié)合制定了一個(gè)個(gè)人會(huì)議規(guī)范PCS.第7章 多媒體計(jì)算機(jī)的運(yùn)用技術(shù)7.1 多媒體電子出版物的創(chuàng)作7.2 多媒領(lǐng)會(huì)議系統(tǒng)7.3 多媒體數(shù)據(jù)庫(kù)及基于內(nèi)容檢索一、多媒體數(shù)據(jù)庫(kù)的關(guān)鍵技術(shù)1.多媒體數(shù)據(jù)大容量的存儲(chǔ)技術(shù) (1). 光盤(pán)存儲(chǔ)子系統(tǒng)和高速大容量磁盤(pán)、光盤(pán)庫(kù)保管時(shí)間很長(zhǎng)。 (2). 超媒體文檔和超媒體數(shù)據(jù)庫(kù)的隨機(jī)存取、檢索、存儲(chǔ)盤(pán)標(biāo)識(shí)和關(guān)系數(shù)據(jù)庫(kù)。在設(shè)計(jì)上僅支持表構(gòu)造的字母數(shù)字?jǐn)?shù)據(jù)。 2.多媒體運(yùn)用程序的數(shù)據(jù)庫(kù)組織 多媒體系統(tǒng)數(shù)據(jù)組織： (1). 數(shù)據(jù)獨(dú)立 (2). 通用分布式數(shù)據(jù)庫(kù)構(gòu)造 (3). 多媒體對(duì)象管理 (4). 多重?cái)?shù)據(jù)

5、效力器二、多媒體數(shù)據(jù)庫(kù)基于內(nèi)容檢索概述 web 上出現(xiàn)大量多媒體信息，例如: 遙感、 醫(yī)療、平安、商業(yè)等部門(mén)，都會(huì)產(chǎn)生大量信息。1. IBM公司開(kāi)發(fā)的QBIC是最具代表性的系統(tǒng) 經(jīng)過(guò)友好的界面為用戶提供顏色、紋理、草圖、外形等多種檢索方法。 系統(tǒng)以例如方式進(jìn)展查詢，查找物體的挪動(dòng)，攝影機(jī)的操作。2. 美國(guó)加州大學(xué)伯克利分校與 加州水資源部協(xié)作 Chabot方案，對(duì)水利資源部大量圖像提供基于內(nèi)容的有效檢索手段。3.麻省理工學(xué)院 Photo book 可以利用人臉Face (臉)、shape(外形)、texture(紋理)進(jìn)展基于內(nèi)容的檢索。Virage系統(tǒng)又進(jìn)一步開(kāi)展了將多種檢索特征的交融。4.

6、 澳大利亞 New South Wales 澳大利亞 New South Wales(新南威爾士大學(xué))已開(kāi)發(fā)了NUTTAB系統(tǒng)。 用于食品成分?jǐn)?shù)據(jù)庫(kù)的檢索。5. 清華大學(xué)計(jì)算機(jī)系 清華大學(xué)計(jì)算機(jī)系結(jié)合863高技術(shù)研討開(kāi)展工程“Web上基于內(nèi)容圖像檢索的研討。 Internet/Intranet經(jīng)過(guò)友好的人機(jī)界面可以對(duì)顏色、紋理或樣本圖像進(jìn)展圖像檢索。 目前該系統(tǒng)已可對(duì)12000張學(xué)物照片高維特征建立了Gss索引。 采用Java言語(yǔ)來(lái)實(shí)現(xiàn)人機(jī)交互模塊。經(jīng)過(guò)閱讀器為用戶提供界面。 檢索懇求 轉(zhuǎn)換為cbExpr基于內(nèi)容的檢索表達(dá)式，經(jīng)過(guò)檢索引擎處置與網(wǎng)絡(luò)延遲相比，檢索時(shí)間根本上可以忽略，表達(dá)了較好的

7、實(shí)時(shí)性。基于內(nèi)容檢索的系統(tǒng)構(gòu)造 現(xiàn)有的許多多媒體數(shù)據(jù)庫(kù)系統(tǒng)只提供根本媒體的描畫(huà)、關(guān)鍵字一類(lèi)的檢索和查詢，但很多的運(yùn)用要求數(shù)據(jù)庫(kù)系統(tǒng)能對(duì)圖像或聲音等媒體進(jìn)展內(nèi)容語(yǔ)義分析，已到達(dá)更深的檢索層次。因此有必要討論多媒體數(shù)據(jù)庫(kù)基于內(nèi)容的檢索與查詢方法?；趦?nèi)容檢索的體系結(jié)構(gòu) 用戶的查詢闡明例如普通性描畫(huà)類(lèi)似性匹配前往一組候選結(jié)果稱(chēng)心？終了修正查詢闡明從候選結(jié)果中選擇一個(gè)例如YN特征調(diào)整,重新匹配的處理過(guò)程(1)首先由用戶提交查詢要求，或啟用上述的查詢接口： 交互式輸入方式 模板選擇輸入方式 特征樣板輸入方式(2)類(lèi)似性匹配 將查詢的特征與數(shù)據(jù)庫(kù)中的特征按照一定的匹配算法進(jìn)展匹配。(3)前往候選結(jié)果 滿足

8、一定類(lèi)似性的一組候選結(jié)果，按照類(lèi)似度大小陳列前往給用戶。(4)特征調(diào)整 a. 用戶閱讀一組初始特征查詢結(jié)果選擇稱(chēng)心的結(jié)果。 b. 也可以從候選結(jié)果選擇一個(gè)例如，進(jìn)展特征調(diào)整。最后構(gòu)成一個(gè)新的查詢，如此逐漸減少查詢范圍，直到用戶對(duì)查詢結(jié)果稱(chēng)心為止。基于內(nèi)容檢索的關(guān)鍵技術(shù) 兩個(gè)關(guān)鍵技術(shù)： 多媒體特征提取技術(shù)和匹配算法類(lèi)似性檢索技術(shù)。 1.特征抽取 低層特征(原始特征)特征抽取 高層特征(邏輯特征)(1)言語(yǔ)信號(hào)的特征提取和匹配 低層特征 ：基音、共振峰、線性預(yù)測(cè)、倒譜系數(shù) 高層特征：聲紋特征、關(guān)鍵詞特征 (2)靜態(tài)圖象的特征提取和匹配 低層特征：紋理特征，顏色特征，幾何外形特征，統(tǒng)計(jì)特征(立方圖)等。 高層特征：人的臉部特征、表情特征、某些物體和景物特征。 低層特征可用圖象處置方法自動(dòng)獲取；高層特征可以在某些約束條件下或知識(shí)導(dǎo)引下，以低層特征為根底推導(dǎo)得到。(3)動(dòng)態(tài)視頻特征提取