第7章　多媒體信息

第7章多媒體信息檢索第7章多媒體信息檢索進(jìn)入21世紀(jì)，以多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)為核心的信息技術(shù)飛速發(fā)展，并以驚人的速度進(jìn)入社會(huì)的各個(gè)領(lǐng)域，推動(dòng)著各行各業(yè)發(fā)生深刻變革。在步入信息化時(shí)代的今天，“數(shù)字化”、“網(wǎng)絡(luò)化”與“多媒體”相結(jié)合的現(xiàn)代技術(shù)，給古老的“多媒體”概念注入了新的含義和活力，并在改變著人們的生活和學(xué)習(xí)。多媒體信息能夠充分表達(dá)信息的內(nèi)涵，加快人們接收信息的速度，加深人們對(duì)信息內(nèi)容的理解和記憶。在多媒體信息檢索中，涉及到一系列的概念及有關(guān)的知識(shí)背景，這些基礎(chǔ)知識(shí)是深入理解和真正掌握多媒體信息檢索技術(shù)所必需的。7.1多媒體信息概述

7.1.1多媒體的基本概念媒體媒體(media)，也稱媒介或傳播媒體，它是信息的載體。載體(Medium)一詞來自拉丁文，是指信息傳播過程中，攜帶和傳遞信息的任何物質(zhì)。信息的表達(dá)、存儲(chǔ)和傳遞必須通過一些中間物質(zhì)，常見的報(bào)刊、雜志、廣播、電視、電影、計(jì)算機(jī)、網(wǎng)絡(luò)、磁盤、光盤、錄音、錄像、圖片、幻燈片、投影片和印刷材料等都屬于媒體。確切地說，媒體是信息得以存儲(chǔ)和傳播的介質(zhì)。媒體的作用在于存儲(chǔ)信息、表達(dá)信息和傳送信息，以幫助人們進(jìn)行溝通和交流。按照ITU-T（國際電信聯(lián)盟）（原CCITT）建議，媒體可分為下列五大類：（1）感覺媒體（PerceptionMedium)：指的是用戶接觸信息的感覺形式，如視覺、聽覺、觸覺等。表示媒體則指的是信息的表現(xiàn)形式，如圖像、聲音、視頻、運(yùn)動(dòng)模式等。（2）表示媒體（RepresentationMedium）：指的是信息的表現(xiàn)形式，如圖像、聲音、視頻、運(yùn)動(dòng)模式等。（3）顯示媒體（PresentationMedium）：是指表現(xiàn)和獲取信息的物理設(shè)備，如顯示器、打印機(jī)、揚(yáng)聲器、鍵盤、攝像機(jī)、運(yùn)動(dòng)平臺(tái)等。（4）存儲(chǔ)媒體（StorageMedium）：是指存儲(chǔ)數(shù)據(jù)的物理設(shè)備，如磁盤、光盤等。（5）傳輸媒體（TransmissionMedium）：是指?jìng)鬏敂?shù)據(jù)的物理設(shè)備，如光纜、電纜、電磁波、交換設(shè)備等。7.1多媒體信息概述

2.多媒體多媒體源自英語“MultiMedia”，意指多種媒體的結(jié)合應(yīng)用。在計(jì)算機(jī)和網(wǎng)絡(luò)領(lǐng)域，常見的信息表達(dá)形式為文本、音頻、視頻、圖形、圖像、動(dòng)畫和影視等。而信息內(nèi)容的表達(dá)首先必須建立在人們可接收的基礎(chǔ)上，同時(shí)信息的交流必須基于存儲(chǔ)設(shè)備、顯示設(shè)備和傳輸設(shè)備的支持。所以，多媒體就是指以數(shù)字化為基礎(chǔ)，能夠?qū)Χ喾N媒體信息進(jìn)行采集、編碼、存儲(chǔ)、傳輸、處理和表現(xiàn)，綜合處理多種媒體信息并使之建立起有機(jī)的邏輯聯(lián)系，集成為一個(gè)系統(tǒng)并能具有良好交互性的技術(shù)。3.流媒體“流媒體”（StreamingMedia）的概念是相對(duì)于“多媒體文件”而言。在硬盤、光盤等存儲(chǔ)介質(zhì)出現(xiàn)之前，文件在磁帶等存儲(chǔ)介質(zhì)上的存儲(chǔ)是按順序存儲(chǔ)的，當(dāng)然讀數(shù)據(jù)也只能按順序讀。在硬盤、光盤等存儲(chǔ)介質(zhì)出現(xiàn)以后，讀取硬盤、光盤等存儲(chǔ)介質(zhì)上存儲(chǔ)的文件時(shí)，便存在很大的隨機(jī)性，因此有了定義流媒體的必要。從另一個(gè)角度來講，在電視領(lǐng)域，模擬視頻信號(hào)在網(wǎng)上的傳輸是完全按順序進(jìn)行的，所以，數(shù)字領(lǐng)域的“流”概念實(shí)際上是從電視領(lǐng)域轉(zhuǎn)過來的?？疾炝髅襟w與非流媒體，主要從數(shù)據(jù)的存儲(chǔ)方式、網(wǎng)上傳輸及終端讀取方式等三個(gè)方面來判斷，它們是完全不一樣的。主要區(qū)別表現(xiàn)在：流媒體的文件頭信息、視頻、音頻是嚴(yán)格按照時(shí)間先后順序進(jìn)行存儲(chǔ)、網(wǎng)上傳輸及讀取的。而非流媒體的文件頭信息、視頻、音頻是按照時(shí)間先后順序交錯(cuò)進(jìn)行存儲(chǔ)、網(wǎng)上傳輸及讀取的。而流媒體技術(shù)的核心主要是如何控制并非嚴(yán)格按時(shí)間先后順序存儲(chǔ)的多媒體數(shù)據(jù)按照“流”的方式在數(shù)字網(wǎng)絡(luò)里進(jìn)行傳輸。7.1多媒體信息概述

用戶在網(wǎng)上可以直接點(diǎn)播歌曲或影視節(jié)目，從而做到不需要將完整的音頻、視頻文件下載到木地計(jì)算機(jī)上，就可以利用多媒體播放軟件收聽和收看多媒體節(jié)目。從廣義上講，流媒體指的是流媒體系統(tǒng)，也就是使音頻和視頻數(shù)據(jù)形成穩(wěn)定、連續(xù)的傳輸流和回放流的一系列技術(shù)、方法和協(xié)議的總稱。而狹義的流是指相對(duì)于傳統(tǒng)的下載－－播放方式而言的一種媒體格式，它能從Internet上獲取音頻和視頻等連續(xù)的多媒體數(shù)據(jù)流。所以，目前在網(wǎng)絡(luò)上傳播多媒體信息主要利用下載和流式傳輸兩種方式。傳統(tǒng)的下載傳輸方式，在播放之前，需要先下載多媒體文件至本地，不僅需要較長時(shí)間，并且對(duì)本地計(jì)算機(jī)的存儲(chǔ)容量也有一定的要求，這將限制存儲(chǔ)容量較低的設(shè)備對(duì)網(wǎng)絡(luò)多媒體的使用。流式傳輸是通過服務(wù)器向用戶實(shí)時(shí)提供多媒體信息的方式，不必等到整個(gè)文件全部下載完畢，在啟動(dòng)軟件工具后經(jīng)過少量延時(shí)即可播放，客戶端可以邊接收數(shù)據(jù)邊播放。流式傳輸大大地縮短了播放延時(shí)，同時(shí)也降低了對(duì)本地緩存容量的需求，為實(shí)現(xiàn)現(xiàn)場(chǎng)直播形式的實(shí)時(shí)數(shù)據(jù)傳輸提供了有效可行的手段。7.1.2多媒體的主要特征

應(yīng)用多媒體計(jì)算機(jī)技術(shù)可將聲音、視頻、圖像、動(dòng)畫等各種信息媒體集于一體。多媒體應(yīng)用系統(tǒng)應(yīng)該能夠生動(dòng)、形象、全面地表達(dá)信息，即在適當(dāng)?shù)牟糠峙溆忻烂畹囊魳贰?dòng)聽的解說、逼真的動(dòng)畫或視頻剪輯，同時(shí)可以提供人機(jī)的交互方式?？v觀許多比較成功的多媒體應(yīng)用系統(tǒng)，從多媒體集成的效果來看，具有豐富的信息表達(dá)方式的多媒體系統(tǒng)所表示的內(nèi)容含義比較直觀，更富有感染力，能夠更加確切地體現(xiàn)信息所包含的真正含義并給人以深刻的印象。特別重要的是，便捷且實(shí)用的交互功能體現(xiàn)了多媒體系統(tǒng)開發(fā)的真正意義，因而能為信息的處理做出卓越的貢獻(xiàn)?？偨Y(jié)多媒體計(jì)算機(jī)技術(shù)的功效，多媒體具有三大關(guān)鍵特征：信息載體的集成性、交互性、實(shí)時(shí)性和多樣性。7.1.2多媒體的主要特征集成性多媒體系統(tǒng)充分體現(xiàn)了集成性的巨大作用。事實(shí)上，多媒體中的許多技術(shù)在早期都可以單獨(dú)使用，但作用十分有限。這是因?yàn)樗鼈兪菃我坏摹⒘闵⒌?，如單一的圖像處理技術(shù)、聲音處理技術(shù)、交互技術(shù)、電視技術(shù)、通信技術(shù)等。但當(dāng)它們?cè)诙嗝襟w的旗幟下集合時(shí)，一方面意味著技術(shù)已經(jīng)發(fā)展到了相當(dāng)成熟的程度；另一方面，也意味著各種技術(shù)獨(dú)自發(fā)展不再能滿足應(yīng)用的需要。信息空間的不完整，如僅有靜態(tài)圖像而無動(dòng)態(tài)視頻，僅有語音而無圖像等，將限制信息空間的信息組織，限制信息的有效使用。同樣信息交互手段的單調(diào)性，通信能力不足、多種設(shè)備和應(yīng)用的人為分離，也會(huì)制約多媒體應(yīng)用的發(fā)展。因此，多媒體系統(tǒng)的產(chǎn)生與發(fā)展，既體現(xiàn)了多媒體應(yīng)用的強(qiáng)烈需求，也順應(yīng)了全球網(wǎng)絡(luò)的一體化、互通互連的要求。多媒體的集成性包含兩個(gè)方面：一方面是多媒體信息表達(dá)的集成，另一方面是多媒體設(shè)備的集成。（1）多媒體信息表達(dá)的集成意味著信息的表達(dá)可同時(shí)使用圖、文、聲和像等多種形式。與傳統(tǒng)的多媒體信息集成體（如模擬電影）相比，內(nèi)容的表現(xiàn)更加深刻，畫面更加清晰，形象更加逼真。（2）多媒體設(shè)備的集成是指顯示和表現(xiàn)媒體設(shè)備的集成，計(jì)算機(jī)能和各種輸入、輸出外設(shè)（如打印機(jī)、掃描儀、數(shù)碼相機(jī)、音響等設(shè)備）聯(lián)合工作。多媒體中的集成性，無論是信息、數(shù)據(jù)，還是系統(tǒng)、網(wǎng)絡(luò)、軟硬件設(shè)施，通過多媒體的集成性構(gòu)造出支持廣泛信息應(yīng)用的信息系統(tǒng)，“1+1＞2”的系統(tǒng)性將在多媒體信息系統(tǒng)中得到充分的體現(xiàn)7.1.2多媒體的主要特征交互性多媒體信息的交互性是指能為用戶提供參與的方式，從而有效地控制和使用信息，提高信息的適用性和針對(duì)性。長久以來，人們?cè)诤芏嗲闆r下已經(jīng)習(xí)慣于被動(dòng)地接收信息，如看電視、聽廣播。多媒體系統(tǒng)將向用戶提供交互式使用、加工和控制信息的手段，為多媒體的應(yīng)用開辟了更加廣闊的領(lǐng)域，也為用戶提供更加自然的信息存取手段。交互可以增加對(duì)信息的注意力和理解力，延長信息保留的時(shí)間。但在單向的信息空間中，信息接收的效果和作用就很差，只能“使用”所給的信息，很難做到自由地控制和干預(yù)信息的獲取和處理過程。多媒體信息在人——機(jī)交互中有巨大潛力，主要來自于它能提高人對(duì)信息表現(xiàn)形式的選擇和控制能力，用戶可以按照自己的意愿去選擇信息內(nèi)容和安排活動(dòng)的進(jìn)程，以達(dá)到有效獲取信息及解決問題的目的。同時(shí)也能提高信息表現(xiàn)形式與人的邏輯和創(chuàng)造能力結(jié)合的程度。多媒體信息比單一信息對(duì)人具有更大的吸引力，它有利于人對(duì)信息的主動(dòng)探索而不是被動(dòng)地接收。7.1.2多媒體的主要特征可以想象，交互性一旦被引入到用戶的活動(dòng)之中，將會(huì)給用戶帶來多大的作用。從數(shù)據(jù)庫中檢索出某人的照片、聲音及文字材料，這是多媒體的初級(jí)交互作用；通過交互特性使用戶介人到信息過程中（不僅僅是提取信息），達(dá)到了中級(jí)交互應(yīng)用水平；當(dāng)我們完全地進(jìn)入到一個(gè)與信息環(huán)境一體化的虛擬信息空間自由邀游時(shí)，這才是交互式應(yīng)用的高級(jí)階段，這就是虛擬現(xiàn)實(shí)。人——機(jī)交互不僅僅是一個(gè)人——機(jī)界面的問題，它與人類的智能活動(dòng)有著密切的關(guān)系。實(shí)時(shí)性實(shí)時(shí)性是指多媒體信息系統(tǒng)所具有的高同步和即時(shí)處理特性。這也是實(shí)現(xiàn)虛擬現(xiàn)實(shí)的關(guān)鍵性特性。實(shí)時(shí)多媒體的集成必須能高度地同步媒體，才能體現(xiàn)真實(shí)感。比如，在展示講課過程時(shí)，演講者的聲音和動(dòng)作必須同步。任何媒體間的不同步都會(huì)影響多媒體應(yīng)用系統(tǒng)的實(shí)用效果。在網(wǎng)絡(luò)應(yīng)用需求迅速發(fā)展的情況下，不僅在多媒體計(jì)算機(jī)上體現(xiàn)了高度的實(shí)時(shí)性，例如我們可以通過計(jì)算機(jī)照相和攝影、播放各種多媒體節(jié)目等，而且在因特網(wǎng)的信息傳遞方面也體現(xiàn)了高度的實(shí)時(shí)性，這涉及網(wǎng)絡(luò)、通信設(shè)備和通信介質(zhì)等多方面的技術(shù)，這些技術(shù)提供了網(wǎng)絡(luò)即時(shí)處理的可能。許多網(wǎng)絡(luò)應(yīng)用，如網(wǎng)絡(luò)會(huì)議、IP電話、視頻點(diǎn)播和網(wǎng)絡(luò)OK等都能使我們感覺到一種即時(shí)效果。7.1.2多媒體的主要特征多樣性信息載體的多樣性是相對(duì)于計(jì)算機(jī)而言的，是指信息媒體的多樣化，有人稱之為信息多維化。把計(jì)算機(jī)所能處理的信息空間范圍擴(kuò)展和放大，而不再局限于數(shù)值、文本或是被特別對(duì)待的圖形或圖像，這是計(jì)算機(jī)變得更加人性化所必須具備的條件。人類對(duì)于信息的接收和產(chǎn)生主要在五個(gè)感覺空間內(nèi)，即視覺、聽覺、觸覺、嗅覺和味覺，其中前三者占了95%以上的信息量。但是，計(jì)算機(jī)以及與之相類似的一系列設(shè)備，都遠(yuǎn)遠(yuǎn)沒有達(dá)到人類處理信息能力的水平。在傳統(tǒng)的信息處理過程中不得不忍受著種種不便：信息只能按照單一的形態(tài)才能被加工處理，只能按照單一的形態(tài)才能被理解。計(jì)算機(jī)在許多方面需要把人類的信息進(jìn)行變形之后才可以使用?？梢哉f，在信息交互方面計(jì)算機(jī)還處于初級(jí)水平。7.1.2多媒體的主要特征多媒體技術(shù)將使計(jì)算機(jī)及其他設(shè)備能夠處理的信息多樣化或多維化，使之在信息交互的過程中，具有更加廣闊或更加自由的空間。多媒體的信息多維化不僅僅表現(xiàn)在輸入過程，還表現(xiàn)在輸出過程。對(duì)于應(yīng)用而言，前者稱為獲?。╟apture），后者稱為表現(xiàn)（Presentation）。如果兩者完全一樣，這只能稱之為記錄和重放，從效果上來說并不是很好。如果對(duì)其進(jìn)行變換、組合和加工，亦即我們所說的創(chuàng)作或綜合，就可以大大豐富信息的表現(xiàn)力和增強(qiáng)效果。這些創(chuàng)作與綜合也不僅僅局限在對(duì)信息數(shù)據(jù)方面，也包括對(duì)設(shè)備、系統(tǒng)、網(wǎng)絡(luò)等多種要素的重組和綜合，目的都是能夠更好地組織信息、處理信息和表現(xiàn)信息，從而使用戶更全面、更準(zhǔn)確地接受信息。7.1.3多媒體技術(shù)

信息社會(huì)的多媒體需求是多媒體技術(shù)產(chǎn)生和發(fā)展的最根本的原因，而計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)通信技術(shù)和數(shù)字信息處理技術(shù)的實(shí)質(zhì)性進(jìn)展是多媒體技術(shù)產(chǎn)生和發(fā)展的基礎(chǔ)。多媒體不是多種媒體的簡單匯合，而是指多種媒體的有機(jī)集合體。多媒體的產(chǎn)生必定是經(jīng)過數(shù)據(jù)獲取、整理、編輯、存儲(chǔ)、展示和傳遞等多種處理過程，這些處理過程也必定有一系列的方法和技術(shù)的支持。當(dāng)多媒體引人到網(wǎng)絡(luò)通信領(lǐng)域時(shí)，就產(chǎn)生了多媒體網(wǎng)絡(luò)技術(shù)。在這些多媒體技術(shù)中，主要包括存儲(chǔ)與訪問技術(shù)、表現(xiàn)與表達(dá)技術(shù)、實(shí)時(shí)處理技術(shù)、傳輸和控制技術(shù)、接口技術(shù)和人機(jī)交互技術(shù)等。人機(jī)交互技術(shù)最終要向著更接近于人的自然方式發(fā)展，使多媒體系統(tǒng)具有聽覺、視覺和觸覺等功能，從而以更自然的方式與人類交互。7.1.3多媒體技術(shù)

1．多媒體計(jì)算機(jī)技術(shù)多媒體計(jì)算機(jī)技術(shù)（MultimediaComputerTechnology），是指計(jì)算機(jī)綜合處理多種媒體信息，在文本、圖形、圖像、音頻和視頻等多種信息之間建立邏輯關(guān)系，并將多媒體設(shè)備集成為一個(gè)具有交互性能的應(yīng)用系統(tǒng)的技術(shù)。早期的計(jì)算機(jī)只能進(jìn)行二進(jìn)制運(yùn)算，為了方便記憶和使用才發(fā)展了字母、數(shù)符和簡單的符號(hào)，即我們稱之為ASCII碼的那些符號(hào)。在計(jì)算機(jī)上使用ASCII碼，實(shí)際上標(biāo)志著圖形技術(shù)的開始，因?yàn)檫@些字母、數(shù)符和簡單符號(hào)的顯示就是由點(diǎn)組成的圖形。根據(jù)這種原理，研究人員迅速地開發(fā)出擴(kuò)展的ASCII碼和中文編碼等，使得計(jì)算機(jī)的功能逐步從單純的科學(xué)計(jì)算擴(kuò)大到數(shù)據(jù)處理。我們可以認(rèn)為，編碼是多媒體發(fā)展的基礎(chǔ)，它不僅在計(jì)算機(jī)上成功地創(chuàng)造了數(shù)字、符號(hào)和文字，而且逐步創(chuàng)建了計(jì)算機(jī)音頻、動(dòng)畫和視頻。這就是計(jì)算機(jī)多媒體化的演變過程，也就是多媒體數(shù)字化的過程。多媒體的數(shù)字化是一種綜合的電子信息技術(shù)，它推動(dòng)了現(xiàn)實(shí)世界應(yīng)用系統(tǒng)的數(shù)字化進(jìn)程，首先影響著傳媒系統(tǒng)和娛樂界，逐漸使廣播、影視、錄像和游戲等多媒體應(yīng)用朝著數(shù)字化方向發(fā)展。多媒體計(jì)算機(jī)技術(shù)是從20世紀(jì)80年代中后期開始受到普遍關(guān)注的，由于多媒體技術(shù)的應(yīng)用，加快了社會(huì)信息化發(fā)展的速度，同時(shí)應(yīng)用市場(chǎng)對(duì)多媒體數(shù)字化技術(shù)提出了更高的要求，促進(jìn)著多媒體技術(shù)的發(fā)展。隨后出現(xiàn)的多媒體存儲(chǔ)技術(shù)、多媒體輸出技術(shù)、多媒體網(wǎng)絡(luò)和通信技術(shù)使得我們今天擁有了強(qiáng)大的處理多媒體信息的能力。多媒體計(jì)算機(jī)技術(shù)的應(yīng)用，改善了人類信息的交流方式，縮短了人類傳遞信息的路徑，給人們的學(xué)習(xí)、工作、生活和娛樂帶來深刻的變革。7.1.3多媒體技術(shù)

2．多媒體網(wǎng)絡(luò)技術(shù)多媒體網(wǎng)絡(luò)技術(shù)（MultimediaNetworksTechnology）是綜合性的技術(shù)，它的目標(biāo)是實(shí)現(xiàn)多個(gè)多媒體計(jì)算機(jī)系統(tǒng)的聯(lián)合應(yīng)用。而多媒體的網(wǎng)絡(luò)應(yīng)用對(duì)網(wǎng)絡(luò)技術(shù)提出了相當(dāng)高的要求，網(wǎng)絡(luò)不僅要保證多媒體信息的安全傳遞，而且要保證多媒體及時(shí)到達(dá)。較為突出的問題是通信的帶寬、地址分配、路由控制、實(shí)時(shí)同步以及分布處理等。隨著信息高速公路(NII計(jì)劃，NationalInternetInfrastrcture)的建立，通信的帶寬逐漸擴(kuò)大，寬帶使得多媒體信息的傳送速率得以提高。同時(shí)，由于多媒體通信中以下四項(xiàng)關(guān)鍵技術(shù)的改進(jìn)，多媒體網(wǎng)絡(luò)應(yīng)用逐漸走入人們的工作和生活中。（1）網(wǎng)絡(luò)多媒體數(shù)據(jù)處理技術(shù)，特別是高效的信息壓縮與解壓縮技術(shù)。（2）網(wǎng)絡(luò)技術(shù)，提供更可靠的通信鏈路，保證實(shí)時(shí)多媒體的交互。（3）分布處理技術(shù)，支持計(jì)算機(jī)的協(xié)同工作。（4）支持更多媒體處理的終端技術(shù)?？傊嗝襟w網(wǎng)絡(luò)技術(shù)主要涉及多媒體網(wǎng)絡(luò)管理、多媒體通信、通信介質(zhì)、異種網(wǎng)絡(luò)間連接和傳輸控制、窄帶和寬帶傳輸控制、多媒體文件傳送、多媒體實(shí)時(shí)傳播、多媒體質(zhì)量的控制、網(wǎng)絡(luò)存儲(chǔ)等技術(shù)。7.1.3多媒體技術(shù)7.1.4常見的多媒體元素多媒體元素是指多媒體應(yīng)用中可顯示給用戶的媒體形式。目前，常見的多媒體元素主要有文本、圖形、圖象、動(dòng)畫、聲音、視頻等。1．文本文本，它是字處理程序的基礎(chǔ)，并且仍作為基本信息用于多媒體程序中。通過對(duì)文本顯示方式的組織，多媒體應(yīng)用系統(tǒng)可以使顯示的信息更易于理解。文本數(shù)據(jù)可以在文本編輯軟件里制作，如Word所編輯的文本文件大都可被輸入到多媒體應(yīng)用設(shè)計(jì)之中，也可以直接在制作圖形的軟件或多媒體編輯軟件中一起制作。文本文件中，如果只有文本信息，沒有其他任何有關(guān)格式的信息，則稱為非格式化文本文件或純文本文件；而帶有各種文本排版信息等格式信息的文本文件，稱格式化文本文件。作為多媒體程序員，你可以選擇要顯示文本的字體、顏色、大小等，通過用多種形式顯式文本，人們更易理解多媒體應(yīng)用程序試圖表達(dá)的信息。7.1.4常見的多媒體元素

圖形一般指用計(jì)算機(jī)繪制的畫面，如直線、圓、圓弧、矩形、任意曲線或圖表等。圖形的格式是一組描述點(diǎn)、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合。在圖形文件中只記錄生成圖的算法和圖上的某些特征點(diǎn)，因此也稱矢量圖。通過讀取這些指令并將其轉(zhuǎn)換為屏幕上所顯示的形狀和顏色而生成圖形的軟件通常稱為繪圖程序。在計(jì)算機(jī)還原輸出時(shí)，相鄰的特征點(diǎn)之間用特定的諸多段小直線連接就形成曲線，若曲線是一條封閉的圖形，也可靠著色算法來填充顏色。圖形的最大優(yōu)點(diǎn)在于可以分別控制處理圖中的各個(gè)部分，如在屏幕上移動(dòng)、旋轉(zhuǎn)、放大、縮小、扭曲而不失真，不同的物體還可在屏幕上重疊并保持各自的特性，必要時(shí)仍可分開。因此，圖形主要用于表示線框型的圖畫、工程制圖、美術(shù)字等。絕大多數(shù)CAD和3D造型軟件使用矢量圖形來作為基本圖形存儲(chǔ)格式。7.1.4常見的多媒體元素對(duì)圖形來說，數(shù)據(jù)的記錄格式是很關(guān)鍵的內(nèi)容，記錄格式的好壞，直接影響到圖形數(shù)據(jù)的操作方便與否。圖形技術(shù)的關(guān)鍵是圖形的制作和再現(xiàn)，圖形只保存算法和特征點(diǎn)，所以相對(duì)于圖像的大數(shù)據(jù)量來說，它占用的存儲(chǔ)空間也就較小，但在屏幕每次顯示時(shí)，它都需要經(jīng)過重新計(jì)算。另外，在打印輸出和放大時(shí)，圖形的質(zhì)量較高。3．靜態(tài)圖像圖像是指由輸入設(shè)備捕捉的實(shí)際場(chǎng)景畫面，或以數(shù)字化形式存儲(chǔ)的任意畫面。靜止的圖像是一個(gè)矩陣，由一些排成行列的點(diǎn)組成，這些點(diǎn)稱之為像素點(diǎn)（pixel），這種圖像稱為位圖（bitmap）。位圖中的位用來定義圖中每個(gè)像素點(diǎn)的顏色和亮度。對(duì)于黑白線條圖常用1位值表示，對(duì)灰度圖常用4位（16種灰度等級(jí)）或8位（256種灰度等級(jí)）表示該點(diǎn)的亮度，而彩色圖像則有多種描述方法。位圖圖像適合于表現(xiàn)層次和色彩比較豐富、包含大量細(xì)節(jié)的圖像。圖像需由硬件（顯示卡）合成顯示。7.1.4常見的多媒體元素圖像文件在計(jì)算機(jī)中存儲(chǔ)格式有多種，如BMP、PCX、TIF、TGA、GlF、JPG等，一般數(shù)據(jù)量都較大。它除了可以表達(dá)真實(shí)的照片，也可以表現(xiàn)復(fù)雜繪畫的某些細(xì)節(jié)，并具有靈活和富于創(chuàng)造力等特點(diǎn)。圖像的關(guān)鍵技術(shù)是圖像掃描、編輯、壓縮、快速解壓和色彩一致性再現(xiàn)等。圖像處理時(shí)一般需要考慮三個(gè)因素：分辨率（有屏幕分辨率、圖像分辨率和像素分辨率三種）、圖像灰度、圖像文件大小。對(duì)圖像文件可進(jìn)行改變圖像尺寸、對(duì)圖像進(jìn)行編輯修改、調(diào)節(jié)調(diào)色板等處理。必要時(shí)可用軟件技術(shù)減少圖像灰度，以求用較少的顏色描繪圖像，并力求達(dá)到較好的效果。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，圖形和圖像之間的界限已越來越小，比如，文字或線條表示的圖形在掃描到計(jì)算機(jī)中時(shí)，從圖像的角度來看，均是一種最簡單的二維數(shù)組表示的點(diǎn)陣圖。在經(jīng)過計(jì)算機(jī)自動(dòng)識(shí)別出文字或自動(dòng)跟蹤出線條時(shí)，點(diǎn)陣圖就可轉(zhuǎn)換為矢量圖。目前漢字手寫體的自動(dòng)識(shí)別、圖文混排的印刷體自動(dòng)識(shí)別、印鑒以及面部照片的自動(dòng)識(shí)別等，也都是圖像處理技術(shù)借用了圖形生成技術(shù)的內(nèi)容。而地理信息和自然現(xiàn)象的真實(shí)感圖形表示、計(jì)算機(jī)動(dòng)畫和三維數(shù)據(jù)可視化等領(lǐng)域，在三維圖形構(gòu)造時(shí)又都采用了圖像信息的描述方法。因此，了解并采用恰當(dāng)?shù)膱D形、圖像形式，注重兩者之間的聯(lián)系，是人們目前在圖形、圖像使用時(shí)應(yīng)考慮的重點(diǎn)。7.1.4常見的多媒體元素4．動(dòng)畫動(dòng)畫是運(yùn)動(dòng)的圖畫，實(shí)質(zhì)是一幅幅靜態(tài)的圖像的連續(xù)播放。動(dòng)畫的連續(xù)播放既指時(shí)間上的連續(xù)，也指圖像內(nèi)容上的連續(xù)，即播放的相鄰兩幅圖像之間內(nèi)容相差不大。人眼看到的任何物體，即使它馬上消失，也仍然會(huì)在人的視覺中停留約1/24秒，這就是人眼所產(chǎn)生的視覺暫留現(xiàn)象。如果一幅畫還沒有完全在視覺中消失就立即看下一幅畫，兩幅畫就自然聯(lián)系起來，從而給人一種流暢的視覺變化效果，人腦中產(chǎn)生的便是處于動(dòng)態(tài)的物體。因此，在電影標(biāo)準(zhǔn)中規(guī)定，每秒播放24幀畫面，其原因也是顯而易見的。在動(dòng)畫的制作過程中，重要的不僅是設(shè)計(jì)好每幅圖，同時(shí)要考慮物體運(yùn)動(dòng)的各種因素，包括物體運(yùn)動(dòng)的軌跡、方向，以及所需的時(shí)間。為了顯示物體連續(xù)變化的效果，要求上一幅畫面和下一幅畫面之間的形態(tài)變化不能太大。7.1.4常見的多媒體元素計(jì)算機(jī)動(dòng)畫實(shí)現(xiàn)的方式可分為造型動(dòng)畫和幀動(dòng)畫兩種。前者是對(duì)每一個(gè)運(yùn)動(dòng)的物體分別進(jìn)行設(shè)計(jì)，賦予每個(gè)對(duì)象一些特征，如大小、形狀、顏色等，然后用這些對(duì)象構(gòu)成完整的幀畫面。造型動(dòng)畫每幀由圖形、聲音、文字、調(diào)色板等造型元素組成，控制動(dòng)畫中每一幀中圖元表演和行為的是由制作表組成的腳本。幀動(dòng)畫則是由一幅幅位圖組成的連續(xù)的畫面，就像電影膠片或視頻畫面一樣，要分別設(shè)計(jì)每個(gè)屏幕顯示的畫面。數(shù)字動(dòng)畫的制作在時(shí)間和質(zhì)量上都是令人稱道的。通過計(jì)算機(jī)的各種多媒體軟件可方便快捷地完成角色的創(chuàng)建，然后利用動(dòng)畫編輯軟件實(shí)現(xiàn)動(dòng)畫腳本的制作。7.1.4常見的多媒體元素5．聲音把聲音融入多媒體程序中，用戶可以得到使用其它通信方式無法得到的信息。某些類型的信息不用聲音很難有效表達(dá)，例如用文字準(zhǔn)確描述心臟的跳動(dòng)聲以及大海的聲音幾乎是不可能的。聲音也可以加深用戶對(duì)用其它媒體表示的信息的理解，例如可以把看到的動(dòng)畫片講述出來，它可以幫助人們理解應(yīng)用程序從而更好地理解多媒體。學(xué)習(xí)研究專家已經(jīng)發(fā)現(xiàn)用多種感官表達(dá)的信息對(duì)信息的后期記憶很有幫助。最重要的是，多媒體信息可以引起用戶的更大興趣。聲音有幾種不同的格式。今天，也許最普遍的聲音類型是聲音紅皮書，這是為CD消費(fèi)者提供的標(biāo)準(zhǔn)，它作為一種國際標(biāo)準(zhǔn)并正式公布為IEC908。之所以被稱作聲音紅皮書是由于描述這種格式的書的封面是紅色的。聲音紅皮書也被用于多媒體程序，它是獲得高質(zhì)量聲音的基礎(chǔ)。7.1.4常見的多媒體元素另一種聲音格式是Windows聲波文件，它只能用于Windows環(huán)境下的PC機(jī)。聲波文件既包含用于回放聲音的實(shí)際數(shù)字?jǐn)?shù)據(jù)和文件頭，文件頭提供有關(guān)分辨率及回放速度的附加信息。聲波文件可以存儲(chǔ)通過麥克風(fēng)錄入的所有聲音。最后一種聲音格式稱為樂器數(shù)字接口，縮寫為MIDI。MIDI格式實(shí)際上是由樂器制造商制訂的，MIDI實(shí)際并非數(shù)字化的聲音，而是描述要演奏的音符的信息集合。MIDI不能儲(chǔ)存除音符之外的任何東西，MIDI音樂可以由定序器生成。對(duì)聲音的處理主要是編輯聲音和聲音不同存儲(chǔ)格式之間的轉(zhuǎn)換，計(jì)算機(jī)音頻技術(shù)主要包括聲音的采集、數(shù)字化、壓縮——解壓縮以及聲音的播放。7.1.4常見的多媒體元素6.視頻視頻是圖像數(shù)據(jù)的一種，是有若干聯(lián)系的圖像數(shù)據(jù)連續(xù)播放便形成了視頻。視頻容易讓人聯(lián)想到電視，但電視視頻是模擬信號(hào)，而計(jì)算機(jī)視頻是數(shù)字信號(hào)，雖然目前正在對(duì)兩種視頻進(jìn)行相融地開發(fā)，但兩者之間仍有差距，畫面并未完全兼容。計(jì)算機(jī)視頻是數(shù)字的，計(jì)算機(jī)視頻可來自錄像帶、攝像機(jī)等視頻信號(hào)源的影像，但由于這些視頻信號(hào)的輸出大多是標(biāo)準(zhǔn)的彩色全電視信號(hào)，要將其輸入計(jì)算機(jī)不僅要有視頻捕捉，實(shí)現(xiàn)由模擬向數(shù)字信號(hào)的轉(zhuǎn)換，還要有壓縮、快速解壓縮及播放的相應(yīng)的硬軟件處理設(shè)備。模擬視像設(shè)備中的視頻信號(hào)是模擬信號(hào)，如果要將模擬視像設(shè)備中的模擬視頻信號(hào)轉(zhuǎn)變?yōu)閿?shù)字視頻信號(hào)，就需要通過視頻卡的處理。模擬攝像機(jī)是最常見的模擬視像設(shè)備，我們要從模擬攝像機(jī)中獲取數(shù)字視頻，一般先將視頻源影像的顏色和亮度信息轉(zhuǎn)變?yōu)殡娦盘?hào)，再記錄到存儲(chǔ)介質(zhì)。然后由視頻捕捉設(shè)備進(jìn)行采樣、量化和編碼，也就是將模擬視頻信號(hào)通過A/D轉(zhuǎn)換器轉(zhuǎn)變?yōu)閿?shù)字的“0”或“1”。計(jì)算機(jī)的作用是控制視頻采集卡的實(shí)時(shí)工作，并將采集到的數(shù)字視頻以一定的格式存儲(chǔ)在介質(zhì)上。視頻信息數(shù)字化的目的是為了將模擬視頻信號(hào)經(jīng)模數(shù)轉(zhuǎn)換和彩色空間變換轉(zhuǎn)換成數(shù)字計(jì)算機(jī)可以顯示和處理的數(shù)字信號(hào)。7.1.4常見的多媒體元素6.視頻視頻是圖像數(shù)據(jù)的一種，是有若干聯(lián)系的圖像數(shù)據(jù)連續(xù)播放便形成了視頻。視頻容易讓人聯(lián)想到電視，但電視視頻是模擬信號(hào)，而計(jì)算機(jī)視頻是數(shù)字信號(hào)，雖然目前正在對(duì)兩種視頻進(jìn)行相融地開發(fā)，但兩者之間仍有差距，畫面并未完全兼容。計(jì)算機(jī)視頻是數(shù)字的，計(jì)算機(jī)視頻可來自錄像帶、攝像機(jī)等視頻信號(hào)源的影像，但由于這些視頻信號(hào)的輸出大多是標(biāo)準(zhǔn)的彩色全電視信號(hào)，要將其輸入計(jì)算機(jī)不僅要有視頻捕捉，實(shí)現(xiàn)由模擬向數(shù)字信號(hào)的轉(zhuǎn)換，還要有壓縮、快速解壓縮及播放的相應(yīng)的硬軟件處理設(shè)備。模擬視像設(shè)備中的視頻信號(hào)是模擬信號(hào)，如果要將模擬視像設(shè)備中的模擬視頻信號(hào)轉(zhuǎn)變?yōu)閿?shù)字視頻信號(hào)，就需要通過視頻卡的處理。模擬攝像機(jī)是最常見的模擬視像設(shè)備，我們要從模擬攝像機(jī)中獲取數(shù)字視頻，一般先將視頻源影像的顏色和亮度信息轉(zhuǎn)變?yōu)殡娦盘?hào)，再記錄到存儲(chǔ)介質(zhì)。然后由視頻捕捉設(shè)備進(jìn)行采樣、量化和編碼，也就是將模擬視頻信號(hào)通過A/D轉(zhuǎn)換器轉(zhuǎn)變?yōu)閿?shù)字的“0”或“1”。計(jì)算機(jī)的作用是控制視頻采集卡的實(shí)時(shí)工作，并將采集到的數(shù)字視頻以一定的格式存儲(chǔ)在介質(zhì)上。視頻信息數(shù)字化的目的是為了將模擬視頻信號(hào)經(jīng)模數(shù)轉(zhuǎn)換和彩色空間變換轉(zhuǎn)換成數(shù)字計(jì)算機(jī)可以顯示和處理的數(shù)字信號(hào)。7.1.5多媒體技術(shù)應(yīng)用

多媒體技術(shù)的應(yīng)用，極大地沖擊著傳統(tǒng)信息處理的理念，多媒體計(jì)算機(jī)應(yīng)用系統(tǒng)逐步迸進(jìn)入政治、軍事、企業(yè)、教育、藝術(shù)、家庭、商業(yè)、旅游、娛樂等領(lǐng)域，全方位地改變著人類的生活和工作方式。它的應(yīng)用領(lǐng)域還在擴(kuò)大，大有涵蓋所有領(lǐng)域之勢(shì)。隨著多媒體技術(shù)的發(fā)展，必定會(huì)有更多新的應(yīng)用領(lǐng)域，具有更加廣闊的前景。下面簡單介紹一些多媒體技術(shù)的主要應(yīng)用領(lǐng)域。1．教育與培訓(xùn)世界各國的教育學(xué)家們正努力研究用先進(jìn)的多媒體技術(shù)改進(jìn)教學(xué)與培訓(xùn)。以多媒體計(jì)算機(jī)為核心的現(xiàn)代教育技術(shù)使教學(xué)手段豐富多彩，使計(jì)算機(jī)輔助教學(xué)（CAI）如虎添翼。實(shí)踐已證明，多媒體教學(xué)系統(tǒng)的優(yōu)點(diǎn)主要有：（1）學(xué)習(xí)效果好；（2）說服力強(qiáng)；（3）教學(xué)信息的集成使教學(xué)內(nèi)容豐富，信息量大；（4）感官整體交互，學(xué)習(xí)效率高；（5）各種媒體與計(jì)算機(jī)結(jié)合可以使人類的感官與想象力相互配合，產(chǎn)生前所未有的思維空間與創(chuàng)造資源。計(jì)算機(jī)多媒體教學(xué)已在較大范圍內(nèi)替代了基于傳統(tǒng)的教學(xué)方式，從以教師為中心的教學(xué)模式，逐步向以學(xué)生為中心、學(xué)生自主學(xué)習(xí)的新型教學(xué)模式轉(zhuǎn)移。7.1.5多媒體技術(shù)應(yīng)用2．桌面出版與辦公自動(dòng)化桌面出版物主要包括印刷品、表格、布告、廣告、宣傳品、海報(bào)、市場(chǎng)圖表、藍(lán)圖及商品圖等。多媒體技術(shù)為辦公室增加了控制信息的能力和充分表達(dá)思想的機(jī)會(huì)，許多應(yīng)用程序都是為提高工作人員的工作效率而設(shè)計(jì)的，從而產(chǎn)生了許多新型的辦公自動(dòng)化系統(tǒng)。由于采用了先進(jìn)的數(shù)字影像和多媒體計(jì)算機(jī)技術(shù)，把文件掃描儀、圖文傳真機(jī)、文件資料微縮系統(tǒng)、通信網(wǎng)絡(luò)等現(xiàn)代化辦公設(shè)備綜合管理起來，將構(gòu)成全新的辦公自動(dòng)化系統(tǒng)，成為新的發(fā)展方向。3．多媒體電子出版物國家新聞出版署對(duì)電子出版物定義為“電子出版物，是指以數(shù)字代碼方式將圖、文、聲、像等信息存儲(chǔ)在磁、光、電介質(zhì)上，通過計(jì)算機(jī)或類似設(shè)備閱讀使用，并可復(fù)制發(fā)行的大眾傳播媒體”。電子出版物的內(nèi)容可分為電子圖書、辭書手冊(cè)、文檔資料、報(bào)刊雜志、教育培訓(xùn)、娛樂游戲、宣傳廣告、信息咨詢、簡報(bào)等，許多作品是多種類型的混合。電子出版物的特點(diǎn)：集成性和交互性，即使用媒體種類多，表現(xiàn)力性，信息的檢索和使用方式更加靈活方便，特別是信息的交互性不僅能向讀者提供信息，而且能接受讀者的反饋。電子出版物的出版形式有電子網(wǎng)絡(luò)出版和單行電子書刊兩大類。7.1.5多媒體技術(shù)應(yīng)用電子網(wǎng)絡(luò)出版是以數(shù)據(jù)庫和通信網(wǎng)絡(luò)為基礎(chǔ)的新出版形式，在計(jì)算機(jī)管理和控制下，向讀者提供網(wǎng)絡(luò)聯(lián)機(jī)服務(wù)、傳真出版、電子報(bào)刊、電子郵件、教學(xué)及影視等多種服務(wù)。而單行電子書刊載體有軟磁盤（FD）、只讀光盤（CD-ROM）、交互式光盤（CD-I）、圖文光盤（CD-G）、照片光盤（Photo-D）、集成電路卡（IC）和新聞出版者認(rèn)定的其它載體。4．工程設(shè)計(jì)計(jì)算機(jī)輔助設(shè)計(jì)廣泛應(yīng)用于工程輔助設(shè)計(jì)、輔助制圖、電路設(shè)計(jì)以及印線布線等工作中。以平面圖形、圖像設(shè)計(jì)和處理為主的Photoshop、CorelDraw、FreeHand等軟件，已是廣告和出版界最為青睞和主要的工具，利用它們可輕松制作出精美的廣告、噴繪和刻字等作品。三維圖形制圖軟件AutoCAD由于其功效卓越已成為工程輔助設(shè)計(jì)中的最為重要的工具。同時(shí)現(xiàn)在的電子像冊(cè)、電子畫冊(cè)也比比皆是。7.1.5多媒體技術(shù)應(yīng)用

5．藝術(shù)和娛樂有聲信息已經(jīng)廣泛地用于各種應(yīng)用系統(tǒng)中，通過聲音錄制可獲得各種聲音或語音，用于宣傳、演講或語音訓(xùn)練等應(yīng)用系統(tǒng)中，或作為配音插人電子講稿、電子廣告、動(dòng)畫和影視中。多媒體計(jì)算機(jī)技術(shù)也為音樂創(chuàng)作提供了便捷的方法，使用MlDI音樂標(biāo)準(zhǔn)接口和合成音樂編輯軟件（如Walkcake、樂音軟件等），可以直接通過計(jì)算機(jī)進(jìn)行創(chuàng)作、編輯、調(diào)試和播放。以mid、rmi為擴(kuò)展名的MIDI文件不能保存歌詞、特殊音樂符號(hào)等信息。而以tri為擴(kuò)展名的合成音樂格式文件可以詞曲共存，還可以記錄特殊音樂符號(hào)。利用專門的MIDI合成音樂的芯片，可以得到幾百種樂器的聲音，并組合出大型樂隊(duì)的演奏效果，聲音非常優(yōu)美。許多數(shù)字影視和娛樂工具已進(jìn)人了我們的生活，如WindowsMediaPlayer、RealOnePlayer等具有音/視頻節(jié)目的搜索、管理和播放功能。大部分存放光盤上的音/視頻節(jié)目也已隨手可得，使我們能自主選擇和播放音/視頻節(jié)目。另一方面，電子游戲軟件，無論是在色彩、圖像、動(dòng)畫、音頻的創(chuàng)作表現(xiàn)，還是在游戲內(nèi)容的精彩程度上都是空前的。7.1.5多媒體技術(shù)應(yīng)用6．多媒體通信多媒體技術(shù)的發(fā)展和網(wǎng)絡(luò)寬帶的普及，縮短了人與人之間的距離，多媒體通信涉及多媒體文件傳遞、網(wǎng)絡(luò)音視頻會(huì)議、多媒體實(shí)時(shí)對(duì)話、多媒體信息檢索等多個(gè)方面，多媒體網(wǎng)絡(luò)應(yīng)用已經(jīng)融入到人們的日常工作和生活中。（1）多媒體文件傳遞是指使用包含多媒體信息的文件的通信方式。不要求具有實(shí)時(shí)和交互功能。如萬維網(wǎng)、電子郵件、新聞組、文件的上傳和下載等。（2）網(wǎng)絡(luò)音/視頻會(huì)議是指結(jié)合了文本、聽覺、視覺多種媒體形式，提供實(shí)時(shí)交互的功能，可用于雙方或多方參與的多媒體通信方式。如遠(yuǎn)程會(huì)議、遠(yuǎn)程培訓(xùn)、遠(yuǎn)程醫(yī)療、遠(yuǎn)程貿(mào)易、遠(yuǎn)程監(jiān)控和協(xié)同工作等。在網(wǎng)絡(luò)視頻會(huì)議中，聲音、圖像、文本等多種信息可以從一個(gè)地方傳送到另一個(gè)地方，使分布在各地的與會(huì)者有身臨其境的感覺。與會(huì)者既能了解各個(gè)分會(huì)場(chǎng)的會(huì)議情況，看到各會(huì)場(chǎng)、發(fā)言者、實(shí)物和資料，聽到同步傳遞過來的聲音，也能通過多媒體通信方式發(fā)表演說、出示資料、傳真文件或者使用網(wǎng)絡(luò)的共享電子白板。7.1.5多媒體技術(shù)應(yīng)用（3）多媒體實(shí)時(shí)對(duì)話是指利用TCP/IP協(xié)議，在實(shí)時(shí)連接基礎(chǔ)上進(jìn)行語音通信的IP電話，早期的IP電話是指利用因特網(wǎng)（IP網(wǎng)）實(shí)現(xiàn)PC機(jī)與PC機(jī)之間的通話。隨著IP網(wǎng)和公共電話網(wǎng)的結(jié)合，IP電話已經(jīng)發(fā)展成能實(shí)現(xiàn)PC機(jī)到普通電話、普通電話到普通電話之間的通話。（4）多媒體信息檢索是多媒體通信中最普遍的應(yīng)用，通過如搜狐(http：/)、雅虎()等搜索引擎來實(shí)現(xiàn)因特網(wǎng)中的數(shù)據(jù)、文檔、新聞、圖像、影視、音樂等各種信息的檢索。（5）廣播電視、計(jì)算機(jī)網(wǎng)絡(luò)和通信網(wǎng)絡(luò)的結(jié)合產(chǎn)生了交互式電視，從而擴(kuò)展了多媒體信息檢索的途徑。交互式電視(ITV)是利用有線電視網(wǎng)進(jìn)行傳播的。交互式電視具有頻道利用率高、清晰度高、能提供交互功能等許多優(yōu)點(diǎn)。可實(shí)現(xiàn)如電視列表、電影點(diǎn)播、新聞點(diǎn)播、卡拉OK服務(wù)、游戲、遠(yuǎn)程購物)、家庭銀行服務(wù)、因特網(wǎng)訪問等多媒體信息的檢索。多媒體通信的應(yīng)用在很大程度上改變了人們的工作和生活方式，人們不僅能提高工作效率、降低費(fèi)用開支，并能盡情享受虛擬現(xiàn)實(shí)的無限樂趣。更重要的是，多媒體通信的應(yīng)用進(jìn)一步促進(jìn)了社會(huì)的飛速發(fā)展。通信技術(shù)與計(jì)算機(jī)技術(shù)的結(jié)合產(chǎn)生了計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，隨著網(wǎng)絡(luò)的發(fā)展完善，多媒體計(jì)算機(jī)技術(shù)也在通信工程中發(fā)揮著重要的作用。7.2基于內(nèi)容的多媒體信息檢索系統(tǒng)7.2.1基于內(nèi)容檢索的概念基于內(nèi)容（Contentbased）的多媒體信息檢索研究伴隨著信息時(shí)代的到來而展開?，F(xiàn)在，多媒體數(shù)據(jù)已經(jīng)廣泛用于Internet和企事業(yè)信息系統(tǒng)中，用戶不僅要存取常規(guī)的字符數(shù)字?jǐn)?shù)據(jù)，而且越來越多的商業(yè)活動(dòng)、事務(wù)交易和信息表現(xiàn)將包含多媒體數(shù)據(jù)。如何有效地按照多媒體數(shù)據(jù)的特性去存取多媒體數(shù)據(jù)呢？首先想到的方法就是利用常規(guī)關(guān)系數(shù)據(jù)庫管理系統(tǒng)來管理多媒體數(shù)據(jù)。對(duì)于圖像來說，實(shí)際上在20世紀(jì)70年代人們就開展了對(duì)圖像數(shù)據(jù)庫的研究，方法是利用人工輸入圖像的各種屬性，建立圖像的元數(shù)據(jù)庫來支持查詢。但是，隨著20世紀(jì)90年代多媒體技術(shù)的發(fā)展，可獲取的圖像和其他多媒體數(shù)據(jù)越來越多，數(shù)據(jù)庫容量不斷增大，而這種用人工輸入屬性和注釋的方法就暴露出了它的缺點(diǎn)：一是人工注釋需要大量的人力，尤其是對(duì)于大型的多媒體信息庫，如Web網(wǎng)絡(luò)資源、數(shù)字圖書館等。在這樣的信息環(huán)境中，每天都有大量的新資料出現(xiàn)，需要及時(shí)把這些資料歸檔。沒有計(jì)算機(jī)的自動(dòng)或輔助處理，資料的更新周期就不能滿足用戶的需要；二是人工注釋難以解決蘊(yùn)藏在多媒體數(shù)據(jù)中豐富的內(nèi)容以及內(nèi)容感知描述的主觀性。人們常說，一幅圖勝過千言萬語，而音視頻等媒體包含了更豐富的內(nèi)容，這些內(nèi)容的許多部分很難用文字來描述清楚；三是對(duì)于實(shí)時(shí)廣播流媒體的處理，手工處理是完全不可行的，必須用計(jì)算機(jī)進(jìn)行實(shí)時(shí)的內(nèi)容分析。由此，基于內(nèi)容的多媒體信息檢索研究應(yīng)運(yùn)而生。7.2.1基于內(nèi)容檢索的概念目前大多數(shù)多媒體的應(yīng)用還很少使用到不同媒體間的語義信息，相當(dāng)多的人把多媒體只看做為一種界面工具，而并沒有在各種媒體的內(nèi)容上建立起聯(lián)系，并且依據(jù)這些聯(lián)系組織、處理和使用這些信息。從另外一個(gè)方面來看，多媒體的語義復(fù)雜性也是帶來其語義瓶頸的重要原因。因此，必須要有相應(yīng)的方法和工具，對(duì)多媒體的數(shù)據(jù)按不同的形式和來源獲取、增加與任務(wù)相關(guān)的語義，以方便對(duì)多媒體信息內(nèi)容的檢索。這對(duì)于多媒體信息系統(tǒng)來說應(yīng)該是基本的要求。如何使系統(tǒng)直接從各種媒體中獲取信息線索，并將這些線索用于數(shù)據(jù)庫中的檢索操作，幫助用戶從數(shù)據(jù)庫中檢索出合適的多媒體信息對(duì)象，這就是基于內(nèi)容檢索（ContentBasedRetrieval，CBR）的主要研究內(nèi)容，這也是多媒體數(shù)據(jù)庫用戶接口的基本內(nèi)容7.2.1基于內(nèi)容檢索的概念所謂基于內(nèi)容檢索，就是從媒體數(shù)據(jù)中提取出特定的信息線索，然后根據(jù)這些線索從大量存儲(chǔ)在數(shù)據(jù)庫中的媒體中進(jìn)行查找，檢索出具有相似特征的媒體數(shù)據(jù)。對(duì)多媒體數(shù)據(jù)來說，每一種媒體數(shù)據(jù)都具有難以用符號(hào)化方法描述的信息線索。如圖像中對(duì)某對(duì)象的形狀、顏色，視頻中的對(duì)象運(yùn)動(dòng)、鏡頭的切換，聲音的音調(diào)、含義等。雖然人能夠理解這些媒體的含義，但要利用這些語義線索對(duì)多媒體數(shù)據(jù)庫進(jìn)行檢索，就不得不事先輸入并與媒體數(shù)據(jù)一起存儲(chǔ)對(duì)應(yīng)的字符信息，對(duì)這些媒體的語義進(jìn)行描述；檢索時(shí)，由人把這些語義再轉(zhuǎn)換為相應(yīng)的字符，根據(jù)字符的匹配查找相應(yīng)的媒體信息。很顯然，這個(gè)轉(zhuǎn)換過程妨礙了有效地交互，被稱為“轉(zhuǎn)換障礙”，很難滿足用戶的各種各樣的需求。對(duì)設(shè)計(jì)者來說，給多媒體數(shù)據(jù)賦予能夠表示全部語義特征的關(guān)鍵詞也非常困難，這與個(gè)人的經(jīng)驗(yàn)、知識(shí)和對(duì)媒體信息的理解程度密切相關(guān)，而且也并非所有對(duì)象的所有特征都能用字符描述出來?；趦?nèi)容檢索就是從媒體中直接地提取媒體的語義線索，根據(jù)這些語義線索進(jìn)行檢索。這就把檢索過程與語義的提取直接地聯(lián)系到了一起，使得檢索過程更加有效、適應(yīng)性更強(qiáng)。7.2.1基于內(nèi)容檢索的概念7.2.2基于內(nèi)容檢索的體系結(jié)構(gòu)基于內(nèi)容檢索系統(tǒng)結(jié)構(gòu)如圖7-2-1所示，由特征分析子系統(tǒng)、特征提取子系統(tǒng)、數(shù)據(jù)庫子系統(tǒng)、查詢接口子系統(tǒng)、檢索引擎子系統(tǒng)和索引過濾子系統(tǒng)等組成，同時(shí)需要相應(yīng)的知識(shí)輔助支持特定領(lǐng)域的內(nèi)容處理。7.2.2基于內(nèi)容檢索的體系結(jié)構(gòu)

7.2.2基于內(nèi)容檢索的體系結(jié)構(gòu)

特征分析子系統(tǒng)該子系統(tǒng)負(fù)責(zé)將需要入庫的媒體進(jìn)行分割，標(biāo)識(shí)出需要的對(duì)象或內(nèi)容關(guān)鍵點(diǎn)，以便有針對(duì)性地對(duì)目標(biāo)進(jìn)行特征提取。特征標(biāo)識(shí)可通過用戶輸人或系統(tǒng)定義。特征提取子系統(tǒng)對(duì)用戶提供或系統(tǒng)標(biāo)明的媒體對(duì)象進(jìn)行特征提取處理。提取特征時(shí)需要知識(shí)處理模塊的輔助，與標(biāo)準(zhǔn)化的知識(shí)定義直接有關(guān)。特征提取可以由人完成，如給出一些描述特征的關(guān)鍵字；也可以通過對(duì)應(yīng)的媒體處理過程完成，提取一些所關(guān)心的媒體特征。提取的特征可以是全局性的，如整幅圖像或視頻鏡頭的顏色分布；也可以針對(duì)某個(gè)內(nèi)部的對(duì)象，如圖像中的子區(qū)域、視頻中的運(yùn)動(dòng)對(duì)象等。在提取特征時(shí)，往往需要知識(shí)處理模塊的輔助，由知識(shí)庫提供有關(guān)的領(lǐng)域知識(shí)。7.2.2基于內(nèi)容檢索的體系結(jié)構(gòu)

數(shù)據(jù)庫子系統(tǒng)數(shù)據(jù)庫包含多媒體數(shù)據(jù)庫和特征數(shù)據(jù)庫，分別存放多媒體數(shù)據(jù)及對(duì)應(yīng)的特征數(shù)據(jù)。媒體庫包含各種媒體數(shù)據(jù)，如圖像、視頻、音頻、文木等；特征庫包含這種媒體用戶輸人的特征和預(yù)處理自動(dòng)提取的特征。它們彼此之間存在著一定的對(duì)應(yīng)關(guān)系，特征庫中包含由用戶輸入的和預(yù)處理自動(dòng)提取的特征數(shù)據(jù)，通過檢索引擎組織與媒體類型相匹配的索引來達(dá)到快速搜索的目的。查詢接口子系統(tǒng)查詢接口即人機(jī)交互界面。由于多媒體內(nèi)容不具有直觀性，查詢基于示例方式，因此必須提供可視化手段，可采用交互操縱、模板選擇和樣本輸入三種方式提交查詢依據(jù)。檢索允許針對(duì)全局對(duì)象，如整幅圖像、視頻鏡頭等，也允許針對(duì)其中的子對(duì)象以及任意組合形式來進(jìn)行。檢索返回的結(jié)果按相似程度進(jìn)行排列，如有必要可以進(jìn)一步的查詢。檢索主要是相似性檢索，模仿人類的認(rèn)識(shí)過程，可以從特征庫中尋找匹配的特征，也可以臨時(shí)計(jì)算對(duì)象的特征。7.2.2基于內(nèi)容檢索的體系結(jié)構(gòu)

檢索引擎子系統(tǒng)在檢索時(shí)，要將特征提取值和特征庫中的值進(jìn)行比較，得到一個(gè)相似度。不同的媒體具有不同的相似度算法，這些算法也稱為相似性測(cè)度函數(shù)。檢索引擎使用相似性測(cè)度函數(shù)集進(jìn)行比較，確定與特征庫的值最接近的多媒體數(shù)據(jù)。索引過濾子系統(tǒng)在大規(guī)模多媒體數(shù)據(jù)檢索過程中，為了提高檢索效率，常在檢索引擎進(jìn)行匹配之前采用索引過濾方法，取出高維特征用于匹配。7.2.3基于內(nèi)容的檢索過程和檢索技術(shù)

因?yàn)閳D像的低層特征和高層語義之間存在著很大的差距，所以僅僅基于圖像低層特征很難給出令人滿意的結(jié)果，這時(shí)就要用到相關(guān)反饋。在基于內(nèi)容的檢索過程中，相關(guān)反饋是一個(gè)相當(dāng)重要的過程。相關(guān)反饋技術(shù)一方面可以找出更有效的多媒體表示方法，另一方面通過人機(jī)交互來捕捉和建立低層特征和高層語義之間的關(guān)聯(lián)。相關(guān)反饋技術(shù)的基本思想是建立一個(gè)由用戶參與的交互過程，在交互過程逐步求得精確的查詢結(jié)果。在檢索過程中，系統(tǒng)根據(jù)用戶的查詢要求返回檢索結(jié)果，用戶可以對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)和標(biāo)記，并將這些信息反饋給系統(tǒng)，系統(tǒng)再根據(jù)這些反饋信息進(jìn)行學(xué)習(xí)，并返回新的查詢結(jié)果，從而使得檢索結(jié)果更加滿足用戶的要求。7.2.3基于內(nèi)容的檢索過程和檢索技術(shù)

1．基于內(nèi)容的檢索過程基于內(nèi)容的檢索是一個(gè)逐步求精的過程，其檢索存在一個(gè)特征調(diào)整、重新匹配的循環(huán)過程。其過程如圖7-2-2所示。7.2.3基于內(nèi)容的檢索過程和檢索技術(shù)

（1）提供查詢依據(jù)：用戶提交檢索要求，但要基于一個(gè)特定的檢索格式，可以通過特定的查詢語言來建立，以便作為檢索引擎的匹配依據(jù)。（2）相似性匹配：將用戶提交的特征值與特征庫中的特征值按照各媒體的相似性測(cè)度函數(shù)進(jìn)行匹配，從中找到一組最佳相似結(jié)果提交給用戶。（3）結(jié)果審核：用戶可以從滿足初始特征的一組檢索結(jié)果中，挑選所需要的結(jié)果，結(jié)束檢索過程。（4）特征調(diào)整：若不滿意可通過再次檢索，對(duì)候選結(jié)果進(jìn)行特征調(diào)整，再形成一個(gè)新的查詢依據(jù)。重新檢索逐步縮小查詢范圍，直到用戶滿意。7.2.3基于內(nèi)容的檢索過程和檢索技術(shù)

2．基于內(nèi)容的檢索技術(shù)目前，已經(jīng)建立了多種基于多媒體內(nèi)容的檢索方法，但是要滿足檢索率、查準(zhǔn)率、查全率、響應(yīng)時(shí)間等要求還需要進(jìn)一步研究，下面幾個(gè)基于內(nèi)容的檢索技術(shù)值得人們?nèi)ヌ骄俊＃?）綜合的多特征檢索技術(shù)可以從不同的角度表示多媒體的同一種特征。例如，可以描述顏色特征的有直方圖特征、顏色距、顏色集、主顏色等多種特征表示法，實(shí)際上綜合利用了多種媒體的特征。多種特征表示法容易達(dá)到較高的檢索率，問題是如何有機(jī)地組織多種特征。（2）高層概念和低層特征的關(guān)聯(lián)高層內(nèi)容是用詞語表達(dá)具體含義的，如果能夠與底層的數(shù)據(jù)特征相關(guān)聯(lián)，就能夠使計(jì)算機(jī)自動(dòng)抽取媒體的語義，但建立這種關(guān)聯(lián)比較困難。信息檢索、分類和排序的意義上的多媒體檢索可以采用語義模板、用戶交互、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等方法。（3）高維索引技術(shù)建立索引可以提高檢索海量數(shù)據(jù)的效率。目前的k-d樹、R樹以及改進(jìn)的索引樹結(jié)構(gòu)一般都是先減少維數(shù)再建立適當(dāng)?shù)亩嗑S索引結(jié)構(gòu)。但仍需要研究和探索有效的高維索引方法，以支持多特征、異構(gòu)特征、權(quán)重、主鍵特征方面的查詢要求。目前，已開發(fā)的檢索技術(shù)主要針對(duì)圖像和視頻檢索，但是多媒體信息還包含大量的音頻、圖形、動(dòng)畫等媒體，基于這些內(nèi)容的檢索技術(shù)也是一個(gè)重要和現(xiàn)實(shí)的問題。7.3多媒體信息檢索

多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)、信息數(shù)字化處理等高新技術(shù)的飛速發(fā)展，使得因特網(wǎng)上的多媒體數(shù)據(jù)量激增，網(wǎng)絡(luò)信息資源不再是單純的文本信息，而圖形圖像、音頻、視頻等多媒體信息逐漸在因特網(wǎng)中占有越來越大的比重，或獨(dú)立出現(xiàn)、或嵌入網(wǎng)頁文檔中，新的圖像和影像等每天都在增加和更新。為此，因特網(wǎng)也涌現(xiàn)出一些專門針對(duì)多媒體信息的檢索系統(tǒng)。同時(shí)，由于多媒體信息的非文字性使得應(yīng)用傳統(tǒng)的基于關(guān)鍵詞的檢索技術(shù)檢索多媒體信息的效果不佳，人們要求對(duì)多媒體數(shù)據(jù)進(jìn)行語義分析、表達(dá)和特征分析，一種新型的多媒體數(shù)據(jù)庫查詢與檢索技術(shù)——CBR（contentbasedretrieval，基于內(nèi)容檢索）開始被應(yīng)用于因特網(wǎng)的多媒體信息檢索平臺(tái)。下面將分別介紹對(duì)圖像、音頻、視頻等多媒體文檔的檢索。7.3多媒體信息檢索

7.3.1圖像文件信息的檢索1．圖像文件信息檢索概述從20世紀(jì)70年代開始，有關(guān)圖像檢索的研究就已開始，當(dāng)時(shí)主要是基于文本的圖像檢索技術(shù)（Text-basedImageRetrieval，簡稱TBIR），利用文本方式描述圖像的特征，如繪畫作品的作者、年代、流派、尺寸等。到90年代以后，出現(xiàn)了對(duì)圖像的內(nèi)容語義，如圖像的顏色、紋理、布局等進(jìn)行分析和檢索的圖像檢索技術(shù)，即基于內(nèi)容的圖像檢索（content-basedImageretrieval，簡稱CBIR）技術(shù)。CBIR屬于基于內(nèi)容檢索（content-basedretrieval，簡稱CBR）的一種，CBR中還包括對(duì)動(dòng)態(tài)視頻、音頻等其他形式多媒體信息的檢索技術(shù)?；谖谋镜膱D像檢索技術(shù)（text-basedimageretrieval）的歷史可以追溯到20世紀(jì)70年代末期。它沿用了傳統(tǒng)文本檢索技術(shù)，回避對(duì)圖像可視化元素的分析，而是從圖像名稱、圖像尺寸、壓縮類型、作者、年代等方面標(biāo)引圖像。這種技術(shù)目前在因特網(wǎng)圖像信息檢索系統(tǒng)中占主導(dǎo)地位，因?yàn)榫W(wǎng)絡(luò)環(huán)境下的圖像資源區(qū)別于一般獨(dú)立圖像的特點(diǎn)，在于它們與Web網(wǎng)頁有著千絲萬縷的關(guān)系，一般都是嵌在Web文檔中隨之發(fā)布的，處于一定的上下文環(huán)境中。因此，借助網(wǎng)絡(luò)圖像的文本上下文環(huán)境，可以在一定程度上為圖像分析、標(biāo)引提供依據(jù)?？梢杂脕韼椭鷪D像分析、標(biāo)引的Web文檔內(nèi)容包括：7.3.1圖像文件信息的檢索（1）圖像的文件名及其網(wǎng)址。大多數(shù)作者直接通過文件名來表示圖像的內(nèi)容，如：winter.jpg、cat·jpg、rose.gif、boy.gif等，就直接把圖像的內(nèi)容體現(xiàn)在文件名之中。同時(shí)，圖像的網(wǎng)址信息也提供了一些相關(guān)的語義信息，如http：///images/logo_sm.gif就提供了圖像所屬的類別信息及其語義信息。（2）圖像的替代文字（alternatetext）。替代文字在html語言中被規(guī)定為一個(gè)可選項(xiàng)目，用來在不支持圖像的瀏覽器中替代圖像的位置，這通常就是圖像的語義信息，而且也是最為準(zhǔn)確的一個(gè)特征。不過，并不是所有的作者都愿意提供這個(gè)信息，如果網(wǎng)頁作者沒有給出該信息，默認(rèn)的替代文字就是圖像文件名。（3）圖像周圍的文字（surroundingtext）。在網(wǎng)頁中圖像周圍的文字是最可能表達(dá)圖像所有包含的內(nèi)容的，雖然有些文字可能與圖像并不相關(guān)，不過這些文字在一定程度上還是表達(dá)了圖像的語義信息，因此被選擇成為語義特征之一。7.3.1圖像文件信息的檢索（4）圖像所在頁面的標(biāo)題。有些圖像用來加強(qiáng)作者的意圖，因此，有些圖像的內(nèi)容同頁面的標(biāo)題內(nèi)容直接相關(guān)。頁面的標(biāo)題也就成為語義特征之一。（5）圖像的超鏈接（hyperlink）。有時(shí)圖像本身也是超鏈接的一部分，這種超鏈接信息在一定程度上與圖像的內(nèi)容相關(guān)。因此，一些語義特征可以通過對(duì)超鏈接的分析計(jì)算得到。（6）圖像所在網(wǎng)頁彼此間的鏈接（link-structure）。借由對(duì)網(wǎng)頁與網(wǎng)頁間的鏈接分析（linkanalysis），網(wǎng)頁內(nèi)所包含的圖像彼此間語義上的相似性可以在一定程度上計(jì)算得到。這些信息可以用來加強(qiáng)圖像檢索的效果。所有這些特征，都將通過頁面分析器從網(wǎng)頁中自動(dòng)抽取出來，并被賦予不同的重要性，并按照傳統(tǒng)的文本信息檢索技術(shù)，建立圖像的語義特征向量。向量的每個(gè)分量都對(duì)應(yīng)一個(gè)關(guān)鍵詞，它的值取決于該關(guān)鍵詞在與圖像有關(guān)的網(wǎng)頁中的分布。如果一個(gè)關(guān)鍵詞在一個(gè)網(wǎng)頁中出現(xiàn)很多次，對(duì)應(yīng)的分量就會(huì)大一些；另一方面，如果這個(gè)關(guān)鍵詞出現(xiàn)在很多網(wǎng)頁中，對(duì)應(yīng)的分量就會(huì)小一些。這種方法在文本檢索中被廣泛采用，也適用于圖像檢索。7.3.1圖像文件信息的檢索基于文本的圖像檢索技術(shù)實(shí)現(xiàn)較簡單，更符合人們檢索習(xí)慣，同時(shí)可以充分結(jié)合己有的成熟文本檢索技術(shù)和網(wǎng)絡(luò)搜索引擎技術(shù)，減少許多對(duì)圖像內(nèi)容本身的復(fù)雜考慮，因此，也得到了較廣泛的應(yīng)用。然而，完全基于文本的圖像檢索技術(shù)存在著嚴(yán)重的問題。首先，大多數(shù)圖像名稱、尺寸、作者等信息并不一定能通過Web文檔的上下文關(guān)系獲得，這就必須依賴于人工對(duì)圖像做出標(biāo)注。這項(xiàng)工作不但費(fèi)時(shí)費(fèi)力，而且手工的標(biāo)注往往是不準(zhǔn)確或不完整的，還不可避免地帶有主觀偏差。也就是說，不同的人對(duì)同一幅圖像有不同的理解方法，這種主觀理解的差異將導(dǎo)致圖像檢索中的匹配錯(cuò)誤。此外，圖像中所包含的豐富的視覺特征（顏色或紋理等）往往無法用文本進(jìn)行客觀地描述。90年代初期，隨著大規(guī)模數(shù)字圖像庫的出現(xiàn)，上述的問題變得越來越尖銳。為克服這些問題，基于內(nèi)容的圖像檢索技術(shù)（content-basedimageretrieval）應(yīng)運(yùn)而生。區(qū)別于原有系統(tǒng)中對(duì)圖像進(jìn)行人工標(biāo)注的做法，基于內(nèi)容的檢索技術(shù)自動(dòng)提取每幅圖像的視覺內(nèi)容特征作為其索引。對(duì)于圖像的內(nèi)容特征，主要采用的是圖像的顏色、紋理、空間關(guān)系、對(duì)象特征等進(jìn)行檢索。其中，顏色特征和圖像的大小、方向無關(guān)，而且對(duì)圖像的背景顏色不敏感，因此顏色特征被廣泛應(yīng)用于圖像檢索。顏色特征中包括顏色直方圖、顏色相關(guān)圖、顏色矩等。紋理特征代表了物體的視覺模式，它包含了物體表面的組織結(jié)構(gòu)以及與周圍環(huán)境之間的關(guān)系。常用的方法有相關(guān)矩陣法，粗糙度、對(duì)比度等紋理表示方法，以及小波變換等。形狀特征則包括兩種，一種是基于邊界的形狀特征，另外一種則是基于區(qū)域的形狀特征。最成功的表示方法有傅利葉變換和不變矩等。這些低層的特征將通過各種方法抽取出來，并形成一組特征向量，建立相關(guān)索引并存儲(chǔ)到數(shù)據(jù)庫中。7.3.1圖像文件信息的檢索近年來，基于內(nèi)容的圖像檢索領(lǐng)域的研究有了長足的進(jìn)展，一大批研究性的或商用的圖像檢索系統(tǒng)被建立起來?；趦?nèi)容的圖像檢索系統(tǒng)具有與傳統(tǒng)基于文本的檢索系統(tǒng)完全不同的構(gòu)架。首先，由于圖像依賴其視覺特征而非文本描述進(jìn)行索引，檢索將根據(jù)圖像視覺特征的相似度進(jìn)行。用戶通過選擇具有代表性的一幅或多幅例子圖像來構(gòu)造查詢，然后由系統(tǒng)查找與例子圖像在視覺內(nèi)容上比較相似的圖像，按相似度大小排列返回給用戶。這就是所謂的通過例子圖像的查詢。另外，基于內(nèi)容的檢索系統(tǒng)一般通過可視化界面和用戶進(jìn)行頻繁的交互，以便于用戶能夠方便地構(gòu)造查詢、評(píng)估檢索結(jié)果和改進(jìn)檢索結(jié)果。7.3.1圖像文件信息的檢索7.3.1圖像文件信息的檢索圖7-3-1表示了基于內(nèi)容的圖像檢索系統(tǒng)的體系結(jié)構(gòu)。系統(tǒng)的核心是圖像特征數(shù)據(jù)庫。圖像特征既可以從圖像本身提取得到，又可以通過用戶交互獲得，并用于計(jì)算圖像之間的相似度。用戶和系統(tǒng)之間的關(guān)系是雙向的：用戶可以向系統(tǒng)提出查詢要求，系統(tǒng)根據(jù)查詢要求返回查詢結(jié)果，用戶還通過對(duì)查詢結(jié)果的相關(guān)反饋來改進(jìn)查詢結(jié)果。圖中還標(biāo)出了基于內(nèi)容的圖像檢索中的一些關(guān)鍵環(huán)節(jié)：7.3.1圖像文件信息的檢索（1）選擇、提取和索引能夠充分表達(dá)圖像的視覺特征。（2）處理基于相似度的圖像檢索。（3）處理用戶對(duì)檢索結(jié)果的相關(guān)反饋，改善檢索結(jié)果。因特網(wǎng)圖像文件信息檢索的趨勢(shì)應(yīng)該是基于文本與基于內(nèi)容的技術(shù)相結(jié)合，用戶提交的檢索提問，可以是關(guān)鍵字的查詢，如圖像的名稱、大小等，也可以是一張用戶感興趣的圖像，系統(tǒng)將根據(jù)提交的查詢，在圖像數(shù)據(jù)庫中找到一些最相似的圖像返回給用戶。提交的查詢將首先轉(zhuǎn)換成為一個(gè)由內(nèi)容特征和外部特征（即由上下文分析得到的語義特征）結(jié)合的向量，然后分別與數(shù)據(jù)庫中圖像的向量計(jì)算相似度。相似度的計(jì)算分兩步完成：一是計(jì)算內(nèi)容特征的相似度，二是計(jì)算語義特征的相似度，然后采用線性組合的方法得到最后的相似度，相似度高的圖像成為檢索的結(jié)果。7.3.1圖像文件信息的檢索2．基于特征的圖像文件信息檢索（1）基于顏色特征的圖像文件信息檢索顏色直方圖是最常用的顏色特征表示方法。直方圖的橫軸表示顏色等級(jí)，縱軸表示在某一顏色等級(jí)上具有該顏色的像素在整幅圖像中所占的比例。單純基于顏色直方圖的圖像檢索方法是難以判斷兩幅圖像是否具有相似內(nèi)容的，必須引人空域信息。直方圖的值反映圖像的統(tǒng)計(jì)特征，包括平均值、標(biāo)準(zhǔn)偏差、中間值和像素個(gè)數(shù)，顏色集中的地方峰值較高。顏色內(nèi)容包含全局顏色分布和局部顏色信息。具有相似的總體顏色內(nèi)容的圖像檢索基于一個(gè)圖像索引表，索引表可以按照全局顏色分布，通過計(jì)算每種顏色的像素個(gè)數(shù)并構(gòu)造顏色灰度直方圖來建立。局部顏色信息是指局部相似的顏色區(qū)域，如R、G、B三個(gè)色域，包括分類色與一些初級(jí)的幾何特征，如圖7-3-2所示，便于抽取空間局部顏色信息并提供顏色區(qū)域的有效索引。7.3.1圖像文件信息的檢索圖7-3-2局部顏色信息直方圖7.3.1圖像文件信息的檢索在利用顏色直方圖的查詢中，可以使用域關(guān)系演算語言，如QueryByExample(QBE)。如要給出查詢的示例，一般可采用以下三種方式之一來指明查詢的示例：①指明顏色組成：通常應(yīng)在連續(xù)變化的色輪上來指定，而不適合用文字進(jìn)行描述。該法使用起來并不方便，檢索的查準(zhǔn)率和查全率也不高。②指明一幅示例圖像：將示例圖像的顏色直方圖和數(shù)據(jù)庫中的顏色直方圖值進(jìn)行相似性匹配，從而得到查詢結(jié)果。③指明圖像中一個(gè)子圖：利用圖像分割出來的各個(gè)小塊來確定圖像中感興趣的對(duì)象輪廓，通過建立更復(fù)雜的顏色關(guān)系來查詢圖像。7.3.1圖像文件信息的檢索（2）基于形狀特征的圖像文件信息檢索形狀特征也稱為輪廓特征，是指整個(gè)圖像或圖像中子對(duì)象的邊緣特征。一般而言，形狀的表示可分為基于邊界的和基于區(qū)域兩類，一般可用矩形、圓形、面積、周長等來描述，而許多形狀特征可能被包含在一個(gè)封閉的圖像中。為了提高檢索的精確度，基于形狀特征的數(shù)據(jù)庫中常常包含三種數(shù)據(jù)庫，即圖像庫、形狀庫、特征庫，并提供形狀特征的索引。檢索是根據(jù)用戶提供的形狀特征從圖像庫中匹配出形狀相似的圖像?；谛螤钐卣鞯臋z索主要有兩種方式：①針對(duì)輪廓線進(jìn)行的形狀特征檢索，這是最常用的方式。用戶可以選擇形狀或勾畫一幅輪廓草圖，通過形狀分析獲得到目標(biāo)的輪廓線。所謂形狀分析主要是通過分割圖像進(jìn)行邊緣提取，邊緣也是圖像分割的重要依據(jù)。較好的邊緣提取過程必須與濾波器配合使用。②直接對(duì)圖形尋找適當(dāng)?shù)南蛄刻卣鬟M(jìn)行檢索。7.3.1圖像文件信息的檢索（3）基于紋理特征的圖像文件信息檢索紋理特征是所有表面具有的內(nèi)在特征，它包含關(guān)于表面的結(jié)構(gòu)布局、密度及變化關(guān)系。圖像或物體的紋理特征反映了圖像或物體本身的屬性，常用粗糙性、方向性和對(duì)比度等來描述。紋理研究包括紋理分析和紋理合成兩個(gè)方面，而紋理分析是基于紋理檢索的重要基礎(chǔ)。紋理分析的方法可以分為統(tǒng)計(jì)方法和結(jié)構(gòu)方法兩種。統(tǒng)計(jì)方法適用于分析木紋、草坪等細(xì)致而不規(guī)則的物體，并根據(jù)關(guān)于像素間灰度的統(tǒng)計(jì)性質(zhì)對(duì)紋理規(guī)定出特征及參數(shù)間的關(guān)系。結(jié)構(gòu)方法適用于具有紋理排列規(guī)則的圖案，根據(jù)紋理基元及其排列規(guī)前來描述紋理、特征、以及特征與參數(shù)間的關(guān)系。紋理的檢索一般都采用示例查詢方法，同時(shí)結(jié)合紋理顏色作為檢索特征，縮小查找紋理的范圍。用戶給出一個(gè)要檢索的圖像的例子，然后系統(tǒng)按照這個(gè)例子查找與它相似的圖像，并將相似結(jié)果返回給用戶，用戶在這些相似的圖像中確定或在此選擇接近用戶查詢的圖像，最終達(dá)到檢索的目的。3．基于內(nèi)容的圖像文件信息檢索實(shí)例（1）VisualSEEK的WebSEEKURL：:8008/（如圖7-3-3）7.3.1圖像文件信息的檢索圖7-3-3基于內(nèi)容的圖像、視頻檢索系統(tǒng)Webseek的檢索主界面7.3.1圖像文件信息的檢索①簡介：VisualSEEK系統(tǒng)由哥倫比亞大學(xué)研制。VisualSEEK提供一系列查詢?nèi)f維網(wǎng)視圖信息的搜索工具，WebSEEK是其中功能強(qiáng)大的特色工具。VisualSEEK的檢索機(jī)制與其他CBIR系統(tǒng)相似。高效率的WEB圖像信息檢索是它的特點(diǎn)。它采用了先進(jìn)的特征抽取技術(shù)，從素材中提取色彩的特征信息，并提供相應(yīng)的檢索人口。用戶界面強(qiáng)大、操作簡單、查詢途徑豐富；結(jié)果輸出畫面生動(dòng)，支持用戶直接下載信息。WebSEEK雖然是出現(xiàn)較早的基于內(nèi)容的圖像搜索引擎，然而，近幾年WebSEEK的發(fā)展幾乎處于停滯狀態(tài)，其數(shù)據(jù)庫規(guī)模和技術(shù)特色已經(jīng)顯得落后。②收錄范圍：WebSEEk本身就是一個(gè)獨(dú)立的萬維網(wǎng)可視化信息編目工具。至今，已經(jīng)對(duì)百萬幅左右的圖像和影像片段進(jìn)行了編目。③檢索特點(diǎn)：WebSEEK是基于內(nèi)容的圖像、影像目錄和搜索引擎，典型的萬維網(wǎng)圖像搜索引擎。提供主題分類、文本和圖像檢索。WebSEEk提供三種方式檢索，目錄瀏覽、關(guān)鍵詞檢索和特征檢索方式。a.目錄測(cè)覽：WebSEEk是萬維網(wǎng)對(duì)視頻信息進(jìn)行編目的突破。其主題目錄按照字順（a～z）分為下列20余大類：Animals，Architecture，Art，Astronomy，Cats，Celebrities，Dogs，F(xiàn)ood，Horror，Humour，Movies，Music，Nature，Sports，Transportation，Travel。（如圖7-3-4，7-3-5）7.3.1圖像文件信息的檢索圖7-3-4Animals檢索界面7.3.1圖像文件信息的檢索圖7-3-5Animals檢索結(jié)果略圖7.3.1圖像文件信息的檢索b.視覺特征（visualfeatures）檢索方式：可以檢索視頻（videos），彩圖（colorphotos），灰度圖（grayimages），圖形（graphics），或者選擇所有途徑（All）進(jìn)行組合檢索。對(duì)圖像的顏色特征進(jìn)行分析和檢索，并允許用戶定制檢索樣本圖像的顏色特征?？梢愿鶕?jù)檢索結(jié)果略圖做基于圖像顏色的進(jìn)一步檢索。每幅略圖下標(biāo)有col、web、his，單擊col可檢索與該圖色彩相似的其他圖像和影像，單擊web可以用該圖所用顏色檢索整個(gè)WebSEEK目錄下的所有圖像，單擊his可通過調(diào)整圖像色彩的柱形圖來進(jìn)行新的檢索。（如圖7-3-4所示）c.關(guān)鍵詞檢索：與普通搜索引擎的關(guān)鍵詞檢索功能原理相同，是對(duì)系統(tǒng)分類目錄的文字說明進(jìn)行匹配。該系統(tǒng)只能輸入單個(gè)關(guān)鍵詞進(jìn)行檢索，不提供對(duì)關(guān)鍵詞的各種邏輯組合。7.3.1圖像文件信息的檢索此外，還可以遞交URLUR臨)。WebSEEK是面向Web的文本/圖像檢索工具，其姊妹系統(tǒng)VisuanLSEEK是一種視覺特性搜索工具，兩者都是由哥倫比亞大學(xué)開發(fā)的。主要研究圖像區(qū)域的空間關(guān)系查詢和從壓縮域中抽取視覺特性。VisuanLSEEK支持基于視覺特征和它們之間空間關(guān)系的查詢。用戶可以把頂部為紅橙黃色區(qū)域、底部為藍(lán)綠色區(qū)域的圖像作為查詢“日出”的草圖。④評(píng)價(jià)：WebSEEK的分類測(cè)覽和特征檢索方式，使其成為一個(gè)優(yōu)秀的視頻檢索工具。（2）QBIC（QueryByImageContent）URL：http://www.qbic.aI/（見圖7-3-6）7.3.1圖像文件信息的檢索圖7-3-6QBIC圖像和動(dòng)態(tài)影像檢索系統(tǒng)界面7.3.1圖像文件信息的檢索①簡介：QBIC（QueryByImageContent，按圖像內(nèi)容查詢）由IBM公司于20世紀(jì)90年代開發(fā)，是一個(gè)圖像和動(dòng)態(tài)影像檢索系統(tǒng)。②QBIC系統(tǒng)組成：該系統(tǒng)由Datapopulation和Databasequery兩部分構(gòu)成。Datapopulation負(fù)責(zé)對(duì)系統(tǒng)存儲(chǔ)的圖像進(jìn)行多種特征抽取和維護(hù)特征索引庫。Databasequery負(fù)責(zé)對(duì)用戶查詢輸人的圖像進(jìn)行同樣的特征抽取，并將特征信息輸入匹配引擎，檢索出具有相似特征的圖像。兩部分中間使用一個(gè)過濾索引生成器相連，所有的查詢、反饋過程都必須經(jīng)過過濾索引生成器，才能進(jìn)入匹配引擎，提高系統(tǒng)的總體速度。目前俄羅斯彼得堡一個(gè)州立教會(huì)博物館和IBM合作，在其網(wǎng)站上實(shí)現(xiàn)該技術(shù)。網(wǎng)址為：。（見圖7-3-7）7.3.1圖像文件信息的檢索圖7-3-77.3.1圖像文件信息的檢索③檢索方式：QBIC提供的檢索方式有：a.利用系統(tǒng)的標(biāo)準(zhǔn)范圖檢索；b.用戶輸入自繪簡圖或掃描輸入圖像檢索，同時(shí)可選擇色彩或結(jié)構(gòu)查詢方式；c.可輸入動(dòng)態(tài)影像片段和前景中運(yùn)動(dòng)的對(duì)象檢索。在用戶輸入圖像、簡圖或影像片段時(shí)，QBIC即分析和抽取所輸入對(duì)象的色彩、紋理、運(yùn)動(dòng)變化等特征，根據(jù)用戶選擇的查詢方式分別處理。查詢方式不同則得到的結(jié)果有異，因?yàn)椴煌奶卣鞣治龀槿〉慕Y(jié)果不同。QBIC也提供各種標(biāo)準(zhǔn)范圖，代表不同的色彩、紋理、輪廓結(jié)構(gòu)。用戶可選擇與要檢索對(duì)象最相似的范圖作為檢索條件去查詢。這些標(biāo)準(zhǔn)范圖的特征信息存儲(chǔ)在特征索引庫中。④評(píng)價(jià)：QBIC支持基于示例圖像，用戶構(gòu)造的略圖，選擇的顏色、紋理等的查詢。在它的新系統(tǒng)中，基于文本的關(guān)鍵詞查詢與基于內(nèi)容的相似行查詢結(jié)合在一起。

4．基于文本的圖像文件信息檢索實(shí)例（1）百度圖像搜索（Baidu）URL：

（見圖7-3-8）7.3.1圖像文件信息的檢索圖7-3-8百度圖像檢索分類目錄界面7.3.1圖像文件信息的檢索①簡介：百度是目前最好的中文搜索引擎之一。它號(hào)稱從3億中文網(wǎng)頁中提取圖片，建立了世界最大的中文圖像數(shù)據(jù)庫；它的檢索界面友好，檢索手段豐富；檢索結(jié)果的相關(guān)性較高。②檢索方式：提供分類瀏覽檢索和關(guān)鍵詞檢索兩種檢索方法。a.分類目錄檢索：按照?qǐng)D片的主題內(nèi)容和用戶的搜索偏好，將圖像分成18個(gè)大類，用戶可以瀏覽檢索。分類目錄所提供的圖片內(nèi)容大多數(shù)與娛樂和生活消費(fèi)相關(guān)，如果查找學(xué)術(shù)性或者專題性圖片不適宜采用分類目錄檢索。b.關(guān)鍵詞檢索：關(guān)鍵詞檢索是對(duì)圖片的文字說明或者圖片所處網(wǎng)頁上下文進(jìn)行檢索，同時(shí)百度還能對(duì)圖片的大小和圖像格式進(jìn)行限制檢索；百度提供對(duì)新聞圖片的關(guān)鍵詞檢索，這是百度圖片搜索的特色之一。③結(jié)果顯示：看到搜索結(jié)果頁后，單擊要查看的圖片的縮略圖，就會(huì)看到原始大圖片。如果點(diǎn)擊圖片下方的“查看源網(wǎng)頁”，可以查看原始圖片所在的網(wǎng)頁。（2）Google圖像搜索引擎URL：(見圖7-3-9)7.3.1圖像文件信息的檢索圖7-3-9Google圖像搜索的高級(jí)圖像檢索界面7.3.1圖像文件信息的檢索①簡介：Google圖像搜索引擎自稱為“互聯(lián)網(wǎng)上最好用的圖片搜索工具”，它在基于文本的圖像搜索領(lǐng)域的領(lǐng)先地位毋庸置疑。Google圖像數(shù)據(jù)庫容量大，到目前為止，Google共收錄了超過幾十億張圖像，但是，Internet上仍然還有很多圖像尚未添加到Google的索引中。Google有中文的圖像搜索功能，支持使用中文關(guān)鍵詞進(jìn)行搜索；對(duì)于用戶來說，使用起來非常方便；在搜索速度方面，Google的表現(xiàn)很優(yōu)秀，如果使用寬帶，每次搜索需要的時(shí)間可在1秒以內(nèi)；雖然是國外搜索引擎，但對(duì)中文的支持很好，相對(duì)而言，搜索結(jié)果的準(zhǔn)確度也很高。可以說Google無愧于“最佳圖像搜索引擎”的稱號(hào)。但是同時(shí)也存在一些缺點(diǎn)，一是由于使用自動(dòng)化程序處理數(shù)據(jù)庫，即使采用最先進(jìn)的程序，搜索結(jié)果中也難免會(huì)夾雜許多無用的信息。二是由于圖像來自于其他網(wǎng)站，如果搜索引擎數(shù)據(jù)庫的更新速度不快，用戶搜索到的圖像鏈接不可避免有一些“死鏈”。②檢索方式：Google圖像搜索使用的方法與前面章節(jié)介紹過的文本檢索大致相同。它提供兩種查詢模式：高級(jí)搜索和一般搜索。一般搜索支持布爾型AND、OR和NOT操作，只需在圖像搜索框內(nèi)鍵入檢索式，然后按“搜索”按鈕或點(diǎn)擊鍵盤上的回車鍵即可。對(duì)于高級(jí)檢索提供了更多的查詢?nèi)丝?，在高?jí)搜索方式下，可以布爾邏輯檢索，另外還可以指定搜索目標(biāo)的大小、文件類型、色調(diào)等限制條件，也可以通過指定以網(wǎng)絡(luò)域名區(qū)分搜索范圍，有針對(duì)性地搜索某些區(qū)域。7.3.1圖像文件信息的檢索如搜索具有特定文件類型擴(kuò)展名的圖像：在高級(jí)搜索框中，可以通過在查詢中使用“filetype：”來指定文件類型擴(kuò)展名。例如，如果要查看格式為.jpg的花朵（flower）的圖像，則在搜索框中輸入[flowerfiletype:jpg]。③結(jié)果顯示：一次搜索結(jié)果以縮略圖的方式給出。點(diǎn)擊搜索結(jié)果的縮略圖，能夠以框架方式瀏覽圖片所在網(wǎng)頁。每個(gè)結(jié)果項(xiàng)提供文件名、擴(kuò)展名、像素、圖像大小、URL等詳細(xì)信息，單擊頂部框架中的圖像即可鏈接到實(shí)際的.jpg或.gif文件。（3）Yahoo畫廊URL：

（見圖7-3-10）7.3.1圖像文件信息的檢索圖7-3-10Yahoo畫廊檢索界面7.3.1圖像文件信息的檢索①簡介：Yahoo畫廊中收錄了16億幅互聯(lián)網(wǎng)圖片供用戶查找和利用。數(shù)據(jù)庫經(jīng)Yahoo網(wǎng)站的工作人員人工處理，把收集到的圖像整理好并分類存放，供用戶搜索并瀏覽。用戶在通過Yahoo圖像搜索引擎進(jìn)行搜索時(shí)，檢索的只是Yahoo網(wǎng)站的工作人員收集整理的圖像分類目錄。Yahoo畫廊中所有的圖片都是經(jīng)過人工處理的，返回結(jié)果的準(zhǔn)確度很高，而且圖像的質(zhì)量也相對(duì)較高，讓用戶如同置身于一個(gè)畫廊。但缺點(diǎn)是需要耗費(fèi)較多的人力和物力，而且由于收集的范圍、數(shù)量問題，資源不如Google豐富，有時(shí)會(huì)導(dǎo)致用戶無法找到所需要的圖像。如果對(duì)圖片的質(zhì)量要求比較嚴(yán)格而對(duì)數(shù)量沒有太高的要求，使用Yahoo畫廊進(jìn)行檢索是一個(gè)不錯(cuò)的選擇。Yahoo圖像搜索有中文網(wǎng)站圖像搜索（見圖7-3-11）和外文網(wǎng)站圖像搜索（見圖7-3-12）7.3.1圖像文件信息的檢索圖7-3-11Yahoo中文網(wǎng)站圖像搜索7.3.1圖像文件信息的檢索圖7-3-12Yahoo英文網(wǎng)站圖像搜索7.3.1圖像文件信息的檢索②檢索方式：采用分類方式組織圖像文檔，共分24個(gè)大類，大類下面又逐層細(xì)劃。搜索時(shí)可選擇是在全部分類中搜索，還是指定具體的分類。檢索時(shí)用戶可用目錄的方式逐層瀏覽找到自己需要的圖片，也支持基于圖片文本內(nèi)容的關(guān)鍵詞搜索。同時(shí)還提供了一些熱門搜索分類供用戶選擇。Yahoo畫廊圖像檢索支持布爾型AND操作；同時(shí)輸入兩個(gè)關(guān)鍵詞并不加空格或逗號(hào)，搜索引擎默認(rèn)為AND連接。③結(jié)果顯示：一次搜索給出縮略圖，點(diǎn)擊之后可以看到大圖片，同時(shí)給出了與該幅圖片有關(guān)的其他鏈接等。（見圖7-3-13）7.3.1圖像文件信息的