系統(tǒng)分析師教程專題四多媒體專題 2

1、專題四：多媒體專題1、多媒體知識(shí)：1.1多媒體知識(shí)概述n      基本概念多媒體信息一般指用文本、圖形、圖像、動(dòng)畫、音頻和視頻影像等形式表示的信息。多媒體計(jì)算機(jī)技術(shù)是指利用計(jì)算機(jī)交互地綜合處理相互之間有聯(lián)系的文本、圖形、圖像、動(dòng)畫、音頻、視頻等多種信息。多媒體的主要特性表現(xiàn)在信息載體的多樣性、交互性和集成性。多媒體技術(shù)是指能對(duì)多種載體上的信息和多種存儲(chǔ)體上的信息進(jìn)行處理的技術(shù)；而媒體是指承載信息的載體；多媒體具有交互性而媒體不具備交互性；屏幕更新頻率：顯示器每秒更新的次數(shù)；彩數(shù)：顯示畫面的色彩數(shù)；(bpp是指表示每個(gè)像素所需的2進(jìn)制位數(shù))分辨

2、率：顯示畫面的細(xì)膩程度； n      關(guān)鍵技術(shù)在多媒體的研究與開(kāi)放中，利用了許多關(guān)鍵技術(shù)，這些技術(shù)是支持多媒體研究與開(kāi)發(fā)的核心。u 數(shù)據(jù)壓縮技術(shù)數(shù)字化的聲音和圖像包含了大量的數(shù)據(jù)。如果不進(jìn)行數(shù)據(jù)壓縮，實(shí)時(shí)處理數(shù)字化的聲音和圖像信息所需要的存儲(chǔ)容量、傳輸率和計(jì)算速度都是目前計(jì)算機(jī)難以承受的。所以數(shù)據(jù)壓縮技術(shù)一直是多媒體各項(xiàng)研究的重點(diǎn)。u  大規(guī)模集成電路（VLSI）制造技術(shù)進(jìn)行聲音和圖像信息的壓縮處理要求進(jìn)行大量的計(jì)算。VLSI技術(shù)的發(fā)展讓我們可以生產(chǎn)低廉的數(shù)字信號(hào)處理器（DSP）芯片用硬件來(lái)完成復(fù)雜的計(jì)

3、算處理。u   大容量的光盤存儲(chǔ)器（CD-ROM）多媒體信息雖然經(jīng)過(guò)了壓縮處理，但還是含有大量的數(shù)據(jù)，所以需要有大容量的存儲(chǔ)設(shè)備來(lái)保存這些信息。u 實(shí)時(shí)多任務(wù)操作系統(tǒng)多媒體技術(shù)需要同時(shí)處理聲音、文字、圖像等多種媒體信息，其中聲音和視頻圖像還要求實(shí)時(shí)處理，需要有能支持對(duì)多媒體信息進(jìn)行實(shí)時(shí)處理的操作系統(tǒng)。 n      構(gòu)成通常，多媒體系統(tǒng)由以下4個(gè)部分構(gòu)成。u       硬件系統(tǒng)最重要是根據(jù)多媒體技術(shù)標(biāo)準(zhǔn)而研制生產(chǎn)的多媒體信息處理芯片、

4、板卡和光盤驅(qū)動(dòng)器等。u       多媒體操作系統(tǒng)這是多媒體的核心，具有實(shí)時(shí)任務(wù)調(diào)度、多媒體數(shù)據(jù)轉(zhuǎn)換和同步控制、對(duì)多媒體設(shè)備的驅(qū)動(dòng)和控制，以及圖形用戶界面管理等。u       媒體處理系統(tǒng)工具它是多媒體重要的組成部分，也稱為多媒體系統(tǒng)開(kāi)發(fā)工具軟件。u               用戶應(yīng)用軟件1.2圖形和圖像n  &#

5、160;    基本原理亮度、色調(diào)和飽和度亮度：表示光的明亮程度，它與被觀察物體的發(fā)光強(qiáng)度和人類視覺(jué)系統(tǒng)的視敏功能有關(guān)。色調(diào)：反映的是顏色的種類，是決定顏色的基本特性。飽和度：指顏色的純度，即摻入白光的程度，或者說(shuō)是顏色的深淺程度。色調(diào)和飽和度通稱為色度。彩色空間在多媒體技術(shù)中，用得最多的是RGB彩色空間表示。而一般在彩色電視系統(tǒng)中，采用的是YUV彩色空間。另外，還有CIE XYZ、CIE LAB、CCIR601-2YCbCr彩色空間等。圖形圖像文件圖形是指用計(jì)算機(jī)繪制工具繪制的畫面，包括直線、曲線，圓/圓弧，方框等成分。圖形一般按各個(gè)成分的參數(shù)形式存儲(chǔ)，可以對(duì)各

6、個(gè)成分進(jìn)行移動(dòng)、縮放、旋轉(zhuǎn)和扭曲等變換，可以在繪圖儀上將各個(gè)成分輸出。圖像是由輸入設(shè)備捕捉的實(shí)際場(chǎng)景或以數(shù)字化形式存儲(chǔ)的任意畫面。圖像可以用位圖或矢量圖形式存儲(chǔ)。位圖 也叫黑白圖象，它是按圖像點(diǎn)陣形式存儲(chǔ)各像素的顏色編碼或灰度級(jí)。位圖適于表現(xiàn)含有大量細(xì)節(jié)的畫面，并可直接、快速地顯示或印出。其存儲(chǔ)量大，一般需要壓縮存儲(chǔ)。矢量圖 它用一組指令或參數(shù)來(lái)描述其中的各個(gè)成分，易于對(duì)各個(gè)成分進(jìn)行移動(dòng)、縮放、旋轉(zhuǎn)和扭曲等變換。矢量圖適于描述由多種比較規(guī)則的圖形元素構(gòu)成的圖形，但輸出圖像畫面時(shí)將轉(zhuǎn)換成位圖形式。圖形圖像的主要指標(biāo)有分辨率、色彩數(shù)、圖形灰度。分辨率有屏幕分辨率和輸出分辨率。前

7、者用每英寸行數(shù)和列數(shù)表示，后者是以每英寸的像點(diǎn)數(shù)表示。圖形圖像的色彩數(shù)和灰度級(jí)則是用位來(lái)表示。真彩：24位 圖形和圖像文件格式很多，以下主要介紹幾種常見(jiàn)的格式。n          BMP：PC機(jī)上最常見(jiàn)的位圖格式，尤其在Windows系統(tǒng)中使用特別廣泛。n          GIF：主要用于在不同平臺(tái)上進(jìn)行圖像交換，是經(jīng)過(guò)壓縮的圖形格式。GIF文件最大64MB，顏色數(shù)最多256色。n  

8、;        JPEG：文件壓縮比較高，文件比較小。雖然它采用的是有損壓縮算法，但對(duì)圖形圖像的損失影響并非很大。其色彩數(shù)最高可達(dá)到24位。n          TIF：有壓縮和非壓縮兩大類，是許多圖像應(yīng)用軟件所支持的主要文件格式之一，其最高支持的色彩數(shù)可達(dá)16M。n          PSD：Photoshop中的標(biāo)準(zhǔn)文件格式，專門為Photo

9、shop而優(yōu)化。n          CDR：CorelDraw的文件格式。注：Photoshop和CorelDraw都是目前最流行的圖形圖像處理軟件。1.3音頻n      基本概念     模擬錄音方式直接記錄音頻信號(hào)的波形，重放時(shí)用磁頭拾取信號(hào)。目前模擬錄音動(dòng)態(tài)范圍可達(dá)到80db（分貝，信噪比的單位），為進(jìn)一步提高音質(zhì)，采用數(shù)字音頻技術(shù)。計(jì)算機(jī)內(nèi)的音頻必須是數(shù)字形式的。數(shù)字聲音是一個(gè)數(shù)據(jù)序列，是一種采樣的聲音，

10、它是由模擬聲音經(jīng)抽樣、量化和編碼后得到的。在對(duì)音頻數(shù)據(jù)進(jìn)行壓縮時(shí)，需要從語(yǔ)音質(zhì)量、數(shù)據(jù)率和計(jì)算量3個(gè)方面來(lái)加以考慮。語(yǔ)音壓縮編碼從壓縮方法來(lái)看，可分為3類。Ø         波形編碼：采用這種編碼可獲得高質(zhì)量語(yǔ)音，但數(shù)據(jù)率不易降低。Ø         參數(shù)編碼：該方法的數(shù)據(jù)率低，但質(zhì)量又不高。Ø         混合編碼：綜合

11、前面兩種方法的編碼方法。語(yǔ)音、語(yǔ)言和音樂(lè)合成語(yǔ)音合成從合成采用的技術(shù)來(lái)講可分為：Ø         發(fā)音參數(shù)合成Ø         聲道模型參數(shù)合成Ø         波形編輯合成如果從合成策略上又可分為：Ø         頻譜逼近

12、16;         波形逼近實(shí)現(xiàn)計(jì)算機(jī)語(yǔ)音輸出有兩種方法：一.錄音/重放；二.文-與轉(zhuǎn)換；語(yǔ)言合成目前和僅處于文字到語(yǔ)音轉(zhuǎn)換的層次上。文-語(yǔ)轉(zhuǎn)換（TTS）是一種智能型的語(yǔ)音合成，需要建立語(yǔ)音參數(shù)數(shù)據(jù)庫(kù)、發(fā)音規(guī)則庫(kù)等。 音樂(lè)合成技術(shù)有兩種。調(diào)頻（FM）合成FM合成方式是將多個(gè)頻率的簡(jiǎn)單聲音合成復(fù)合音來(lái)模擬各種樂(lè)器的聲音。FM合成方式是早期使用的方法，用這種方法產(chǎn)生的聲音音色少、音質(zhì)差。波形表（Wave Table）合成這種方法是先把各種真正樂(lè)器的聲音錄下來(lái)，再進(jìn)行數(shù)字化處理形成波形數(shù)據(jù)，然后將各種波形數(shù)

13、據(jù)存儲(chǔ)在只讀存儲(chǔ)器中。發(fā)音時(shí)通過(guò)查表找到所選樂(lè)器的波形數(shù)據(jù)，再經(jīng)過(guò)調(diào)制、濾波、再合成等處理形成立體聲送去發(fā)音。存儲(chǔ)聲音樣本的ROM容量的大小對(duì)波表合成效果影響很大。MIDI:MIDI（musical instrument digital interface）是數(shù)字樂(lè)器接口的國(guó)際標(biāo)準(zhǔn)，它定義了電子音樂(lè)設(shè)備與計(jì)算機(jī)的通訊接口，規(guī)定了使用數(shù)字編碼來(lái)描述音樂(lè)樂(lè)譜的規(guī)范。常見(jiàn)的MIDI設(shè)備有電子琴等。計(jì)算機(jī)中以MID為擴(kuò)展名的文件稱為MIDI文件，其中存放的是對(duì)MIDI設(shè)備的命令，即每個(gè)音符的頻率、音量、通道號(hào)等指示信息。最后播出的聲音是由MIDI設(shè)備根據(jù)這些信息產(chǎn)生的。MIDI聲音可以用于配音，它的缺

14、點(diǎn)是對(duì)回放設(shè)備的依賴太強(qiáng)，還有就是不能記錄人聲；常見(jiàn)音頻格式： 名稱擴(kuò)展名特點(diǎn)缺點(diǎn)WAVEWAV完整記錄聲音的波形，不使用壓縮文件太大MODMOD、ST3、XT、S3M、FAR和669等文件中不僅存放了樂(lè)譜，還存放了樂(lè)曲使用的各種音色樣本。回放效果明確，音色種類永無(wú)止境。低音效果差MPEG-3MP3目前最流行的格式，壓縮較大。有損壓縮，音質(zhì)不完美Real AudioRA壓縮比高，失真度小有損壓縮，音質(zhì)并不好Create Musical FormatCMFCreative公司專用音樂(lè)格式。兼容性差CD AudioCDA唱片采用格式，記錄的是波形流無(wú)法編輯、文件太大MIDIMID音樂(lè)工業(yè)

15、的數(shù)據(jù)標(biāo)準(zhǔn)不能記錄語(yǔ)音1.4視頻動(dòng)畫（視頻）動(dòng)態(tài)圖像，包括動(dòng)畫和視頻信息，是連續(xù)漸變的靜態(tài)圖像或圖形序列，沿時(shí)間軸順次更換顯示，從而構(gòu)成運(yùn)動(dòng)視感的媒體。當(dāng)序列中每幀圖像是由人工或計(jì)算機(jī)產(chǎn)生的圖像時(shí)，稱為動(dòng)畫。當(dāng)序列中每幀圖像是通過(guò)實(shí)時(shí)攝取自然景象或活動(dòng)對(duì)象時(shí)，稱為視頻。     動(dòng)畫是以每秒1520幀的速度順序的播放靜止圖像幀來(lái)產(chǎn)生運(yùn)動(dòng)的錯(cuò)覺(jué)。比較流行的格式有兩種。Ø         蘋果公司的Quicktime：軟件壓縮和解壓縮（注意幾個(gè)數(shù)字參數(shù)）；Ø&

16、#160;        微軟的AVI：特點(diǎn)是可伸縮性，1.5數(shù)據(jù)壓縮和編碼技術(shù)標(biāo)準(zhǔn) H.261H.261是用于音頻視頻服務(wù)的視頻編碼解碼器，也稱為P×64標(biāo)準(zhǔn)。由CCITT（ITU-T）制定。其應(yīng)用目標(biāo)是可視電話和視頻會(huì)議系統(tǒng)。含有此標(biāo)準(zhǔn)的系統(tǒng)必須能實(shí)時(shí)的按標(biāo)準(zhǔn)進(jìn)行編碼和解碼。H.261于JPEG、MPEG標(biāo)準(zhǔn)的區(qū)別在于它是為動(dòng)態(tài)使用而設(shè)計(jì)的，并提供完全包含的組織的高水平的交互控制。JPEGJPEG是靜止圖像壓縮和解壓縮算法的標(biāo)準(zhǔn)，它是基于DCT的有損算法，是ISO的國(guó)際標(biāo)準(zhǔn)。MPEG在三方面優(yōu)于其他的

17、壓縮/解壓方案：  開(kāi)始就是一個(gè)國(guó)際化的標(biāo)準(zhǔn)，兼容性很好；  比其他算法有更高的壓縮比，最高可達(dá)到200：1；在提供高壓縮比的同時(shí)，對(duì)數(shù)據(jù)的損失很??；MPEGMPEG-X是一組由ITU和ISO制定發(fā)布的視頻、音頻和數(shù)據(jù)的壓縮標(biāo)準(zhǔn)。MPEG-1制定于1992年，傳輸率最高可達(dá)4Mbps5Mbps，質(zhì)量級(jí)別與VHS相當(dāng)?？捎糜谟涗浢襟w或是在Internet上傳輸音頻。MPEG-2制定于1994年，傳輸率在3Mbps10Mbps之間，DVD指定標(biāo)準(zhǔn)。MPEG-4傳輸率要求在4800bps64000bps之間。其主要特點(diǎn)是交互性和綜合性。更適合交互AV服務(wù)記憶即遠(yuǎn)程監(jiān)控，是第一個(gè)使

18、觀眾由被動(dòng)變主動(dòng)的動(dòng)態(tài)圖象標(biāo)準(zhǔn)。DVIDVI視頻圖像壓縮算法的性能與MPEG相當(dāng)，圖像質(zhì)量可達(dá)到VHS的水平。壓縮以后的圖像傳輸率約為1.5Mbps。1.6 多媒體應(yīng)用開(kāi)發(fā)過(guò)程   多媒體創(chuàng)作系統(tǒng)是多媒體電腦技術(shù)的嚴(yán)格重要組成部分，它介于多媒體工作平臺(tái)于應(yīng)用軟件之間，是支持應(yīng)用開(kāi)發(fā)人員進(jìn)行多媒體應(yīng)用軟件創(chuàng)作的工具，因此也稱為多媒體創(chuàng)作工具。多媒體創(chuàng)作工具的初衷是非計(jì)算機(jī)領(lǐng)域的專家對(duì)計(jì)算機(jī)技術(shù)的不了解，因此就需要一種工具，使應(yīng)用開(kāi)發(fā)人員不用編程也能做出很優(yōu)秀的多媒體軟件產(chǎn)品，這種工具稱之為多媒體創(chuàng)作工具，用這種工具做出來(lái)的產(chǎn)品稱為節(jié)目。多媒體創(chuàng)作工具是能夠用來(lái)集成各種媒體、并

19、可設(shè)計(jì)閱讀信息內(nèi)容方式的軟件。其功能日趨完善，總結(jié)起來(lái)，以下幾個(gè)方向和功能是多媒體創(chuàng)作工具應(yīng)具備的：1編輯能力及環(huán)境編輯能力主要是支持用戶對(duì)節(jié)目所需要的外部媒體資料的生成、增刪、修改于管理能力。這些功能不是通過(guò)用戶編程來(lái)實(shí)現(xiàn)，而是在系統(tǒng)中通過(guò)可視化的界面，幫助用戶使用簡(jiǎn)便操作來(lái)達(dá)到相同的效果。2. 媒體數(shù)據(jù)輸入能力即處理靜態(tài)和動(dòng)態(tài)的多媒體的能力，支持的格式越多越好。3. 交互能力從最簡(jiǎn)單的設(shè)置按鈕來(lái)連接事件，道后來(lái)的超鏈接功能，再道現(xiàn)在的菜單交互、可視媒體對(duì)象交互、文字輸入交互等，隨著多媒體創(chuàng)作工具對(duì)系統(tǒng)硬件的控制能力的加強(qiáng)，語(yǔ)音交互、觸控交互、三維立體觸控交互以及未來(lái)的智能判斷交互都是交互能

20、力的新技術(shù)。4. 功能擴(kuò)充能力為了滿足高層次節(jié)目的需求，媒體創(chuàng)作工具提供外部接口，可以連入其他的高級(jí)對(duì)象和組件，這樣就實(shí)現(xiàn)了三級(jí)用戶開(kāi)發(fā)環(huán)境，這三級(jí)用戶是不懂編程的普通用戶、稍懂編程的用戶和富有豐富編程經(jīng)驗(yàn)的用戶。5. 調(diào)試能力目前還制停留再放映節(jié)目的范圍，未來(lái)的調(diào)試工具應(yīng)該是多斷點(diǎn)、逆向回放等功能，再調(diào)試過(guò)程中顯示調(diào)試信息。6.動(dòng)態(tài)數(shù)據(jù)交換能力使用變量給某些媒體構(gòu)件賦予屬性，并且可以通過(guò)程序改變變量，從而達(dá)到動(dòng)態(tài)改變媒體屬性的目的。7.數(shù)據(jù)庫(kù)功能應(yīng)具有數(shù)據(jù)庫(kù)的查詢、排序、更新、刪除和增加等功能。8.網(wǎng)絡(luò)組件及模板套用能力能有效支持一組人通力制作一個(gè)節(jié)目的創(chuàng)作工具稱為組件版本，支持異構(gòu)電腦系統(tǒng)

21、之間的互連和資料傳遞，。模板功能是提高擁護(hù)編輯效率的一個(gè)重要手段，方便用戶大量制作某一類型的節(jié)目。9.其他能力2  多媒體重點(diǎn)和難點(diǎn)1   圖形和圖象的各種格式、幾個(gè)主要的概念：2音頻采集計(jì)算：聲音文件的存儲(chǔ)量=采樣頻率×采樣位數(shù)×聲道數(shù)3視頻圖象的容量計(jì)算和國(guó)家標(biāo)準(zhǔn)：圖像文件的存儲(chǔ)量=分辨率×色彩數(shù)（位）。4視頻的幾種集中壓縮格式：例題1：MPEG-I編碼器輸出視頻的數(shù)據(jù)率大約為_(kāi)C_。PAL制式下其圖像亮度信號(hào)的分辨率為_(kāi)A_，幀速為_(kāi)B_。 （多媒體）(44)A128Kb/sB320Kb/sC1.5Mb/sD15Mb/s(45)

22、A352×288B576×352C720×576D1024×720(46)A16幀/秒B25幀/秒C30幀/秒D50幀/秒例題2：在多媒體的音頻處理中，由于人所敏感的聲頻最高為A赫茲（Hz），因此數(shù)字音頻文件對(duì)音頻的采樣頻率為B赫茲（Hz）。對(duì)一個(gè)雙聲道的立體聲，保持1秒鐘聲音，其波形文件所需的字節(jié)數(shù)為C，這里假設(shè)每個(gè)采樣點(diǎn)的量化位數(shù)為8位。      MIDI文件是最常用的數(shù)字音頻文件之一，MIDI是一種D，它是該領(lǐng)域國(guó)際上的一個(gè)E。     

23、A： 50               10k                 22k                 44k   

24、;  B： 44.1k            20.05k              10k                 88kC： 22050   

25、60;        88200               176400              44100     D： 語(yǔ)音數(shù)字接口      

26、0;                    樂(lè)器數(shù)字接口          語(yǔ)音模擬接口                   &#

27、160;       樂(lè)器模擬接口     E： 控制方式        管理規(guī)范         通信標(biāo)準(zhǔn)           輸入格式在音頻處理中，采樣頻率是決定音頻質(zhì)量的一個(gè)重要因素，它決定了頻率響應(yīng)范圍。對(duì)聲音進(jìn)行采樣的三種標(biāo)準(zhǔn)以及采樣頻率分別為：語(yǔ)音效果（11 kHz）、音樂(lè)效果（22 kHz）、高保真效果（44.1 kHz），目前聲卡的最高采樣率為44.1KHz。    另外，一般人的聽(tīng)覺(jué)帶寬為20Hz20kHz，人敏感的聲頻最高為22kHz。