第九章 多媒體技術(shù)基礎(chǔ).ppt

1、第九章 多媒體技術(shù)基礎(chǔ),9.1 多媒體技術(shù)的基本概念 9.2 多媒體計(jì)算機(jī)系統(tǒng) 9.3 多媒體信息的數(shù)字化和壓縮技術(shù) 9.4 多媒體素材制作,9.1多媒體技術(shù)的基本概念 9.1.1多媒體,媒體 存儲(chǔ)信息的物理實(shí)體，如磁盤、光盤等 信息的表現(xiàn)形式或載體,多媒體 融合兩種或兩種以上媒體的一種人機(jī)交互式信息交流和傳播媒體，使用的媒體包括文字、圖形、圖像、聲音、動(dòng)畫(huà)和視頻。 多媒體技術(shù) 是一種基于計(jì)算機(jī)的綜合技術(shù)，包括數(shù)字化信息的處理技術(shù)、音頻和視頻技術(shù)、計(jì)算機(jī)硬件和軟件技術(shù)、人工智能和模式識(shí)別技術(shù)、通信和圖像技術(shù)等，是一門跨學(xué)科的綜合技術(shù)。,9.1.2 多媒體技術(shù)的特性,多樣性 媒體、處理方式 集成

2、性 媒體、設(shè)備與軟件的集成 交互性 用戶與多媒體信息 數(shù)字化 媒體信息以數(shù)字的形式存儲(chǔ)和處理 實(shí)時(shí)性 聲音媒體和視頻媒體,9.1.3 多媒體信息的類型,1文本 2圖形 由直線、圓、圓弧、任意曲線等組成的畫(huà)面，以矢量形式存儲(chǔ)。 3圖像 通過(guò)掃描儀、數(shù)字照相機(jī)、攝像機(jī)等設(shè)備捕捉的真實(shí)場(chǎng)景的畫(huà)面，數(shù)字化后以位圖格式存儲(chǔ)。 4動(dòng)畫(huà) 利用了人眼的視覺(jué)特性所得到的畫(huà)面印象。 5. 視頻 來(lái)自視頻信號(hào)源的影像。 6音頻 話語(yǔ)、音樂(lè)以及各種動(dòng)物和自然界發(fā)出的各種聲音。,9.1.4 多媒體信息處理的關(guān)鍵技術(shù),1.多媒體數(shù)據(jù)壓縮技術(shù) 節(jié)省存儲(chǔ)空間，提高通信介質(zhì)的傳輸效率，使計(jì)算機(jī)實(shí)時(shí)處理和播放視頻、音頻信息成為可

3、能。 2.多媒體數(shù)據(jù)存儲(chǔ)技術(shù) 數(shù)字化數(shù)據(jù)存儲(chǔ)的介質(zhì)有：硬盤、光盤和磁帶等。 CD/ROM光盤容量：650MB左右 單面單密度DVD：4.7GB 雙面雙密度DVD：17GB,3.集成電路制作技術(shù) 為多媒體技術(shù)的進(jìn)一步發(fā)展創(chuàng)造了有力的條件。 4.多媒體數(shù)據(jù)庫(kù)技術(shù) 研究多媒體信息的特征、建立多媒體數(shù)據(jù)模型； 有效地組織和管理多媒體信息； 多媒體信息的檢索和統(tǒng)計(jì)。,5. 虛擬現(xiàn)實(shí)技術(shù) 利用計(jì)算機(jī)生成一種模擬環(huán)境，通過(guò)多種傳感設(shè)備，使人能夠沉浸在計(jì)算機(jī)生成的虛擬境界中，并能夠通過(guò)語(yǔ)言、手勢(shì)等自然的方式與之進(jìn)行實(shí)時(shí)交互，創(chuàng)建了一種適人化的多維信息空間。 6. 多媒體網(wǎng)絡(luò)與通信技術(shù) 多媒體通信技術(shù)支持是保證

4、多媒體通信實(shí)施的條件。,資料:虛擬現(xiàn)實(shí),9.1.5 多媒體技術(shù)的應(yīng)用領(lǐng)域,1.多媒體教育 2.電子出版物 3. 多媒體網(wǎng)絡(luò)應(yīng)用 互聯(lián)網(wǎng)直播 視頻點(diǎn)播 遠(yuǎn)程教育 視頻會(huì)議系統(tǒng),9.2 多媒體計(jì)算機(jī)系統(tǒng),多媒體應(yīng)用系統(tǒng),多媒體計(jì)算機(jī)主機(jī)、外圍設(shè)備,多媒體編輯與創(chuàng)作工具,多媒體庫(kù)函數(shù)、素材制作工具,多媒體操作系統(tǒng),設(shè)備驅(qū)動(dòng)軟件、接口程序,多媒體系統(tǒng)層次結(jié)構(gòu),MPC標(biāo)準(zhǔn)(多媒體計(jì)算機(jī)主機(jī)標(biāo)準(zhǔn)),在普通微機(jī)的基礎(chǔ)上增加以下4類軟、硬件設(shè)備 ： 聲/像輸入設(shè)備：例如，話筒、錄音機(jī)、攝像機(jī)、 光驅(qū)、掃描儀等。 聲/像輸出設(shè)備：例如，音效、投影儀、刻錄光驅(qū)等。 功能卡：例如，電視卡、視頻卡(采集、壓縮、輸出)

5、、 網(wǎng)卡等。 軟件支持：音響、視頻和通訊信息以及實(shí)時(shí)、 多任務(wù)處理軟件。,資料:多媒體的基本設(shè)備,9.2.1多媒體計(jì)算機(jī)硬件系統(tǒng),多媒體計(jì)算機(jī)硬件系統(tǒng)示意圖,多媒體接口卡,1.音頻卡又稱聲卡，是處理音頻信號(hào)的硬件,2.圖形加速卡 圖形加速卡擁有圖形函數(shù)加速器和顯存，專門用來(lái)執(zhí)行圖形加速任務(wù)，可以減少CPU處理圖形的負(fù)擔(dān)。工作在CPU和顯示器之間，控制計(jì)算機(jī)的圖形輸出。 現(xiàn)在的顯示卡上都集成有圖形處理芯片組，成為圖形加速卡。,資料:圖形加速卡,3. 視頻采集卡 視頻采集卡可以獲取數(shù)字化視頻信息，提供硬件壓縮功能,Video復(fù)合視頻接口，將亮度、彩色信號(hào)和同步信號(hào)合成一個(gè)信號(hào)。 S-Video分離

6、視頻接口，將亮度和色度信號(hào)分成兩個(gè)獨(dú)立的模擬信號(hào)。連接模擬視頻設(shè)備。,資料:電視信號(hào),4. IEEE 1394卡 標(biāo)準(zhǔn)的IEEE 1394接口可以同時(shí)傳送數(shù)字視頻信號(hào)以及數(shù)字音頻信號(hào)，相對(duì)于模擬視頻接口，IEEE 1394技術(shù)在采集和回錄過(guò)程中沒(méi)有任何信號(hào)的損失。 現(xiàn)在的IEEE 1394卡多為PCI接口，只要插入到計(jì)算機(jī)主板相應(yīng)的PCI插槽上就可以提供視頻采集功能,信息獲取設(shè)備,數(shù)碼照像機(jī)（DC） 數(shù)碼照像機(jī)所拍攝到的照片是以文件形式存儲(chǔ)在相機(jī)內(nèi)的存儲(chǔ)卡中，將數(shù)碼照像機(jī)中的照片存儲(chǔ)到計(jì)算機(jī)中，先用連接線將數(shù)碼照像機(jī)與計(jì)算機(jī)連結(jié)起來(lái)。數(shù)碼照像機(jī)的驅(qū)動(dòng)程序就會(huì)將相機(jī)的存儲(chǔ)卡視為計(jì)算機(jī)的一個(gè)可移動(dòng)

7、磁盤，存儲(chǔ)卡中的圖像會(huì)以略圖方式顯示,數(shù)碼設(shè)備,數(shù)碼照像機(jī)的性能指標(biāo)： 分辨率： 分辨率越高，所拍圖象的質(zhì)量也越高 顏色深度：對(duì)色彩的分辨率，現(xiàn)在一般都可以達(dá)到24位， 生成真彩色的圖象 存儲(chǔ)介質(zhì)：閃速存儲(chǔ)器 數(shù)據(jù)輸出方式：輸出接口為串行口、USB接口或1394接口。,數(shù)碼攝像機(jī)（DV） 數(shù)碼攝像機(jī)的優(yōu)點(diǎn)是動(dòng)態(tài)拍攝效果好，數(shù)碼攝像機(jī)使用的小尺寸電荷耦合器件CCD與其鏡頭的不匹配，在拍攝靜止圖像時(shí)的效果不如數(shù)碼照像機(jī)。,使用iLink纜線連接DV與計(jì)算機(jī)，一端連接計(jì)算機(jī)上的IEEE 1394卡上的接口，另一端接在DV In/Out接口，然后打開(kāi)DV的電源并把DV調(diào)到VCR狀態(tài)，操作系統(tǒng)會(huì)自動(dòng)識(shí)別

8、DV設(shè)備。啟動(dòng)采集編輯軟件，將存儲(chǔ)在DV帶上的數(shù)碼影像輸入到計(jì)算機(jī)。,如果要將DV上的數(shù)碼影像輸出到電視機(jī)，需要使用RCA線纜。RCA線纜包含了三個(gè)接頭：紅色代表右邊的音頻線路、白色代表左邊的音頻線路、黃色代表視頻線路，兩端的外觀都一樣。,9.2.2 多媒體計(jì)算機(jī)軟件系統(tǒng),多媒體計(jì)算機(jī)軟件系統(tǒng),9.3多媒體信息的數(shù)字化和壓縮技術(shù) 9.3.1音頻信息,復(fù)雜的聲波由許許多多具有不同振幅和頻率的正弦波組成。 波形相對(duì)基線的最大位移稱為振幅A，反映音量； 波形中兩個(gè)相鄰的波峰（或波谷）之間的距離稱為振動(dòng)周期T，周期的倒數(shù)1/T即為頻率f，以赫茲（Hz）為單位。正常人所能聽(tīng)到的聲音頻率范圍為20 Hz2

9、0 kHz。,模擬信號(hào),模擬音頻的數(shù)字化,用計(jì)算機(jī)對(duì)音頻信息處理，就要將模擬信號(hào)（如語(yǔ)音、音樂(lè)等）轉(zhuǎn)換成數(shù)字信號(hào)。,采樣: 每隔一定時(shí)間間隔對(duì)模擬波形 上取一個(gè)幅度值。采樣頻率為 40.1kHz可獲得原始聲音波形， 高質(zhì)量聲音。 量化: 將每個(gè)采樣點(diǎn)得到的幅度 值以數(shù)字存儲(chǔ)。 編碼: 將采樣和量化后的數(shù)字 數(shù)據(jù)以一定的格式記錄下來(lái),數(shù)字音頻的技術(shù)指標(biāo),采樣頻率: 每秒鐘的采樣次數(shù) 量化位數(shù)(采樣精度) ：存放采樣點(diǎn)振幅值的二進(jìn)制位數(shù)。 通常量化位數(shù)有8位、16位， 分別表示有28、216個(gè)等級(jí)。 聲道數(shù) ：聲音通道的個(gè)數(shù) ，立體聲為雙聲道。,每秒鐘存儲(chǔ)聲音容量的公式為： 采樣頻率采樣精度聲道數(shù)

10、/8=字節(jié)數(shù) 例如，用44.10 kHz的采樣頻率，16位的精度存儲(chǔ)，則錄制1秒鐘的立體聲節(jié)目，其WAV文件所需的存儲(chǔ)量為： 44 100162/8=176 400（字節(jié)）,聲音文件容量大小的計(jì)算,計(jì)算一首采樣頻率為22.05KHz，16位，長(zhǎng)度為3分鐘的立體聲音頻所占空間約為多少？,Wave格式文件（. Wav） 記錄了真實(shí)聲音的二進(jìn)制采樣數(shù)據(jù)，通常文件較大。 MIDI格式文件（.MID） 數(shù)字音樂(lè)的國(guó)際標(biāo)準(zhǔn). 記錄的是音符數(shù)字，文件顯得更加緊湊、小。 在多媒體應(yīng)用中，一般WAV文件存放的是解說(shuō)詞，MIDI文件存放的是背景音樂(lè)。 MPEG音頻文件（.MP1/.MP2/.MP3） 采用MPEG

11、音頻壓縮標(biāo)準(zhǔn)進(jìn)行壓縮的文件。 是有損壓縮 RA音頻文件（.ra） 流媒體， 壓縮的，較小，適合網(wǎng)上實(shí)時(shí)播放,數(shù)字音頻的文件格式,WAV文件,MIDI文件,9.3.2 圖形和圖像,圖形：矢量圖形 由點(diǎn)、線等組成的有邊界畫(huà)面，由繪圖軟件繪制的，以矢量圖形文件形式存儲(chǔ)，存放的是各個(gè)圖元的大小、位置、形狀、顏色、維數(shù)等屬性的指令集合，對(duì)圖形中的各個(gè)圖元進(jìn)行縮放、移動(dòng)、旋轉(zhuǎn)而不失真，占用的存儲(chǔ)空間小。,圖像：位圖圖形 由圖像設(shè)備輸入的真實(shí)場(chǎng)景畫(huà)面產(chǎn)生的映像，數(shù)字化后以位圖形式存儲(chǔ)。存儲(chǔ)的是構(gòu)成圖像的每個(gè)像素點(diǎn)的亮度、顏色，文件大小與分辨率和色彩的顏色種類有關(guān)，放大和縮小要失真，占用的空間比矢量文件大。,

12、圖形：矢量圖形 由點(diǎn)、線等組成的有邊界畫(huà)面，由繪圖軟件繪制的，以矢量圖形文件形式存儲(chǔ)，存放的是各個(gè)圖元的大小、位置、形狀、顏色、維數(shù)等屬性的指令集合，對(duì)圖形中的各個(gè)圖元進(jìn)行縮放、移動(dòng)、旋轉(zhuǎn)而不失真，占用的存儲(chǔ)空間小。 圖像：位圖圖形 由圖像設(shè)備輸入的真實(shí)場(chǎng)景畫(huà)面產(chǎn)生的映像，數(shù)字化后以位圖形式存儲(chǔ)。存儲(chǔ)的是構(gòu)成圖像的每個(gè)像素點(diǎn)的亮度、顏色，文件大小與分辨率和色彩的顏色種類有關(guān)，放大和縮小要失真，占用的空間比矢量文件大。,矢量圖形： 矢量圖形文件存儲(chǔ)的是描述生成圖形的指令，本身就是數(shù)字信息，因此不必對(duì)圖形中的每一點(diǎn)進(jìn)行數(shù)字化處理。 圖像： 現(xiàn)實(shí)中的圖像是一種模擬信號(hào)。 圖像的數(shù)字化是指將一幅真實(shí)的

13、圖像轉(zhuǎn)變成計(jì)算機(jī)能夠接受的數(shù)字形式。 圖像數(shù)字化過(guò)程：圖像的采樣、量化及編碼,圖形和圖像的數(shù)字化,（1）采樣： 圖像的采樣就是將連續(xù)的圖像轉(zhuǎn)化成離散點(diǎn)的過(guò)程，采用的實(shí)質(zhì)是用若干個(gè)像素點(diǎn)萊描述整幅圖像，也稱為圖像的分辨率，用點(diǎn)的“列數(shù)行數(shù)”,分辨率越高，圖像越清晰，存儲(chǔ)量越大。,圖像數(shù)字化過(guò)程,（2）量化： 將表示圖像色彩濃淡的連續(xù)變化值離散化為整數(shù)值的過(guò)程。一般用8位、16位、24位、32位等來(lái)表示圖像的顏色，也稱為顏色深度。24位可表示224=16777216 種顏色，稱為真彩色。,1,（3）編碼： 圖像文件的分辨率和像素位的顏色深度決定了圖像文件的大小，計(jì)算圖像存儲(chǔ)大小公式： 列數(shù)行數(shù)像素

14、的顏色深度/8 =字節(jié)數(shù),例如：分辨率為640480的真彩色屏幕的幀存儲(chǔ)器的容量是： 又如：分辨率640480的256色屏幕的幀存儲(chǔ)器的容量是,6404808/8=307200（字節(jié)）。,64048024/8=921600（字節(jié)）。,例：12801024分辨率的“真彩色”電視圖像， 按每秒30幀計(jì)算，顯示1分鐘，則需要：,計(jì)算存儲(chǔ)視頻或電視圖像大小的公式： 列數(shù)行數(shù)像素的顏色深度/8 幀/秒=字節(jié)數(shù),12801024243060 /8 6.6 GB,假設(shè)每秒播放25幀畫(huà)面，每幀影像像素?cái)?shù)為720*576的真彩方式，請(qǐng)計(jì)算半分鐘的該影視數(shù)據(jù)所占空間？,9.3.3 視頻,視頻是將一幅幅獨(dú)立圖像組成

15、的序列按照一定的速率連續(xù)播放，利用視覺(jué)暫留現(xiàn)象在人的眼前呈現(xiàn)出連續(xù)運(yùn)動(dòng)的畫(huà)面。,模擬視頻和數(shù)字視頻文件大小的計(jì)算：,分辨率,幀/秒,采樣深度,時(shí)間秒,640480 24 30 60/8 =1 658 880 000字節(jié),常用圖像文件格式,BMP和DIB格式文件 與設(shè)備無(wú)關(guān)的位圖格式文件，包含的圖像信息較豐富，幾乎不壓縮，Windows環(huán)境中經(jīng)常使用. GIF格式文件 Internet上的重要文件格式之一，最大不超過(guò)64 KB， 256色以內(nèi)，壓縮比較高。也有連續(xù)的動(dòng)畫(huà) JPEG格式文件（.JPG） 利用JPEG方法壓縮, 壓縮比高，Internet上重要文件格式之一，適用于處理256色以上、大

16、幅面圖像。 WMF格式文件 位圖與矢量圖的混合體, Windows中許多剪貼畫(huà)圖像 是以該格式存儲(chǔ)的。廣泛應(yīng)用于桌面出版印刷領(lǐng)域。,常用視頻文件格式,AVI（Audio-Video Interleaved）文件 將視頻與音頻信息交錯(cuò)地保存在一個(gè)文件中，較好地解決了音頻與視頻的同步問(wèn)題，已成為Windows視頻標(biāo)準(zhǔn)格式文件。未壓縮 MOV文件 合成視頻、音頻、動(dòng)畫(huà)、靜止圖像等多種素材。未壓縮 MPG(.mpg)文件 是按照MPEG標(biāo)準(zhǔn)壓縮的全屏視頻的標(biāo)準(zhǔn)文件。 DAT文件 是VCD專用的格式文件，文件結(jié)構(gòu)與MPG文件格式基本相同。,流媒體概述,流媒體 一種可以使音頻、視頻等多媒體文件能在Inte

17、rnet上以實(shí)時(shí)的、無(wú)需下載等待的流式傳輸方式進(jìn)行播放的技術(shù),應(yīng)用 互聯(lián)網(wǎng)直播 視頻點(diǎn)播 遠(yuǎn)程教育 視頻會(huì)議系統(tǒng),常用流媒體文件,RealMedia RA （RealAudio）用來(lái)傳輸接近CD音質(zhì)的音頻數(shù)據(jù) RM（RealVideo）在低速率的網(wǎng)絡(luò)上實(shí)時(shí)傳輸活動(dòng)視頻影像 RF（RealFlash）一種高壓縮比的動(dòng)畫(huà)格式 QuickTime 是數(shù)字媒體領(lǐng)域事實(shí)上的工業(yè)標(biāo)準(zhǔn)，是創(chuàng)建3D動(dòng)畫(huà)、實(shí)時(shí)效果、虛擬現(xiàn)實(shí)、A/V和其他數(shù)字流媒體的重要基礎(chǔ)。 ASF ASF是一種數(shù)據(jù)格式，音頻、視頻、圖像以及控制命令腳本等多媒體信息通過(guò)這種格式，以網(wǎng)絡(luò)數(shù)據(jù)包的形式傳輸，實(shí)現(xiàn)流式多媒體內(nèi)容發(fā)布。,9.3.4 數(shù)據(jù)壓縮技術(shù),無(wú)損壓縮 無(wú)損壓縮方法原理是出現(xiàn)次數(shù)來(lái)統(tǒng)計(jì)被壓縮數(shù)據(jù)中重復(fù)數(shù)據(jù)的進(jìn)行編碼，能確保解壓后的數(shù)據(jù)不失真 。 有損壓縮 有損壓縮方法是以犧牲某些信息（這部分信息基本不影響對(duì)原始數(shù)據(jù)的理解）為代價(jià)，換取了較高的壓縮比。,有損數(shù)據(jù)壓縮的國(guó)際標(biāo)準(zhǔn) JPEG標(biāo)準(zhǔn) 適用于連續(xù)色調(diào)和多級(jí)灰度的靜態(tài)圖像 MPEG標(biāo)準(zhǔn) 適用于運(yùn)動(dòng)圖像、音頻信息。包括MPEG視頻、MPEG音頻、MPEG系統(tǒng)（視頻和音頻的同步）。MPEG已制定了MPEG-1、MPEG-2、MPEG-4和MPEG-7四種。,無(wú)損壓縮軟件：,WinRar、WinZip,9.4多媒體素材制作 9.4