多媒體技術(shù)與應(yīng)用1.PPT.ppt

1、第一章 多媒體基礎(chǔ),理解多媒體、多媒體技術(shù)的概念 明確多媒體中的主要元素及其特點(diǎn) 了解多媒體的關(guān)鍵特性以及這些特 性之間的關(guān)系 了解多媒體的關(guān)鍵技術(shù)、主要應(yīng)用 領(lǐng)域和發(fā)展方向 了解多媒體數(shù)據(jù)中的冗余以及幾種 主要壓縮算法,學(xué)習(xí)目標(biāo),1.1 多媒體的基本概念,1.2 多媒體技術(shù)的應(yīng)用與發(fā)展,1.3 多媒體的關(guān)鍵技術(shù),1.4 多媒體信息的計(jì)算機(jī)表示,1.5 多媒體數(shù)據(jù)壓縮技術(shù),1.6 多媒體與因特網(wǎng),目錄,1.1 多媒體的基本概念,1.1.1 多媒體的定義,1.1.2 多媒體技術(shù)及其特性,1.1.3 多媒體中的媒體元素及其特征,1.1.1 多媒體的定義,“多媒體”一詞譯自英文“Multimedia

2、” 即“Multiple”和”Media”的合成 其核心詞是媒體,何謂多媒體呢？,媒質(zhì)：存儲(chǔ)信息的實(shí)體，如磁盤(pán)、 光盤(pán)、磁帶、半導(dǎo)體存儲(chǔ)器等。 媒介：傳遞信息的載體，如數(shù)字、 文字、聲音、圖形和圖像等。,媒體（medium）在計(jì)算機(jī)領(lǐng)域有 兩種含義：即媒質(zhì)和媒介。,通常概念的“媒體” ，可分為以下 五種類(lèi)型：,顯示媒體：用于通信中使電信號(hào)和 感覺(jué)媒體之間產(chǎn)生轉(zhuǎn)換用的媒體。如輸 入、輸出設(shè)施，鍵盤(pán)鼠標(biāo)器、顯示器、 打印機(jī)等。,存儲(chǔ)媒體：用于存放某種媒體的媒 體如紙張、磁帶、磁盤(pán)、光盤(pán)等。,傳輸媒體：用于傳輸某些媒體的媒 體，如電話線、電纜光纖等。,多媒體計(jì)算機(jī)技術(shù)的定義： 計(jì)算機(jī)綜合處理多種媒體

3、信息，文本 圖形、圖像、音頻和視頻，使多種信息建 立邏輯連接，集成為一個(gè)系統(tǒng)并具有交互 性。,1.1.2 計(jì)算機(jī)技術(shù)及其特性,多媒體計(jì)算機(jī)技術(shù)的三個(gè)主要特性,信息載體的多樣性是相對(duì)于計(jì)算機(jī) 而言的，即指信息媒體的多樣性。 多媒體就是要把計(jì)算機(jī)處理的信息 多樣化或多維化，從而改變計(jì)算機(jī)信息 處理的單一模式，使人們能交互的處理 多種信息。,信息載體的多樣性,交互性,多媒體的交互性是指用戶可以與 計(jì)算機(jī)的多種信息媒體進(jìn)行交互操作 從而為用戶提供了更加有效地控制和 使用信息的手段。,集成性,集成性是指以計(jì)算機(jī)為中心綜合處 理多種信息媒體，它包括信息媒體的集 成和處理這些媒體的設(shè)備的集成。 信息媒體的集

4、成包括信息的多通道 統(tǒng)一獲取、多媒體信息的統(tǒng)一組織和存 儲(chǔ)、多媒體信息表現(xiàn)合成等方面。 多媒體設(shè)備的集成包括硬件和軟件 兩個(gè)方面。,多媒體媒體元素是指多媒體應(yīng)用中 可顯示給用戶的媒體組成。,1.1.3 多媒體中的媒體元素及特征,音頻,動(dòng)畫(huà),視頻,文本,圖形,圖像,文本,文本分為非格式化文本文件和格式 化文本文件。 非格式化文本文件：只有文本信息 沒(méi)有其他任何有關(guān)格式信息的文件，又 稱(chēng)為純文本文件。如“.TXT ”文件。 格式化文本文件：帶有各種文本排 版信息等格式信息的文本文件。 如“.DOC ”文件。,圖形,圖形（Graphic）一般指用計(jì)算機(jī)繪 制的畫(huà)面，如直線、圓、圓弧、矩形、 任意曲線

5、和圖表等。 圖形的格式是一組描述點(diǎn)、線、面 等幾何圖形的大小、形狀及其位置、維 數(shù)的指令集合。 在圖形文件中只記錄生成圖的算法 和圖上的某些特征點(diǎn)，因此也稱(chēng)矢量圖。,用于產(chǎn)生和編輯矢量圖形的程序通 常稱(chēng)為“ draw ”程序。 微機(jī)上常用的矢量圖形文件有： “.3DS”（用于 3D 造型）、“.DXF”（用于 CAD）、“.WMF”（用于桌面出版）等等。 由于圖形只保存算法和特征點(diǎn)，因 此占用的存儲(chǔ)空間很小。但顯示時(shí)需經(jīng) 過(guò)重新計(jì)算，因而顯示速度相對(duì)慢些。,圖像,圖像（Image）是指由輸入設(shè)備捕捉的 實(shí)際場(chǎng)景畫(huà)面，或以數(shù)字化形式存儲(chǔ)的任 意畫(huà)面。 靜止的圖像是一個(gè)矩陣，陣列中的各 項(xiàng)數(shù)字用來(lái)

6、描述構(gòu)成圖像的各個(gè)點(diǎn)（稱(chēng)為 像素點(diǎn) pixel ）的強(qiáng)度與顏色等信息。這種 圖像也稱(chēng)為位圖（ bit-mapped picture ）。,用于生成和編輯位圖圖像的軟件通 常稱(chēng)為“ paint ” 程序。 圖像文件在計(jì)算機(jī)中的存儲(chǔ)格式有 多種，如 BMP、PCX、TIF、TGA、GIF、 JPG 等，一般數(shù)據(jù)量都較大。,圖像處理時(shí)要考慮三個(gè)因素：,分辨率,圖像深度和顯示深度,圖像深度（也稱(chēng)圖像灰度、顏色深度） 表示數(shù)字位圖圖像中每個(gè)像素上用于表示顏 色的二進(jìn)制數(shù)字位數(shù)。 顯示深度：表示顯示器上每個(gè)點(diǎn)用于顯 示顏色的 2 進(jìn)制數(shù)字位數(shù)。 若顯示器的顯示深度小于數(shù)字圖像的深 度，就會(huì)使數(shù)字圖像顏色的

7、顯示失真。,顏色深度與顯示的顏色數(shù)目,圖像文件大小,用字節(jié)表示圖像文件大小時(shí)，一幅未經(jīng) 壓縮的數(shù)字圖像的數(shù)據(jù)量大小計(jì)算如下：,圖像數(shù)據(jù)量大小 = 像素總數(shù)圖像深度8,例如：一幅 640480 的 256 色圖像為 64048088 = 307200 字節(jié),Comparison:,寬度：271 高度：300 顏色：2 大?。?.9 KB,寬度：271 高度：300 顏色：4 大?。?9.8 KB,Comparison:,寬度：271 高度：300 顏色：256 大?。?9.4 KB,寬度：271 高度：300 顏色：真彩色 大?。?38.2 KB,音頻,數(shù)字音頻（Audio）可分為波形聲音 語(yǔ)音

8、和音樂(lè)。,波形聲音實(shí)際上已經(jīng)包含了所有的 聲音形式，它可以將任何聲音都進(jìn)行采 樣量化，相應(yīng)的文件格式是WAV 文件或 VOC文件。 語(yǔ)音也是一種波形，所以和波形聲 音的文件格式相同。 音樂(lè)是符號(hào)化了的聲音，樂(lè)譜可轉(zhuǎn) 變?yōu)榉?hào)媒體形式。對(duì)應(yīng)的文件格式是 MID 或CMF 文件。,計(jì)算機(jī)音頻技術(shù)主要包括聲音的采 集、數(shù)字化、壓縮/解壓縮以及聲音的 播放。 數(shù)字化主要包括采樣和量化這兩個(gè) 方面。 采樣頻率（sampling rate）是將模擬 聲音波形轉(zhuǎn)換為數(shù)字時(shí)，每秒鐘所抽取 聲波幅度樣本的次數(shù)，單位是 Hz（赫茲）。,量化數(shù)據(jù)位數(shù)（也稱(chēng)量化級(jí)）是每 個(gè)采樣點(diǎn)能夠表示的數(shù)據(jù)范圍，經(jīng)常采 用的有8

9、位、12 位和16 位。 例如，8 位量化級(jí)表示每個(gè)采樣點(diǎn) 可以表示256 個(gè)不同量化值，而16 位量 化級(jí)則可以表示65536 個(gè)不同的量化值,記錄聲音時(shí)，如果每次生成一個(gè)聲 道數(shù)據(jù)，稱(chēng)為單聲道；每次生成兩個(gè)聲 波數(shù)據(jù)，稱(chēng)為立體聲（雙聲道）。,數(shù)字音頻的存儲(chǔ)量： 可用以下公式估算聲音數(shù)字化后每 秒所需的存儲(chǔ)量（未經(jīng)壓縮的）,存儲(chǔ)量 = 采樣頻率量化位數(shù)8,例如，數(shù)字激光唱盤(pán)（CD-DA）的標(biāo) 準(zhǔn)采樣頻率為44.1 kHz，量化位數(shù)為16 位，立體聲。一分鐘 CD-DA 音樂(lè)所需的 存儲(chǔ)量為 44.1 K162608 = 10584 KB,若使用雙聲道，存儲(chǔ)量再增加一倍,Sampling Re

10、solution 8 bit Sampling Frequency 11 KHz,Sampling Resolution 16 bit Sampling Frequency 22 KHz,動(dòng)畫(huà)是活動(dòng)的畫(huà)面，實(shí)質(zhì)是一幅幅 靜態(tài)圖像的連續(xù)播放。動(dòng)畫(huà)的連續(xù)播放 既指時(shí)間上的連續(xù)，也指圖像內(nèi)容上的 連續(xù)。 計(jì)算機(jī)設(shè)計(jì)動(dòng)畫(huà)有兩種：一種是幀 動(dòng)畫(huà)，一種是造型動(dòng)畫(huà)。,動(dòng)畫(huà),幀動(dòng)畫(huà)是由一幅幅位圖組成的連續(xù) 的畫(huà)面，就如電影膠片或視頻畫(huà)面一樣 要分別設(shè)計(jì)每屏幕顯示的畫(huà)面。 造型動(dòng)畫(huà)是對(duì)每一個(gè)運(yùn)動(dòng)的物體分 別進(jìn)行設(shè)計(jì)，賦予每個(gè)動(dòng)元一些特征， 然后用這些動(dòng)元構(gòu)成完整的幀畫(huà)面。動(dòng) 元的表演和行為是由制作表組成的腳本

11、來(lái)控制。 存儲(chǔ)動(dòng)畫(huà)的文件格式有FLC、MMM等,視頻,視頻是由一幅幅單獨(dú)的畫(huà)面序列 （幀frame）組成 ，這些畫(huà)面以一定 的速率（fps）連續(xù)地投射在屏幕上， 使觀察者具有圖像連續(xù)運(yùn)動(dòng)的感覺(jué)。 視頻文件的存儲(chǔ)格式有AVI、MPG MOV等。,視頻標(biāo)準(zhǔn)主要有NTSC制和PAL制 兩種。 NTSC 標(biāo)準(zhǔn)為30fps，每幀525行。 PAL 標(biāo)準(zhǔn)為25fps，每幀625行。 視頻的技術(shù)參數(shù)有： 幀速 數(shù)據(jù)量 圖像質(zhì)量,1.2 多媒體技術(shù)的應(yīng)用與發(fā)展,1.2.1 多媒體技術(shù)的應(yīng)用,就目前而言，多媒體技術(shù)已在商業(yè) 教育培訓(xùn)、電視會(huì)議、聲像演示等方面 得到了充分應(yīng)用。,在教育與培訓(xùn)方面的應(yīng)用,在通信方面

12、的應(yīng)用,在其他方面的應(yīng)用,在教育與培訓(xùn)方面的應(yīng)用,多媒體技術(shù)使教材不僅有文字、靜 態(tài)圖像,還具有動(dòng)態(tài)圖像和語(yǔ)音等。使教 育的表現(xiàn)形式多樣化，可以進(jìn)行交互式 遠(yuǎn)程教學(xué)。 利用多媒體計(jì)算機(jī)的文本、圖形、 視頻、音頻和其交互式的特點(diǎn),可以編制 出計(jì)算機(jī)輔助教學(xué) CAI( Computer Assisted Instruction )軟件，即課件。,在通信方面的應(yīng)用,多媒體技術(shù)在通信方面的應(yīng)用主要有： 可視電話 視頻會(huì)議 信息點(diǎn)播（Information Demand） 計(jì)算機(jī)協(xié)同工作 CSCW （Computer Supported Cooperative Work）,在其他方面的應(yīng)用,1.2.2

13、多媒體技術(shù)的發(fā)展方向,目前，多媒體主要從以下幾個(gè)方向發(fā)展：,將來(lái)多媒體技術(shù)將向著以下六個(gè)方向 發(fā)展； 1).高分辨化，提高顯示質(zhì)量； 2).高速度化，縮短處理時(shí)間； 3).簡(jiǎn)單化，便于操作； 4).高維化，三維、四維或更高維； 5).智能化，提高信息識(shí)別能力； 6).標(biāo)準(zhǔn)化，便于信息交換和資源共享。,.3 多媒體的關(guān)鍵技術(shù),1.3.1 視頻音頻數(shù)據(jù)壓縮/解壓縮技術(shù),研制MPC需要解決的關(guān)鍵問(wèn)題之一 是要使計(jì)算機(jī)能適時(shí)地綜合處理聲、文 圖信息。 選用合適的數(shù)據(jù)壓縮技術(shù)，有可能 將字符數(shù)據(jù)量壓縮到原來(lái)的1/2左右，語(yǔ) 音數(shù)據(jù)量壓縮到原來(lái)的1/2-1/10，圖像 數(shù)據(jù)量壓縮到原來(lái)的1/2-1/60。

14、 如今已有壓縮編碼/解壓縮編碼的 國(guó)際標(biāo)準(zhǔn)JPEG 和MPEG 。,1.3.2 多媒體專(zhuān)用芯片技術(shù),專(zhuān)用芯片是多媒體計(jì)算機(jī)硬件體系 結(jié)構(gòu)的關(guān)鍵。為了實(shí)現(xiàn)音頻、視頻信號(hào) 的快速壓縮、解壓縮和播放處理，需要 大量的快速計(jì)算，只有采用專(zhuān)用芯片， 才能取得滿意的效果。 多媒體計(jì)算機(jī)專(zhuān)用芯片可歸納為兩 種類(lèi)型：一種是固定功能的芯片；另一 種是可編程的數(shù)字信號(hào)處理器（DSP） 芯片。,1.3.3 大容量信息存儲(chǔ)技術(shù),利用數(shù)據(jù)壓縮技術(shù)，在一張CD-ROM 光盤(pán)上能夠存取70多分鐘全運(yùn)動(dòng)的視頻 圖像或者十幾個(gè)小時(shí)的語(yǔ)言信息或數(shù)千 幅靜止圖像。 在CD-ROM 基礎(chǔ)上，還開(kāi)發(fā)了 CD-I 和CD-V、可錄式光盤(pán)

15、CD-R、高畫(huà)質(zhì)、高 音質(zhì)的光盤(pán)DVD以及PHOTO CD 等。,1.3.4 多媒體輸入與輸出技術(shù),1.3.5 多媒體軟件技術(shù),多媒體軟件技術(shù)主要包括以下六個(gè) 方面的內(nèi)容：,多媒體操作系統(tǒng),多媒體素材采集與制作技術(shù),素材的采集與制作主要包括采集并 編輯多種媒體數(shù)據(jù)。如聲音信號(hào)的錄制 編輯和播放；圖像掃描及預(yù)處理；全動(dòng) 態(tài)視頻采集及編輯；動(dòng)畫(huà)生成編輯；音 /視頻信號(hào)的混合和同步等。,多媒體編輯與創(chuàng)作工具,多媒體數(shù)據(jù)庫(kù)技術(shù),超文本/超媒體技術(shù),多媒體應(yīng)用開(kāi)發(fā)技術(shù),多媒體應(yīng)用的開(kāi)發(fā)會(huì)使一些采用不 同問(wèn)題解決方法的人集中到一起，包括 計(jì)算機(jī)開(kāi)發(fā)人員、音樂(lè)創(chuàng)作人員，圖像 藝術(shù)家等，他們的工作方法以及思考

16、問(wèn) 題的方法都將是完全不同的。 對(duì)于項(xiàng)目管理者來(lái)說(shuō)，研究和推出 一個(gè)多媒體應(yīng)用開(kāi)發(fā)方法學(xué)將是極為重 要的。,1.3.6 多媒體通信技術(shù),1.3.7 虛擬現(xiàn)實(shí)技術(shù),1.4 多媒體信息的計(jì)算機(jī)表示,1.4.1 聲音文件的基本格式,WAV 文件,MIDI,1.4.2 圖像及圖像文件格式,圖像是由一些排成行和列的點(diǎn)組成 的，通常稱(chēng)為位圖或點(diǎn)陣圖。 圖像文件在計(jì)算機(jī)中的存儲(chǔ)格式有 多種，如”.BMP”、”.PCX”、”.TIF”、”.TGA” “.GIF”、”.JPG” 等。,Comparison:,Comparison:,1.4.3 視頻和動(dòng)畫(huà)的文件格式,動(dòng)畫(huà)文件的格式主要有兩種： FLIC 格式和M

17、MM 格式。 視頻文件的使用一般與標(biāo)準(zhǔn) 有關(guān)，主要有AVI、MOV、MPG、 DAT、DIR 等。,1.5 多媒體數(shù)據(jù)壓縮技術(shù),1.5.1 多媒體數(shù)據(jù)的冗余類(lèi)型,圖像數(shù)據(jù)表示中存在著大量的冗 余，圖像數(shù)據(jù)壓縮技術(shù)就是利用圖像 數(shù)據(jù)的冗余性來(lái)減少圖像數(shù)據(jù)量的方 法。常見(jiàn)圖像數(shù)據(jù)冗余類(lèi)型如下：,1. 空間冗余,2. 時(shí)間冗余,3. 視覺(jué)冗余,空間冗余,一幅圖像表面上各采樣點(diǎn)的顏色之 間往往存在著空間連貫性，基于離散像 素采樣來(lái)表示物體表面顏色的像素存儲(chǔ) 方式可利用空間連貫性，達(dá)到減少數(shù)據(jù) 量的目的。 例如，在靜態(tài)圖像中有一塊表面顏 色均勻的區(qū)域，在此區(qū)域中所有點(diǎn)的光 強(qiáng)和色彩以及飽和度都是相同的，

18、因此 數(shù)據(jù)有很大的空間冗余。,時(shí)間冗余,運(yùn)動(dòng)圖像一般為位于一時(shí)間軸區(qū)間 的一組連續(xù)畫(huà)面，其中的相鄰幀往往包 含相同的背景和移動(dòng)物體，只不過(guò)移動(dòng) 物體所在的空間位置略有不同，所以后 一幀的數(shù)據(jù)與前一幀的數(shù)據(jù)有許多共同 的地方，這種共同性是由于相鄰幀記錄 了相鄰時(shí)刻的同一場(chǎng)景畫(huà)面，所以稱(chēng)為 時(shí)間冗余。 同理，語(yǔ)音數(shù)據(jù)中也存在著時(shí)間冗 余。,視覺(jué)冗余,人類(lèi)的視覺(jué)系統(tǒng)對(duì)圖像場(chǎng)的敏感度 是非均勻的。但是，在記錄原始的圖像 數(shù)據(jù)時(shí)，通常假定視覺(jué)系統(tǒng)近似線性的 和均勻的，對(duì)視覺(jué)敏感和不敏感的部分 同等對(duì)待，從而產(chǎn)生比理想編碼（即把 視覺(jué)敏感和不敏感的部分區(qū)分開(kāi)來(lái)的編 碼）更多的數(shù)據(jù)，這就是視覺(jué)冗余。,1.5

19、.2 數(shù)據(jù)壓縮方法,無(wú)損壓縮,無(wú)損壓縮常用在原始數(shù)據(jù)的存檔， 如文本數(shù)據(jù)、程序以及珍貴的圖片和圖 像等。 其原理是統(tǒng)計(jì)壓縮數(shù)據(jù)中的冗余 (重復(fù)的數(shù)據(jù))部分。常用的有： RLE (run length encoding)行程編碼 Huffman 編碼 算術(shù)編碼 LZW (lempel-ziv-welch)編碼,(2)、Huffman編碼 它是一種對(duì)統(tǒng)計(jì)獨(dú)立信源能達(dá)到最 小平均碼長(zhǎng)的編碼方法。 其原理是，先統(tǒng)計(jì)數(shù)據(jù)中各字符出 現(xiàn)的概率后，再按字符出現(xiàn)頻率高低的 順序分別賦以由短到長(zhǎng)的代碼，從而保 證了文件的整體的大部分字符是由較短 的編碼構(gòu)成的。,有損壓縮,混合壓縮,混合壓縮是利用了各種單一壓縮的

20、 長(zhǎng)處，以求在壓縮比、壓縮效率及保真 度之間取得最佳折衷。 該方法在許多情況下被應(yīng)用，如 JPEG 和MPEG 標(biāo)準(zhǔn)就采用了混合編碼的 壓縮方法。,1.5.3 視頻編碼的國(guó)際標(biāo)準(zhǔn),靜止圖像壓縮標(biāo)準(zhǔn),國(guó)際標(biāo)準(zhǔn)化組織(ISO)和國(guó)際電報(bào) 電話咨詢(xún)委員會(huì)(CCITT)聯(lián)合成立的 “聯(lián)合照片專(zhuān)家組“ JPEG (joint photographic experts group) 于1991年提出的 “多灰度靜止圖像的數(shù)字壓縮編碼“ (簡(jiǎn)稱(chēng)JPEG標(biāo)準(zhǔn))。 這是一個(gè)適應(yīng)于彩色和單色多灰度 或連續(xù)色調(diào)靜止數(shù)字圖像的壓縮標(biāo)準(zhǔn)。,JPEG標(biāo)準(zhǔn)支持很高的圖像分辨率 和量化精度。它包含兩部分： 第一部分是無(wú)損壓縮，基于差分 脈沖編碼調(diào)制(DPCM)的預(yù)測(cè)編碼。 第二部分是有損壓縮，基于離散 余弦變換(DCT)和Huffman編碼, 通常 壓縮20-40倍。,運(yùn)動(dòng)圖像壓縮標(biāo)準(zhǔn),視頻圖像壓縮的一個(gè)重要標(biāo)準(zhǔn)是 MPEG (Moving Picture Experts Group) 于1990年形成的一個(gè)標(biāo)準(zhǔn)草案 (