數(shù)字視頻處理

1、數(shù)字視頻處理(chl)Digital Video Processing共六十五頁(yè)第一章 緒論(xln)1.1數(shù)字視頻基本概念共六十五頁(yè)圖像(t xin)(Picture/Image)當(dāng)光輻射能量照在物體上，經(jīng)過(guò)它的反射(fnsh)或投射，或由發(fā)光物體本身發(fā)出的光能量在人眼中所重現(xiàn)出的物體的視覺(jué)信息圖像分類(lèi)：按色調(diào)分：無(wú)色調(diào)的灰度(黑白)圖像和有色調(diào)的彩色圖像兩種按產(chǎn)生機(jī)制或捕捉方法分：紅外圖像、微波圖像、CT圖像、遙感圖像 共六十五頁(yè)視頻(shpn)(Video) 視頻是一組圖像序列按時(shí)間順序的連續(xù)展示，是利用(lyng)人類(lèi)視覺(jué)暫留（視覺(jué)惰性）的原理，通過(guò)播放一系列的圖像，使人眼產(chǎn)生運(yùn)動(dòng)的感

2、覺(jué)序列(Sequence)幀(Frame)像素(Pixel) 共六十五頁(yè)像素(xin s)“像素”（Pixel） 是由 Picture(圖像) 和 Element(元素)這兩個(gè)單詞的字母(zm)所組成的一個(gè)像素通常被視為圖像的最小的完整采樣 共六十五頁(yè)視頻(shpn)其內(nèi)容隨時(shí)間變化的一組動(dòng)態(tài)圖像，所以又叫運(yùn)動(dòng)圖像或活動(dòng)圖像(Motion picture)它是一種信息量最豐富、直觀、生動(dòng)、具體的承載(chngzi)信息的媒體 共六十五頁(yè)圖像(t xin)分辨率(Picture Resolution)圖像分辨率是指組成一幅圖像的像素密度的度量方法，一般用圖像水平和垂直的像素?cái)?shù)目表示AB對(duì)同樣(t

3、ngyng)大小的一幅圖像，如果組成該圖像的像素?cái)?shù)目越多，則說(shuō)明圖像的分辨率越高，看起來(lái)越逼真；相反，圖像顯得越粗糙 共六十五頁(yè)顯示(xinsh)分辨率(Display Resolution)顯示分辨率是指顯示屏上能夠顯示出的像素?cái)?shù)目。屏幕能夠顯示的像素越多，說(shuō)明(shumng)顯示設(shè)備的分辨率越高 共六十五頁(yè)分辨率圖像分辨率與顯示分辨率是兩個(gè)不同的概念。圖像分辨率是確定組成一幅圖像的像素?cái)?shù)目(shm)，而顯示分辨率表示顯示屏上可用于顯示圖像的像素的數(shù)量 共六十五頁(yè) 640X480 320X240 160X120 80X60 共六十五頁(yè)分辨率640X480 共六十五頁(yè)分辨率320X240 共六

4、十五頁(yè)分辨率160X120 共六十五頁(yè)分辨率80X60 共六十五頁(yè)視頻(shpn)按照(nzho)視頻的存儲(chǔ)與處理方式不同，可分為模擬視頻和數(shù)字視頻兩種共六十五頁(yè)模擬(mn)視頻(Analog Video)一種用于傳輸視頻圖像的隨時(shí)間連續(xù)變化的電信號(hào)普通廣播電視信號(hào)是一種典型的模擬視頻信號(hào)電視攝像機(jī)通過(guò)電子掃描將所描述(mio sh)的景物進(jìn)行光電轉(zhuǎn)換后，得到電信號(hào)，即用一個(gè)電信號(hào)來(lái)表征景物，這種電視信號(hào)稱(chēng)為模擬電視信號(hào) 共六十五頁(yè)模擬(mn)視頻(Analog Video)電視接收機(jī)通過(guò)顯示器進(jìn)行電光轉(zhuǎn)換，產(chǎn)生為人眼所接受的“模擬”信號(hào)的光圖像模擬視頻(shpn)指的是視頻(shpn)的記錄

5、、存儲(chǔ)和傳輸以模擬的形式進(jìn)行，通常在普通電視上看到的、攝像機(jī)錄制的、錄像機(jī)播放的信號(hào)都是模擬視頻(shpn)信號(hào)模擬視頻圖像可由攝影用電子攝像機(jī)獲得，并記錄在錄像帶上；也可用電影攝像機(jī)采集，并存入電影膠片中共六十五頁(yè)模擬(mn)視頻特點(diǎn)以連續(xù)的模擬信號(hào)形式記錄視頻信息模擬(mn)設(shè)備編輯處理用模擬調(diào)幅的手段在空間傳播在磁帶或膠片中存放視頻信號(hào)隨存儲(chǔ)時(shí)間、拷貝次數(shù)和傳輸距離的增加衰減較大，產(chǎn)生信號(hào)的損失，不適合網(wǎng)絡(luò)傳輸，也不便于分類(lèi)、檢索編輯共六十五頁(yè)模擬(mn)信號(hào)處理設(shè)備共六十五頁(yè)數(shù)字視頻(Digital Video)要使計(jì)算機(jī)能夠?qū)σ曨l進(jìn)行處理，必須把模擬視頻信號(hào)進(jìn)行數(shù)字(shz)化，形成

6、數(shù)字(shz)視頻信號(hào)數(shù)字視頻是以離散的數(shù)字信號(hào)方式表示、存儲(chǔ)、處理和傳輸?shù)囊曨l信息，所用的存儲(chǔ)介質(zhì)、處理設(shè)備以及傳輸網(wǎng)絡(luò)都是數(shù)字化的 共六十五頁(yè)數(shù)字視頻特點(diǎn)(tdin)以離散的數(shù)字信號(hào)形式記錄視頻信息用數(shù)字化設(shè)備編輯處理通過(guò)數(shù)字化寬帶網(wǎng)絡(luò)傳播(chunb)存儲(chǔ)在數(shù)字存儲(chǔ)媒體上共六十五頁(yè)數(shù)字視頻優(yōu)點(diǎn)(yudin)視頻信號(hào)數(shù)字化以后，克服了模擬視頻的局限性，有著模擬信號(hào)無(wú)可比擬的優(yōu)點(diǎn)：再現(xiàn)性好：模擬信號(hào)由于是連續(xù)變化的，所以不管復(fù)制時(shí)采用的精確度多高，失真總是(zn sh)不可避免的，經(jīng)過(guò)多次復(fù)制以后，誤差會(huì)很大。數(shù)字視頻可以不失真地進(jìn)行無(wú)限次復(fù)制，其抗干擾能力是模擬圖像無(wú)法比擬的。它不會(huì)因存儲(chǔ)

7、、傳輸和復(fù)制而產(chǎn)生圖像質(zhì)量的退化，從而能夠準(zhǔn)確地再現(xiàn)圖像共六十五頁(yè)數(shù)字視頻優(yōu)點(diǎn)(yudin)適合于網(wǎng)絡(luò)應(yīng)用：在網(wǎng)絡(luò)環(huán)境(hunjng)中，視頻信息可以很方便地實(shí)現(xiàn)資源的共享，通過(guò)網(wǎng)線(xiàn)，數(shù)字信號(hào)可以很方便地從資源中心傳到辦公室和家中。視頻數(shù)字信號(hào)可以長(zhǎng)距離傳輸而不會(huì)產(chǎn)生任何不良影響（無(wú)傳輸差錯(cuò)條件），而模擬信號(hào)在傳輸過(guò)程中會(huì)有信號(hào)損失共六十五頁(yè)數(shù)字視頻優(yōu)點(diǎn)(yudin)便于編輯處理(chl)：模擬信號(hào)只能簡(jiǎn)單調(diào)整亮度、對(duì)比度和顏色等，極大地限制了處理手段和應(yīng)用范圍。而數(shù)字視頻信號(hào)可以傳送到計(jì)算機(jī)內(nèi)進(jìn)行存儲(chǔ)、處理，很容易進(jìn)行創(chuàng)造性的編輯與合成，并進(jìn)行動(dòng)態(tài)交互共六十五頁(yè)第一章 緒論(xln)1.1

8、數(shù)字視頻基本概念1.2 數(shù)字視頻的典型(dinxng)應(yīng)用共六十五頁(yè)1.2.1 視頻(shpn)壓縮（視頻(shpn)編碼）未經(jīng)過(guò)壓縮(y su)的原始視頻的碼率標(biāo)清電視7205762581.5 119Mbps共六十五頁(yè)未經(jīng)過(guò)壓縮的原始(yunsh)視頻的碼率720p高清電視(dinsh)12807203081.5 316Mbps1080p高清電視192010806081.5 1424Mbps100分鐘的標(biāo)清視頻節(jié)目大小可達(dá)約86.9GB！共六十五頁(yè)視頻壓縮的必要性有限的信道帶寬在不經(jīng)過(guò)數(shù)據(jù)壓縮情況下，CD/DVD視頻播放機(jī)根本無(wú)法達(dá)到實(shí)用目的結(jié)論：要使數(shù)字視頻信號(hào)適合于實(shí)際存儲(chǔ)和傳輸，必須壓

9、縮數(shù)據(jù)量，降低傳輸數(shù)據(jù)碼率前提：壓縮后圖像質(zhì)量要滿(mǎn)足(mnz)視覺(jué)要求共六十五頁(yè)時(shí)間(shjin)冗余空間冗余信息熵冗余知識(shí)冗余視覺(jué)冗余 利用視頻冗余性，對(duì)視頻進(jìn)行壓縮(y su)編碼視頻的冗余性幀內(nèi)地面結(jié)構(gòu)相似幀間運(yùn)動(dòng)員動(dòng)作連續(xù)共六十五頁(yè)數(shù)據(jù)與信息(xnx)的區(qū)別數(shù)據(jù)用來(lái)記錄和傳送信息(xnx)，是信息(xnx)的載體；數(shù)據(jù)的處理的結(jié)果是信息(xnx)壓縮的對(duì)象是數(shù)據(jù)，而不是“信息”壓縮的目的是在傳送和處理信息時(shí)，盡量減小數(shù)據(jù)量數(shù)據(jù)量與信息量的關(guān)系：數(shù)據(jù)量=信息量+冗余數(shù)據(jù)量共六十五頁(yè)無(wú)損(w sn)/有損壓縮從信息(xnx)在壓縮過(guò)程中有否丟失來(lái)區(qū)分無(wú)損壓縮壓縮前和壓縮后還原的數(shù)據(jù)完全一致

10、多采用概率統(tǒng)計(jì)編碼如winrar文檔壓縮共六十五頁(yè)無(wú)損(w sn)/有損壓縮有損壓縮壓縮過(guò)程中會(huì)丟失視頻中的一些信息通常壓縮比例(bl)比較大如現(xiàn)有的絕大多數(shù)視頻壓縮標(biāo)準(zhǔn)共六十五頁(yè)視頻壓縮標(biāo)準(zhǔn)(biozhn)Video Encoding/Decoding共六十五頁(yè)國(guó)際電信聯(lián)盟ITU國(guó)際電信聯(lián)盟ITU（International Telecommunication Union）ITU的歷史可以追溯到1865年。為了順利實(shí)現(xiàn)國(guó)際電報(bào)(din bo)通信，1865年5月17日，法、德、俄、意、奧等20個(gè)歐洲國(guó)家的代表在巴黎簽訂了國(guó)際電報(bào)公約，國(guó)際電報(bào)聯(lián)盟（International Telegrap

11、h Union ，ITU）也宣告成立共六十五頁(yè)國(guó)際電信聯(lián)盟ITU隨著電話(huà)與無(wú)線(xiàn)電的應(yīng)用與發(fā)展，ITU的職權(quán)不斷擴(kuò)大。1906年，德、英、法、美、日等27個(gè)國(guó)家的代表在柏林簽訂了國(guó)際無(wú)線(xiàn)電報(bào)公約1932年，70多個(gè)國(guó)家的代表在西班牙馬德里召開(kāi)會(huì)議，將國(guó)際電報(bào)公約與國(guó)際無(wú)線(xiàn)電報(bào)公約合并， 制定國(guó)際電信公約，并決定自1934年1月1日起正式(zhngsh)改稱(chēng)為“國(guó)際電信聯(lián)盟”共六十五頁(yè)國(guó)際電報(bào)(din bo)電話(huà)咨詢(xún)委員會(huì)CCITTCCITT是國(guó)際電報(bào)電話(huà)咨詢(xún)(zxn)委員會(huì)的簡(jiǎn)稱(chēng)，它是國(guó)際電信聯(lián)盟（ITU）的常設(shè)機(jī)構(gòu)之一。主要職責(zé)是研究電信的新技術(shù)、新業(yè)務(wù)和資費(fèi)等問(wèn)題，并對(duì)這類(lèi)問(wèn)題通過(guò)建議使全世

12、界的電信標(biāo)準(zhǔn)化 從1993年3月1日起，國(guó)際電報(bào)電話(huà)咨詢(xún)委員會(huì)（CCITT）改組為國(guó)際電信聯(lián)盟（ITU）電信標(biāo)準(zhǔn)化部門(mén)，簡(jiǎn)稱(chēng)ITU-T共六十五頁(yè)MPEG專(zhuān)家組 MPEG（Moving Picture Expert Group）誕生于1991年，由國(guó)際標(biāo)準(zhǔn)化組織(International Organization for Standardization，ISO)和國(guó)際電工委員會(huì)(International Electrotechnical Commission，IEC)聯(lián)合成立的專(zhuān)家組，負(fù)責(zé)開(kāi)發(fā)影視(yn sh)圖象、聲音的處理、壓縮、解壓縮、編碼和它們的組合標(biāo)準(zhǔn)。這個(gè)專(zhuān)家組開(kāi)發(fā)標(biāo)準(zhǔn)稱(chēng)為MPE

13、G標(biāo)準(zhǔn)共六十五頁(yè)由ITU提出針對(duì)ISDN網(wǎng)絡(luò)上的視頻應(yīng)用，目標(biāo)碼率為n64kbps (64-2048 kbps)，典型為128kbps首次提出變換編碼預(yù)測(cè)編碼的混合編碼架構(gòu)，并一直被后續(xù)編碼標(biāo)準(zhǔn)采用(ciyng)支持較小的分辨率圖像H.261共六十五頁(yè)由ISO/IEC 提出針對(duì)視頻存儲(chǔ)應(yīng)用，如CD-ROM存儲(chǔ)，最大目標(biāo)(mbio)碼率1.86Mbps(1.2Mbps-1.5Mbps)典型應(yīng)用：VCD、MP3(MPEG Audio Layer III)MPEG-1共六十五頁(yè)由ITU和ISO/IEC聯(lián)合提出采用(ciyng)更高的目標(biāo)碼率（ 4Mbps-15Mbps，最大80Mbps,），更高的圖

14、像分辨率（最大1920 x1152），以獲得更好的圖像質(zhì)量典型應(yīng)用：DVD，有線(xiàn)電視網(wǎng)、衛(wèi)星直播提供的廣播級(jí)的數(shù)字視頻MPEG-2/H.262共六十五頁(yè)由ITU提出針對(duì)低帶寬(di kun)條件下的視頻通信應(yīng)用以附錄的形式引入編碼工具，增加靈活性典型應(yīng)用：可視電話(huà)H.263共六十五頁(yè)由ITU提出進(jìn)一步提高視頻壓縮率，同時(shí)針對(duì)網(wǎng)絡(luò)傳輸應(yīng)用，提高錯(cuò)誤魯棒性以附錄的形式(xngsh)引入編碼工具過(guò)多的附錄選項(xiàng)阻礙了H.263+/H.263+的應(yīng)用H.263+/H.263+共六十五頁(yè)由ISO/IEC提出不僅是針對(duì)一定碼率(564kbps)下的編碼，更加注重多媒體系統(tǒng)的交互性和靈活性面向?qū)ο蟮木幋a概念（

15、并沒(méi)有實(shí)質(zhì)應(yīng)用）典型應(yīng)用：視頻監(jiān)控，把DVD里面的文件(wnjin)轉(zhuǎn)換為數(shù)據(jù)量更小的文件(wnjin)MPEG-4共六十五頁(yè)由ITU和ISO/IEC的JVT(聯(lián)合視頻組)提出與其它現(xiàn)有的視頻編碼標(biāo)準(zhǔn)相比，在相同的帶寬下提供更加(gnji)優(yōu)秀的圖像質(zhì)量典型應(yīng)用：視頻會(huì)議，視頻監(jiān)控等編碼效率是MPEG-4/H.263的兩倍以上H.264/MPEG-4 Part10/AVC共六十五頁(yè)由中國(guó)的音視頻編碼專(zhuān)家組提出，有關(guān)政府部門(mén)認(rèn)可(rnk)的我國(guó)具備自主知識(shí)產(chǎn)權(quán)的編碼標(biāo)準(zhǔn)，節(jié)省音視頻標(biāo)準(zhǔn)專(zhuān)利費(fèi)在節(jié)省很大計(jì)算資源的情況下取得與H.264相近的編碼效果典型應(yīng)用：視頻會(huì)議、視頻監(jiān)控等AVS共六十五頁(yè)以召

16、開(kāi)(zhoki)多方會(huì)議為目的，采用數(shù)字化、編碼壓縮技術(shù)，同時(shí)雙向多方傳輸圖像和聲音，能夠滿(mǎn)足人們開(kāi)會(huì)需求的新型高科技通信系統(tǒng)1.2.2 視頻會(huì)議共六十五頁(yè)長(zhǎng)距離傳輸多方同時(shí)召開(kāi)實(shí)時(shí)交流(jioli)多種媒體結(jié)合使用經(jīng)濟(jì)的網(wǎng)絡(luò)和帶寬視頻會(huì)議共六十五頁(yè)視頻會(huì)議給用戶(hù)(yngh)帶來(lái)的好處 降低商用費(fèi)用更加方便(fngbin)的溝通和信息共享提升整體辦公效率，增加競(jìng)爭(zhēng)力低高 交流程度反應(yīng)時(shí)間高低WebOffice共六十五頁(yè)數(shù)字視頻水印技術(shù)是近十幾年興起的一種新興(xnxng)技術(shù)，它橫跨信號(hào)處理、數(shù)字通信、密碼學(xué)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)等多門(mén)學(xué)科。數(shù)字水印技術(shù)主要用于多媒體版權(quán)保護(hù)等領(lǐng)域1.2.3 數(shù)字視

17、頻水印(shuyn)共六十五頁(yè)人們(rn men)對(duì)“水印”一詞并不陌生，紙張中的水印可以跟蹤紙張的來(lái)源以及對(duì)紙張的式樣、質(zhì)量和價(jià)格進(jìn)行鑒定，紙幣中的水印可以起到標(biāo)識(shí)和防偽的作用數(shù)字水印與紙張水印的基本思想相似，即數(shù)字作品中的水印，可以起到標(biāo)識(shí)和防偽的作用水印(shuyn)共六十五頁(yè)顧名思義，數(shù)字視頻水印就是加載在數(shù)字視頻上的數(shù)字水印把表征版權(quán)(bnqun)的水印信息嵌入到數(shù)字視頻內(nèi)容中，以此作為版權(quán)(bnqun)保護(hù)的依據(jù)和憑證，從而既不影響視頻質(zhì)量，又能達(dá)到版權(quán)(bnqun)保護(hù)的目的數(shù)字視頻水印(shuyn)定義共六十五頁(yè)嵌入原始藝術(shù)品水印抽取可疑(ky)藝術(shù)品“攻擊”?發(fā)布不可見(jiàn)地隱藏

18、(yncng)其中!含水印藝術(shù)品檢測(cè)的水印共六十五頁(yè)根據(jù)嵌入水印的可見(jiàn)性，視頻水印可分為可見(jiàn)水印和不可見(jiàn)水印 根據(jù)嵌入的數(shù)據(jù)域不同(b tn)，視頻水印可分為時(shí)空域水印和變換域水印 數(shù)字視頻水印(shuyn)分類(lèi)共六十五頁(yè)根據(jù)被嵌入視頻載體是否(sh fu)壓縮，視頻水印可分為壓縮域水印和非壓縮域水印 根據(jù)水印是否與內(nèi)容相關(guān)，可分為基于內(nèi)容的水印和與內(nèi)容無(wú)關(guān)的水印 數(shù)字視頻水印(shuyn)分類(lèi)共六十五頁(yè)可見(jiàn)(kjin)水印共六十五頁(yè)可見(jiàn)(kjin)水印共六十五頁(yè)可見(jiàn)(kjin)水印共六十五頁(yè)不可見(jiàn)(kjin)水印共六十五頁(yè)VOD Video On Demand，其中文意思(y s)就是根據(jù)用戶(hù)的要求播放節(jié)目的視頻點(diǎn)播系統(tǒng)。VOD泛指一類(lèi)能在用戶(hù)需要時(shí)隨時(shí)提供交互式視頻服務(wù)的業(yè)務(wù)，即“想看什么就看什么，想什么時(shí)候看就什么時(shí)候看”1.2.4 視頻點(diǎn)播系統(tǒng)(xtng)共六十五頁(yè)視頻(shpn)點(diǎn)播具有提供給單個(gè)用戶(hù)對(duì)大范圍的影片、視頻(shpn)節(jié)目、游戲、信息以及其它服務(wù)進(jìn)行訪問(wèn)的能力視頻點(diǎn)播系統(tǒng)(xtng)共六十五頁(yè)視頻信息檢索是指根據(jù)用戶(hù)的查詢(xún)從視頻數(shù)據(jù)庫(kù)中提取相關(guān)的視頻信息的技術(shù)直接(zhji)根據(jù)描述媒體對(duì)象內(nèi)容的各種特征進(jìn)行檢索，它能從數(shù)據(jù)庫(kù)中查找到具有指