數(shù)據(jù)壓縮的實(shí)用性和必要性

1、編輯課件1演講人：鄢航程編輯課件2編輯課件3u 人們喜歡積攢數(shù)據(jù)而不愿丟棄數(shù)據(jù)，不論多大的存儲(chǔ)設(shè)備，都會(huì)溢出，數(shù)據(jù)壓縮可延緩這一過程u 人們喜歡快速的數(shù)據(jù)傳輸，討厭長時(shí)間的等待編輯課件4編輯課件5編輯課件6編輯課件7編輯課件8一份計(jì)算機(jī)文件中，某些字符重復(fù)出現(xiàn)，或在特定位置可預(yù)見性出現(xiàn)，這邊是冗余部分圖片顏色變化，視頻兩幀差別，音頻波動(dòng)周期人的感官對時(shí)間變化，幅度變化，程度變化等識別能力有限編輯課件9u時(shí)間域壓縮迅速傳輸媒體信號u頻率域壓縮并行開通更多業(yè)務(wù)u空間域壓縮降低存儲(chǔ)費(fèi)用u能量域壓縮降低發(fā)射頻率編輯課件101.原始采樣的靜態(tài)和視頻圖象的數(shù)據(jù)量巨大原始采樣的靜態(tài)和視頻圖象的數(shù)據(jù)量巨大多媒

2、體信息包括了文本、數(shù)據(jù)、聲音、動(dòng)畫、圖形、圖像以及視頻等多種多媒體信息包括了文本、數(shù)據(jù)、聲音、動(dòng)畫、圖形、圖像以及視頻等多種媒體信息。經(jīng)過數(shù)字化處理后其數(shù)據(jù)量非常大，如果不進(jìn)行數(shù)據(jù)壓縮處理，計(jì)媒體信息。經(jīng)過數(shù)字化處理后其數(shù)據(jù)量非常大，如果不進(jìn)行數(shù)據(jù)壓縮處理，計(jì)算機(jī)系統(tǒng)就算機(jī)系統(tǒng)就無法對它進(jìn)行存儲(chǔ)和交換無法對它進(jìn)行存儲(chǔ)和交換。2.有效利用存儲(chǔ)器存儲(chǔ)容量有效利用存儲(chǔ)器存儲(chǔ)容量CDROM單片容量為單片容量為650MB840MBDVDROM或者其它光存儲(chǔ)技術(shù)單片容量可達(dá)或者其它光存儲(chǔ)技術(shù)單片容量可達(dá)816GB但是都幾乎很難以非壓縮格式容納一部完整的商業(yè)影片但是都幾乎很難以非壓縮格式容納一部完整的商業(yè)影

3、片編輯課件113.提高通信線路的傳輸效率提高通信線路的傳輸效率目前，局域網(wǎng)、目前，局域網(wǎng)、internet的訪問速度都不可能以非壓縮格式實(shí)時(shí)傳輸和播的訪問速度都不可能以非壓縮格式實(shí)時(shí)傳輸和播放視頻節(jié)目。放視頻節(jié)目。多媒體的大數(shù)據(jù)量不僅超出了計(jì)算機(jī)的存儲(chǔ)和處理能力，更是當(dāng)前通信信多媒體的大數(shù)據(jù)量不僅超出了計(jì)算機(jī)的存儲(chǔ)和處理能力，更是當(dāng)前通信信道的傳輸速率所不及的。因此，為了道的傳輸速率所不及的。因此，為了存儲(chǔ)、處理和傳輸存儲(chǔ)、處理和傳輸這些數(shù)據(jù)，必須進(jìn)行壓這些數(shù)據(jù)，必須進(jìn)行壓縮?？s。編輯課件124.消除計(jì)算機(jī)系統(tǒng)處理視頻消除計(jì)算機(jī)系統(tǒng)處理視頻I/O瓶頸瓶頸PCI總線頻率為總線頻率為3366MHz

4、，傳輸速率是，傳輸速率是133266MB/s目前目前CDROM接口傳輸率為接口傳輸率為40150KB/s=6MB/sPC硬盤接口（硬盤接口（UDMA）傳輸率為（）傳輸率為（cache到總線）到總線）3366MB/s但是就總線頻率和外存儲(chǔ)器的尋道性能來說，很難以非壓縮格式但是就總線頻率和外存儲(chǔ)器的尋道性能來說，很難以非壓縮格式實(shí)時(shí)地實(shí)時(shí)地將將視頻節(jié)目從視頻節(jié)目從CDROM或者硬盤中持續(xù)傳送到顯示子系統(tǒng)?；蛘哂脖P中持續(xù)傳送到顯示子系統(tǒng)。編輯課件13數(shù)據(jù)壓縮有不同的方法，他們基于不同的理念，適合不同的數(shù)據(jù)類型，產(chǎn)生不同的壓縮效果。但是原理都相同，即通過去除源文件的原始數(shù)據(jù)的冗余度來壓縮數(shù)據(jù)。編輯課件

5、14什么是冗余？相同或者相似信息的重復(fù)可以在空間范圍重復(fù)，也可以在時(shí)間范圍重復(fù)可以是嚴(yán)格重復(fù)，也可以是以某種相似性重復(fù)分為統(tǒng)計(jì)冗余和心理視覺冗余兩大類它們?yōu)閿?shù)據(jù)壓縮技術(shù)的應(yīng)用提供了可能的條件。因此在多媒體系統(tǒng)中必須采用數(shù)據(jù)壓縮技術(shù)，它是多媒體技術(shù)中一項(xiàng)十分關(guān)鍵的技術(shù)。編輯課件151.空間冗余靜態(tài)圖象中存在的最主要的一種數(shù)據(jù)冗余同一景物表面上采樣點(diǎn)的顏色之間往往存在著空間連貫性但是基于離散象素采樣來表示物體顏色的方式通常沒有利用這種連貫性例如：圖象中有一片連續(xù)的區(qū)域，其象素為相同的顏色，空間冗余產(chǎn)生編輯課件162.時(shí)間冗余運(yùn)動(dòng)圖象中經(jīng)常包含的冗余一組連續(xù)的畫面之間往往存在著時(shí)間和空間的相關(guān)性但是

6、基于離散時(shí)間采樣來表示運(yùn)動(dòng)圖象的方式通常沒有利用這種連貫性例如：房間里的兩個(gè)人在聊天，在這個(gè)聊天的過程中，背景（房間和家具）一直是相同的，同時(shí)也沒有移動(dòng)，而且是同樣的兩個(gè)人在聊天，只有動(dòng)作和位置的變化。編輯課件173.結(jié)構(gòu)冗余在某些場景中，存在著明顯的圖象分布模式，這種分布模式稱作結(jié)構(gòu)圖象中重復(fù)出現(xiàn)或相近的紋理結(jié)構(gòu) 結(jié)構(gòu)可以通過特定的過程來生成例如：方格狀的地板，蜂窩，磚墻等編輯課件184.知識冗余有些圖象的理解與某些知識有相當(dāng)大的相關(guān)性這類規(guī)律性的結(jié)構(gòu)可以由先驗(yàn)知識和背景知識得到例如：人臉的圖象有固定的結(jié)構(gòu)，嘴的上方是鼻子，鼻子的上方是眼睛，鼻子位于正臉圖象的中線上知識冗余是模型編碼的基礎(chǔ)編

7、輯課件195.視覺冗余人類的視覺系統(tǒng)對圖象場的敏感性是非均勻和非線性的對亮度變化敏感，而對色度的變化相對不敏感在高亮度區(qū)，人眼對亮度變化敏感度下降對物體邊緣敏感，內(nèi)部區(qū)域相對不敏感對整體結(jié)構(gòu)敏感，而對內(nèi)部細(xì)節(jié)相對不敏感可以根據(jù)這些視覺特性對圖象信息進(jìn)行取舍編輯課件206.圖像區(qū)域的相同性冗余圖象中的兩個(gè)或者多個(gè)區(qū)域所對應(yīng)的所有象素值相同或者相近，從而產(chǎn)生數(shù)據(jù)重復(fù)性存儲(chǔ)。這種冗余是矢量量化的基礎(chǔ)編輯課件217.紋理的統(tǒng)計(jì)冗余有些圖象紋理盡管不嚴(yán)格服從某個(gè)分布規(guī)律，但是在統(tǒng)計(jì)意義上服從這種規(guī)律在統(tǒng)計(jì)意義上的重復(fù)編輯課件22壓縮比要大恢復(fù)后失真小壓縮算法簡單快速壓縮能否用硬件實(shí)現(xiàn)編輯課件23編輯課件

8、24編輯課件25編輯課件26編輯課件27編輯課件28信源信源編碼信道編碼信道信道譯碼信源譯碼信宿編輯課件29人工智能（專家系統(tǒng)，知識樹）編譯（JAVA）程序設(shè)計(jì)（算法/空間/時(shí)間效率）全文索引（倒排索引表）密碼學(xué)（消除數(shù)據(jù)的原始特征性）文件系統(tǒng)（壓縮扇區(qū)）數(shù)據(jù)庫（B+樹）歸檔（RAR/ZIP）音頻（MP3）視頻（MPEG/RM）存儲(chǔ)（壓縮池）圖像（GIF/JPEG）電報(bào)傳真（CCITT）通訊（Modem/網(wǎng)絡(luò)協(xié)議）編輯課件30DEFLATE（LZ77與哈夫曼編碼的組合） ZIP、gzip、zlib與PN文件在使用LZMA：7-Zip與StuffitX使用LZO（非?？焖俚腖Z變體，針對速度要求）Unix compress工具（.Z文件格式）、以及GIF使用LZWbzip2（Burrows-Wheeler變換與哈夫曼編碼的組合）PAQ（一種基于context mixing的超高壓縮率的算法，但是極度緩慢，是最高壓縮比競爭中的佼佼者。）JPEG（使用離散余弦變換、量化、哈夫曼編碼的圖像壓縮）MPEG（廣泛使用的音頻及視頻壓縮標(biāo)準(zhǔn)族，視頻壓縮使用離散余弦變換以及運(yùn)動(dòng)補(bǔ)償預(yù)測）MP3（MPEG-1標(biāo)準(zhǔn)中用于聲音及音樂壓縮的部分，使用子帶、MDCT、感知模型、量化以及哈夫曼編碼）WMA（WMV音頻編碼規(guī)范中的一部分，使用MDCT、感知模型