數(shù)據(jù)壓縮的實(shí)用性和必要性

1、演講人：鄢航程u 人們喜歡積攢數(shù)據(jù)而不愿丟棄數(shù)據(jù)，不論多大的存儲(chǔ)設(shè)備，都會(huì)溢出，數(shù)據(jù)壓縮可延緩這一過(guò)程u 人們喜歡快速的數(shù)據(jù)傳輸，討厭長(zhǎng)時(shí)間的等待一份計(jì)算機(jī)文件中，某些字符重復(fù)出現(xiàn)，或在特定位置可預(yù)見(jiàn)性出現(xiàn)，這邊是冗余部分圖片顏色變化，視頻兩幀差別，音頻波動(dòng)周期人的感官對(duì)時(shí)間變化，幅度變化，程度變化等識(shí)別能力有限u時(shí)間域壓縮迅速傳輸媒體信號(hào)u頻率域壓縮并行開(kāi)通更多業(yè)務(wù)u空間域壓縮降低存儲(chǔ)費(fèi)用u能量域壓縮降低發(fā)射頻率1.原始采樣的靜態(tài)和視頻圖象的數(shù)據(jù)量巨大多媒體信息包括了文本、數(shù)據(jù)、聲音、動(dòng)畫(huà)、圖形、圖像以及視頻等多種媒體信息。經(jīng)過(guò)數(shù)字化處理后其數(shù)據(jù)量非常大，如果不進(jìn)行數(shù)據(jù)壓縮處理，計(jì)算機(jī)系統(tǒng)就

2、無(wú)法對(duì)它進(jìn)行存儲(chǔ)和交換。2.有效利用存儲(chǔ)器存儲(chǔ)容量CDROM單片容量為650MB840MBDVDROM或者其它光存儲(chǔ)技術(shù)單片容量可達(dá)816GB但是都幾乎很難以非壓縮格式容納一部完整的商業(yè)影片3.提高通信線路的傳輸效率目前，局域網(wǎng)、internet的訪問(wèn)速度都不可能以非壓縮格式實(shí)時(shí)傳輸和播放視頻節(jié)目。多媒體的大數(shù)據(jù)量不僅超出了計(jì)算機(jī)的存儲(chǔ)和處理能力，更是當(dāng)前通信信道的傳輸速率所不及的。因此，為了存儲(chǔ)、處理和傳輸這些數(shù)據(jù)，必須進(jìn)行壓縮。4.消除計(jì)算機(jī)系統(tǒng)處理視頻I/O瓶頸PCI總線頻率為3366MHz，傳輸速率是133266MB/s目前CDROM接口傳輸率為40150KB/s=6MB/sPC硬盤(pán)接

3、口（UDMA）傳輸率為（cache到總線）3366MB/s但是就總線頻率和外存儲(chǔ)器的尋道性能來(lái)說(shuō)，很難以非壓縮格式實(shí)時(shí)地將視頻節(jié)目從CDROM或者硬盤(pán)中持續(xù)傳送到顯示子系統(tǒng)。數(shù)據(jù)壓縮有不同的方法，他們基于不同的理念，適合不同的數(shù)據(jù)類(lèi)型，產(chǎn)生不同的壓縮效果。但是原理都相同，即通過(guò)去除源文件的原始數(shù)據(jù)的冗余度來(lái)壓縮數(shù)據(jù)。什么是冗余？相同或者相似信息的重復(fù)可以在空間范圍重復(fù)，也可以在時(shí)間范圍重復(fù)可以是嚴(yán)格重復(fù)，也可以是以某種相似性重復(fù)分為統(tǒng)計(jì)冗余和心理視覺(jué)冗余兩大類(lèi)它們?yōu)閿?shù)據(jù)壓縮技術(shù)的應(yīng)用提供了可能的條件。因此在多媒體系統(tǒng)中必須采用數(shù)據(jù)壓縮技術(shù)，它是多媒體技術(shù)中一項(xiàng)十分關(guān)鍵的技術(shù)。1.空間冗余靜態(tài)圖

4、象中存在的最主要的一種數(shù)據(jù)冗余同一景物表面上采樣點(diǎn)的顏色之間往往存在著空間連貫性但是基于離散象素采樣來(lái)表示物體顏色的方式通常沒(méi)有利用這種連貫性例如：圖象中有一片連續(xù)的區(qū)域，其象素為相同的顏色，空間冗余產(chǎn)生2.時(shí)間冗余運(yùn)動(dòng)圖象中經(jīng)常包含的冗余一組連續(xù)的畫(huà)面之間往往存在著時(shí)間和空間的相關(guān)性但是基于離散時(shí)間采樣來(lái)表示運(yùn)動(dòng)圖象的方式通常沒(méi)有利用這種連貫性例如：房間里的兩個(gè)人在聊天，在這個(gè)聊天的過(guò)程中，背景（房間和家具）一直是相同的，同時(shí)也沒(méi)有移動(dòng)，而且是同樣的兩個(gè)人在聊天，只有動(dòng)作和位置的變化。3.結(jié)構(gòu)冗余在某些場(chǎng)景中，存在著明顯的圖象分布模式，這種分布模式稱(chēng)作結(jié)構(gòu)圖象中重復(fù)出現(xiàn)或相近的紋理結(jié)構(gòu) 結(jié)構(gòu)

5、可以通過(guò)特定的過(guò)程來(lái)生成例如：方格狀的地板，蜂窩，磚墻等4.知識(shí)冗余有些圖象的理解與某些知識(shí)有相當(dāng)大的相關(guān)性這類(lèi)規(guī)律性的結(jié)構(gòu)可以由先驗(yàn)知識(shí)和背景知識(shí)得到例如：人臉的圖象有固定的結(jié)構(gòu)，嘴的上方是鼻子，鼻子的上方是眼睛，鼻子位于正臉圖象的中線上知識(shí)冗余是模型編碼的基礎(chǔ)5.視覺(jué)冗余人類(lèi)的視覺(jué)系統(tǒng)對(duì)圖象場(chǎng)的敏感性是非均勻和非線性的對(duì)亮度變化敏感，而對(duì)色度的變化相對(duì)不敏感在高亮度區(qū)，人眼對(duì)亮度變化敏感度下降對(duì)物體邊緣敏感，內(nèi)部區(qū)域相對(duì)不敏感對(duì)整體結(jié)構(gòu)敏感，而對(duì)內(nèi)部細(xì)節(jié)相對(duì)不敏感可以根據(jù)這些視覺(jué)特性對(duì)圖象信息進(jìn)行取舍6.圖像區(qū)域的相同性冗余圖象中的兩個(gè)或者多個(gè)區(qū)域所對(duì)應(yīng)的所有象素值相同或者相近，從而產(chǎn)生數(shù)

6、據(jù)重復(fù)性存儲(chǔ)。這種冗余是矢量量化的基礎(chǔ)7.紋理的統(tǒng)計(jì)冗余有些圖象紋理盡管不嚴(yán)格服從某個(gè)分布規(guī)律，但是在統(tǒng)計(jì)意義上服從這種規(guī)律在統(tǒng)計(jì)意義上的重復(fù)壓縮比要大恢復(fù)后失真小壓縮算法簡(jiǎn)單快速壓縮能否用硬件實(shí)現(xiàn)信源信源編碼信道編碼信道信道譯碼信源譯碼信宿人工智能（專(zhuān)家系統(tǒng)，知識(shí)樹(shù)）編譯（JAVA）程序設(shè)計(jì)（算法/空間/時(shí)間效率）全文索引（倒排索引表）密碼學(xué)（消除數(shù)據(jù)的原始特征性）文件系統(tǒng)（壓縮扇區(qū)）數(shù)據(jù)庫(kù)（B+樹(shù)）歸檔（RAR/ZIP）音頻（MP3）視頻（MPEG/RM）存儲(chǔ)（壓縮池）圖像（GIF/JPEG）電報(bào)傳真（CCITT）通訊（Modem/網(wǎng)絡(luò)協(xié)議）DEFLATE（LZ77與哈夫曼編碼的組合） Z

7、IP、gzip、zlib與PN文件在使用LZMA：7-Zip與StuffitX使用LZO（非常快速的LZ變體，針對(duì)速度要求）Unix compress工具（.Z文件格式）、以及GIF使用LZWbzip2（Burrows-Wheeler變換與哈夫曼編碼的組合）PAQ（一種基于context mixing的超高壓縮率的算法，但是極度緩慢，是最高壓縮比競(jìng)爭(zhēng)中的佼佼者。）JPEG（使用離散余弦變換、量化、哈夫曼編碼的圖像壓縮）MPEG（廣泛使用的音頻及視頻壓縮標(biāo)準(zhǔn)族，視頻壓縮使用離散余弦變換以及運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)）MP3（MPEG-1標(biāo)準(zhǔn)中用于聲音及音樂(lè)壓縮的部分，使用子帶、MDCT、感知模型、量化以及哈夫曼編碼）WMA（WMV音頻編碼規(guī)范中的一部分，使用MDCT、感知模型、低比特率量化、量化以及哈夫曼編碼）Vor