第1章 信源與信源編碼

1、1,通信原理,信源與信源編碼,2,信源與信源編碼,信源,信道,信宿,有效性指標 壓縮編碼：去除 信源的統(tǒng)計多余 成分,可靠性指標,如: 我愛北京天安門,3,信源與信源編碼,1.1信源分類與統(tǒng)計特性描述 離散信源與連續(xù)信源 離散信源：文字、電報、各種數(shù)據(jù)等 連續(xù)信源：語音、圖像等 單符號信源與符號序列信源 單符號信源：僅輸出一個離散符號 統(tǒng)計特性,4,信源與信源編碼,1.1信源分類與統(tǒng)計特性描述 單符號信源與符號序列信源 符號序列信源：輸出一個離散符號序列 描述方法：用L 維隨機矢量表示 樣值： 統(tǒng)計特性,5,信源與信源編碼,1.1信源分類與統(tǒng)計特性描述 單符號信源與符號序列信源 統(tǒng)計特性 無記

2、憶序列信源：序列中前后符號相互統(tǒng)計獨立 有記憶序列信源：序列中前后符號不是相互統(tǒng)計獨立的,可用馬爾可夫鏈表示,6,信源與信源編碼,1.2信息熵 信息的基本特征：不確定性。因此信息應該是概率P的函數(shù) 信息的兩個特點 隨概率P的遞減性：概率越大，信息量越小 可加性：兩個獨立消息的總信息量應是兩個消息的信息量的和 滿足這兩個條件的表示信息量的函數(shù)只有一種可能：對數(shù)函數(shù),7,信源與信源編碼,1.2信息熵 單符號信源自信息量 理解：消息出現(xiàn)概率越小，信息量越大 兩個單符號信源聯(lián)合自信息量,8,信源與信源編碼,1.2信息熵 單符號信源信息熵 前面定義的是一個具體消息的信息量，因為信源輸出的消息有多種可能性

3、，所以可以把信息熵理解為這個輸出消息（考慮多種可能性）的平均信息量 信息熵也可以理解為對信源的不確定性的平均度量 在各種可能性等概時，信源的信息熵最大,9,信源與信源編碼,1.2信息熵 信息熵與信息量的關系 信息熵表征信源的統(tǒng)計特性,是針對信源來說的. 信息量是接收端從信源獲取的信息量. 兩者在概念上有區(qū)別,在數(shù)量上不相等.,10,信源與信源編碼,1.2信息熵 兩個單符號信源的條件熵和聯(lián)合熵,11,信源與信源編碼,1.2信息熵 條件熵和聯(lián)合熵的性質,12,信源與信源編碼,1.2信息熵 信源冗余度,13,信源與信源編碼,1.2信息熵 信源冗余度,14,信源與信源編碼,1.2信息熵 信源冗余度 關

4、于剩余度的理解: H是考慮全部信源統(tǒng)計特性后的最小信息熵，是信道傳送理論上的最佳值，只要在信道傳送H，在接收端利用信源統(tǒng)計關聯(lián)的記憶特性，可恢復出全部信息. 由于存在著信源冗余,使得壓縮編碼成為可能. 信源冗余度是信源壓縮編碼的理論基礎.,15,信源與信源編碼,1.2信息熵 信源冗余度 例題：英文字母在英語中出現(xiàn)的概率統(tǒng)計如下，計算信源效率與信源冗余度。,16,信源與信源編碼,1.2信息熵 信源冗余度 例題: H0=4.76b/符號 H1=4.03b/符號 H2=3.32b/符號 H3=3.1b/符號 H =1.4b/符號（Shannon求得的推算值） 結論：剩余度0.7，說明壓縮編碼的必要。

5、,17,信源與信源編碼,1.3互信息 定義與理解,18,信源與信源編碼,1.3互信息 各種熵的關系,19,信源與信源編碼,回顧 信源分類與統(tǒng)計特性 單符信源列舉狀態(tài)與概率 符號序列列舉狀態(tài)與概率，狀態(tài)數(shù)目？ 信息熵 單符信源的自信息量、聯(lián)合自信息量、信息熵、聯(lián)合熵、條件熵 互信息 信源剩余度,20,信源與信源編碼,1.4-1.5無失真離散信源編碼 信源編碼 離散信源輸出的是各種離散消息和符號 模擬信源輸出的是模擬信號（連續(xù)信號） 離散數(shù)字信源存在信源冗余而必須進行壓縮編碼；模擬信源為了進行數(shù)字通信，必須進行信源編碼，將信源輸出轉變成數(shù)字信息 信源編碼中考慮的兩個基本問題 編碼輸出的信息速率（總

6、是希望它盡可能?。?編碼所造成的失真盡可能小,21,信源與信源編碼,1.4-1.5無失真離散信源編碼 無失真離散信源編碼 研究在無失真編譯碼條件下，傳送離散信源發(fā)出信息的最小編碼速率 兩種基本編碼方法 等長編碼：編碼輸出的所有碼字長度都相同 變長編碼：編碼輸出碼字長度不相同,22,信源與信源編碼,1.4-1.5無失真離散信源編碼 等長編碼定理原理圖 無失真要求：nL0，若實際傳輸信息率RR(D) ，只要信源序列長度L足夠長，一定存在一種編碼方式C，使譯碼后的平均失真dD+；反之，若RD 該定理可以推廣到連續(xù)平穩(wěn)無記憶信源,43,信源與信源編碼,1.7限失真信源編碼定理與限失真信源編碼 限失真信

7、源編碼定理 理解1：信息率失真函數(shù)R(D)是一個界限，只要實際傳輸信息率R大于這個界限，就可以通過信源編碼技術將譯碼失真限制在給定的范圍內。即通信的過程中雖然有失真，但仍能滿足要求，否則就不能滿足要求。 理解2：限失真信源編碼的方向是尋求與信源的信息率失真函數(shù)R(D)相匹配的編碼，即R-R(D)；這與無失真信源編碼相似，后者尋求與信源信息熵匹配的編碼，即,44,信源與信源編碼,1.7限失真信源編碼定理與限失真信源編碼 實現(xiàn)限失真信源編碼的兩類方法 1.適應信源方法，即尋找適應信源的客觀概率統(tǒng)計特性的編碼方法。如充分考慮信源消息序列的各消息變量（或各取樣值）之間的相關性，進行矢量量化編碼 2.改

8、造信源方法，即通過改造信源解除信源消息序列的各消息變量（或各取樣值）之間的相關性。如預測編碼和變換編碼,45,信源與信源編碼,1.8連續(xù)信源的限失真編碼 模擬信號的數(shù)字傳輸 把模擬信號數(shù)字化后，用數(shù)字通信方式傳輸 連續(xù)信源輸出的模擬信號用數(shù)字信號表示時必然引起失真，故連續(xù)信源的數(shù)字化屬限失真編碼范疇。,46,信源與信源編碼,1.8連續(xù)信源的限失真編碼 模擬信號的數(shù)字化 抽樣：對信號在時域上進行離散化的過程 量化：對信號在取值域上進行離散化的過程 量化時會帶來量化誤差（即量化失真），這種失真是不可恢復的（不可逆） 編碼：將離散的取值編成數(shù)字序列,47,信源與信源編碼,1.8連續(xù)信源的限失真編碼

9、取樣（抽樣） 低通信號的抽樣定理 帶通信號的抽樣定理 標量量化 信號抽樣后的序列的取值仍然不是離散的（任何值都是可能的），要變成數(shù)字信號還必須使取值也離散化，這就是量化 標量量化（一維量化）：對抽樣序列的每個抽樣值獨立的進行量化 量化：將連續(xù)數(shù)集x（無限多種取值）映射到具有有限多(M)個取值可能的數(shù)集,48,信源與信源編碼,1.8連續(xù)信源的限失真編碼 標量量化 最佳量化器：使量化噪聲平均功率最小, 最佳量化時分層電平為兩相鄰量化電平的中點；量化電平是所屬量化間隔的概率質心,49,信源與信源編碼,1.8連續(xù)信源的限失真編碼 均勻量化（線性量化） 設量化器量化范圍(-V,+V)，分層電平數(shù)為M，則

10、均勻量化器的量化間隔，分層電平，量化電平為 可證明：當待量化信號在量化范圍內服從均勻分布時，均勻量化是最佳量化 均勻量化存在的主要問題？,50,信源與信源編碼,1.8連續(xù)信源的限失真編碼 對數(shù)量化（廣泛應用于語聲通信） 想法：對小信號的量化用較小的量化間隔，對大信號用大的量化間隔。使大小信號具有近似的信噪比 實現(xiàn)方法：在發(fā)送端，先進行非線性壓縮，再進行均勻量化和線性編碼；在接收端，先譯碼，然后作非線性擴張，恢復出原始信號。（稱此壓縮擴張器為對數(shù)壓擴器） A律壓擴（歐洲、中國的PCM：取A=87.56）：可用13折線逼近 律壓擴（美國、日本的PCM）：可用15折線逼近,51,信源與信源編碼,1.

11、8連續(xù)信源的限失真編碼 編碼 對量化后的有限個取值進行編碼 常見的二進制碼：自然碼，折疊碼，格雷碼（表7.9.1） PCM中使用的是折疊碼 用第一位表示量化電平極性（正為1，負為0） 后面幾位表示信號量化電平絕對值的大?。ū热?00111表示由小到大）,52,信源與信源編碼,1.8連續(xù)信源的限失真編碼 電話信號的A律PCM 先對語聲信號進行限帶：3003400Hz 抽樣：抽樣頻率為8000Hz 量化：先用對數(shù)A律特性將量化范圍分成16個段落（對數(shù)量化）；在段落內則使用均勻量化（即將每個段落均勻分成16個小段） 編碼：每個值用8比特進行量化,53,信源與信源編碼,1.8連續(xù)信源的限失真編碼 PC

12、M一次群中的TDM 通常認為話音信號的最高頻率為4kHz，這樣抽樣頻率可定為8kHz（抽樣間隔為T=125s） 經(jīng)A率13折線編碼，編為8位的碼字。這樣對一路信號而言，每個T中必須傳輸一個8位碼字,54,信源與信源編碼,1.8連續(xù)信源的限失真編碼 標量量化的問題 沒有充分利用信源消息序列中各個樣值之間的相關性，編碼之后的信息率通常較高 矢量量化的思路 充分利用信源消息序列中各個樣值之間的相關性，通過聯(lián)合量化，可以大幅度降低編碼后的信息率，提高編碼效率,55,信源與信源編碼,1.8連續(xù)信源的限失真編碼 基本原理 將模擬信號抽樣序列中的每K個樣值分為一組，構成K維歐式空間RK中的一個隨機矢量X 將

13、K維空間分割成L個子空間（胞腔）Ci。每個子空間Ci中有一個離散的K維矢量Yi，稱為量化矢量或重建矢量 若輸入矢量X落在某子空間Ci中，則可將X量化維其中的量化矢量Yi。這樣傳輸時，只需要傳輸量化矢量Yi的標號i,56,信源與信源編碼,1.8連續(xù)信源的限失真編碼 最佳矢量量化基本算法（LGB算法） 使量化誤差/失真最小的矢量量化算法即為最佳矢量量化，常用的失真度量為均方誤差 LGB算法的兩個條件： 1.若輸入矢量X與量化矢量Yi之間的失真d(X,Yi)小于與其它任何量化矢量Yj之間的失真d(X,Yj)，則判為屬于Ci，即Ci是符合此條件的所有矢量的集合 2.各子空間的量化矢量應為該子空間的概率質心 實現(xiàn)：迭代算法,57,信源與信源編碼,1.9相關信源的限失真編碼 對相關信源進行編碼 編碼方式適應信源統(tǒng)計特性，如矢量量化編碼 解除信源相關性，再進行信源編碼 從時域上解除信源相關性，如預測編碼 從變換域上解除信源相關性，如變換編碼 原理,58,信源與信源編碼,1.9相關信源的限失真編碼 DPCM,59,信源與信源編碼,1.9相關信源的限失真編碼 解除信源相關性的方法 預測編碼：在時域上解除 變換編碼：在變換域（如頻域、廣義頻域或