信息論基礎(chǔ)聯(lián)合信源信道編碼定理

信息論基礎(chǔ)聯(lián)合信源信道編碼定理1第一頁(yè)，共四十六頁(yè)，編輯于2023年，星期二4.5聯(lián)合信源—信道編碼定理

定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼2第二頁(yè)，共四十六頁(yè)，編輯于2023年，星期二定理的提出

通信的實(shí)質(zhì)是信息的傳輸！3第三頁(yè)，共四十六頁(yè)，編輯于2023年，星期二將信源信息通過(guò)信道傳送給信宿．怎樣才能既做到盡可能不失真而又快速呢?定理的提出需要解決兩個(gè)問(wèn)題：在不失真或允許一定失真條件下，如何用盡可能少的符號(hào)來(lái)傳送信源信息，以便提高信息傳輸率；

在信道受干擾的情況下，如何增加信號(hào)的抗干擾能力，同時(shí)又使得信息傳輸率最大.4第四頁(yè)，共四十六頁(yè)，編輯于2023年，星期二香農(nóng)第一定理：要進(jìn)行無(wú)失真數(shù)據(jù)壓縮，必須R′>H；定理的提出5第五頁(yè)，共四十六頁(yè)，編輯于2023年，星期二香農(nóng)第二定理：要在信道中可靠地傳輸數(shù)據(jù)，必須C>R；定理的提出6第六頁(yè)，共四十六頁(yè)，編輯于2023年，星期二香農(nóng)第一定理：要進(jìn)行無(wú)失真數(shù)據(jù)壓縮，必須R′>H；香農(nóng)第二定理：要在信道中可靠地傳輸數(shù)據(jù)，必須C>R；問(wèn)題：若信源通過(guò)信道傳輸，要做到有效且可靠地傳輸，是否必須有C>H?定理的提出兩步編碼7第七頁(yè)，共四十六頁(yè)，編輯于2023年，星期二定理的提出一步編碼方案！8第八頁(yè)，共四十六頁(yè)，編輯于2023年，星期二4.5聯(lián)合信源—信道編碼定理

定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼9第九頁(yè)，共四十六頁(yè)，編輯于2023年，星期二聯(lián)合信源—信道編碼定理設(shè)U1、U2、…是取值于有限字母表Ц的無(wú)記憶信源，有熵率H(Ц);[?,Q(y|x),?]為無(wú)記憶信道，有信道容量C.（a）若H(U)<C，則對(duì)任ε>0，存在復(fù)(聯(lián))合信源—信道碼(f,g)使Pe(n)<ε;（b）反之若H(U)>C，則Pe(n)>0.

10第十頁(yè)，共四十六頁(yè)，編輯于2023年，星期二證明：弱典型序列的性質(zhì)聯(lián)合信源—信道編碼定理11第十一頁(yè)，共四十六頁(yè)，編輯于2023年，星期二12第十二頁(yè)，共四十六頁(yè)，編輯于2023年，星期二熵率的定義

熵、條件熵與互信息的關(guān)系

法諾不等式

信道容量的定義13第十三頁(yè)，共四十六頁(yè)，編輯于2023年，星期二定理表明使用一步編碼方案可以使通信的誤差概率任意小.對(duì)于同一個(gè)通信系統(tǒng)，現(xiàn)在有兩種數(shù)據(jù)處理方案.

說(shuō)明14第十四頁(yè)，共四十六頁(yè)，編輯于2023年，星期二4.5聯(lián)合信源—信道編碼定理

定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼15第十五頁(yè)，共四十六頁(yè)，編輯于2023年，星期二兩步編碼與一步編碼用盡可能少的信道符號(hào)來(lái)表達(dá)信源，以減少編碼后的數(shù)據(jù)的剩余度.16第十六頁(yè)，共四十六頁(yè)，編輯于2023年，星期二兩步編碼與一步編碼對(duì)信源編碼后的數(shù)據(jù)適當(dāng)增加一些剩余度，使能糾正和克服信道中引起的錯(cuò)誤和干擾.

17第十七頁(yè)，共四十六頁(yè)，編輯于2023年，星期二兩步編碼與一步編碼思考:

在有噪信道中，當(dāng)H<C時(shí)，用兩步編碼與一步

編碼的處理方法傳輸信源信息均可使得誤差概

率任意小.

對(duì)于給定的通信系統(tǒng)進(jìn)行編碼時(shí)，應(yīng)該傾向于

那種編碼方案？18第十八頁(yè)，共四十六頁(yè)，編輯于2023年，星期二兩步編碼與一步編碼近代大多數(shù)通信系統(tǒng)都是數(shù)字通信系統(tǒng).實(shí)際數(shù)字通信系統(tǒng)中，信道多是共同公用的二元數(shù)字信道.將語(yǔ)音、圖像等首先數(shù)字化，再對(duì)數(shù)字化的信源進(jìn)行不同的信源編碼?針對(duì)各自信源的不同特點(diǎn)，用最有效的二元碼進(jìn)行數(shù)據(jù)壓縮；19第十九頁(yè)，共四十六頁(yè)，編輯于2023年，星期二兩步編碼與一步編碼信道輸入端只是一系列二元碼?信道編碼只需針對(duì)信道特性進(jìn)行，不用考慮信源的特性；以糾正信道帶來(lái)的錯(cuò)誤，做到有效又可靠地傳輸信息.大大降低通信系統(tǒng)設(shè)計(jì)的復(fù)雜度！20第二十頁(yè)，共四十六頁(yè)，編輯于2023年，星期二兩步編碼與一步編碼經(jīng)典的無(wú)線通信系統(tǒng)是將信源編碼和信道編碼分別進(jìn)行的。信源編碼主要考慮信源的統(tǒng)計(jì)特性，信道編碼主要考慮信道的統(tǒng)計(jì)特性。

優(yōu)點(diǎn)是設(shè)計(jì)簡(jiǎn)單、通用性好，可以分別形成標(biāo)準(zhǔn)。

缺點(diǎn)是沒(méi)有充分利用各自的優(yōu)勢(shì)，因而不是最佳的。

無(wú)線系統(tǒng)的信源編碼由于壓縮比很高，對(duì)差錯(cuò)十分敏感；而信道編碼面臨十分惡劣的傳播環(huán)境，但提供的帶寬冗余度很小。

在這種背景下，需要將信源編碼和信道編碼綜合考慮。這就是聯(lián)合編碼的基本思路。

在無(wú)線多媒體通信中，聯(lián)合編碼是抗衰落的一種十分有效的措施。

21第二十一頁(yè)，共四十六頁(yè)，編輯于2023年，星期二兩步編碼與一步編碼國(guó)內(nèi)主要研究方向（以博士畢業(yè)論文為例）：《基于Turbo碼的聯(lián)合信源信道編譯碼方法研究

》——中國(guó)科學(xué)院研究生院（2008）

《誤碼環(huán)境下的視頻信源信道編碼理論與技術(shù)研究

》《無(wú)線信道中的聯(lián)合信源信道編碼研究

》——西安電子科技大學(xué)（2006）

《信源信道聯(lián)合解碼算法研究及其在語(yǔ)音傳輸中的應(yīng)用

》——東南大學(xué)（2005）《無(wú)線圖像傳輸中的聯(lián)合信源信道編碼研究

》——上海交通大學(xué)（2007）《實(shí)現(xiàn)復(fù)雜度控制的信源信道聯(lián)合編碼研究

》——華中科技大學(xué)（2005）1993年法國(guó)教授Berrou、Glavieux和其緬甸籍博士生Thitimajshima在ICC會(huì)議提出；全球3G標(biāo)準(zhǔn)：WCDMA、TD-SCDMA和CDMA2000均使用了Turbo碼

22第二十二頁(yè)，共四十六頁(yè)，編輯于2023年，星期二4.5聯(lián)合信源—信道編碼定理

定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼23第二十三頁(yè)，共四十六頁(yè)，編輯于2023年，星期二展望提高信息傳輸?shù)目煽啃院陀行?，始終是通信工作所追求的目標(biāo)；近幾節(jié)課掌握的幾個(gè)編碼定理，已經(jīng)明確指出在一定條件下總存在簡(jiǎn)單、有效編、譯的“好碼”.但是，都沒(méi)有給出這類好碼的編、譯方法.24第二十四頁(yè)，共四十六頁(yè)，編輯于2023年，星期二4.6線性分組碼

基礎(chǔ)知識(shí)線性分組碼的基本概念線性分組碼的譯碼漢明碼的編碼與譯碼25第二十五頁(yè)，共四十六頁(yè)，編輯于2023年，星期二基礎(chǔ)知識(shí)線性分組碼的基本概念線性分組碼的譯碼漢明碼的編碼與譯碼4.6線性分組碼26第二十六頁(yè)，共四十六頁(yè)，編輯于2023年，星期二4.6線性分組碼基礎(chǔ)知識(shí)抽象代數(shù)基礎(chǔ)線性代數(shù)基礎(chǔ)27第二十七頁(yè)，共四十六頁(yè)，編輯于2023年，星期二4.6線性分組碼基礎(chǔ)知識(shí)抽象代數(shù)基礎(chǔ)線性代數(shù)基礎(chǔ)28第二十八頁(yè)，共四十六頁(yè)，編輯于2023年，星期二一、群

定義設(shè)G是非空集合，并在G內(nèi)定義了一種代數(shù)運(yùn)算，若滿足：(1)封閉性：對(duì)任意a、b∈G，恒有a°b∈G；(2)結(jié)合律：對(duì)任意a、b∈G，有(a°b)°c=a°(b°c)；(3)存在單位元e：對(duì)任意a∈G，有e∈G，使a°e=e°a=a；(4)對(duì)任意a∈G，存在有a的逆元a-1∈G，使a°a-1=a-1°a=e則稱G構(gòu)成一個(gè)群.

29第二十九頁(yè)，共四十六頁(yè)，編輯于2023年，星期二定義中，G的運(yùn)算“°”可以是通常的乘法或加法：若為乘法，則單位元記為1；若為加法，則單位元記為0；a的逆元記為-a.群中元素的個(gè)數(shù)，稱為群的階：若群中元素個(gè)數(shù)有限，稱為有限群；否則，稱無(wú)限群.若G的運(yùn)算“°”滿足交換律，稱G為Abel群.30第三十頁(yè)，共四十六頁(yè)，編輯于2023年，星期二例G1：整數(shù)全體，按通常加法構(gòu)成群，這是一個(gè)無(wú)限群.

例G2：二元集{0,1}，對(duì)其上定義的模2加法,構(gòu)成一個(gè)群.

31第三十一頁(yè)，共四十六頁(yè)，編輯于2023年，星期二二、域域在編碼理論中起著關(guān)鍵作用；域是定義了兩種代數(shù)運(yùn)算的系統(tǒng).

定義非空元素集合F，若在F中定義了加和乘兩種運(yùn)算，且滿足下述公理：32第三十二頁(yè)，共四十六頁(yè)，編輯于2023年，星期二(1)F關(guān)于加法構(gòu)成阿貝爾群，其加法單位元記為0；(2)F中非零元素全體對(duì)乘法構(gòu)成阿貝爾群.

其乘法單位元記為1；(3)

滿足分配律：a(b+c)=ab+ac(b+c)a=ba+ca則稱F是一個(gè)域.33第三十三頁(yè)，共四十六頁(yè)，編輯于2023年，星期二例F1

實(shí)數(shù)全體對(duì)加法、乘法構(gòu)成域，稱為實(shí)數(shù)域.例F20、1兩個(gè)元素按模2加和模2乘構(gòu)成域.該域中只有兩個(gè)元素，記為GF(2).有限域34第三十四頁(yè)，共四十六頁(yè)，編輯于2023年，星期二4.6線性分組碼基礎(chǔ)知識(shí)抽象代數(shù)基礎(chǔ)線性代數(shù)基礎(chǔ)35第三十五頁(yè)，共四十六頁(yè)，編輯于2023年，星期二一、線性空間定義如果域F上的n重元素集合V滿足下述條件時(shí)：(1)V關(guān)于加法構(gòu)成阿貝爾群；(2)對(duì)V中任何元素v和F中任何元素c，cv∈V.稱V中元素v為矢量(向量)，F(xiàn)中元素c為純量或標(biāo)量，稱乘c運(yùn)算為數(shù)乘；36第三十六頁(yè)，共四十六頁(yè)，編輯于2023年，星期二(3)分配律成立，對(duì)任何u，v∈V，c，d∈F恒有：

c(u+v)=cu+cv

(c+d)v=cv+dv(4)若c，d∈F

，v∈V，有：

(cd)v=c(dv)，1·v=v，1∈F則稱V是域F上的一個(gè)n維線性空間或矢量空間，一般用VFn表示.37第三十七頁(yè)，共四十六頁(yè)，編輯于2023年，星期二例L1實(shí)數(shù)域R上的n重?cái)?shù)組全體：{(x1，x2，…，xn)；xi∈R}組成一線性空間VRn.例L2GF(2)上的n重?cái)?shù)組全體：{xn=(x1，x2，…，xn)；xi∈GF(2)}是一線性空間GF(2)n.n維向量空間38第三十八頁(yè)，共四十六頁(yè)，編輯于2023年，星期二定義設(shè)x1，x2，…，xk是線性空間V中的一組非全零向量，當(dāng)且僅當(dāng)存在有一組不全為零的數(shù)c1，c2，…，ck(ci∈F；i=1，2，…，k)使

c1x1+c2x2+…+ckxk=0成立時(shí)，則稱這組向量線性相關(guān)；否則，稱這組向量線性無(wú)關(guān).39第三十九頁(yè)，共四十六頁(yè)，編輯于2023年，星期二

定義線性空間V中的每一向量，如果可以由其中的一組向量集S′中的向量線性組合生成，則說(shuō)S′生成了