信息論基礎(chǔ)-信道編碼理論課件

第4章數(shù)據(jù)可靠傳輸和信道編碼1第4章數(shù)據(jù)可靠傳輸和信道編碼1數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量

4.2

信道容量的計(jì)算

4.3信道編碼理論

4.4帶反饋的信道模型4.5聯(lián)合信源-信道編碼定理4.6線性分組碼習(xí)題四2數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量2信道編碼理論3信道編碼理論3信道編碼理論4信道編碼理論41譯碼規(guī)則若信道輸入符號(hào)x，輸出符號(hào)y，則制定譯碼規(guī)則就是設(shè)計(jì)函數(shù)：g(y)=x.例1.單符號(hào)離散信道的信道矩陣信道編碼理論g(y1)=x1g(y2)=x2g(y3)=x3g(y1)=x2g(y2)=x1g(y3)=x351譯碼規(guī)則信道編碼理論g(y1)=x1g(y1)=x22誤差概率定義①離散無記憶信道[Χ,Q(y|x),У]:信源消息集W={1,2,…,M}；編碼函數(shù)f:W→Χn,如Χn(i)；譯碼函數(shù)g:Уn→W；碼率R=(logM)/n；構(gòu)成一個(gè)(M,n)碼．信道編碼理論消息集在等概條件下每個(gè)符號(hào)攜帶的平均信息量（bit）62誤差概率信道編碼理論消息集在等概條件下每個(gè)符號(hào)攜帶的平均定義②信道譯碼的誤差概率：定義③(M,n)碼的最大誤差概率：定義④(M,n)碼的平均誤差概率：信道編碼理論設(shè)計(jì)譯碼規(guī)則，使得誤差概率最小，即輸出符號(hào)均譯成具有最大后驗(yàn)概率的相應(yīng)輸入符號(hào)．7定義②信道譯碼的誤差概率：信道編碼理論設(shè)計(jì)譯碼規(guī)則，使得誤差1譯碼規(guī)則若信道輸入符號(hào)x，輸出符號(hào)y，則制定譯碼規(guī)則就是設(shè)計(jì)函數(shù)：g(y)=x.例1.單符號(hào)離散信道的信道矩陣信道編碼理論g(y1)=x1g(y2)=x2g(y3)=x3g(y1)=x2g(y2)=x1g(y3)=x3借助于信道矩陣的傳遞概率選；稱之為最大似然譯碼！81譯碼規(guī)則信道編碼理論g(y1)=x1g(y1)=x23可達(dá)碼率稱碼率R是可達(dá)的，如果存在一個(gè)(2nR,n)碼使得4最大可達(dá)速率一個(gè)離散無記憶信道的最大可達(dá)速率為：信道編碼理論93可達(dá)碼率信道編碼理論95影響信道傳輸?shù)囊蛩?/p>

最大似然譯碼：g(y=0)=(x=0),g(y=1)=(x=1)Pe=10-2信道編碼理論P(yáng)e=10-2實(shí)際數(shù)據(jù)通信系統(tǒng)誤差范圍10-6~10-9105影響信道傳輸?shù)囊蛩匦诺谰幋a理論P(yáng)e=10-2實(shí)際數(shù)據(jù)通信6降低錯(cuò)誤概率策略①設(shè)計(jì)好的譯碼規(guī)則；②重復(fù)發(fā)送→降低信息傳輸率R；問題：能否找到好的編譯方法，使Pe降低，而R保持在一定水平上？信道編碼理論116降低錯(cuò)誤概率策略信道編碼理論117信道編碼定理背景香農(nóng)1948年指出可達(dá)、最大的信息傳輸率是信道容量，從理論上說明了“好碼”存在；并且，基于聯(lián)合ε典型序列進(jìn)行證明．

╣香農(nóng)第二基本定理；香農(nóng)第一基本定理╠信道編碼理論無失真變長信源編碼定理：存在對(duì)離散無記憶信源S的N次擴(kuò)展信源的唯一可譯編碼，使得S中每個(gè)信源符號(hào)所需的平均碼長滿足：碼符號(hào)數(shù)127信道編碼定理背景信道編碼理論無失真變長信源編碼定理：碼符①面向數(shù)字信道的信道編碼一部分科學(xué)家從事尋找最佳編碼（糾錯(cuò)碼）的研究工作，并已經(jīng)形成一門獨(dú)立的分支——糾錯(cuò)碼理論．20世紀(jì)40年代，Golay和漢明提出分組編碼技術(shù)，把代數(shù)方法引入到糾錯(cuò)碼的研究，形成了代數(shù)編碼理論，找到了大量可糾正多個(gè)錯(cuò)誤的性能優(yōu)異的碼，而且提出了可實(shí)現(xiàn)的編譯碼方法．分組碼中的不少碼，如漢明碼、Golay碼、BCH碼等都在通信、計(jì)算機(jī)技術(shù)中獲得廣泛應(yīng)用．但是代數(shù)編碼的漸近性能很差，不能實(shí)現(xiàn)香農(nóng)信道編碼定理所指出的結(jié)果．于1960年前后，提出了卷積碼和概率譯碼，并逐步形成了一系列概率譯碼理論．以維特比（Viterbi）譯碼為代表的譯碼方法被美國衛(wèi)星通信系統(tǒng)所采用，使香農(nóng)理論成為真正具有實(shí)用意義的科學(xué)理論．1993年提出的Turbo碼在性能上已非常接近理論極限．信道編碼理論13①面向數(shù)字信道的信道編碼信道編碼理論13利用格子碼與軟判決理論，使數(shù)據(jù)傳輸速度提高了25倍、現(xiàn)有的網(wǎng)絡(luò)通信成為實(shí)用性的技術(shù)②面向模擬信道的信道編碼1974年，J.L.Massey提出將編碼與調(diào)制統(tǒng)一考慮的概念．1982年，這一想法在G.Ungerboeck等人的研究下終于取得突破，這就是網(wǎng)格編碼調(diào)制．網(wǎng)格編碼調(diào)制在實(shí)際應(yīng)用中發(fā)生的相位含糊問題在1984年被L.E.Wei所解決，這一方法隨即被CCITT（現(xiàn)為ITU-T）所采納成為一種標(biāo)準(zhǔn)．現(xiàn)在，網(wǎng)格編碼調(diào)制正在向衛(wèi)星通信、磁紀(jì)錄等領(lǐng)域擴(kuò)展其應(yīng)用范圍．信道編碼理論國際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)化組(ITU-TforITUTelecommunicationStandardizationSector),它是國際電信聯(lián)盟管理下的專門制定遠(yuǎn)程通信相關(guān)國際標(biāo)準(zhǔn)的組織。14利用格子碼與軟判決理論，使數(shù)據(jù)傳輸速度提高了25倍、現(xiàn)有的信道編碼理論在譯碼理論的研究中，根據(jù)對(duì)接收信號(hào)處理方式的不同，分為硬、軟判決。接收時(shí)是一個(gè)模擬量，因此在送入譯碼器之前應(yīng)進(jìn)行量化處理。最簡單的量化是二電平量化(即量化電平Q=2)，也就是硬判決，當(dāng)接收信號(hào)R>0時(shí)，判為“0”，否則判為“1”。

這種量化太粗糙，將丟失許多有用的信息，以至于造成信噪比大約2Bd的損失。為了避免二電平量化的這種損失，應(yīng)當(dāng)使量化電平數(shù)Q>2也就是軟判決。Q越大，量化越精細(xì)，損失也就越小，但同時(shí)譯碼器也就會(huì)越復(fù)雜。當(dāng)量化電平超過8時(shí)，編碼增益也趨于飽和，因而量化電平通常取Q=8。

軟判決Vietbri譯碼器的結(jié)構(gòu)并不比硬判決的復(fù)雜很多，但可以使性能提高

2-3Bd。目前，實(shí)用中的Viterbi譯碼器幾乎都是軟判決，并且一般都采用8電平均勻量化，其性能基本達(dá)到了最大似然譯碼的性能。15信道編碼理論在譯碼理論的研究中，根據(jù)對(duì)接收信號(hào)處理方式的不同8聯(lián)合典型序列①定義：關(guān)于聯(lián)合分布p(x,y)的n長聯(lián)合典型序列{(xn,yn)}的集Wε(n)為信道編碼理論平均聯(lián)合自信息無限接近聯(lián)合熵的n長序列對(duì)的集合168聯(lián)合典型序列信道編碼理論平均聯(lián)合自信息無限接近聯(lián)合熵的n②性質(zhì)：信道編碼理論某輸入典型序列發(fā)送，必是高概率地傳送到與它構(gòu)成聯(lián)合典型序列的那些序列上17②性質(zhì)：信道編碼理論某輸入典型序列發(fā)送，必是高概率地傳送到與9信道編碼定理（香農(nóng)第二編碼定理）

若信道是離散、無記憶、平穩(wěn)的，且信道容量為C，只要待傳送的信息率R<C

，就一定能找到一種信道編碼方法，使得碼長足夠大時(shí)，最大誤差概率任意接近于零；反之，最大誤差概率可以任意接近零的碼（2nR,n），必滿足R<C．信道編碼理論189信道編碼定理（香農(nóng)第二編碼定理）信道編碼理論18信道編碼理論要想使信息傳輸率大于信道容量而又無錯(cuò)誤地傳輸消息是不可能的19信道編碼理論要想使信息傳輸率大于信道容量而又無錯(cuò)誤地傳輸消息數(shù)據(jù)處理不等式：費(fèi)諾不等式：信道編碼理論20數(shù)據(jù)處理不等式：信道編碼理論20數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量

4.2

信道容量的計(jì)算

4.3信道編碼理論

4.4帶反饋的信道模型4.5聯(lián)合信源-信道編碼定理4.6線性分組碼習(xí)題四21數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量21最大似然譯碼準(zhǔn)則→設(shè)計(jì)譯碼函數(shù)：

F(yj)=x*，s.tp(yj|x*)≥p(yj|xi)有噪信道編碼定理信道容量是一個(gè)明確的分界點(diǎn).當(dāng)R<C

并接近C時(shí)，總能克服和消除信道中干擾和噪聲引起的錯(cuò)誤，實(shí)現(xiàn)可靠傳輸信息.

信道編碼—回顧22最大似然譯碼準(zhǔn)則信道編碼—回顧22①面向數(shù)字信道的信道編碼一部分科學(xué)家從事尋找最佳編碼（糾錯(cuò)碼）的研究工作，并已經(jīng)形成一門獨(dú)立的分支——糾錯(cuò)碼理論．20世紀(jì)40年代，Golay和漢明提出分組編碼技術(shù)，把代數(shù)方法引入到糾錯(cuò)碼的研究，形成了代數(shù)編碼理論，找到了大量可糾正多個(gè)錯(cuò)誤的性能優(yōu)異的碼，而且提出了可實(shí)現(xiàn)的編譯碼方法．分組碼中的不少碼，如漢明碼、Golay碼、BCH碼等都在通信、計(jì)算機(jī)技術(shù)中獲得廣泛應(yīng)用．但是代數(shù)編碼的漸近性能很差，不能實(shí)現(xiàn)香農(nóng)信道編碼定理所指出的結(jié)果．于1960年前后，提出了卷積碼和概率譯碼，并逐步形成了一系列概率譯碼理論．以維特比（Viterbi）譯碼為代表的譯碼方法被美國衛(wèi)星通信系統(tǒng)所采用，使香農(nóng)理論成為真正具有實(shí)用意義的科學(xué)理論．1993年提出的Turbo碼在性能上已非常接近理論極限．信道編碼—回顧23①面向數(shù)字信道的信道編碼信道編碼—回顧23信道編碼—回顧糾錯(cuò)碼的分類按碼的結(jié)構(gòu)中對(duì)信息序列的處理方式分組碼；卷積碼24信道編碼—回顧糾錯(cuò)碼的分類24信道編碼—回顧卷積編碼?卷積碼由碼率R=k/n和約束長度N描述，記做(n,k,N)；?對(duì)k-bit輸入數(shù)據(jù)塊進(jìn)行運(yùn)算（k通常較小，例1,2or3)；?n-bit輸出是當(dāng)前輸入塊與以前(N-1)個(gè)輸入塊的加權(quán)求和，N一般小于9；?卷積碼是把k個(gè)信息比特編成n個(gè)比特，但k和n通常很小.25信道編碼—回顧卷積編碼25信道編碼—回顧卷積碼中編碼后的n個(gè)碼元不但與當(dāng)前段k個(gè)信息有關(guān)，而且與前面（N-1）段的信息有關(guān)；

在編碼器復(fù)雜性相同的情況下，卷積碼的性能優(yōu)于分組碼；分組碼有嚴(yán)格的代數(shù)結(jié)構(gòu)，但卷積碼至今尚未找到嚴(yán)密的數(shù)學(xué)手段，目前大都采用計(jì)算機(jī)來搜索好碼.26信道編碼—回顧卷積碼中編碼后的n個(gè)碼元不但與當(dāng)前段k信道編碼—回顧糾錯(cuò)碼的分類按碼的結(jié)構(gòu)中對(duì)信息序列的處理方式分組碼；卷積碼按具有糾傳輸錯(cuò)誤能力的工作方式反饋重傳糾錯(cuò)；前向糾錯(cuò)（自動(dòng)糾錯(cuò)）；混合糾錯(cuò)27信道編碼—回顧糾錯(cuò)碼的分類27信道編碼—回顧糾錯(cuò)碼的分類按碼的結(jié)構(gòu)中對(duì)信息序列的處理方式分組碼；卷積碼按具有糾傳輸錯(cuò)誤能力的工作方式

反饋重傳糾錯(cuò)；前向糾錯(cuò)（自動(dòng)糾錯(cuò)）；混合糾錯(cuò)28信道編碼—回顧糾錯(cuò)碼的分類28帶反饋的信道模型29帶反饋的信道模型29帶反饋的信道模型30帶反饋的信道模型30帶反饋的信道模型部分出錯(cuò)，只需反饋（重發(fā)）該部分.31帶反饋的信道模型311帶反饋的（2nR,n）信道碼

離散無記憶信道[Χ,Q(y|x),У]:消息集W

={1,2,…,M}，M=2nR；編碼函數(shù)f:W

ΧУ

i-1→У

n,

得碼字Уn，其中У

i=У

i(w,У

i-1)；譯碼函數(shù)g:Уn→W；碼率R=(logM)/n；帶反饋的信道模型321帶反饋的（2nR,n）信道碼帶反饋的信道模型32帶反饋的信道模型2最大可達(dá)速率定義：帶反饋的離散無記憶信道的最大可達(dá)速率為問題：增加了反饋信道，信息傳輸率得以提高，信道容量是否可以提高？33帶反饋的信道模型2最大可達(dá)速率33帶反饋的信道模型定理：設(shè)離散無記憶信道的容量為C，帶反饋的信道容量為CFB，則證明：CFB≥

C；只須證CFB≤

C.34帶反饋的信道模型定理：設(shè)離散無記憶信道的容量為C，帶反饋34帶反饋的信道模型設(shè)Pr{W=w}=1/2nR，則nR=H(W)=H(W|Yn)+I(W;Yn);由費(fèi)諾不等式，得到H(W|Yn)≤1+Pe(n)nR;①而I(W;Yn)=H(Yn)-H(Yn|W)=H(Yn)-∑H(Yi|Y1Y2...Yi-1W)=H(Yn)-∑H(Yi|Y1Y2...Yi-1W,Xi)=H(Yn)-∑H(Yi|Xi)≤∑H(Yi)-∑H(Yi|Xi)=∑I(Xi;Yi)≤nC②(Y1...Yi-1)→Xi→Yi是馬氏鏈.35帶反饋的信道模型設(shè)Pr{W=w}=1/2nR，則(Y1...帶反饋的信道模型可得：nR≤1+Pe(n)nR+nC即R≤1/n+Pe(n)R+C從而，當(dāng)n充分大時(shí)，R≤C.所以，36帶反饋的信道模型可得：36信道編碼-實(shí)例通常在公共業(yè)務(wù)信道中，移動(dòng)臺(tái)用自己的電子序列號(hào)（ESNs）和系統(tǒng)公共長掩碼（PublicLongCodeMask）共同生成可識(shí)別的長PN碼偏置（Offset）；其中移動(dòng)臺(tái)的ESN代碼是區(qū)別于其他移動(dòng)用戶的有效方式.*#06#手機(jī)串號(hào),手機(jī)身份證-IMEI(InternationalMobileEquipmentIdentity,國際移動(dòng)設(shè)備身份碼),國際移動(dòng)裝備辨識(shí)碼,由15位數(shù)字組成的"電子串號(hào)",它與每臺(tái)手機(jī)一一對(duì)應(yīng),而且該碼是全世界唯一的37信道編碼-實(shí)例通常在公共業(yè)務(wù)信道中，移動(dòng)臺(tái)用自己的電子序列號(hào)信道編碼-實(shí)例第七個(gè)和第八個(gè)數(shù)是下面對(duì)應(yīng)的兩個(gè)數(shù)，那么你的手機(jī)質(zhì)量的好壞就確定了:

0，2or2，0代表是阿拉伯生產(chǎn)的，是很差的手機(jī)

0，8or8，0代表是德*生產(chǎn)的，是好一點(diǎn)兒的手機(jī)

0，1or1，0代表是芬蘭生產(chǎn)的，是非常好的手機(jī)

0，0代表是原產(chǎn)公司生產(chǎn)，是質(zhì)量最好的手機(jī)-原裝手機(jī)）

1，3代表是阿賽拜疆生產(chǎn)的，是非常非常差的手機(jī)

38信道編碼-實(shí)例第七個(gè)和第八個(gè)數(shù)是下面對(duì)應(yīng)的兩個(gè)數(shù)，那么你的手帶反饋的信道模型39帶反饋的信道模型39帶反饋的信道模型不同的手機(jī)和基站信道單元都有一個(gè)長碼生成器.其中長碼狀態(tài)寄存器（LCSR）保持與系統(tǒng)時(shí)間的同步，掩碼寄存器（MR）存有只有用戶可識(shí)別的碼型.長碼狀態(tài)寄存器（LCSR）每個(gè)脈沖周期轉(zhuǎn)變一次狀態(tài).狀態(tài)寄存器（LCSR）和掩碼寄存器（MR）合并至加和寄存器（SUMMER）在每個(gè)時(shí)鐘周期內(nèi)進(jìn)行模2和計(jì)算，逐比特生成長碼.生成的移位長碼是由用戶唯一的偏制（User’sOffset）碼型所決定的，加擾后其他用戶將無法解調(diào)此用戶信息.40帶反饋的信道模型不同的手機(jī)和基站信道單元都有一個(gè)長碼生成器.帶反饋的信道模型41帶反饋的信道模型41帶反饋的信道模型IMEI42帶反饋的信道模型IMEI42第4章數(shù)據(jù)可靠傳輸和信道編碼43第4章數(shù)據(jù)可靠傳輸和信道編碼1數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量

4.2

信道容量的計(jì)算

4.3信道編碼理論

4.4帶反饋的信道模型4.5聯(lián)合信源-信道編碼定理4.6線性分組碼習(xí)題四44數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量2信道編碼理論45信道編碼理論3信道編碼理論46信道編碼理論41譯碼規(guī)則若信道輸入符號(hào)x，輸出符號(hào)y，則制定譯碼規(guī)則就是設(shè)計(jì)函數(shù)：g(y)=x.例1.單符號(hào)離散信道的信道矩陣信道編碼理論g(y1)=x1g(y2)=x2g(y3)=x3g(y1)=x2g(y2)=x1g(y3)=x3471譯碼規(guī)則信道編碼理論g(y1)=x1g(y1)=x22誤差概率定義①離散無記憶信道[Χ,Q(y|x),У]:信源消息集W={1,2,…,M}；編碼函數(shù)f:W→Χn,如Χn(i)；譯碼函數(shù)g:Уn→W；碼率R=(logM)/n；構(gòu)成一個(gè)(M,n)碼．信道編碼理論消息集在等概條件下每個(gè)符號(hào)攜帶的平均信息量（bit）482誤差概率信道編碼理論消息集在等概條件下每個(gè)符號(hào)攜帶的平均定義②信道譯碼的誤差概率：定義③(M,n)碼的最大誤差概率：定義④(M,n)碼的平均誤差概率：信道編碼理論設(shè)計(jì)譯碼規(guī)則，使得誤差概率最小，即輸出符號(hào)均譯成具有最大后驗(yàn)概率的相應(yīng)輸入符號(hào)．49定義②信道譯碼的誤差概率：信道編碼理論設(shè)計(jì)譯碼規(guī)則，使得誤差1譯碼規(guī)則若信道輸入符號(hào)x，輸出符號(hào)y，則制定譯碼規(guī)則就是設(shè)計(jì)函數(shù)：g(y)=x.例1.單符號(hào)離散信道的信道矩陣信道編碼理論g(y1)=x1g(y2)=x2g(y3)=x3g(y1)=x2g(y2)=x1g(y3)=x3借助于信道矩陣的傳遞概率選；稱之為最大似然譯碼！501譯碼規(guī)則信道編碼理論g(y1)=x1g(y1)=x23可達(dá)碼率稱碼率R是可達(dá)的，如果存在一個(gè)(2nR,n)碼使得4最大可達(dá)速率一個(gè)離散無記憶信道的最大可達(dá)速率為：信道編碼理論513可達(dá)碼率信道編碼理論95影響信道傳輸?shù)囊蛩?/p>

最大似然譯碼：g(y=0)=(x=0),g(y=1)=(x=1)Pe=10-2信道編碼理論P(yáng)e=10-2實(shí)際數(shù)據(jù)通信系統(tǒng)誤差范圍10-6~10-9525影響信道傳輸?shù)囊蛩匦诺谰幋a理論P(yáng)e=10-2實(shí)際數(shù)據(jù)通信6降低錯(cuò)誤概率策略①設(shè)計(jì)好的譯碼規(guī)則；②重復(fù)發(fā)送→降低信息傳輸率R；問題：能否找到好的編譯方法，使Pe降低，而R保持在一定水平上？信道編碼理論536降低錯(cuò)誤概率策略信道編碼理論117信道編碼定理背景香農(nóng)1948年指出可達(dá)、最大的信息傳輸率是信道容量，從理論上說明了“好碼”存在；并且，基于聯(lián)合ε典型序列進(jìn)行證明．

╣香農(nóng)第二基本定理；香農(nóng)第一基本定理╠信道編碼理論無失真變長信源編碼定理：存在對(duì)離散無記憶信源S的N次擴(kuò)展信源的唯一可譯編碼，使得S中每個(gè)信源符號(hào)所需的平均碼長滿足：碼符號(hào)數(shù)547信道編碼定理背景信道編碼理論無失真變長信源編碼定理：碼符①面向數(shù)字信道的信道編碼一部分科學(xué)家從事尋找最佳編碼（糾錯(cuò)碼）的研究工作，并已經(jīng)形成一門獨(dú)立的分支——糾錯(cuò)碼理論．20世紀(jì)40年代，Golay和漢明提出分組編碼技術(shù)，把代數(shù)方法引入到糾錯(cuò)碼的研究，形成了代數(shù)編碼理論，找到了大量可糾正多個(gè)錯(cuò)誤的性能優(yōu)異的碼，而且提出了可實(shí)現(xiàn)的編譯碼方法．分組碼中的不少碼，如漢明碼、Golay碼、BCH碼等都在通信、計(jì)算機(jī)技術(shù)中獲得廣泛應(yīng)用．但是代數(shù)編碼的漸近性能很差，不能實(shí)現(xiàn)香農(nóng)信道編碼定理所指出的結(jié)果．于1960年前后，提出了卷積碼和概率譯碼，并逐步形成了一系列概率譯碼理論．以維特比（Viterbi）譯碼為代表的譯碼方法被美國衛(wèi)星通信系統(tǒng)所采用，使香農(nóng)理論成為真正具有實(shí)用意義的科學(xué)理論．1993年提出的Turbo碼在性能上已非常接近理論極限．信道編碼理論55①面向數(shù)字信道的信道編碼信道編碼理論13利用格子碼與軟判決理論，使數(shù)據(jù)傳輸速度提高了25倍、現(xiàn)有的網(wǎng)絡(luò)通信成為實(shí)用性的技術(shù)②面向模擬信道的信道編碼1974年，J.L.Massey提出將編碼與調(diào)制統(tǒng)一考慮的概念．1982年，這一想法在G.Ungerboeck等人的研究下終于取得突破，這就是網(wǎng)格編碼調(diào)制．網(wǎng)格編碼調(diào)制在實(shí)際應(yīng)用中發(fā)生的相位含糊問題在1984年被L.E.Wei所解決，這一方法隨即被CCITT（現(xiàn)為ITU-T）所采納成為一種標(biāo)準(zhǔn)．現(xiàn)在，網(wǎng)格編碼調(diào)制正在向衛(wèi)星通信、磁紀(jì)錄等領(lǐng)域擴(kuò)展其應(yīng)用范圍．信道編碼理論國際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)化組(ITU-TforITUTelecommunicationStandardizationSector),它是國際電信聯(lián)盟管理下的專門制定遠(yuǎn)程通信相關(guān)國際標(biāo)準(zhǔn)的組織。56利用格子碼與軟判決理論，使數(shù)據(jù)傳輸速度提高了25倍、現(xiàn)有的信道編碼理論在譯碼理論的研究中，根據(jù)對(duì)接收信號(hào)處理方式的不同，分為硬、軟判決。接收時(shí)是一個(gè)模擬量，因此在送入譯碼器之前應(yīng)進(jìn)行量化處理。最簡單的量化是二電平量化(即量化電平Q=2)，也就是硬判決，當(dāng)接收信號(hào)R>0時(shí)，判為“0”，否則判為“1”。

這種量化太粗糙，將丟失許多有用的信息，以至于造成信噪比大約2Bd的損失。為了避免二電平量化的這種損失，應(yīng)當(dāng)使量化電平數(shù)Q>2也就是軟判決。Q越大，量化越精細(xì)，損失也就越小，但同時(shí)譯碼器也就會(huì)越復(fù)雜。當(dāng)量化電平超過8時(shí)，編碼增益也趨于飽和，因而量化電平通常取Q=8。

軟判決Vietbri譯碼器的結(jié)構(gòu)并不比硬判決的復(fù)雜很多，但可以使性能提高

2-3Bd。目前，實(shí)用中的Viterbi譯碼器幾乎都是軟判決，并且一般都采用8電平均勻量化，其性能基本達(dá)到了最大似然譯碼的性能。57信道編碼理論在譯碼理論的研究中，根據(jù)對(duì)接收信號(hào)處理方式的不同8聯(lián)合典型序列①定義：關(guān)于聯(lián)合分布p(x,y)的n長聯(lián)合典型序列{(xn,yn)}的集Wε(n)為信道編碼理論平均聯(lián)合自信息無限接近聯(lián)合熵的n長序列對(duì)的集合588聯(lián)合典型序列信道編碼理論平均聯(lián)合自信息無限接近聯(lián)合熵的n②性質(zhì)：信道編碼理論某輸入典型序列發(fā)送，必是高概率地傳送到與它構(gòu)成聯(lián)合典型序列的那些序列上59②性質(zhì)：信道編碼理論某輸入典型序列發(fā)送，必是高概率地傳送到與9信道編碼定理（香農(nóng)第二編碼定理）

若信道是離散、無記憶、平穩(wěn)的，且信道容量為C，只要待傳送的信息率R<C

，就一定能找到一種信道編碼方法，使得碼長足夠大時(shí)，最大誤差概率任意接近于零；反之，最大誤差概率可以任意接近零的碼（2nR,n），必滿足R<C．信道編碼理論609信道編碼定理（香農(nóng)第二編碼定理）信道編碼理論18信道編碼理論要想使信息傳輸率大于信道容量而又無錯(cuò)誤地傳輸消息是不可能的61信道編碼理論要想使信息傳輸率大于信道容量而又無錯(cuò)誤地傳輸消息數(shù)據(jù)處理不等式：費(fèi)諾不等式：信道編碼理論62數(shù)據(jù)處理不等式：信道編碼理論20數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量

4.2

信道容量的計(jì)算

4.3信道編碼理論

4.4帶反饋的信道模型4.5聯(lián)合信源-信道編碼定理4.6線性分組碼習(xí)題四63數(shù)據(jù)可靠傳輸和信道編碼4.1離散無記憶信道和信道容量21最大似然譯碼準(zhǔn)則→設(shè)計(jì)譯碼函數(shù)：

F(yj)=x*，s.tp(yj|x*)≥p(yj|xi)有噪信道編碼定理信道容量是一個(gè)明確的分界點(diǎn).當(dāng)R<C

并接近C時(shí)，總能克服和消除信道中干擾和噪聲引起的錯(cuò)誤，實(shí)現(xiàn)可靠傳輸信息.

信道編碼—回顧64最大似然譯碼準(zhǔn)則信道編碼—回顧22①面向數(shù)字信道的信道編碼一部分科學(xué)家從事尋找最佳編碼（糾錯(cuò)碼）的研究工作，并已經(jīng)形成一門獨(dú)立的分支——糾錯(cuò)碼理論．20世紀(jì)40年代，Golay和漢明提出分組編碼技術(shù)，把代數(shù)方法引入到糾錯(cuò)碼的研究，形成了代數(shù)編碼理論，找到了大量可糾正多個(gè)錯(cuò)誤的性能優(yōu)異的碼，而且提出了可實(shí)現(xiàn)的編譯碼方法．分組碼中的不少碼，如漢明碼、Golay碼、BCH碼等都在通信、計(jì)算機(jī)技術(shù)中獲得廣泛應(yīng)用．但是代數(shù)編碼的漸近性能很差，不能實(shí)現(xiàn)香農(nóng)信道編碼定理所指出的結(jié)果．于1960年前后，提出了卷積碼和概率譯碼，并逐步形成了一系列概率譯碼理論．以維特比（Viterbi）譯碼為代表的譯碼方法被美國衛(wèi)星通信系統(tǒng)所采用，使香農(nóng)理論成為真正具有實(shí)用意義的科學(xué)理論．1993年提出的Turbo碼在性能上已非常接近理論極限．信道編碼—回顧65①面向數(shù)字信道的信道編碼信道編碼—回顧23信道編碼—回顧糾錯(cuò)碼的分類按碼的結(jié)構(gòu)中對(duì)信息序列的處理方式分組碼；卷積碼66信道編碼—回顧糾錯(cuò)碼的分類24信道編碼—回顧卷積編碼?卷積碼由碼率R=k/n和約束長度N描述，記做(n,k,N)；?對(duì)k-bit輸入數(shù)據(jù)塊進(jìn)行運(yùn)算（k通常較小，例1,2or3)；?n-bit輸出是當(dāng)前輸入塊與以前(N-1)個(gè)輸入塊的加權(quán)求和，N一般小于9；?卷積碼是把k個(gè)信息比特編成n個(gè)比特，但k和n通常很小.67信道編碼—回顧卷積編碼25信道編碼—回顧卷積碼中編碼后的n個(gè)碼元不但與當(dāng)前段k個(gè)信息有關(guān)，而且與前面（N-1）段的信息有關(guān)；

在編碼器復(fù)雜性相同的情況下，卷積碼的性能優(yōu)于分組碼；分組碼有嚴(yán)格的代數(shù)結(jié)構(gòu)，但卷積碼至今尚未找到嚴(yán)密的數(shù)學(xué)手段，目前大都采用計(jì)算機(jī)來搜索好碼.68信道編碼—回顧卷積碼中編碼后的n個(gè)碼元不但與當(dāng)前段k信道編碼—回顧糾錯(cuò)碼的分類按碼的結(jié)構(gòu)中對(duì)信息序列的處理方式分組碼；卷積碼按具有糾傳輸錯(cuò)誤能力的工作方式反饋重傳糾錯(cuò)；前向糾錯(cuò)（自動(dòng)糾錯(cuò)）；混合糾錯(cuò)69信道編碼—回顧糾錯(cuò)碼的分類27信道編碼—回顧糾錯(cuò)碼的分類按碼的結(jié)構(gòu)中對(duì)信息序列的處理方式分組碼；卷積碼按具有糾傳輸錯(cuò)誤能力的工作方式

反饋重傳糾錯(cuò)；前向糾錯(cuò)（自動(dòng)糾錯(cuò)）；混合糾錯(cuò)70信道編碼—回顧糾錯(cuò)碼的分類28帶反饋的信道模型71帶反饋的信道模型29帶反饋的信道模型72帶反饋的信道模型30帶反饋的信道模型部分出錯(cuò)，只需反饋（重發(fā)）該部分.73帶反饋的信道模型311帶反饋的（2nR,n）信道碼

離散無記憶信道[Χ,Q(y|x),У]:消息集W

={1,2,…,M}，M=2nR；編碼函數(shù)f:W

ΧУ

i-1→У

n,

得碼字Уn，其中У

i=У

i(w,У

i-1)；譯碼函數(shù)g:Уn→W；碼率R=(logM)/n；帶反饋的信道模型741帶反饋的（2nR,n）信道碼帶反饋的信道模型32帶反饋的信道模型2最大可達(dá)速率定義：帶反饋的離散無記憶信道的最大可達(dá)速率為問題：增加了反饋信道，信息傳輸率得以提高，信道容量是否可以提高？75帶反饋的信道模型2最大可達(dá)速率33帶反饋的信道模型定理：設(shè)離散無記憶信道的容量為C，帶反饋的信道容量為CFB，則證明：CFB≥

C；只須證CFB≤

C.76帶反饋的信道模型定理：設(shè)離散無記憶信道的容量為C，帶反饋34帶反饋的信道模型設(shè)Pr{W=w}=1/2nR，則nR=H(W)=H(W|Yn)+I(W;Yn);由費(fèi)諾不等式，得到H(W|