信息論編碼 田寶玉chapter7

1、第7章有噪聲信道編碼。本章的主要內(nèi)容如下：1 .概述2 .最佳決定和解碼準則3。信道編碼和最佳解碼4。Fano不等式5。噪聲信道編碼定理6。糾錯編碼技術(shù)簡介7。信道編碼性能限制、7.1概述、信道編碼(提高傳輸可靠性)信道解碼：根據(jù)與編碼器相同的數(shù)學規(guī)則從接收序列中刪除重復符號并恢復源消息序列。一般來說，重復符號越多，糾錯能力越強，但傳輸效率越低。因此，在信道編碼中，傳輸效率和可靠性的矛盾很明顯。本節(jié)主要內(nèi)容：1。通道編碼的基本概念2。決定和解碼規(guī)則3。解碼錯誤概率、7.1.1通道編碼的基本概念、簡化的通信系統(tǒng)模型圖7.1.1中所示。圖7.1.1通信系統(tǒng)模型圖簡化、源輸出或信道編碼器的輸入消息集

2、是U，信道編碼器是分組編碼，輸出代碼字符是從符號集獲取的子集。代碼通過離散無內(nèi)存通道發(fā)送。通道輸出或解碼器的輸入為。其中每個符號都來自一組符號。解碼器輸出是恢復的消息，其集顯示為V。、(1)訊息產(chǎn)生(2)色版編碼：編碼器將訊息對映至程式碼單字，編碼函數(shù)F: 1，2，MC=，(3)信道傳輸：N維矢量、代碼字符集C、N次擴展信道的輸入、N維矢量、信道輸出(4)信道解碼：解碼器根據(jù)接收到的完成解碼功能翻譯函數(shù)。對于、離散通道，離散源的符號通過通道編碼器長度為N其中H(X)是源的熵。在與源符號相同的概率下，(M，N)代碼信息傳輸速率R為(7 .1.2)、對于時間連續(xù)信道，信息傳輸速率表示在單位時間內(nèi)傳

3、送的信息量。即，信息傳輸速率為比特(或內(nèi)特)/幻燈片4，7.1.2判決和解碼指令，對于圖7.1.1中所示的模型，單個符號確定規(guī)則為(7.1.3)。(7.1.3)這意味著接收時被判定為發(fā)射器號。因此，每個通道輸出必須有對應的通道輸入。因此，判決規(guī)則是唯一結(jié)果的函數(shù)。7.1.3)表達式可以簡單地說是“判決函數(shù)”。(。如果將頻道的轉(zhuǎn)移概率設置如下，在接受的條件下實際發(fā)送的話，判決正確，反之會發(fā)生錯誤。、條件錯誤率、解決方案(1)平均錯誤率：(2)平均錯誤率：很明顯，當時；否則。此示例說明錯誤率與確定函數(shù)的選擇相關(guān)。幻燈片4，7.1.3解碼錯誤概率，如上所述，解碼是通過接收序列恢復消息序列。恢復的消息

4、序列與發(fā)送序列不同時，稱為解碼錯誤。一般有兩種錯誤概率的說明：錯誤率和錯誤率。比特率是傳輸代碼元素錯誤的概率(也稱為二進制比特率)。錯別率是指符號者錯誤概率。本章研究的錯誤率就是錯別率。與單個符號判斷一樣，條件錯誤率為(7.1.7)，平均錯誤率為(7.1.8)，如果出現(xiàn)、代碼字錯誤，則多個位的傳輸可能是正確的。因此，對于相同的通信系統(tǒng)，錯誤率總是低于錯誤率。錯誤概率的大小首先與編碼器的糾錯性能相關(guān)，其次與代碼規(guī)則選擇和接收信噪比大小相關(guān)。應選擇糾錯性能好的編碼和性能好的解碼算法，以最小化平均錯誤概率。幻燈片2，本節(jié)主要內(nèi)容：1。最大后驗概率基準2。應使用最大相似標準、7.2最佳判決和解碼標準、

5、7.2.1最大后概率標準、有效信道編碼以外的適當解碼準則以提高傳輸可靠性。本節(jié)介紹了最大后概率(MAP)準則和最大相似(ML)準則。(7.1.6)根據(jù)表達式，平均準確度可以這樣記錄。要最大限度地提高判決準確度或最小化判決錯誤率，必須為每個輸出Y選擇相應的事后檢查概率最大的X。也就是說，在滿足所有I的，(7.2.1)的情況下，選擇決定函數(shù)時，此準則稱為最大后概率(MAP，Maximum a Posteriori)準則，可以縮寫為MAP準則。如果所有I的(7.2.3)樣式為，選擇確定函數(shù)為g(y)=a*。在這里，牛刀比，(7.2.3)式表示牛刀比檢查。注：(1)地圖準則是將平均錯誤率降至最低的準則

6、。(2)指導標準可以歸結(jié)為似然比測試。示例7.2.1信道輸入X等概率值1，-1，通過加值高斯信道發(fā)送，加值噪聲Z平均為零，方差為零的高斯隨機變量，信道輸出Y=X Z，接收器根據(jù)MAP基準接收并確定決定函數(shù)。解決方案后概率密度為、當；當。當時，有；有時，有；因此，判決函數(shù)在輸入7.2，(2)符號等時，最大似然標準等于最大后概率標準。示例7.2.1(續(xù))接收器作為ML準則接收，以確定判決函數(shù)。解析似然函數(shù)可以獲得與MAP相同的結(jié)果，以創(chuàng)建類似于MAP判決的情況。這是由于輸入通道等的概率而預期的。但是，MAP和ML決定函數(shù)和平均錯誤率通常在通道輸入概率不相等時不同，MAP標準是將平均錯誤率降至最低。

7、在給定、信道輸入概率和傳輸概率矩陣的情況下，對于這兩個準則，可以總結(jié)如下：MAP準則將傳輸概率矩陣的每一行乘以p(x)，得到組合概率矩陣。對于每個列(相當于Y固定)，查找與最大概率對應的X作為確定結(jié)果。所有判決結(jié)果對應的聯(lián)合概率之和是正確的概率，其他矩陣元素之和是錯誤的概率。ML準則為傳輸概率矩陣中的每列選擇與最大因素之一對應的X作為確定結(jié)果。所有頻道輸出和相應判決結(jié)果的聯(lián)合概率之和是平均準確度，其他聯(lián)合概率之和是平均錯誤率。幻燈片2，本節(jié)主要內(nèi)容：1。線性群組碼2。序列最大相似解碼3。有幾種類型的簡單組碼、7.3通道編碼和最佳解碼、7.3.1線性組碼和通道編碼。其中最重要的類是線性組碼，重復

8、符號。本節(jié)討論了使用簡單線性組碼的最優(yōu)解碼實現(xiàn)傳輸可靠性的方法。二進制(n，k)線性組碼具有k個信息位，n-k個檢查位，根據(jù)特定的數(shù)學關(guān)系構(gòu)造總長度為n的代碼詞。比特率為k/n。線性組碼中的數(shù)據(jù)位是信息位的線性組合。如果代碼單詞開頭或結(jié)尾的K位是信息位，則稱為系統(tǒng)代碼；否則稱為鄭智薰系統(tǒng)代碼。(n，k)線性組碼具有代碼字數(shù)。示例7。3.1查找二進制(N，K)線性組碼的信息傳輸速率。解密(位/符號)(7.3.1) R=k/n通常稱為比特率或編碼效率。1。設定一個距離，兩個二元碼字。其中全部取自符號0，1，定義它們的一個距離為(7.3.2)。其中模塊2加運算。例如，代碼單詞和代碼單詞的漢明距離為6

9、。，輔助清理7.3.1 x，y，z是長度為n的二進制矢量時，(1)d(x，y) 0(非負)(2) d (x，z)；用于表示。(N，K)線性組碼的最小距離由(7.3.3)定義。其中表示代碼單詞之間的一個距離。，范例7 .3.2線性組碼C=00000，01010，10101，1111獲取該組碼的最小距離。解釋=W (01010)=2 7.3，為所有K選擇了滿足(7.3.5)時，將解碼函數(shù)稱為序列的最大相似解碼指令。其中表示與代碼單詞相對應的消息。傳輸概率稱為似然函數(shù)?？梢钥s寫為ML解碼。(7.3.6)與單個符號情況一樣，在消息等幾乎不知道概率或概率的情況下，使用最大似然解碼指令。，這種解碼方法稱為

10、至少一人距離準則。對于沒有定理7.3.1記憶的二進制對稱信道(誤差概率1/2)，最大似然譯碼標準與最小漢明距離標準相同。，根據(jù)二進制對稱通道的特性，包括：，首先介紹錯誤向量的概念。將與代碼單詞長度相同的矢量E設置為錯誤矢量。每個分量的值為0或1，發(fā)送和接收矢量分別設置為x和y。然后，接收向量可以表示為y=x e。如果e的組件為1，則表示代碼單詞的位錯誤；如果為0，則表示代碼單詞的位傳輸正確。清理7.3.2最小距離為D的二進制組碼為d 2t 1 (7.3.9)，示例7。3.3線性組碼C=00000，1111，是求該代碼最小距離的必要條件。這個組碼可以糾正幾個錯誤嗎？解決方案=w(1111)=5 5=2 2 1，可以更正兩個錯誤。7.3，7.3.3幾個簡單的組碼，1 .重復代碼重復代碼是最簡單的組碼之一，只有一個信息位，n-1奇偶校驗位(信息位的簡單重復)，比