信息論與編碼 簡答

1）信息是可以識(shí)別的（2）信息的載體是可以轉(zhuǎn)換的（）信息是可以存貯的（）信息是可以傳遞的（）信息是可以加工的（）信息是可以共享的、信息的重要性質(zhì)有哪些？、簡述幾種信息分類的準(zhǔn)則和方法。狹義信息論、一般信息論、廣義信息論、信息論研究的內(nèi)容主要有哪些？答：對(duì)信息論的研究內(nèi)容一般有以下三種理解。以及信源和信道編碼理論等問題。這部分內(nèi)容是信息論的基礎(chǔ)理論，又稱為香農(nóng)信息論。除了香農(nóng)理論外，還包括噪聲理論、信號(hào)濾波和預(yù)測、統(tǒng)計(jì)檢測和估計(jì)理論、調(diào)制理論以及信息處理理論等。廣義信息論：廣義信息論不僅包括上述兩方面的內(nèi)容，而且包遺傳學(xué)、語言學(xué)等等。答：概率為0時(shí)，相應(yīng)的自信量無意義、非負(fù)性、可加性六、簡述信源熵的基本性質(zhì)。答：、對(duì)稱性：H(P)的取值與分量p,p,〃〃〃,p的順序12q無關(guān)。、確定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=03、非負(fù)性：H(P)≥0、擴(kuò)展性、可加性：統(tǒng)計(jì)獨(dú)立信源X和Y的聯(lián)合信源的熵等于信源X和Y各自的熵之和。H(XY)=H(X)+H(Y)、強(qiáng)可加性：兩個(gè)互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下信源Y的條件熵。H（XY）（X）+Y/X）、遞增性、極值性、上凸性七、簡述信源熵、條件熵、聯(lián)合熵和交互熵之間的關(guān)系。答：根據(jù)載荷消息的媒體不同（郵遞信道、電信道、光信道、端(單用戶)信道、多端多用戶)的關(guān)聯(lián)（無反饋信道、反饋信道）根據(jù)信道的參數(shù)與時(shí)間的關(guān)系（固定參數(shù)信道、時(shí)變參數(shù)信道。根據(jù)輸入和輸出信號(hào)的特點(diǎn)（離散信道、連續(xù)信道、半離散或半連續(xù)信道波形信道）、簡述多用戶信道的分類。答：多址接入信道、廣播信道和相關(guān)信源的多用戶信道m(xù)m1.由p(y/x)p(y/x)p(y/x),求jijji2jijmj2j13.由p(y)2求p(y)-Cjjjjijii、簡述信道編碼定理。答：定理3.7.1有噪信道編碼定理(香農(nóng)第二定理：若有一離散無記憶平穩(wěn)信道，其容量為C，輸入序列長度為L，只要待傳送的信息率R>C，總可以找到一種編碼，當(dāng)L足夠長時(shí)，譯碼錯(cuò)誤概率，ε為任意大于零的正數(shù)。反之，當(dāng)R<C時(shí)，e任何編碼的必大于零，當(dāng)→≦時(shí)，。香農(nóng)第二定理只e是一個(gè)存在性定理，它指出信道容量是一個(gè)臨界值，只要信息傳輸率不超過這個(gè)臨界值，信道就可幾乎無失真地把信息傳送直至無限接近)信道容量的前提下，錯(cuò)誤概率趨于“”的編碼是存在的。1、R(D)的定義域?yàn)榍遥簃inmaxminmaxyxx允許失真度D的下限可以是零，即不允許任何失真的情況。設(shè)D，D為任意兩個(gè)平均失真，1則有：R(aD(1a)D)aR(D)(1a)R(D)12123、R(D)是（D,D區(qū)間上的連續(xù)和嚴(yán)格單調(diào)遞減函數(shù)。minmax由信息率失真函數(shù)的下凸性可知，在(D,D上連續(xù)。minmax又由R(D)函數(shù)的非增性且不為常數(shù)知，R(D)是區(qū)間(D,D上的嚴(yán)格單調(diào)遞減函數(shù)。minmax、簡述循環(huán)碼的系統(tǒng)碼構(gòu)造過程。答：我們可以通過矩陣的行運(yùn)算，得到系統(tǒng)的生成矩陣，使之具有k的形式，生成矩陣的行運(yùn)算實(shí)質(zhì)上就是碼字間和基底間進(jìn)行線答：分類：對(duì)不同的信道需要設(shè)計(jì)不同類型的信道編碼方案，按照信道特性進(jìn)行劃分，信道編碼可分為：以糾獨(dú)立隨機(jī)差錯(cuò)為主的信道編碼、以糾突發(fā)差錯(cuò)為主的信道編碼和糾混合差錯(cuò)可以發(fā)現(xiàn)錯(cuò)誤)碼與糾錯(cuò)(不僅能發(fā)現(xiàn)而且能自動(dòng)糾正)碼兩類，糾錯(cuò)碼一定能目的：進(jìn)行信道編碼是為了提高信號(hào)傳輸?shù)目煽啃?，改善通信系統(tǒng)的傳輸質(zhì)量，研究信道編碼的目標(biāo)是尋找具體構(gòu)造編碼的理論與方法。在理論上，香農(nóng)第二定理已指出，只要實(shí)際信息傳輸率信道容量)從原理上看，構(gòu)造信道碼的基本思路是根據(jù)一定的規(guī)律在待發(fā)送的信息碼元中人為地加入一定的多余碼元(稱為監(jiān)督碼)，以引入最小的多余度為代價(jià)來換取最好的抗干擾性能。、簡述費(fèi)諾編碼的編碼步驟。）信源符號(hào)以概率遞減的次序排列起來；2）將排列好的信源符號(hào)按概率值劃分成兩大組，使每組”和“3）將每一大組的信源符號(hào)再分成兩組，使劃分后的兩個(gè)組的概率之和接近于相等，再分別賦予一個(gè)二元碼符號(hào)；）依次下去，直至每個(gè)小組只剩一個(gè)信源符號(hào)為止；）信源符號(hào)所對(duì)應(yīng)的碼字即為費(fèi)諾碼。、簡述二元哈夫曼編碼的編碼步驟。）將q個(gè)信源符號(hào)按概率遞減的方式排列起來；）用“1”碼符號(hào)分別表示概率最小的兩個(gè)信源符號(hào)，并將這兩個(gè)概率最小的信源符號(hào)合并成一個(gè)新的符號(hào)，從而得到只包含q-1個(gè)符號(hào)的新信源，稱之為S信源的S1縮減信源；）將縮減信源中的符號(hào)仍按概率大小以遞減次序排列，再將其最后兩個(gè)概率最小的符號(hào)合并成一個(gè)符號(hào)，并分別用““”碼符號(hào)表示，這樣又形成了由q-2個(gè)符號(hào)構(gòu)成的縮減信源S2；）依次繼續(xù)下去，直到縮減信源只剩下兩個(gè)符號(hào)為止，將這最后兩個(gè)符號(hào)分別用“”碼符號(hào)表示；）從最后一級(jí)縮減信源開始，向前返回，沿信源縮減方向的反方向取出所編的碼元，得出各信源符號(hào)所對(duì)應(yīng)的碼符號(hào)序列，即為對(duì)應(yīng)信源符號(hào)的碼字。、簡述廣義的信道編碼的分類及各類編碼的作用。答：1、按照信道特性進(jìn)行劃分，信道編碼可以分為：以糾獨(dú)立隨機(jī)差錯(cuò)為主的信道編碼、以糾突發(fā)差錯(cuò)為主的信道編碼、和糾混合差錯(cuò)的信道編碼。、從功能上看，信道編碼可以分為糾錯(cuò)碼與檢錯(cuò)碼兩類，糾錯(cuò)碼一定能檢錯(cuò)，檢錯(cuò)嗎不一定能糾錯(cuò)，平常所說的糾錯(cuò)碼是兩者的統(tǒng)稱。diiC[n,k]g,g,.g01k