信息理論基礎(chǔ)離散信道及其容量

信息理論基礎(chǔ)離散信道及其容量2005-3-31第1/103頁第1頁，課件共103頁，創(chuàng)作于2023年2月4.1信道的數(shù)學(xué)模型及其分類信道模型第2頁，課件共103頁，創(chuàng)作于2023年2月4.1信道的數(shù)學(xué)模型及其分類信道分類（按照輸入輸出事件的事件特性和輸入輸出集的特點）第3頁，課件共103頁，創(chuàng)作于2023年2月4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的輸入和輸出個數(shù)）第4頁，課件共103頁，創(chuàng)作于2023年2月4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的統(tǒng)計特性）第5頁，課件共103頁，創(chuàng)作于2023年2月4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的記憶特性）第6頁，課件共103頁，創(chuàng)作于2023年2月4.2離散無記憶信道4.2.1離散信道的數(shù)學(xué)模型4.2.2單符號離散信道4.2.3信道的疑義度4.2.4平均互信息4.2.5各種量之間的關(guān)系第7頁，課件共103頁，創(chuàng)作于2023年2月4.2.1離散信道的數(shù)學(xué)模型.0隨機變量利用概率刻畫信道第8頁，課件共103頁，創(chuàng)作于2023年2月4.2.1一、基本概念離散信道的數(shù)學(xué)模型（廣義）第9頁，課件共103頁，創(chuàng)作于2023年2月4.2.1一、基本概念離散無記憶信道（定義4.2.1）第10頁，課件共103頁，創(chuàng)作于2023年2月4.2.1一、基本概念離散無記憶信道定義的解釋任何時刻信道的輸出至于當(dāng)時信道的輸入有關(guān)第11頁，課件共103頁，創(chuàng)作于2023年2月4.2.1一、基本概念離散無記憶信道定義的解釋書上的公式有點問題，可暫不看第12頁，課件共103頁，創(chuàng)作于2023年2月4.2.1一、基本概念平穩(wěn)（或恒參）的離散無記憶信道（定義4.2.2）與時間無關(guān)第13頁，課件共103頁，創(chuàng)作于2023年2月4.2.1二、無擾（無噪）信道無擾（無噪）信道的定義兩者有一一對應(yīng)的關(guān)系第14頁，課件共103頁，創(chuàng)作于2023年2月4.2.1三、有無擾無記憶信道有無擾無記憶信道的定義就是DMC。由于信道中隨機噪聲或者干擾的存在，使得輸入和輸出之間具有統(tǒng)計關(guān)系第15頁，課件共103頁，創(chuàng)作于2023年2月4.2.1四、有無擾無記憶信道有無擾有記憶信道實際信道的情況第16頁，課件共103頁，創(chuàng)作于2023年2月4.2.2單符號離散信道只考慮N=1特殊情況：單個符號第17頁，課件共103頁，創(chuàng)作于2023年2月4.2.2一、單符號離散信道的定義單符號離散信道的定義標(biāo)志性公式第18頁，課件共103頁，創(chuàng)作于2023年2月4.2.2一、單符號離散信道的定義信道的傳遞概率（轉(zhuǎn)移概率）信道的傳遞概率（轉(zhuǎn)移概率）第19頁，課件共103頁，創(chuàng)作于2023年2月4.2.2一、單符號離散信道的定義信道矩陣輸入集輸出集第20頁，課件共103頁，創(chuàng)作于2023年2月4.2.2一、單符號離散信道的定義信道矩陣第21頁，課件共103頁，創(chuàng)作于2023年2月4.2.2二、二元對稱信道二元對稱信道（BSC）第22頁，課件共103頁，創(chuàng)作于2023年2月4.2.2二、二元對稱信道二元對稱信道（BSC）的信道矩陣對稱矩陣第23頁，課件共103頁，創(chuàng)作于2023年2月4.2.2三、二元刪除信道二元刪除信道第24頁，課件共103頁，創(chuàng)作于2023年2月4.2.2三、二元刪除信道二元刪除信道的信道矩陣第25頁，課件共103頁，創(chuàng)作于2023年2月4.2.2三、二元刪除信道二元刪除信道的分析第26頁，課件共103頁，創(chuàng)作于2023年2月4.2.2四、二元對稱消失信道二元對稱消失信道第27頁，課件共103頁，創(chuàng)作于2023年2月4.2.2四、二元對稱消失信道二元對稱消失信道的信道矩陣第28頁，課件共103頁，創(chuàng)作于2023年2月4.2.2四、二元對稱消失信道二元對稱消失信道分析第29頁，課件共103頁，創(chuàng)作于2023年2月4.2.2五、幾個相關(guān)概念前向概率（即信道傳遞概率，轉(zhuǎn)移概率）輸入輸出第30頁，課件共103頁，創(chuàng)作于2023年2月4.2.2五、幾個相關(guān)概念后向概率（即后驗概率）輸入輸出第31頁，課件共103頁，創(chuàng)作于2023年2月4.2.2五、幾個相關(guān)概念輸出符號概率分布情況？第32頁，課件共103頁，創(chuàng)作于2023年2月4.2.2五、幾個相關(guān)概念輸出符號概率（續(xù)）全概率公式第33頁，課件共103頁，創(chuàng)作于2023年2月4.2.2五、幾個相關(guān)概念輸出符號概率（續(xù)）第34頁，課件共103頁，創(chuàng)作于2023年2月4.2.2五、幾個相關(guān)概念輸出符號概率（續(xù)）第35頁，課件共103頁，創(chuàng)作于2023年2月4.2.3信道疑義度在隨機事件Y發(fā)生的條件下，X的不確定程度第36頁，課件共103頁，創(chuàng)作于2023年2月4.2.3一、信道疑義度的概念信道疑義度（定義4.2.3）輸出端收到全部符號之后（Y），對輸入端X的平均不確定程度由信道干擾造成第37頁，課件共103頁，創(chuàng)作于2023年2月4.2.3一、信道疑義度的概念特例：無干擾信道的信道疑義度第38頁，課件共103頁，創(chuàng)作于2023年2月4.2.3一、信道疑義度的概念特例：無干擾信道的信道疑義度（續(xù)）信道疑義度為零，不存在不確定的因素第39頁，課件共103頁，創(chuàng)作于2023年2月4.2.3一、信道疑義度的概念信道疑義度的性質(zhì)輸出端收到Y(jié)后，總是要消除一些關(guān)于X的不確定性第40頁，課件共103頁，創(chuàng)作于2023年2月4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度第41頁，課件共103頁，創(chuàng)作于2023年2月4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）信道矩陣第42頁，課件共103頁，創(chuàng)作于2023年2月4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）第43頁，課件共103頁，創(chuàng)作于2023年2月4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）第44頁，課件共103頁，創(chuàng)作于2023年2月4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）第45頁，課件共103頁，創(chuàng)作于2023年2月4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）第46頁，課件共103頁，創(chuàng)作于2023年2月4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）第47頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息信道的平均互信息定義（定義4.2.4）輸出端接收到符號集后，平均每個符號獲得的關(guān)于輸入端的信息量第48頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息定理4.2.1對于固定信道，平均互信息量I(X;Y)是信源概率分布P(X)的上凸函數(shù)證明略第49頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息定理的解釋常數(shù)：固定信道與信源有關(guān)第50頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5第51頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第52頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第53頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第54頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第55頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第56頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第57頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第58頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第59頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）定義的量第60頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）信道固定，此為常數(shù)第61頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）第62頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.5（續(xù)）信道固定（信道轉(zhuǎn)移概率為常數(shù)）時，平均互信息量時信源符號分布的上凸函數(shù)。此時，隨信源符號分布的不同，接收端接收到的每個符號所獲得的平均信息量也不同，當(dāng)信源符號等概率分布時，接收端每個符號所得到的關(guān)于信源狀態(tài)的信息量最大第63頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息定理4.2.2對于固定的信源分布，平均互信息量I(X;Y)是信道傳遞概率分布P(Y|X)的下凸函數(shù)證明略第64頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息定理的解釋與信道傳遞概率有關(guān)為常數(shù)第65頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.6第66頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息信源固定，此為常數(shù)定理的解釋第67頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.6（續(xù)）第68頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.6（續(xù)）信源固定時，不同的信道（信道傳遞概率不同），接收端所接收到的每個符號平均獲得的信息量不同當(dāng)傳遞概率等概率分布時，所獲得的信息量最少，意味著此時信源的信息全部在信道中損失掉，信道造勢最大第69頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7已知：投擲骰子。當(dāng)骰子面朝上的數(shù)字為1，2，3和4時，拋1次硬幣當(dāng)骰子面朝上的數(shù)字為5和6時，拋2次硬幣問：可以從拋硬幣結(jié)果獲得多少擲骰子情況的信息第70頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解輸入輸出信道描述兩者之間的關(guān)系第71頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）信道描述兩者之間的關(guān)系明確信道特性，類型輸入集、輸出集特性不同時刻之間的關(guān)系第72頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息輸入集、輸出集特性例4.2.7題解（續(xù)）第73頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）不同時刻之間的關(guān)系第74頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）不同時刻之間的關(guān)系第75頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性1。信源（輸入）概率空間第76頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性2。信道輸出的符號存在拋2次硬幣的情況第77頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性3。信道狀態(tài)轉(zhuǎn)移圖第78頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性4。信道矩陣第79頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性5。輸出符號集Y的分布第80頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性6。輸出符號集Y的熵第81頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性7。條件熵H(Y|X)第82頁，課件共103頁，創(chuàng)作于2023年2月4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性8?；バ畔⒘縄（X；Y）所求第83頁，課件共103頁，創(chuàng)作于2023年2月4.2.5各種度量之間的關(guān)系各種度量之間的關(guān)系1－6：略7：第84頁，課件共103頁，創(chuàng)作于2023年2月4.3離散無記憶擴展信道4.3.1N次擴展信道4.3.2N次擴展信道定理第85頁，課件共103頁，創(chuàng)作于2023年2月4.3.1N次擴展信道.0N次擴展信道單符號離散信道第86頁，課件共103頁，創(chuàng)作于2023年2月4.3.1N次擴展信道.00擴展信道N次擴展信道第87頁，課件共103頁，創(chuàng)作于2023年2月4.3.1一、N次擴展信道的概念離散無記憶擴展信道擴展信道第88頁，課件共103頁，創(chuàng)作于2023年2月4.3.1一、N次擴展信道的概念N次擴展信道的數(shù)學(xué)模型被擴展的信道第89頁，課件共103頁，創(chuàng)作于2023年2月4.3.1一、N次擴展信道的概念N次擴展信道的數(shù)學(xué)模型（續(xù)）N次擴展信道的信道模型第90頁，課件共103頁，創(chuàng)作于2023年2月4.3.1一、N次擴展信道的概念N次擴展信道的數(shù)學(xué)模型（續(xù)）N次擴展信道的信道模型第91頁，課件共103頁，創(chuàng)作于2023年2月4.3.1一、N次擴展信道的概念N次擴展信道的數(shù)學(xué)模型（續(xù)）N次擴展信道的信道模型第92頁，課件共103頁，創(chuàng)作于2023年2月4.3.1一、N次擴展信道的概念N次擴展