信息理論基礎(chǔ)離散信道及其容量詳解演示文稿

信息理論基礎(chǔ)離散信道及其容量詳解演示文稿2005-3-311目前一頁\總數(shù)一百零一頁\編于十七點（優(yōu)選）信息理論基礎(chǔ)離散信道及其容量2005-3-312目前二頁\總數(shù)一百零一頁\編于十七點4.1信道的數(shù)學(xué)模型及其分類信道分類（按照輸入輸出事件的事件特性和輸入輸出集的特點）2005-3-313目前三頁\總數(shù)一百零一頁\編于十七點4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的輸入和輸出個數(shù)）2005-3-314目前四頁\總數(shù)一百零一頁\編于十七點4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的統(tǒng)計特性）2005-3-315目前五頁\總數(shù)一百零一頁\編于十七點4.1信道的數(shù)學(xué)模型及其分類信道分類（按照信道的記憶特性）2005-3-316目前六頁\總數(shù)一百零一頁\編于十七點4.2離散無記憶信道4.2.1離散信道的數(shù)學(xué)模型4.2.2單符號離散信道4.2.3信道的疑義度4.2.4平均互信息4.2.5各種量之間的關(guān)系2005-3-317目前七頁\總數(shù)一百零一頁\編于十七點4.2.1離散信道的數(shù)學(xué)模型.0隨機(jī)變量利用概率刻畫信道2005-3-318目前八頁\總數(shù)一百零一頁\編于十七點4.2.1一、基本概念離散信道的數(shù)學(xué)模型（廣義）2005-3-319目前九頁\總數(shù)一百零一頁\編于十七點4.2.1一、基本概念離散無記憶信道（定義4.2.1）2005-3-3110目前十頁\總數(shù)一百零一頁\編于十七點4.2.1一、基本概念離散無記憶信道定義的解釋任何時刻信道的輸出至于當(dāng)時信道的輸入有關(guān)2005-3-3111目前十一頁\總數(shù)一百零一頁\編于十七點4.2.1一、基本概念離散無記憶信道定義的解釋書上的公式有點問題，可暫不看2005-3-3112目前十二頁\總數(shù)一百零一頁\編于十七點4.2.1一、基本概念平穩(wěn)（或恒參）的離散無記憶信道（定義4.2.2）與時間無關(guān)2005-3-3113目前十三頁\總數(shù)一百零一頁\編于十七點4.2.1二、無擾（無噪）信道無擾（無噪）信道的定義兩者有一一對應(yīng)的關(guān)系2005-3-3114目前十四頁\總數(shù)一百零一頁\編于十七點4.2.1三、有無擾無記憶信道有無擾無記憶信道的定義就是DMC。由于信道中隨機(jī)噪聲或者干擾的存在，使得輸入和輸出之間具有統(tǒng)計關(guān)系2005-3-3115目前十五頁\總數(shù)一百零一頁\編于十七點4.2.1四、有無擾無記憶信道有無擾有記憶信道實際信道的情況2005-3-3116目前十六頁\總數(shù)一百零一頁\編于十七點4.2.2單符號離散信道只考慮N=1特殊情況：單個符號2005-3-3117目前十七頁\總數(shù)一百零一頁\編于十七點4.2.2一、單符號離散信道的定義單符號離散信道的定義標(biāo)志性公式2005-3-3118目前十八頁\總數(shù)一百零一頁\編于十七點4.2.2一、單符號離散信道的定義信道的傳遞概率（轉(zhuǎn)移概率）信道的傳遞概率（轉(zhuǎn)移概率）2005-3-3119目前十九頁\總數(shù)一百零一頁\編于十七點4.2.2一、單符號離散信道的定義信道矩陣輸入集輸出集2005-3-3120目前二十頁\總數(shù)一百零一頁\編于十七點4.2.2一、單符號離散信道的定義信道矩陣2005-3-3121目前二十一頁\總數(shù)一百零一頁\編于十七點4.2.2二、二元對稱信道二元對稱信道（BSC）2005-3-3122目前二十二頁\總數(shù)一百零一頁\編于十七點4.2.2二、二元對稱信道二元對稱信道（BSC）的信道矩陣對稱矩陣2005-3-3123目前二十三頁\總數(shù)一百零一頁\編于十七點4.2.2三、二元刪除信道二元刪除信道2005-3-3124目前二十四頁\總數(shù)一百零一頁\編于十七點4.2.2三、二元刪除信道二元刪除信道的信道矩陣2005-3-3125目前二十五頁\總數(shù)一百零一頁\編于十七點4.2.2三、二元刪除信道二元刪除信道的分析2005-3-3126目前二十六頁\總數(shù)一百零一頁\編于十七點4.2.2四、二元對稱消失信道二元對稱消失信道2005-3-3127目前二十七頁\總數(shù)一百零一頁\編于十七點4.2.2四、二元對稱消失信道二元對稱消失信道的信道矩陣2005-3-3128目前二十八頁\總數(shù)一百零一頁\編于十七點4.2.2四、二元對稱消失信道二元對稱消失信道分析2005-3-3129目前二十九頁\總數(shù)一百零一頁\編于十七點4.2.2五、幾個相關(guān)概念前向概率（即信道傳遞概率，轉(zhuǎn)移概率）輸入輸出2005-3-3130目前三十頁\總數(shù)一百零一頁\編于十七點4.2.2五、幾個相關(guān)概念后向概率（即后驗概率）輸入輸出2005-3-3131目前三十一頁\總數(shù)一百零一頁\編于十七點4.2.2五、幾個相關(guān)概念輸出符號概率分布情況？2005-3-3132目前三十二頁\總數(shù)一百零一頁\編于十七點4.2.2五、幾個相關(guān)概念輸出符號概率（續(xù)）全概率公式2005-3-3133目前三十三頁\總數(shù)一百零一頁\編于十七點4.2.2五、幾個相關(guān)概念輸出符號概率（續(xù)）2005-3-3134目前三十四頁\總數(shù)一百零一頁\編于十七點4.2.2五、幾個相關(guān)概念輸出符號概率（續(xù)）2005-3-3135目前三十五頁\總數(shù)一百零一頁\編于十七點4.2.3信道疑義度在隨機(jī)事件Y發(fā)生的條件下，X的不確定程度2005-3-3136目前三十六頁\總數(shù)一百零一頁\編于十七點4.2.3一、信道疑義度的概念信道疑義度（定義4.2.3）輸出端收到全部符號之后（Y），對輸入端X的平均不確定程度由信道干擾造成2005-3-3137目前三十七頁\總數(shù)一百零一頁\編于十七點4.2.3一、信道疑義度的概念特例：無干擾信道的信道疑義度2005-3-3138目前三十八頁\總數(shù)一百零一頁\編于十七點4.2.3一、信道疑義度的概念特例：無干擾信道的信道疑義度（續(xù)）信道疑義度為零，不存在不確定的因素2005-3-3139目前三十九頁\總數(shù)一百零一頁\編于十七點4.2.3一、信道疑義度的概念信道疑義度的性質(zhì)輸出端收到Y(jié)后，總是要消除一些關(guān)于X的不確定性2005-3-3140目前四十頁\總數(shù)一百零一頁\編于十七點4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度2005-3-3141目前四十一頁\總數(shù)一百零一頁\編于十七點4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）信道矩陣2005-3-3142目前四十二頁\總數(shù)一百零一頁\編于十七點4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）2005-3-3143目前四十三頁\總數(shù)一百零一頁\編于十七點4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）2005-3-3144目前四十四頁\總數(shù)一百零一頁\編于十七點4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）2005-3-3145目前四十五頁\總數(shù)一百零一頁\編于十七點4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）2005-3-3146目前四十六頁\總數(shù)一百零一頁\編于十七點4.2.3二、二元刪除信道的信道疑義度二元刪除信道的信道疑義度（續(xù)）2005-3-3147目前四十七頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息信道的平均互信息定義（定義4.2.4）輸出端接收到符號集后，平均每個符號獲得的關(guān)于輸入端的信息量2005-3-3148目前四十八頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息對于固定信道，平均互信息量I(X;Y)是信源概率分布P(X)的上凸函數(shù)證明略2005-3-3149目前四十九頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息定理的解釋常數(shù)：固定信道與信源有關(guān)2005-3-3150目前五十頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息2005-3-3151目前五十一頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3152目前五十二頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3153目前五十三頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3154目前五十四頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3155目前五十五頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3156目前五十六頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3157目前五十七頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3158目前五十八頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3159目前五十九頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）定義的量2005-3-3160目前六十頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）信道固定，此為常數(shù)2005-3-3161目前六十一頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）2005-3-3162目前六十二頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.5（續(xù)）信道固定（信道轉(zhuǎn)移概率為常數(shù)）時，平均互信息量時信源符號分布的上凸函數(shù)。此時，隨信源符號分布的不同，接收端接收到的每個符號所獲得的平均信息量也不同，當(dāng)信源符號等概率分布時，接收端每個符號所得到的關(guān)于信源狀態(tài)的信息量最大2005-3-3163目前六十三頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息對于固定的信源分布，平均互信息量I(X;Y)是信道傳遞概率分布P(Y|X)的下凸函數(shù)證明略2005-3-3164目前六十四頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息定理的解釋與信道傳遞概率有關(guān)為常數(shù)2005-3-3165目前六十五頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息2005-3-3166目前六十六頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息信源固定，此為常數(shù)定理的解釋2005-3-3167目前六十七頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.6（續(xù)）2005-3-3168目前六十八頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.6（續(xù)）信源固定時，不同的信道（信道傳遞概率不同），接收端所接收到的每個符號平均獲得的信息量不同當(dāng)傳遞概率等概率分布時，所獲得的信息量最少，意味著此時信源的信息全部在信道中損失掉，信道造勢最大2005-3-3169目前六十九頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息已知：投擲骰子。當(dāng)骰子面朝上的數(shù)字為1，2，3和4時，拋1次硬幣當(dāng)骰子面朝上的數(shù)字為5和6時，拋2次硬幣問：可以從拋硬幣結(jié)果獲得多少擲骰子情況的信息2005-3-3170目前七十頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解輸入輸出信道描述兩者之間的關(guān)系2005-3-3171目前七十一頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）信道描述兩者之間的關(guān)系明確信道特性，類型輸入集、輸出集特性不同時刻之間的關(guān)系2005-3-3172目前七十二頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息輸入集、輸出集特性例4.2.7題解（續(xù)）2005-3-3173目前七十三頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）不同時刻之間的關(guān)系2005-3-3174目前七十四頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）不同時刻之間的關(guān)系2005-3-3175目前七十五頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性1。信源（輸入）概率空間2005-3-3176目前七十六頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性2。信道輸出的符號存在拋2次硬幣的情況2005-3-3177目前七十七頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性3。信道狀態(tài)轉(zhuǎn)移圖2005-3-3178目前七十八頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性4。信道矩陣2005-3-3179目前七十九頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性5。輸出符號集Y的分布2005-3-3180目前八十頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性6。輸出符號集Y的熵2005-3-3181目前八十一頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性7。條件熵H(Y|X)2005-3-3182目前八十二頁\總數(shù)一百零一頁\編于十七點4.2.4三、信道的平均互信息例4.2.7題解（續(xù)）離散無記憶信道的統(tǒng)計特性8?；バ畔⒘縄（X；Y）所求2005-3-3183目前八十三頁\總數(shù)一百零一頁\編于十七點4.2.5各種度量之間的關(guān)系各種度量之間的關(guān)系1－6：略7：2005-3-3184目前八十四頁\總數(shù)一百零一頁\編于十七點4.3離散無記憶擴(kuò)展信道4.3.1N次擴(kuò)展信道4.3.2N次擴(kuò)展信道定理2005-3-3185目前八十五頁\總數(shù)一百零一頁\編于十七點4.3.1N次擴(kuò)展信道.0N次擴(kuò)展信道單符號離散信道2005-3-3186目前八十六頁\總數(shù)一百零一頁\編于十七點4.3.1N次擴(kuò)展信道.00擴(kuò)展信道N次擴(kuò)展信道2005-3-3187目前八十七頁\總數(shù)一百零一頁\編于十七點4.3.1一、N次擴(kuò)展信道的概念離散無記憶擴(kuò)展信道擴(kuò)展信道2005-3-3188目前八十八頁\總數(shù)一百零一頁\編于十七點4.3.1一、N次擴(kuò)展信道的概念N次擴(kuò)展信道的數(shù)學(xué)模型被擴(kuò)展的信道2005-3-3189目前八十九頁\總數(shù)一百零一頁\編于十七點4.3.1一、N次擴(kuò)展信道的概念N次擴(kuò)展信道的數(shù)學(xué)模型（續(xù)）N次擴(kuò)展信道的信道模型2005-3-3190目前九十頁\總數(shù)一百零一頁\編于十七點4.3.1一、N次擴(kuò)展信道的概念N次擴(kuò)展信道的數(shù)學(xué)模型（續(xù)）N次擴(kuò)展信道的信