信息論基礎(chǔ)-練習(xí)與思考2

子曰：“不憤不啟，不悱不發(fā)，舉一隅不以三隅反，則不復(fù)也”

－孔子2/7/20231信道容量C：在信道中最大的信息傳輸速率，單位是比特/信道符號。單位時間的信道容量Ct：若信道平均傳輸一個符號需要t秒鐘，則單位時間的信道容量為Ct實際是信道的最大信息傳輸速率。第三章總結(jié)2/7/20232求信道容量的方法當(dāng)信道特性p(yj/xi)固定后，I(X;Y)隨信源概率分布p(xi)的變化而變化。調(diào)整p(xi)，在接收端就能獲得不同的信息量。由平均互信息的性質(zhì)已知，I(X;Y)是p(xi)的上凸函數(shù)，因此總能找到一種概率分布p(xi)（即某一種信源），使信道所能傳送的信息率為最大。C和Ct都是求平均互信息I(X;Y)的條件極大值問題，當(dāng)輸入信源概率分布p(xi)調(diào)整好以后，C和Ct已與p(xi)無關(guān)，而僅僅是信道轉(zhuǎn)移概率的函數(shù)，只與信道統(tǒng)計特性有關(guān)；信道容量是完全描述信道特性的參量；信道容量是信道能夠傳送的最大信息量。2/7/20233香農(nóng)公式說明當(dāng)信道容量一定時，增大信道帶寬，可以降低對信噪功率比的要求；反之，當(dāng)信道頻帶較窄時，可以通過提高信噪功率比來補償。當(dāng)信道頻帶無限時，其信道容量與信號功率成正比。2/7/20234香農(nóng)公式限頻帶(W)、限時(T)條件下的信源通過一個限功率(PN)的白色高斯信道，其信道容量為它指出了信號間各物理量參量之間的辨證關(guān)系，它為一些不同的通信體制提供了基本原理。用頻帶換取信噪比，它是現(xiàn)代擴頻通信的基本原理其目的是為了提高通信系統(tǒng)的可靠性。如果在通信中信噪比成為主要矛盾時，而信號帶寬有富余，往往就可以采用帶寬換取信噪比的辦法提高通信的可靠性。現(xiàn)代移動通信中常采用偽碼直接擴頻，跳頻編碼等擴展頻譜手段，提高可靠性等。用信噪比換頻帶，它是多進制多電平多維星座調(diào)制通信方式的基本原理在優(yōu)質(zhì)信道中，信噪比有富余，而使用的頻帶進展，這時可用信噪比換頻帶。比如在光纜信道，衛(wèi)星和微波接力等較優(yōu)質(zhì)信道中，常常采用的多進制、多電平、多維星座調(diào)制就是基于這一原理。2/7/20235香農(nóng)公式用時間換取信噪比，它是弱信號累積接收的基本原理在深空通信中，往往利用這一原理傳送信息。它是利用信號與干擾統(tǒng)計特性上的差異來實現(xiàn)的。比如，在深空通信中，噪聲很強，它可以遠(yuǎn)遠(yuǎn)高于信號強度。但是由于信號是規(guī)則的，它可以按時間積累線性增長，然而，噪聲是隨機的，其增長速率遠(yuǎn)低于信號的線性增長，隨著時間的積累，信號由弱變強，而噪聲由強變?nèi)酰瑥亩梢蕴岣咝旁氡葘崿F(xiàn)弱信號的累積接收。用時間換取頻帶在一些特殊需要的情況下，比如可以采用頻帶很窄的電話線路，傳送準(zhǔn)活動的圖像。2/7/20236信道編碼定理：若有一離散無記憶平穩(wěn)信道，其容量為C，輸入序列長度為L，只要待傳送的信息率R<C，總可以找到一種編碼，當(dāng)L足夠長時，譯碼差錯概率Pe<ε，ε為任意大于零的正數(shù)。反之，當(dāng)R>C時，任何編碼的Pe必大于零，當(dāng)L→∞，Pe→1。信道編碼定理說明：同無失真信源編碼定理類似，信道編碼定理也是一個理想編碼的存在性定理。它指出信道容量是一個臨界值，只要信息傳輸率不超過這個臨界值，信道就可幾乎無失真地把信息傳送過去，否則就會產(chǎn)生失真。2/7/20237習(xí)題13.1.設(shè)信源通過一干擾信道，接收符號為Y=[y1,y2],信道傳遞概率如下圖所示。求①信源X中事件x1和x2分別含有的信息量。②收到消息yj(j=1,2)后，獲得的關(guān)于xi(i=1,2)的信息量。③信源X和信源Y的信息熵。④信道疑義度H(X/Y)和噪聲熵H(Y/X)。⑤接收到消息Y后獲得的平均互信息。2/7/20238習(xí)題1解答：互信息可以為正值也可以為負(fù)值，負(fù)值表明由于噪聲的存在，接收到一個消息后，對另一個消息是否出現(xiàn)的不確定性反而增加了。2/7/20239習(xí)題1解答：2/7/202310習(xí)題23.3.設(shè)二元對稱信道的傳遞概率為①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。②求該信道的信道容量及達(dá)到信道容量時的輸入概率分布。2/7/202311習(xí)題22/7/202312習(xí)題33.9.有一個二元對稱信道，其信道矩陣如下圖所示。設(shè)該信道以1500個二元符號/秒的速度傳輸輸入符號?，F(xiàn)有一消息序列共有14000個二元符號，并設(shè)在這消息中P(0)=P(1)=1/2。問從信息傳輸?shù)慕嵌葋砜紤]，10秒鐘內(nèi)能否將這消息序列無失真地傳送完？2/7/202313習(xí)題3解答：消息是一個二元序列，且為等概率分布，即P(0)=P(1)=1/2，故信源的熵為H(X)=1(bit/symbol)。則該消息序列含有的信息量＝14000(bit/symbol)。下面計算該二元對稱信道能傳輸?shù)淖畲蟮男畔鬏斔俾剩盒诺纻鬟f矩陣為：信道容量（最大信息傳輸率）為：C=1-H(P)=1-H(0.98)≈0.8586bit/symbol2/7/202314習(xí)題3得最大信息傳輸速率為：Rt≈1500符號/秒×0.8586比特/符號≈1287.9比特/秒≈1.288×103比特/秒此信道10秒鐘內(nèi)能無失真?zhèn)鬏數(shù)米畲笮畔⒘浚?0×Rt

≈1.288×104比特可見，此信道10秒內(nèi)能無失真?zhèn)鬏數(shù)米畲笮畔⒘啃∮谶@消息序列所含有的信息量，故從信息傳輸?shù)慕嵌葋砜紤]，不可能在10秒鐘內(nèi)將這消息無失真的傳送完。2/7/202315習(xí)題43.10.求下圖中信道的信道容量及其最佳的輸入概率分布。（a）(b)2/7/202316習(xí)題4解答：圖中兩個信道的信道矩陣分別為均滿足對稱性，所以這兩個信道是對稱離散信道。由對稱離散信道的信道容量公式得：最佳輸入分布（即達(dá)到信道容量的輸入分布）是等概率分布2/7/202317習(xí)題53.12.求下圖中信道的信道容量及其最佳的輸入概率分布。并求當(dāng)ε=0和1/2時的信道容量C。2/7/202318習(xí)題5解答：圖中信道的信道矩陣如下此信道為一般信道。2/7/202319習(xí)題52/7/202320習(xí)題52/7/202321習(xí)題66.5設(shè)一連續(xù)消息通過某放大器，該放大器輸出的最大瞬時電壓為b,最小瞬時電壓為a。若消息從放大器中輸出，問放大器輸出消息在每個自由度上的最大熵是多少？又放大器的帶寬為F,問單位時間內(nèi)輸出最大信息量是多少？2/7/202322習(xí)題6解答：已知幅度受限的連續(xù)隨機變量的概率密度函數(shù)為均勻分布時其熵最大。所以，放大器輸出消息的最大熵比特/自由度

因為放大器的帶寬為F,則取樣率為2F。那么，放大器在單位時間內(nèi)輸出的消息有2F個自由度，單位時間內(nèi)輸出的最大信息量為：比特/秒2/7/202323習(xí)題76.9設(shè)連續(xù)隨機變量X,已知X≥0,其平均值受限，即數(shù)學(xué)期望為A,試求在此條件下獲得最大熵的最佳分布，并求出最大熵。2/7/202324習(xí)題72/7/202325習(xí)題86.24.在圖片傳輸中，每幀約為2.25×106個像素，為了能很好地重現(xiàn)圖像，需分16個亮度電平，并假設(shè)亮度電平等概率分布。試計算每秒鐘傳送30幀圖片所需信道的帶寬（信噪功率比為30db）。2/7/202326習(xí)題8解答：每秒需傳送的信息率為信道的信噪功率比為，所以2/7/202327習(xí)題96.25.設(shè)在平均功率受限高斯加性噪聲連續(xù)信道中，信道帶寬為3KHZ，又設(shè)（信號功率＋噪聲功率）/噪聲功率＝10db。(1)試計算該信道傳送的最大信息率（單位時間）(2)若（信號功率＋噪聲功率）/噪聲功率降為5db，要達(dá)到相同的最大信息傳輸率，信道帶寬應(yīng)是多少？2/7/202328習(xí)題9解答：(1)平均功率受限高斯加性連續(xù)信道，W為3KHz,10log10(1+PS/PN)=101+PS/PN=10

2/7/202329練習(xí)題1若已知信道輸入分布為等概率分布，且有如下兩個信道，其轉(zhuǎn)移概率矩陣分別為：試求這兩個信道的信道容量，并問這兩個信道是否有噪聲？2/7/202330練習(xí)題12/7/202331練習(xí)題2設(shè)有一離散級聯(lián)信道如下圖所示：試求(1)X與Y之間的信道容量C1

(2)Y與Z之間的信道容量C2

(3)X與Z之間的信道容量C3，及其輸入分布2/7/202332練習(xí)題22/7/2023333.設(shè)電話信號的信息率為5.6×104比特/秒，在一個噪聲功率譜為N0=5×10-6mW/Hz、限頻F、限輸入功率P的高斯信道中傳送，若F=4kHz,問無差錯傳輸所需的最小功率P是多少W?若F趨于無窮大時，則P是多少瓦？練習(xí)題32/7/202334練習(xí)題32/7/202335練習(xí)題44.若有一限頻