信息論實(shí)驗(yàn)課課件

1、信息論實(shí)驗(yàn)課（一）框架自信息熵（平均自信息）聯(lián)合熵條件熵互信息平均互信息下面都是針對(duì)離散信源來(lái)進(jìn)行實(shí)驗(yàn)幾個(gè)概念樣本空間-所有可能選擇的消息的集合概率測(cè)度-對(duì)于離散消息的集合，概率測(cè)度就是對(duì)每一個(gè)可能選擇的消息指定一個(gè)概率。概率空間-一個(gè)樣本空間和它的概率測(cè)度，用X, P表示。自信息信源可以用概率空間來(lái)描述；信源的概率空間必須是個(gè)完備集輸出的消息只能是樣本空間的一個(gè)，而且每次必定選一個(gè)離散無(wú)記憶信源若信源輸出的消息是取值離散的隨機(jī)序列，并且序列中各隨機(jī)變量之間彼此統(tǒng)計(jì)獨(dú)立自信息定義-某事件ai（消息）發(fā)生所含有的信息量熵（平均自信息）離散隨機(jī)變量X的信息熵就是其概率空間中每個(gè)事件所含有的自信息量

2、的數(shù)學(xué)期望，即：含義表示信源輸出前，信源的平均不確定性熵就是混亂度的量度表示信源輸出后，每個(gè)消息或者符號(hào)所提供的平均信息量反映了隨機(jī)變量X的隨機(jī)性例1設(shè)信源a1=C, a2=G,a3=A, a4=T 。1）求各個(gè)符號(hào)的自信息是多少？2）設(shè)該信源是離散無(wú)記憶的，若其發(fā)出的消息為tgaggtagtaggttgtatagtt ，求此消息的自信息是多少？解：1）基于公式得各個(gè)符號(hào)的自信息 問(wèn)題2）若該信源發(fā)出的消息為tgaggtagtaggttgtatagtt,求此消息的自信息是多少？在此消息中平均每個(gè)符號(hào)攜帶的信息量是多少？解：因?yàn)樾旁词菬o(wú)記憶的，所以其發(fā)出的消息序列中個(gè)符號(hào)是無(wú)依賴的、統(tǒng)計(jì)獨(dú)立的。

3、因此，此消息的自信息就等于消息中各個(gè)字符的自信息只和。此消息中共有0個(gè)C，8個(gè)G，5個(gè)A，9個(gè)T，則得到的自信息是平均每個(gè)符號(hào)攜帶的信息量為例13）信源的熵是多少？解：根據(jù)熵的公式可得信源的平均互信息為前面消息中平均每個(gè)字符攜帶的信息量（I2），并不完全等于這個(gè)離散無(wú)記憶信源平均每個(gè)符號(hào)攜帶的信息量（H(X)）。I2是在特定消息中求得的，在此消息中各符號(hào)C，G，A，T出現(xiàn)的概率不完全等于信源X中各符號(hào)出現(xiàn)的概率，所以存在差異。信源的信息熵是一個(gè)統(tǒng)計(jì)量，是表征信源的總體信息測(cè)度。例2、從大量的資料統(tǒng)計(jì)獲得，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%；問(wèn)題1）如果你問(wèn)一位男士：“你是否是色

4、盲？”他的回答可能是“是”，也可能是“否”，問(wèn)這兩個(gè)回答中各含有多少信息量？平均信息量是多少？問(wèn)題2）如果你問(wèn)一位女士：“你是否是色盲？”她的回答可能是“是”，也可能是“否”，問(wèn)這兩個(gè)回答中各含有多少信息量？問(wèn)這兩個(gè)回答中各含有多少信息量？平均信息量是多少？例2、從大量的資料統(tǒng)計(jì)獲得，男性中紅綠色盲的發(fā)病率為7%，女性發(fā)病率為0.5%；問(wèn)題1）如果你問(wèn)一位男士：“你是否是色盲？”他的回答可能是“是”，也可能是“否”，問(wèn)這兩個(gè)回答中各含有多少信息量？平均信息量是多少？解：設(shè)a1是男性紅綠色盲，a2為男性不是紅綠色盲。由題意可得男性紅綠色盲發(fā)病率的概率空間為男士回答“是”中含有的信息量男士回答“否

5、”中含有的信息量平均每個(gè)回答中含義信息量為信源X的信息熵，即女士回答“是”中含有的信息量女士回答“否”中含有的信息量平均每個(gè)回答中含義信息量為信源X的信息熵，即綜上，女性對(duì)色盲發(fā)病率很小，因此對(duì)女性是否是色盲的平均不確定性比男性是否是色盲的平均不確定性要小聯(lián)合熵隨機(jī)序列XY聯(lián)合離散符號(hào)集上每個(gè)符號(hào)對(duì)aibj的聯(lián)合自信息量的數(shù)學(xué)期望, 記作H（XY）考慮聯(lián)合隨機(jī)變量例3：兩個(gè)隨機(jī)試驗(yàn) X 和 Y 袋子里裝3個(gè)黑球，2個(gè)白球，X從中隨機(jī)取出一個(gè)球，看顏色，不放回；Y再?gòu)闹须S機(jī)取出一球，看顏色。 現(xiàn)研究聯(lián)合試驗(yàn)（XY）的不確定性。 分析：兩個(gè)試驗(yàn)不獨(dú)立，試驗(yàn)Y的結(jié)果依賴于試驗(yàn)X的結(jié)果。 X： Y：

6、由聯(lián)合熵的定義知條件熵隨機(jī)序列XY的聯(lián)合符號(hào)集上的條件自信息量的數(shù)學(xué)期望。它表示已知前面一個(gè)符號(hào)（X發(fā)出）時(shí)，信源將要輸出下一個(gè)符號(hào)（Y發(fā)出）的平均不確定性貝葉斯公式例3：兩個(gè)隨機(jī)試驗(yàn) X 和 Y 袋子里裝3個(gè)黑球，2個(gè)白球，X從中隨機(jī)取出一個(gè)球，看顏色，不放回；Y再?gòu)闹须S機(jī)取出一球，看顏色。 現(xiàn)研究給定X時(shí)，Y的條件熵。 X：由條件熵的定義知 XY： 例3：兩個(gè)隨機(jī)試驗(yàn) X 和 Y 袋子里裝3個(gè)黑球，2個(gè)白球，X從中隨機(jī)取出一個(gè)球，看顏色，不放回；Y再?gòu)闹须S機(jī)取出一球，看顏色。 現(xiàn)研究給定X時(shí)，Y的條件熵。 X： XY： 總結(jié)熵條件熵聯(lián)合熵互信息一個(gè)事件yj所給出關(guān)于另一個(gè)事件xi的信息，即

7、：已知事件bj后所消除的關(guān)于事件ai的不確定性平均互信息互信息在其概率空間中的數(shù)學(xué)期望熵只是平均不確定性的描述，而不確定性的消除（兩熵只差）才等于接收端所獲得的信息量因此，獲得的信息量不應(yīng)該和不確定性混為一談例4有一信源設(shè)計(jì)兩個(gè)獨(dú)立試驗(yàn)去觀察它，其結(jié)果分別為已知條件概率求 ，并判斷哪個(gè)試驗(yàn)好些 0101010121/21/201010110201解：根據(jù)貝葉斯公式，我們可以獲得xy1的聯(lián)合概率分布p(xy1)，以及y1的概率分布對(duì)于試驗(yàn)1，貝葉斯公式0101010121/21/20101/40101/421/41/41/21/2解：根據(jù)貝葉斯公式，我們可以獲得xy2的聯(lián)合概率分布p(xy2)，

8、以及y2的概率分布對(duì)于試驗(yàn)2，貝葉斯公式010101102010101/4011/40201/21/21/2根據(jù)平均互信息的公式可得I(X,Y1)=1.5+1-1 =0.5I(X,Y2)=1.5+1-0.5=1所以從Y2中獲得關(guān)于X的信息量多于Y1中獲得的關(guān)于X的信息量，所以第二個(gè)實(shí)驗(yàn)好些。例五、表達(dá)譜數(shù)據(jù)分析檢測(cè)了hsa-let-7f和hsa-miR-151-5p在156個(gè)樣本中的表達(dá)值，利用互信息衡量這兩個(gè)miRNA表達(dá)的相關(guān)程度。計(jì)算互信息解：主要通過(guò)以下五步來(lái)完成將每個(gè)miRNA的表達(dá)值分區(qū)間計(jì)算每個(gè)miRNA先驗(yàn)概率計(jì)算聯(lián)合概率計(jì)算每個(gè)miRNA的信息熵，及聯(lián)合熵計(jì)算互信息習(xí)題一、人類中密碼子的偏向性求人類中密碼子的自信息是多少？哪些密碼子攜帶的信息量高？密碼子的熵是多少？分別計(jì)算