信息的概念與測(cè)量

信息的概念與測(cè)量2023/3/13第一頁(yè)，共三十七頁(yè)，2022年，8月28日1.信息的界定對(duì)客觀(guān)世界中各種事物的變化和特征的反映；客觀(guān)事物之間相互作用和聯(lián)系的表征；客觀(guān)事物經(jīng)過(guò)感知和認(rèn)識(shí)后的再現(xiàn)；減少不確定性的一種客觀(guān)存在和能動(dòng)過(guò)程。2023/3/13第二頁(yè)，共三十七頁(yè)，2022年，8月28日2.信息的性質(zhì)（characteristics，properties，ornaturesofinformation）普遍性：信息充滿(mǎn)于客觀(guān)世界，人類(lèi)存在于信息的汪洋大海之中，即事事有信息，時(shí)時(shí)有信息，處處有信息。寄載性：信息必須要依附在一定的實(shí)物上。動(dòng)態(tài)性：信息的內(nèi)容和數(shù)量是不斷變化的?？陀^(guān)性：信息存在的客觀(guān)性，主觀(guān)信息（決策、判斷、指令、計(jì)劃、目標(biāo)等）也有客觀(guān)實(shí)際背景2023/3/13第三頁(yè)，共三十七頁(yè)，2022年，8月28日傳遞性：也稱(chēng)轉(zhuǎn)移性，是指信息可在空間上從某一地點(diǎn)轉(zhuǎn)移到另一地點(diǎn)，或在時(shí)間上從某一時(shí)刻保存到另一時(shí)刻。（通信理論）時(shí)效性：脫離了母體的信息因不再能反映母體的新的運(yùn)動(dòng)狀態(tài)及其狀態(tài)變化方式，其效用將會(huì)降低，乃至完全喪失。（軍事情報(bào)、網(wǎng)絡(luò)新聞、試題答案等）不完全性：任何有關(guān)客觀(guān)事物運(yùn)動(dòng)狀態(tài)及其變化方式的認(rèn)識(shí)都不可能包攬無(wú)余，在實(shí)際工作中人們所獲得和運(yùn)用的信息不可能絕對(duì)完整?？蓚涡裕喝嗽谝欢ǖ臈l件下，可以按照自己的意志來(lái)生產(chǎn)、儲(chǔ)存和傳播假冒偽劣信息.（諸葛亮“空城計(jì)”、草船借箭） 2023/3/13第四頁(yè)，共三十七頁(yè)，2022年，8月28日滯后性：信息是事物運(yùn)動(dòng)的狀態(tài)及其狀態(tài)變化的方式，因此，先有事物，后有信息。共享性：指同一內(nèi)容的信息，可在相同的時(shí)間、相同或不同的地點(diǎn)，不同的時(shí)間、相同或不同的地點(diǎn)，為多個(gè)使用者所獲取、掌握、占有和使用。（與物質(zhì)、能量資源的比較，競(jìng)爭(zhēng)性關(guān)系）價(jià)值的不定性:

同樣的信息對(duì)于不同的使用者可能有不同的價(jià)值，同量的不同類(lèi)型的信息，對(duì)于不同的使用者也不一定有相同的價(jià)值。因此，信息價(jià)值是信息對(duì)使用者有用程度的量度。（信息的效用）2023/3/13第五頁(yè)，共三十七頁(yè)，2022年，8月28日例：首批氣象經(jīng)紀(jì)人現(xiàn)身上海買(mǎi)賣(mài)氣象信息商品

越來(lái)越多的商家開(kāi)始“看天吃飯”，尤其是冷飲、空調(diào)、服裝等“天氣敏感廠(chǎng)家”。據(jù)上海中心氣象臺(tái)信息市場(chǎng)部介紹，僅2007年1-6月，上海市已經(jīng)有100多家企業(yè)與氣象部門(mén)簽署了相關(guān)協(xié)議，要求提供氣象服務(wù)。據(jù)不完全統(tǒng)計(jì)，上海市2008一年的氣象服務(wù)產(chǎn)值就在五千萬(wàn)元左右。討論：該例子體現(xiàn)了信息的哪些特征？2023/3/13第六頁(yè)，共三十七頁(yè)，2022年，8月28日案例討論：案例：啤酒和尿布的故事美國(guó)加州沃爾瑪超市連鎖店發(fā)現(xiàn):在下班后前來(lái)購(gòu)買(mǎi)嬰兒尿布的顧客多數(shù)是男性，他們往往也同時(shí)購(gòu)買(mǎi)啤酒。原因？分析得知，通常周末購(gòu)買(mǎi)尿布的是男士，他們?cè)谕瓿闪颂唤o的任務(wù)后，經(jīng)常會(huì)順便買(mǎi)一些啤酒。處理：重新布置了貨架，啤酒類(lèi)商品、嬰兒尿布、土豆片之類(lèi)的佐酒小食品、男士們?nèi)粘Ｉ钣闷肪徒贾?。結(jié)果：上述幾種商品的銷(xiāo)量幾乎馬上成倍增長(zhǎng)。啟示：1.對(duì)信息進(jìn)行決策分析的重要性！2.要養(yǎng)成善于收集信息的習(xí)慣，訓(xùn)練自己的信息處理能力

2023/3/13第七頁(yè)，共三十七頁(yè)，2022年，8月28日3.信息的分類(lèi)按信息的生成領(lǐng)域：自然信息、機(jī)器信息和社會(huì)信息按照信息的流動(dòng)方向：縱向信息、橫向信息和網(wǎng)狀信息。見(jiàn)下頁(yè)圖。(結(jié)合組織的信息流)按照信息的利用對(duì)象和作用層次，可將信息劃分為戰(zhàn)略信息、戰(zhàn)術(shù)信息和業(yè)務(wù)信息2023/3/13第八頁(yè)，共三十七頁(yè)，2022年，8月28日縱向信息橫向信息網(wǎng)狀信息2023/3/13第九頁(yè)，共三十七頁(yè)，2022年，8月28日按照信息的加工深度，可以將信息劃分為一次信息、二次信息和三次信息

一次信息一般是指社會(huì)實(shí)踐活動(dòng)過(guò)程中產(chǎn)生的原始論文、報(bào)告、記錄等。

二次信息是在對(duì)一次信息進(jìn)行加工的基礎(chǔ)上產(chǎn)生的一類(lèi)信息，如書(shū)目、索引、目錄、題錄、文摘和簡(jiǎn)介等。

三次信息是在一次信息和二次信息的基礎(chǔ)上經(jīng)過(guò)研究者的綜合、分析而產(chǎn)生的信息，常見(jiàn)的有綜述、述評(píng)、年度總結(jié)、進(jìn)展報(bào)告、數(shù)據(jù)手冊(cè)、調(diào)查報(bào)告等。討論：您所接觸到的不同信息分別屬于哪一類(lèi)呢？2023/3/13第十頁(yè)，共三十七頁(yè)，2022年，8月28日按照信息的時(shí)間狀態(tài)，可以將信息劃分為歷史信息、現(xiàn)狀信息和預(yù)測(cè)信息按照信息是否已經(jīng)被量化，可以將信息劃分為定量信息和定性信息

按照信息反映和描述的客觀(guān)事物的范圍，可以將信息劃分為宏觀(guān)信息和微觀(guān)信息按照信息的獲取方式，可以將信息劃分為直接信息和間接信息按照信息的內(nèi)容是否與現(xiàn)實(shí)事物相符，可以將其劃分為真實(shí)信息和虛假信息。2023/3/13第十一頁(yè)，共三十七頁(yè)，2022年，8月28日前饋信息和反饋信息現(xiàn)場(chǎng)控制前饋控制反饋控制執(zhí)行過(guò)程輸入輸出信息流向糾正措施反饋控制是根據(jù)最終結(jié)果產(chǎn)生的偏差信息來(lái)指導(dǎo)將來(lái)的行動(dòng)。前饋控制是利用所能得到的最新信息，進(jìn)行認(rèn)真、反復(fù)的預(yù)測(cè)，把計(jì)劃所要達(dá)到的目標(biāo)同預(yù)測(cè)相比較，并采取措施修改計(jì)劃，以使預(yù)測(cè)與計(jì)劃目標(biāo)相吻合。

常見(jiàn)的反饋信息和前饋信息有哪些？2023/3/13第十二頁(yè)，共三十七頁(yè)，2022年，8月28日4.信息的質(zhì)量信息質(zhì)量的定義

信息質(zhì)量是指信息對(duì)事物運(yùn)動(dòng)狀態(tài)和方式的反映、描述的真實(shí)性或準(zhǔn)確性。真實(shí)性則是指信息的來(lái)源是否可靠；準(zhǔn)確性是指信息的內(nèi)容與實(shí)際情況是否相符。

2023/3/13第十三頁(yè)，共三十七頁(yè)，2022年，8月28日信息的質(zhì)量指標(biāo)

.信息模糊度:也稱(chēng)乏晰度，是指描述、表示客觀(guān)事物的狀態(tài)及其狀態(tài)變化的方式時(shí)，出現(xiàn)的沒(méi)有精確規(guī)定的界限，以致表達(dá)不清楚、意思模糊。.如：自然語(yǔ)言中的“好、高、大”2023/3/13第十四頁(yè)，共三十七頁(yè)，2022年，8月28日.信息多余度:信息中含有的某類(lèi)（些）信息的量的多余程度；與真正要表達(dá)的內(nèi)容無(wú)關(guān)或無(wú)用成分的量的多余程度；信息中無(wú)效成分的相對(duì)含量.信息密集度:指信息中有效成分的相對(duì)含量。用較少的符號(hào)表達(dá)較多的信息內(nèi)容，可稱(chēng)為信息的密集度越大。2023/3/13第十五頁(yè)，共三十七頁(yè)，2022年，8月28日

5.

信息的度量(P.43)

怎么度量信息首先分析一下問(wèn)題的認(rèn)識(shí)過(guò)程1.對(duì)一問(wèn)題毫無(wú)了解，對(duì)它的認(rèn)識(shí)是不確定的2.通過(guò)各種途徑獲得信息，逐漸消除不確定性

3.對(duì)這一問(wèn)題非常的了解，不確定性很小黑箱不確定度A灰箱不確定度B白箱不確定度C信息I信息II對(duì)于系統(tǒng)，可以利用守恒關(guān)系有A+I=B，得I=B-A?？捎孟淮_定性的多少來(lái)度量信息！2023/3/13第十六頁(yè)，共三十七頁(yè)，2022年，8月28日幾個(gè)例子：例

當(dāng)你要到大會(huì)堂去找某一個(gè)人時(shí)，甲告訴你兩條消息：（1）此人不坐在前十排，（2）他也不坐在后十排；乙只告訴你一條消息：此人坐在第十五排。問(wèn)誰(shuí)提供的信息量大？乙雖然只提供了一條消息，但這一條消息對(duì)此人在什么位置上這一不確定性消除得更多，所以后者包含的信息量應(yīng)比前者提供的兩條消息所包含的總信息量更大例

假如在盛夏季節(jié)氣象臺(tái)突然預(yù)報(bào)“明天無(wú)雪”的消息。在明天是否下雪的問(wèn)題上，根本不存在不確定性，所以這條消息包含的信息量為零。2023/3/13第十七頁(yè)，共三十七頁(yè)，2022年，8月28日是否存在信息量的度量公式？基于前面的觀(guān)點(diǎn)，美國(guó)貝爾實(shí)驗(yàn)室的學(xué)者香農(nóng)（Shannon）應(yīng)用概率論知識(shí)和邏輯方法推導(dǎo)出了信息量的計(jì)算公式Inhiswords"Ijustwonderedhowthingswereputtogether."ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalled"thefatherofinformationtheory".2023/3/13第十八頁(yè)，共三十七頁(yè)，2022年，8月28日5.1概率（probability）及其計(jì)算

概率是表示事件發(fā)生可能性大小的一個(gè)數(shù)。如果用X表示事件，則它的概率可用P（X）來(lái)表示。

●

P（X）=1，表示事件X肯定會(huì)發(fā)生。

●

P（X）=0，表示事件X肯定不會(huì)發(fā)生。事件發(fā)生的概率滿(mǎn)足:2023/3/13第十九頁(yè)，共三十七頁(yè)，2022年，8月28日[例]一個(gè)不透明的袋子中裝有100個(gè)球，其中紅球99個(gè)，白球一個(gè)。假定球的大小、形狀、質(zhì)量完全一樣，則求：

1、隨意從袋子中摸到一個(gè)白球（記為事件A）的概率是多少？

2、隨意從袋子中摸到一個(gè)紅球（記為事件B）的概率是多少？ P（A）=1/100 P（B）=99/1002023/3/13第二十頁(yè)，共三十七頁(yè)，2022年，8月28日5.2信息量與可能性（probability）●可能性可用概率來(lái)表示●概率與可能性間的關(guān)系是：可能性↑=>概率↑●可能性與信息量間的關(guān)系為：可能性↑=>信息量↓●概率可表示信息量：概率↑=>信息量↓●信息量是概率的遞減函數(shù)2023/3/13第二十一頁(yè)，共三十七頁(yè)，2022年，8月28日5.3信息量與不確定性●假如你從未來(lái)過(guò)華政，也沒(méi)有看過(guò)或聽(tīng)過(guò)任何有關(guān)華政的介紹，那么華政對(duì)你來(lái)說(shuō)就是一個(gè)“未知數(shù)”，存在著所謂“不確定性”（uncertainty）●當(dāng)你考取華政并來(lái)此報(bào)到學(xué)習(xí)后，就能通過(guò)耳聞目睹、接觸交談，了解華政的具體情況——“信息”●“信息”將幫你逐漸解開(kāi)頭腦中的疑團(tuán)，消除你對(duì)“華政”認(rèn)識(shí)的不確定性，并由不確定性變成較為確定或確定。如獲得的“信息”越多，你對(duì)“華政”的了解就越全面。◆不確定性的變化程度能反映你所獲取的信息量的多少?！糁灰芰慷炔淮_定性及其變化程度，就可量度信息。2023/3/13第二十二頁(yè)，共三十七頁(yè)，2022年，8月28日●不確定性，亦稱(chēng)不肯定性、不定性，是指人腦對(duì)客觀(guān)事件能否發(fā)生的一種近似把握●在簡(jiǎn)單的通信（如打電話(huà)、寫(xiě)信、面談等）過(guò)程中，它表現(xiàn)為以下的形式：

告訴B一件事

打電話(huà)：A B

B的頭腦中存在不確定性，因?yàn)樗恢繟要告訴他的事件內(nèi)容

向B打聽(tīng)一件事 打電話(huà)：A BA的頭腦中存在不確定性，因?yàn)樗恢繠要告訴他的事件內(nèi)容

2023/3/13第二十三頁(yè)，共三十七頁(yè)，2022年，8月28日◆不確定性的大小在數(shù)學(xué)中可用隨機(jī)事件發(fā)生的概率表示，隨機(jī)事件發(fā)生與否或者隨機(jī)變量的取值在事先是不確定的，其不確定性的大小在人們直覺(jué)中的反映就是：就單個(gè)事件而言，小概率事件發(fā)生的可能性很小，但它一旦發(fā)生變成確定的，則由此而產(chǎn)生的從不確定性到確定性的變化幅度就大；2023/3/13第二十四頁(yè)，共三十七頁(yè)，2022年，8月28日概率為1的事件，其發(fā)生不足為奇，因此其不確定性的變化為0，表示確定事件發(fā)生得不到任何信息;概率為0的事件，永遠(yuǎn)不會(huì)發(fā)生，若真的發(fā)生了，則是從確定的發(fā)生到確定的不發(fā)生的最大變化，這將是不確定性變化的最大值，可視為無(wú)窮大。兩個(gè)獨(dú)立的隨機(jī)事件的不確定性是相互獨(dú)立的，它們的不確定性變化也是相互獨(dú)立的。故兩者的不確定性變化幅度為其各自的不確定性變化幅度之和。2023/3/13第二十五頁(yè)，共三十七頁(yè)，2022年，8月28日

設(shè)Xi，Xj

為隨機(jī)事件，P（Xi）為Xi發(fā)生的先驗(yàn)概率，H(Xi)為Xi發(fā)生與否的不確定性到確定性的變化量，則可將上述三條用數(shù)學(xué)語(yǔ)言表示為：1.H(Xi)是先驗(yàn)概率P（Xi）的單調(diào)遞減函數(shù)，即當(dāng)P(Xi)＞P(Xj)時(shí)，H(Xi)＜H(Xj)；2.P(Xi)=1時(shí)，H（Xi）=0；

P(Xi)=0時(shí),H(Xi)=∝；3.如果Xi與Xj相互獨(dú)立，那么H（Xi∩Xj）=H（Xi）+H（Xj）2023/3/13第二十六頁(yè)，共三十七頁(yè)，2022年，8月28日申農(nóng)證明了滿(mǎn)足上述三個(gè)條件的函數(shù)具有對(duì)數(shù)的形式：若取c=1，則H（Xi）=-logaP（Xi）上述公式描述隨機(jī)事件Xi不確定程度的變化量。在該公式中，如不作特別說(shuō)明，一般都把a(bǔ)取作2，此時(shí)信息量的單位為比特。2023/3/13第二十七頁(yè)，共三十七頁(yè)，2022年，8月28日5.4自信息量

●所謂自信息量是指信息源（事物）X發(fā)出某一消息Xi時(shí)所含的信息量，消息不同，自信息量也不同。●如已知事件Xi已經(jīng)發(fā)生，則定義該消息中所包含的信息量（即自信息量）為：H（Xi）=Xi的不確定性的變化量=-logaP（Xi）前面導(dǎo)出的公式實(shí)際上是自信息量計(jì)算公式。2023/3/13第二十八頁(yè)，共三十七頁(yè)，2022年，8月28日-logaP（Xi）的含義是：

◆在事件發(fā)生之前，表示Xi發(fā)生與否的不確定性；◆如已知事件Xi已發(fā)生，則表示Xi所含有或所提供的信息量。

2023/3/13第二十九頁(yè)，共三十七頁(yè)，2022年，8月28日[例]計(jì)算上例中兩個(gè)事件的信息量。㈠隨意從袋子中摸到一個(gè)白球這一事件（狀態(tài)）的信息量。H（白球）=-log2（1/100）≈6.64（比特）㈡隨意從袋子中摸到一個(gè)紅球這一事件（狀態(tài)）的信息量。H（紅球）=-log2（99/100）≈0.014（比特）2023/3/13第三十頁(yè)，共三十七頁(yè)，2022年，8月28日[例3]

若估計(jì)在一次國(guó)際象棋比賽中謝軍獲得冠軍的可能性為0.1（記為事件A），而在另一次國(guó)際象棋比賽中她得到冠軍的可能性為0.9（記為事件B）。試分別計(jì)算當(dāng)你得知她獲得冠軍時(shí)，從這兩個(gè)事件中獲得的信息量各為多少？H（A）=-log2（0.1）≈3.32（比特）H（B）=-log2（0.9）≈0.152（比特）2023/3/13第三十一頁(yè)，共三十七頁(yè)，2022年，8月28日

5.5統(tǒng)計(jì)信息量（平均自信息量）

如果事物X具有n種獨(dú)立的可能狀態(tài)（結(jié)果）為X1，X2，……，Xn，每一狀態(tài)出現(xiàn)的概率分別為P（X1），P（X2），……，P（Xn），當(dāng)然有：

2023/3/13第三十二頁(yè)，共三十七頁(yè)，2022年，8月28日人們注意的是整個(gè)系統(tǒng)的統(tǒng)計(jì)特性，當(dāng)信源各個(gè)消息的出現(xiàn)概率相互統(tǒng)計(jì)獨(dú)立時(shí)，這種信源稱(chēng)為無(wú)記憶信源。無(wú)記憶信源的平均自信息量定義為各消息自信息量的概率加權(quán)平均值，表示用以消除這個(gè)事物的不確定性所需要的信息量。即統(tǒng)計(jì)信息量H(X)定義為：H(X)的表達(dá)式與統(tǒng)計(jì)物理學(xué)中的熱熵具有相類(lèi)似的形式，在概念上二者也有相同之處，故借用熵這個(gè)詞把H(X)稱(chēng)為集合X的信息熵，簡(jiǎn)稱(chēng)熵。

2023/3/13第三十三頁(yè)，共三十七頁(yè)，2022年，8月28日●如信息源發(fā)出的消息有幾種可能性，則其輸出一個(gè)消息