信息理論基礎(chǔ)

PAGEPAGEII目錄第一章緒論 11.1信息的概念 11.2通信系統(tǒng)的模型 31.3信息論的產(chǎn)生、發(fā)展及研究的中心問題 5第二章信源及信息的度量 92.1離散信源及數(shù)學(xué)模型 92.2連續(xù)信源及數(shù)學(xué)模型 112.3信息的度量 122.4離散信源的平均自信息量——熵 162.5信息熵的性質(zhì) 192.6離散信源的互信息及平均互信息 242.7平均互信息量的性質(zhì) 292.8信息處理定理 312.9連續(xù)信源的信息度量 32第三章離散信源無失真編碼 473.1等長編碼 473.2變長編碼 553.3最佳變長編碼 613.4其他變長編碼方法 64第四章信道及信道容量 734.1信道的分類 734.2離散無記憶信道及容量 744.3離散無記憶信道DMC容量的計算 774.4N階擴展信道容量 844.5信道的組合 864.6時間離散的無記憶連續(xù)信道 944.7波形信道 1014.8信源與信道的匹配 105第五章限失真信源編碼理論 1095.1失真測度 1095.2信息率失真函數(shù) 1125.3離散信源的率失真函數(shù) 1155.4率失真函數(shù)的參量算法 1165.5率失真函數(shù)R(D)的迭代算法 1205.6連續(xù)信源的率失真函數(shù) 1235.7限失真編碼定理 1255.8R（D）函數(shù)與信息價值 128第六章網(wǎng)絡(luò)信息論 1356.1網(wǎng)絡(luò)通信信道分類 1356.2相關(guān)信源編碼 1386.3多址接入信道 142PAGE53第一章緒論信息論是人們在長期通信工程的實踐中，由通信技術(shù)與概率論、隨機過程和數(shù)理統(tǒng)計相結(jié)合而逐漸發(fā)展起來的一門新興科學(xué)。隨著信息理論的迅猛發(fā)展和信息概念的不斷深化，他在科學(xué)技術(shù)上的重要性早已超出了狹義的通信工程的范疇，在許多領(lǐng)域日益受到科學(xué)工作者的重視。本章首先引出信息的概念，然后介紹了信息、消息、信號三者的關(guān)系，進而討論信息論這一學(xué)科的產(chǎn)生和發(fā)展，并闡述本學(xué)科研究的中心問題。1.1信息的概念1.1.1信息的定義、特征和性質(zhì)信息是信息論中的一個術(shù)語，常常把消息中有意義的內(nèi)容稱為信息。1948年，美國數(shù)學(xué)家、信息論的創(chuàng)始人仙農(nóng)在題為“通訊的數(shù)學(xué)理論”的論文中指出：“信息是用來消除隨機不定性的東西”。1948年，美國著名數(shù)學(xué)家、控制論的創(chuàng)始人維納在《控制論》一書中，指出：“信息就是信息，既非物質(zhì)，也非能量。信息是客觀事物狀態(tài)和運動特征的一種普遍形式，客觀世界中大量地存在、產(chǎn)生和傳遞著以這些方式表示出來的各種各樣的信息。信息是有價值的，就像不能沒有空氣和水一樣，人類也離不開信息。因此人們常說，物質(zhì)、能量和信息是構(gòu)成世界的三大要素。所以說，信息的傳播是極具重要與有效的。信息是事物的運動狀態(tài)和過程以及關(guān)于這種狀態(tài)和過程的知識。它的作用在于消除觀察者在相應(yīng)認識上的不確定性，它的數(shù)值則以消除不確定性的大小，或等效地以新增知識的多少來度量。雖然有著各式各樣的傳播活動，但所有的社會傳播活動的內(nèi)容從本質(zhì)上說都是信息。信息相關(guān)資料：圖片信息（又稱作訊息），又稱資訊，是一種消息，通常以文字或聲音、圖像的形式來表現(xiàn)，是數(shù)據(jù)按有意義的關(guān)聯(lián)排列的結(jié)果。信息由意義和符號組成。文獻是信息的一種，即通常講到的文獻信息。信息就是指以聲音、語言、文字、圖像、動畫、氣味等方式所表示的實際內(nèi)容。在最一般的意義上，亦即沒有任何約束條件，我們可以將信息定義為事物存在的方式和運動狀態(tài)的表現(xiàn)形式。這里的“事物”泛指存在于人類社會、思維活動和自然界中一切可能的對象。“存在方式”指事物的內(nèi)部結(jié)構(gòu)和外部聯(lián)系。“運動狀態(tài)”則是指事物在時間和空間上變化所展示的特征、態(tài)勢和規(guī)律。主體所感知或表述的事物存在的方式和運動狀態(tài)。主體所感知的是外部世界向主體輸入的信息，主體所表述的則是主體向外部世界輸出的信息。在本體論層次上，信息的存在不以主體的存在為前提，即使根本不存在主體，信息也仍然存在。在認識論層次上則不同，沒有主體，就不能認識信息，也就沒有認識論層次上的信息。信息作為客觀世界存在的第三要素，具有以下特征：1）可量度：信息可采用某種度量單位進行度量，并進行信息編碼。如現(xiàn)代計算機使用的二進制。2）可識別：信息可采取直觀識別、比較識別和間接識別等多種方式來把握。3）可轉(zhuǎn)換：信息可以從一種形態(tài)轉(zhuǎn)換為另一種形態(tài)。如自然信息可轉(zhuǎn)換為語言、文字和圖像等形態(tài)，也可轉(zhuǎn)換為電磁波信號或計算機代碼4）可存儲：信息可以存儲。大腦就是一個天然信息存儲器。人類發(fā)明的文字、攝影、錄音、錄像以及計算機存儲器等都可以進行信息存儲5）可處理：人腦就是最佳的信息處理器。人腦的思維功能可以進行決策、設(shè)計、研究、寫作、改進、發(fā)明、創(chuàng)造等多種信息處理活動。計算機也具有信息處理功能。6）可傳遞：信息的傳遞是與物質(zhì)和能量的傳遞同時進行的。語言、表情、動作、報刊、書籍、廣播、電視、電話等是人類常用的信息傳遞方式。7）可再生：信息經(jīng)過處理后，可以其他形式再生。如自然信息經(jīng)過人工處理后，可用語言或圖形等方式再生成信息。輸入計算機的各種數(shù)據(jù)文字等信息，可用顯示、打印、繪圖等方式再生成信息。8）可壓縮：信息可以進行壓縮，可以用不同的信息量來描述同一事物。人們常常用盡可能少的信息量描述一件事物的主要特征。9）可利用：信息具有一定的實效性和可利用性。10）可共享：信息具有擴散性，因此可共享。1.1.2信息、消息和信號的關(guān)系消息是表達客觀物質(zhì)運動和主觀思維活動的狀態(tài)，指報道事情的概貌而不講述詳細的經(jīng)過和細節(jié)，以簡要的語言文字迅速傳播新近事實的新聞體裁，也是最廣泛、最經(jīng)常采用的新聞基本體裁，如文字、語言、圖像等。消息傳遞過程即是消除不確定性的過程：收信者存在不確定(疑問)，收信前，不知消息的內(nèi)容。干擾使收信者不能判定消息的可靠性，收信者得知消息內(nèi)容后，消除原先的“不確定”。消息的結(jié)構(gòu)：（一）標題（1）單行題（2）多行題；1.引題（眉題、肩題）：交代背景。2.主標題：概括主要新聞或消息。3.副標題：補充說明主標題。（二）導(dǎo)語：一般是對事件或事件中心的概述。（三）主體：承接導(dǎo)語，扣住中心，對導(dǎo)語所概括事實作比較具體的敘述，是導(dǎo)語內(nèi)容的具體化。（四）背景：說明原因、條件、環(huán)境等。（五）結(jié)語：或小結(jié)，或指出事情發(fā)展方向等。消息的三個特點：真實性，實效性，傳播性。信息與消息的關(guān)系：形式上傳輸消息，實質(zhì)上傳輸信息；消息具體，信息抽象；消息是表達信息的工具，信息載荷在消息中，同一信息可用不同形式的消息來載荷；消息可能包含豐富的信息，也可能包含很少的信息。信號（也稱為訊號）是運載消息的工具，是消息的載體。從廣義上講，它包含光信號、聲信號和電信號等。例如，古代人利用點燃烽火臺而產(chǎn)生的滾滾狼煙，向遠方軍隊傳遞敵人入侵的消息，這屬于光信號；當(dāng)我們說話時，聲波傳遞到他人的耳朵，使他人了解我們的意圖，這屬于聲信號；遨游太空的各種無線電波、四通八達的電話網(wǎng)中的電流等，都可以用來向遠方表達各種消息，這屬電信號。把消息變換成適合信道傳輸?shù)奈锢砹?，如光信號、電信號、聲信號和生物信號等，人們通過對光、聲、電信號進行接收，才知道對方要表達的消息。對信號的分類方法很多，信號按數(shù)學(xué)關(guān)系、取值特征、能量功率、處理分析、所具有的時間函數(shù)特性、取值是否為實數(shù)等，可以分為確定性信號和非確定性信號（又稱隨機信號）、連續(xù)信號和離散信號、能量信號和功率信號、時域信號和頻域信號、時限信號和頻限信號、實信號和復(fù)信號等。信息與信號的關(guān)系：信號攜帶著消息，它是消息的運載工具；信號是消息的表現(xiàn)形式，消息是信號的具體內(nèi)容。信號是消息的物理體現(xiàn)。在通信系統(tǒng)中，實際傳輸?shù)氖切盘?，但本質(zhì)內(nèi)容的是信息。信息包含在信號之中，信號是信息的載體。通信的結(jié)果是消除或部分消除不確定性，從而獲得信息。1.2通信系統(tǒng)的模型通信的基本問題是在存儲或通信等情況下，精確或者是近似再現(xiàn)信源發(fā)出的消息。在通信領(lǐng)域中，所需要研究的主要內(nèi)容是通信中的有效性和可靠性，有的時候還要考慮信息傳輸?shù)陌踩?。通信系統(tǒng)的一般模型如圖1.1所示圖1.1通信系統(tǒng)的一般模型1．信源信源是產(chǎn)生消息的來源，可以是文字、語言、圖像等；可以是連續(xù)的，也可以是離散的。信源本身十分復(fù)雜，在信息論中一般只是對信源的輸出進行研究。信源輸出是以消息符號形式表示具體信息，是信息的載體。盡管信源輸出形式很多，但是可以對其進行分類，其表現(xiàn)形式要么是連續(xù)的，要么是離散的。如文字、符號、數(shù)字等符號或者符號序列，其符號的取值都是可數(shù)的，這樣的消息就是離散的；對于語音、圖像等在時間上連續(xù)變化的參量，符號的取值都是不可數(shù)的，這樣的消息是連續(xù)的。無論信源輸出的符號是連續(xù)的還是離散的，它們都一定是隨機出現(xiàn)的，否則無論是信源的特征研究還是通信研究都沒有意義。信源的研究主要是研究消息的統(tǒng)計特征以及信源產(chǎn)生的信息速率。2．編碼器編碼器是將信源發(fā)出的符號轉(zhuǎn)化為適合信道傳輸?shù)男盘柕脑O(shè)備，一般包括信源編碼、信道編碼和調(diào)制器等。編碼器的模型如圖1.2所示圖1.2編碼器的模型=1\*GB3①信源編碼器：主要解決有效性問題，在一定的準則下對信源輸出進行變換和處理，目的是提高信息傳輸?shù)男?，即通過去除信源輸出符號的冗余，使信源輸出的每個符號攜帶更多的信息量，從而降低信息傳遞所需要的符號數(shù)量，即減低總體數(shù)據(jù)傳輸速率，提高傳輸效率。=2\*GB3②信道編碼器：由糾錯編碼器和調(diào)制器組成，目的在于充分利用信道的傳輸能力，并可靠的傳輸信息。糾錯編碼器：對信源輸出進行變換處理，通過增加冗余提高對信道干擾的抵抗力，從而信息傳輸?shù)目煽啃?。由于信道中存在干擾，數(shù)據(jù)傳遞的過程中會出現(xiàn)錯誤，信道編碼可以提供檢測或者是糾正數(shù)據(jù)傳輸錯誤的能力，從而提高數(shù)據(jù)傳輸?shù)目煽啃?。調(diào)制器：將信道編碼的輸出變換為適合信道傳輸要求的信號。信道編碼器輸出的數(shù)字信號并不適合信道的傳輸，需要對其進行相應(yīng)的信號變換和調(diào)制，然后將變換后的信號送往信道進行傳輸。加密：為了提高信息傳輸?shù)陌踩?，有時需要進行加密處理，這就需要擴展碼位。加密處理同時也會降低系統(tǒng)傳輸效率，即有效性。3．信道信道是信息傳輸?shù)拿劫|(zhì)。信道將攜帶信息的信號從一個地方傳送到另一個地方。常見的信道有明線、電纜、光纖、無線電波等。在水中，通信中可以采用聲波傳輸，聲波傳輸?shù)拿劫|(zhì)是水，所以水也是信道。隨著科學(xué)技術(shù)的發(fā)展，大量的信息需要存儲，存儲器也是信道。4．干擾源通信系統(tǒng)中的各部分都會受到干擾，信號的類型不同，經(jīng)過的信道不同，所遭受的噪聲、干擾也有差異。將各種干擾等效成一個方框作用于信道。干擾源的統(tǒng)計特征是劃分信道的重要因素，并是決定信道傳輸能力的決定因素。干擾源的分類：=1\*GB3①加性干擾：由外界引入的隨機干擾，如電磁干擾、設(shè)備內(nèi)部噪聲，它們與信道輸入的信號統(tǒng)計特征無關(guān)，信道輸出則是輸入的干擾之和。=2\*GB3②乘性干擾：信號在傳播過程中，由于物理條件的變化，如溫度、電離層位置的隨機變化引起的信號參量的隨機變化，此時信道的輸出是輸入信號與某些隨機變量相乘的結(jié)果。信息論就是對干擾進行數(shù)學(xué)上的描述，確定它們對信號傳輸?shù)挠绊?，從而給出在無干擾的情況下，信道的傳輸能力。5．譯碼器譯碼器是編碼器的逆過程，其目的是為了準確或者近似再現(xiàn)信源發(fā)出的消息。與編碼器相對應(yīng)，譯碼器一般是由解調(diào)器、信道譯碼器和信源譯碼器組成。其作用就是從受干擾的信號里最大限度的提取出有關(guān)信源輸出消息的信息，盡可能的精確地恢復(fù)信源的輸出并送給信宿。其中心問題就是研究各種可實現(xiàn)的解調(diào)和譯碼的方法。6．信宿信宿是信息的載體，即接收消息的人或機器，與信源處于不同地點或存在于不同時刻。它要對傳送過來的信息提出可接受的條件，即提出一定的準則，發(fā)端將以此來確定對信源處理時所要保留的最小信息量。信宿的數(shù)量可以是一個，也可以是多個，取決于具體的應(yīng)用需要。1.3信息論的產(chǎn)生、發(fā)展及研究的中心問題1.3.1信息論的產(chǎn)生、發(fā)展信息論是本世紀40年代在現(xiàn)代通信技術(shù)發(fā)展的基礎(chǔ)上誕生的，是研究信息的獲取、儲存、傳遞、計量、處理和利用等問題的一門新興學(xué)科。本世紀30年代以前，科學(xué)技術(shù)革命和工業(yè)革命主要表現(xiàn)在能量方面，如新的動力機、工具機的出現(xiàn)。其實質(zhì)是人的感覺器官和效應(yīng)器官的延長，是人的體力勞動的解放。本世紀30年代以后，科學(xué)技術(shù)所發(fā)生的革命性變化，主要表現(xiàn)在信息方面，表現(xiàn)在信息的傳遞、儲存、加工、處理等技術(shù)和通信、控制機以及人工智能的發(fā)展。其實質(zhì)是人的思維器官的伸展，是人的腦力勞動的解放。人們對于信息的認識和利用，可以追溯到古代的通訊實踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號”，可以說是傳遞信息的原始方式。隨著社會生產(chǎn)的發(fā)展，科學(xué)技術(shù)的進步，人們對傳遞信息的要求急劇增加。到了20世紀20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。1924年美國奈奎斯特和德國居普夫、繆勒等人發(fā)現(xiàn)電信號的傳輸速率與信道帶寬度成比例關(guān)系，從而最早提出了信息問題。1928年，哈特萊發(fā)表《信息傳輸》，首先提出信息是包含在消息中的信息量，而代碼、符號這類消息是信息的具體方式。他還提出了信息定量問題，認為可以用消息出現(xiàn)概率的對數(shù)來度量其中所包含的信息。如從S個符號中選出N個符號組成一組消息。則共有SN個可能性。其信息量為H=NlogS。這一理論是現(xiàn)代信息理論的起源，但當(dāng)時未引起人們的注意。直到第二次世界大戰(zhàn)期間，一些與通信技術(shù)有關(guān)的新技術(shù)陸續(xù)出現(xiàn)，如雷達、無線電通訊、電子計算機、脈沖技術(shù)等，為信息論的建立提供了技術(shù)基礎(chǔ)。同時，作為信息論數(shù)學(xué)基礎(chǔ)的概率論也得到飛速發(fā)展。在這種條件下，許多科學(xué)家從不同角度對信息論的基本理論進行了研究。1948年，美國數(shù)學(xué)家C.E.香農(nóng)(被稱為是“信息論之父”)出版《通信的數(shù)學(xué)理論》，1949年發(fā)表《噪聲中的通信》，從而奠定了信息論的基礎(chǔ)，創(chuàng)立了信息論。維納提出的關(guān)于度量信息量的數(shù)學(xué)公式開辟了信息論的廣泛應(yīng)用前景。1951年美國無線電工程學(xué)會承認信息論這門學(xué)科，此后得到迅速發(fā)展。20世紀50年代是信息論向各門學(xué)科沖擊的時期，60年代信息論不是重大的創(chuàng)新時期，而是一個消化、理解的時期，是在已有的基礎(chǔ)上進行重大建設(shè)的時期。研究重點是信息和信源編碼問題。20世紀70年代以后，隨著數(shù)學(xué)計算機的廣泛應(yīng)用和社會信息化的迅速發(fā)展，信息論正逐漸突破香農(nóng)狹義信息論的范圍，發(fā)展為一門不僅研究語法信息，而且研究語義信息和語用信息的科學(xué)。它的建立是人類認識的一個飛躍。世界上各種事物都是充滿矛盾不斷發(fā)展的，物質(zhì)的運動主要是靠內(nèi)部矛盾運動所產(chǎn)生的能量，而事物之間的普遍聯(lián)系則靠的是信息。信息是關(guān)于事物的運動狀態(tài)和規(guī)律，而信息論的產(chǎn)生與發(fā)展過程，就是立足于這個基本性質(zhì)。信息論迅速滲透到各個不同學(xué)科領(lǐng)域，但還不夠完善。為了適應(yīng)科學(xué)技術(shù)發(fā)展的需要，迎接信息化社會的到來，一門新的科學(xué)正在迅速興起，這就是廣義信息論，或者叫做信息科學(xué)。信息科學(xué)是由信息論、控制論、計算機、人工智能和系統(tǒng)論等相互滲透、相互結(jié)合而形成的一門新興綜合性學(xué)科。信息科學(xué)登上現(xiàn)代科技舞臺，與能量科學(xué)、材料科學(xué)鼎足而立，將為科學(xué)技術(shù)的發(fā)展做出貢獻。信息就是一種消息，它與通訊問題密切相關(guān)。隨著計算機的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎(chǔ)理論，從而推動其他許多新興學(xué)科進一步發(fā)展。目前，人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應(yīng)用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學(xué)正在形成。信息科學(xué)是人們在對信息的認識與利用不斷擴大的過程中，在信息論、電子學(xué)、計算機科學(xué)、人工智能、系統(tǒng)工程學(xué)、自動化技術(shù)等多學(xué)科基礎(chǔ)上發(fā)展起來的一門邊緣性新學(xué)科。它的任務(wù)主要是研究信息的性質(zhì)，研究機器、生物和人類關(guān)于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規(guī)律，設(shè)計和研制各種信息機器和控制設(shè)備，實現(xiàn)操作自動化，以便盡可能地把人腦從自然力的束縛下解放出來，提高人類認識世界和改造世界的能力。信息科學(xué)在安全問題的研究中也有著重要應(yīng)用。目前信息論的兩個方面的內(nèi)容都取得了更大的發(fā)展。在香農(nóng)信息論方面，當(dāng)前值得注意的動向是信息概念的深化；多址和多用戶信道（雙向信道，廣播信道，多元連接型信道等）理論的發(fā)展；多重相關(guān)信源理論的發(fā)展；信息率失真理論的發(fā)展及其在數(shù)據(jù)壓縮和圖像處理中的應(yīng)用等問題。這些領(lǐng)域都是與20世紀80年代信息工程——空間通信、計算機網(wǎng)絡(luò)、圖像電子學(xué)等密切相關(guān)的。在維納信息論方面，由于光線通信即將成為現(xiàn)實，成像雷達以及二維圖像信息處理正在迅猛發(fā)展。為此，我們對量子檢測和估計理論、非參數(shù)測量和估計理論以及非線性檢測與估計理論都要給予足夠的重視。1.3.2信息論研究的中心問題由前面關(guān)于信息概念的討論中可知：信息論研究的中心問題是為設(shè)計有效的，可靠的通信系統(tǒng)提供理論依據(jù)。由于消息中包含著信息，所以消息的傳輸系統(tǒng)也是信息的傳輸系統(tǒng)，簡稱通信系統(tǒng)。人們通過消息的傳輸和處理過程來研究信息傳輸和處理過程中的共同規(guī)律。信息論是運用概率論與數(shù)理統(tǒng)計的方法研究信息傳輸和信息處理系統(tǒng)中一般規(guī)律的新興學(xué)科。核心問題是信息傳輸?shù)挠行院涂煽啃砸约皟烧唛g的關(guān)系。信息論作為一門科學(xué)理論，發(fā)端于通信工程。它主要有以下幾個概念：狹義信息論：主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。一般信息論：主要也是研究信息傳輸和處理問題，除香農(nóng)信息論，還包括噪聲理論、信號濾波和預(yù)測、統(tǒng)計檢測和估計、調(diào)制理論、信息處理理論以及保密理論等。廣義信息論：不僅包括上述兩方面內(nèi)容，而且包括所有與信息有關(guān)的自然和社會領(lǐng)域，如模式識別、計算機翻譯、心理學(xué)、遺傳學(xué)、神經(jīng)生理學(xué)、語言學(xué)、語義學(xué)甚至包括社會學(xué)中有關(guān)信息的問題。研究一個概括性很強的通信系統(tǒng)，其目的就是要找到信息傳輸過程的共同規(guī)律。一旦總結(jié)出這種共同的規(guī)律，就可以用來指導(dǎo)具體通信系統(tǒng)的設(shè)計，使設(shè)計出來的各種通信系統(tǒng)具有更高的可靠性和有效性。所謂的可靠性高，就是要使信源發(fā)出的信息經(jīng)信道傳輸以后，盡可能的準確不失真的再現(xiàn)在接收端。而所謂的有效性高，就是經(jīng)濟效果好，即用盡可能短的時間和盡可能少的設(shè)備來傳送一定數(shù)量的信息。兩者的結(jié)合就能使系統(tǒng)達到最優(yōu)化。以后我們會知道，提高可靠性和提高有效性常常會發(fā)生矛盾，這就要統(tǒng)籌兼顧。例如為了兼顧有效性，有時就不一定要求絕對準確的在接收端再現(xiàn)原來的信息，而是允許一定的誤差或一定的失真，或者說允許近似的再現(xiàn)原來的消息。關(guān)于信息論研究的具體內(nèi)容，是一個有爭議的問題。有人認為信息論只是概率論的一個分支，這是數(shù)學(xué)家的觀點。當(dāng)然，這種看法有一定的根據(jù)，因為香農(nóng)信息論確實為概率論開拓了一個新的分支。但如果把信息論限制在數(shù)學(xué)的范圍內(nèi)，這就太狹隘了。也有認為信息論只是熵的理論，這是某些物理學(xué)家的觀點。他們對熵特別感興趣，熵的概念確實是香農(nóng)信息論的基本概念之一，但信息論的全部內(nèi)容要比熵廣泛得多。歸納起來，信息論的研究內(nèi)容大致包括以下幾個方面。通信的系統(tǒng)理論研究主要研究利用統(tǒng)計數(shù)學(xué)工具分析信息和信息傳輸?shù)慕y(tǒng)計規(guī)律，其具體內(nèi)容有：①信息的度量；②信息速率與熵；③信道傳輸能力——信道容量。信源的統(tǒng)計特征主要包括：①文字（如漢字）、字母（如英文）統(tǒng)計特征；②語音的參數(shù)分析和統(tǒng)計特征；③圖片及活動圖像（如電視）的統(tǒng)計特征：④其他信源的統(tǒng)計特征。收信者接受器官的研究主要包括：①人的聽覺器官和視覺的器官的特征；②人的大腦感受和記憶能力的模擬。這些問題的研究與生物學(xué)、生理學(xué)、心理學(xué)、的研究密切相關(guān)。編碼理論與技術(shù)的研究主要包括：①有效性編碼：用來提高信息傳輸效率，主要是針對信源的統(tǒng)計特征進行編碼，所以有時也稱為信源編碼；②抗干擾編碼：用來提高信息傳輸?shù)目煽啃裕饕轻槍π诺澜y(tǒng)計特征進行編碼，所以有時候也稱為信道編碼。提高信息傳輸效率的研究主要包括：①功率的節(jié)約；②頻帶的壓縮；③傳輸時間的縮短，即快速傳輸問抗干擾理論與技術(shù)的研究主要包括：①各種調(diào)制制度的抗干擾性；②理想接收機的實踐。噪聲中的信號檢測理論與技術(shù)的研究主要包括：①信號檢測的最佳準則；②信號最佳檢測的實踐。由上面的討論可以看出來，信息論的研究內(nèi)容極為廣泛，是一門新興的邊緣學(xué)科，是當(dāng)代信息科學(xué)的基本的和重要的理論基礎(chǔ)。綜上所述，信息論是一門應(yīng)用概率論、隨機過程、數(shù)理統(tǒng)計和近代代數(shù)的方法來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程科學(xué)；它的主要目的是提高信息系統(tǒng)的可靠性和有效性以便達到系統(tǒng)的最優(yōu)化；他的主要內(nèi)容（或分支）包括香農(nóng)理論、編碼理論、維納理論、檢測和估計理論、信號設(shè)計和處理理論、調(diào)制理論和隨機噪聲理論等。由于信息論研究的內(nèi)容極為廣泛，而各分支又有一定的相對獨立性，因此本書僅僅討論了信息論的基本理論。第二章信源及信息的度量從這一章開始，我們開始討論信源和信息的度量問題。首先討論信源，重點是信源的統(tǒng)計特性和數(shù)學(xué)模型，以及各類離散信源的信息測度——熵及其性質(zhì)。這部分內(nèi)容是香農(nóng)信息論的基礎(chǔ)。所謂信息的度量問題，就是指從量的關(guān)系上來精確地刻畫信息。從定義到性質(zhì)，從描述到度量，這些內(nèi)容構(gòu)成了信息科學(xué)的主要基礎(chǔ)。一方面，通過對定義和性質(zhì)的討論，可以從質(zhì)上來理解信息；另一方面，通過對描述的研究，則可以從量上來把握信息。這樣既從定性方面又從定量方面去把握信息，就奠定了進一步討論信息的各種運動規(guī)律的必要基礎(chǔ)。信息度量問題之所以重要，就在于它是整個信息科學(xué)體系得以真正建立起來的根本理論基礎(chǔ)，是信息科學(xué)大廈的重要基石。2.1離散信源及數(shù)學(xué)模型信源是信息的來源，但信息是較抽象的東西，所以要通過信息的表達者——消息來研究信源。我們對信源的內(nèi)部結(jié)構(gòu)、為什么產(chǎn)生和怎樣產(chǎn)生各種不同的消息都不作研究，而只研究信源的輸出，以及信源輸出各種可能消息的不確定性。在通信系統(tǒng)中收信者在未收到消息以前，對信源發(fā)出什么消息是不確定的，是隨機的，所以可用隨機變量、隨機矢量或隨機過程來描述信源輸出的消息?；蛘哒f，用一個樣本空間及其概率測度——概率空間來描述信源。信源的具體輸出是離散的消息符號形式，常常是以一個符號的形式出現(xiàn)，例如文字、字母等。這些信源可能輸出的消息數(shù)是有限的或可數(shù)的，而且每次輸出只是其中一個消息符號，這樣的信源稱為離散信源。即指發(fā)出時間和幅度都是離散分布的離散消息的信源。所以，可用離散型隨機變量來描述這些信息，它的數(shù)學(xué)模型就是離散型的概率空間：信源給定，其相應(yīng)的概率空間就已給定；反之，如果概率空間給定，這就表示相應(yīng)的信源已給定。所以，概率空間能表征這離散信源的統(tǒng)計特征，因此，有時也把這個概率空間稱作是信源空間。在很多的實際信源輸出消息往往是由一系列符號序列所組成的。例如，中文自然語言文字作為信源，這時中文信源的樣本空間A是所有文字與標點符號的集合。由這些漢字和標點符號組成的序列即構(gòu)成了中文句子和文章。因此，從時間上看，中文信源輸出的消息是時間上離散的符號序列，其中每個符號的出現(xiàn)是不確定的、隨機的，由此構(gòu)成的不同的中文消息。這類信源輸出的消息是按照一定概率選取的符號序列，所以可以把這種信源輸出的信息看作是時間上或者是空間上離散的一系列隨機變量，即為隨機矢量。信源輸出是時間或空間的離散符號序列,且符號間有依賴關(guān)系?？捎秒S機矢量來描述信源輸出,即X=（X1X2…Xi）,其中Xi是離散隨機變量,它表示t=i時刻所發(fā)出的符號，信源在t=i時刻發(fā)出的符號決定于兩個方面:(1)與t=i時刻隨機變量Xi的取值xi的概率分布p(xi)有關(guān).一般情況t不同時,概率分布也不同,即p(xi)≠p(xj)(2)與t=i時刻以前信源發(fā)出的符號有關(guān),即與條件概率p(xi|xi-1xi-2,…)有關(guān).同樣在一般情況下,它也是時間t=i的函數(shù),所以p(xi|xi-1xi-2…xi-N…)≠p(xj|xj-1xj-2…xj-N…) 序列的統(tǒng)計性質(zhì)與時間的推移無關(guān),即信源所發(fā)符號序列的概率分布與時間起點無關(guān)，這種信源稱之為平穩(wěn)隨機序列。若信源輸出的隨機序列X=（X1X2…Xi）中，每一個隨機變量Xi(i=1,2,…N)都是取值離散的離散型隨機變量，即每一個隨機變量的可能取值是有限的或可數(shù)的。而且隨機矢量的X各維概率分布都與時間起點無關(guān)，也就是在任意兩個不同時刻隨機矢量X的各維概率分布都相同。這樣的信源稱為是離散平穩(wěn)信源。在某些簡單的離散平穩(wěn)信源情況下，信源先后發(fā)出的一個個符號是彼此統(tǒng)計獨立的，也就是說信源輸出的隨機矢量X=（X1X2…XN）中，各隨機變量Xi(i=1,2,…N)之間是無依賴的、統(tǒng)計獨立的，則N維隨機矢量的聯(lián)合概率分布滿足P（X）=P（X1X2…XN）=P1(X1)P2(X2)…PN(XN)因為信源是平穩(wěn)的，根據(jù)平穩(wěn)隨機序列的統(tǒng)計特征可知，各變量Xi的一維概率分布都相同，即P1(X1)=P2(X2)=…=PN(XN)則得若不同時刻的隨機變量又取值于同一符號集A：{a1,a2,…,aq}則有其中ai是N維隨機矢量的一個取值，即α={ai1,ai2,…,aiN}，而P（aik）是符號集A的一維概率分布。由符號集A：{a1,a2,…,aq}與概率測度P（aik）構(gòu)成的一個概率空間稱由信源空間［X,P(x)］描述的信源X為離散無記憶信源。這信源在不同時刻發(fā)出的符號之間是無依賴的，彼此統(tǒng)計獨立。離散無記憶信源所發(fā)出的各個符號是相互獨立的，發(fā)出的符號序列中的各個符號之間沒有統(tǒng)計關(guān)聯(lián)性，各個符號的出現(xiàn)概率是它自身的先驗概率。把這信源X所輸出的隨機矢量X所描述的信源稱為離散無記憶信源X的N次擴展信源?？梢?，N次擴展信源是由離散無記憶信源輸出N長的隨機序列構(gòu)成的信源。若是信源先后發(fā)出的符號是互相依賴的,如中文序列，只有根據(jù)中文句子的語法、習(xí)慣用語、修辭制約和表達實際意義的制約所構(gòu)成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后的文字的出現(xiàn)是有依賴的，不能認為是彼此不相關(guān)的。這種信源稱為有記憶信源。它需要引入條件概率分布說明它們之間的關(guān)聯(lián)性，實際上信源發(fā)出符號只與前若干個符號(記憶長度)有較強的依賴關(guān)系.。離散有記憶信源所發(fā)出的各個符號的概率是有關(guān)聯(lián)的。2.2連續(xù)信源及數(shù)學(xué)模型信源輸出的消息的取值是連續(xù)的，如人發(fā)出的聲音、遙感器測得的連續(xù)數(shù)據(jù)等。極可能出現(xiàn)的消息數(shù)是不可數(shù)的無限值。這種信源稱為連續(xù)信源。即指發(fā)出時間和幅度上都是連續(xù)分布的連續(xù)消息的信源，它可用連續(xù)型的隨機變量來描述這些消息XYXY圖2.2.1連續(xù)信源是指輸出在時間和取值上都連續(xù)的信源其數(shù)學(xué)模型為連續(xù)型的概率空間：其中為連續(xù)隨機變量X的概率密度，（）為X的存在域，并滿足上述信源，因為信源的輸出只有一個消息（符號），所以可用一維隨機變量來描述。2.3信息的度量2.3.1離散信源的自信息量信源發(fā)出消息，經(jīng)過信道，到達信宿，信宿收到消息，獲得了信息，這個過程就稱作通訊。我們現(xiàn)在來研究通訊的源頭，也就是信源的特性。那么實際有用的信源應(yīng)該具有什么特性呢？我們認為它應(yīng)該具有不確定性（不肯定性）。信源至少應(yīng)該包含兩種不同的消息，例如兩元信元（包含0、1），而信宿是知道信元發(fā)送（0、1）的，但是它就是不知道在具體的某一時刻，信源發(fā)送的是哪個消息。這是顯然的，如果它知道，就不需要通訊了！所以必須要經(jīng)過通訊，然后信宿通過譯碼，信源發(fā)送的是哪個消息。如果信道中不存在噪聲，也就是干擾，那么信宿一定譯碼正確，通信可以無差錯的進行了。所謂的不確定性就是說信宿對信源哪個時刻發(fā)送哪個消息不能肯定！而不是說信宿不知道信源有0、1這兩個消息。反過來統(tǒng)計的講，發(fā)送某一個消息的概率是確定的。比如說發(fā)1的概率是0.4,發(fā)1的概率是0.6。但是下一時刻發(fā)送0，還是1，信宿不知道。[例2.3.1]某二元信源（含有兩個不同消息的信源）發(fā)送1的概率0.99，0的概率0.01，信宿僅憑猜測就可以簡單的認為信源發(fā)出的消息始終都是1，即使如此，猜錯的概率僅為百分之一。這說明在這種情況下，信源基本上在發(fā)送1，信源的不確定性很小。為什么信宿猜測的這么準呢？我們知道是因為信源發(fā)送0的概率很小，所以不確定度和信源發(fā)送符號的概率是有關(guān)系的！[例2.3.2]某二元信源發(fā)送1和0的概率相等，均為0.5，這時信宿不依賴通信僅憑猜測的話，猜錯的概率高達50%。這說明在這種情況下，猜測信源發(fā)送什么消息就困難了，因為信源發(fā)送什么消息相當(dāng)不確定。[例2.3.3]如果信源具有更多的消息，例如發(fā)10個數(shù)字0,1…..9(例如采用4位十進制樹的中文電報)，而且假定這是個消息是等概率分布的，均為0.1，這時信宿僅憑猜測的話，就更難猜了。因為信源發(fā)送什么消息更加不確定。[例2.3.4]現(xiàn)在討論一種極端的情況，信源只發(fā)送一種消息，即永遠只發(fā)送1或者只發(fā)送0，從這樣的信源中我們就不能從中獲取任何信息，也就是說信源的不確定性為0。信源如果沒有不確定性，那么就沒有實用價值。不確定度和發(fā)送的消息數(shù)目和發(fā)送符號的概率有關(guān)。為了確切的描述信源，我們采用概率空間來描述信源。定義信息量的度量大寫字母X,Y,Z代表隨機變量，指的是信源整體。帶下標的小寫字母代表隨機事件的某一結(jié)果或信源的某個元素。兩者不可混淆。其中X1,X2,…Xn為信源的消息；P(x1),P(x2),…P(xn)為各消息出現(xiàn)的概率。根據(jù)以上分析我們可以寫出對應(yīng)的概率空間：[例2.3.1]=[例2.3.2]=若隨機事件對上面的四個例子進行歸納可以得出如下有用的結(jié)論：（1）信源的不確定程度與其概率空間的消息數(shù)和消息的概率分布有關(guān)系（2）信源的消息為等概率分布時，不確定度最大（3）信源的消息為等概率分布，且其消息數(shù)目越多，其不確定度越大（4）只發(fā)送一個消息的信源，其不確定度為0，不發(fā)送任何信息發(fā)生的概率為，用I(xi)表示消息xi提供的信息量，則：稱I(xi)為消息xi的自信息量，表示信源發(fā)出一個消息xi所帶有的信息量。隨機事件的不確定度：猜測某一隨機事件是否會發(fā)生的難易程度，它在數(shù)量上等于它的信息量，兩者的單位相同，含義卻不同。當(dāng)某事件必然發(fā)生時，就不存在不確定性，即不確定性為0。即P(xi)=1時，I(1)=-log1=0當(dāng)某事件幾乎不發(fā)生時（或發(fā)生概率很?。?，其不確定性應(yīng)趨于無窮大，即limI[p(xi)]=-log0=∞發(fā)生概率小的事件其不確定性比大概率事件大，即I(x1)=-logp(x1)I(x2)=-logp(x2),(p(x1)>p(x2)),則I(x1)<I(x2)兩個互相獨立事件的聯(lián)合信息量應(yīng)該等于他們分別的信息量之和不管隨機事件是否發(fā)生，都存在不確定度；而自信息量是在該事件發(fā)生后給觀察者帶來的信息量。自信息量具有下列性質(zhì)： （1）是非負值； （2）當(dāng)=1時，=0； （3）當(dāng)=0時，=∞；（4）是單調(diào)遞減函數(shù)。信息量的三種單位：比特bit對數(shù)取2為底奈特nat對數(shù)取e為底哈特萊hartley對數(shù)取10為底這三個信息單位之間的轉(zhuǎn)換關(guān)系如下：1nat=log2e≈1.433bit1hart=log210≈3.322bit1bit≈0.693nat1bit≈0.301Hart然而，自信息也有它的不足之處：1）自信息是隨機變量，不能作為整個信源的信息測度;2）自信息是指信源發(fā)出某一消息所含有的信息量;3）消息不同，它們所含有的信息量也不同。2.3.2聯(lián)合信源的自信息量和條件自信息量聯(lián)合信源:多個信源構(gòu)成的信源。例如音響設(shè)備有多個聲道，彩色電視信號可分解為紅、綠、藍三種基色，遙感圖像包含多個波段，以及形形色色的多維信號。

本節(jié)以任意兩個隨機變量X和Y的聯(lián)合為例進行討論。 兩個隨機事件的離散信源，其信源模型為，其中。其自信息量是二維聯(lián)合集XY上元素對的聯(lián)合概率對數(shù)的負數(shù)值，稱為聯(lián)合自信息量，用表示，即 當(dāng)X和Y相互獨立時，=，代入式（2.1.4）就有 說明兩個隨機事件相互獨立時，同時發(fā)生得到的自信息量，等于這兩個隨機事件各自獨立發(fā)生得到的自信息量之和。 條件自信息量定義為條件概率的負值。設(shè)條件下，發(fā)生的條件概率為，那么它的條件自信息量定義為 （2.1.6a）上式表示在特定條件（已定）下隨機事件發(fā)生所帶來的信息量。同樣，已知時發(fā)生的條件自信息量為 （2.1.6b）在給定()條件下，隨機事件發(fā)生()所包含的不確定度在數(shù)值上與條件自信息量[]相同，即可用式（2.1.6a或2.1.6b）計算，但兩者的含義不同。不確定度表示含有多少信息，信息量表示隨機事件發(fā)生后可以得到多少信息。 聯(lián)合自信息量和條件自信息量也滿足非負和單調(diào)遞減性，同時，它們也都是隨機變量，其值隨著變量，的變化而變化。 容易證明，自信息量、條件自信息量和聯(lián)合自信息量之間有如下關(guān)系：。［例2.3.3］（自信息量）有八個燈泡串聯(lián)相接，x1,x2…x8中每個燈泡損壞的可能性相等，現(xiàn)有一個燈損壞，致使電路不通，燈全部不亮。問：要查出損壞的燈泡至少需要多少信息量？解：至少要查三次方可確定損壞的燈泡。事件的概率空間為：設(shè)第xi個燈泡損壞因為所以查出損壞的xi需要3bit的信息量。說明：第一步，將八個燈分成兩組在任一組中有xi的概率是，查找出該組的信息量為-log=1bit=第二步，將有xi的組再分成兩組，任何一組中存在有xi的概率是查找出有xi組的信息量為-log=1bit=第三步，對剩下的兩個燈泡中的一個進行檢測，每一個燈泡的損壞概率為，查找出損壞燈泡的信息量為-log=1bit=所以，最終找出xi需要的信息量為+=1+1+1=3bit［例2.3.4］（聯(lián)合自信息量）有一個88的正方形棋盤，其上某位置放有一個棋子。問需確定該棋子的位置需要多少信息量？解：因設(shè)棋子等概率的可放在某列xi，并等概率的放在某行yj故，列概率空間為：行概率空間為聯(lián)合概率空間為：{XY,p(xyij),i=1…8,j=1…8}1.根據(jù)聯(lián)合自信息量求解：=確定位置需要的信息量為2．根據(jù)條件自信息量求解：第一步：確定在某行，即yj需要的信息量為第二步：確定在某列，即xi因yj已經(jīng)確定，因此確定xi是在yj已知條件下。則，又因，xi，yj相互獨立，故需要的總信息量為2.4離散信源的平均自信息量——熵2.4.1平均自信息量——熵已知單符號離散無記憶信源的數(shù)學(xué)模型,其中，且我們定義信源各個離散消息的自信息量的數(shù)學(xué)期望(即概率加權(quán)的統(tǒng)計平均值)為信源的平均信息量，一般稱為信源的信息熵，也叫信源熵或香農(nóng)熵，有時稱為無條件熵或熵函數(shù)，簡稱熵，記為.它實質(zhì)上是無記憶信源平均不確定度的度量。如果取以2為底的對數(shù)，信源熵的單位是bit/符號。X中各離散消息的自信息量為非負值，概率也是非負值，且0≤≤1，故信源熵也是非負值。的定義公式與統(tǒng)計熱力學(xué)中熵的表示形式相同，這就是信源熵名稱的由來。[2.1.6]以[2.1.5為例]，計算=1/4×log2+3/4log2=0.811比特/消息[2.1.7]以[2.1.5為例]，計算通信系統(tǒng)信宿端Y的不確定度=7/12×log2+5/12log2=0.980比特/消息[2.1.8]計算能輸出26個英文字母的信源的信源熵。假設(shè)各字母等概率分布，且互相獨立。H(X)=-log2=4.701比特/字母2、本質(zhì)信源熵表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息的度量。信源一定，不管它是否輸出離散消息，只要這些離散消息具有一定的概率特性，必有信源的熵值，這熵值在總體平均的意義上才有意義，因而是一個確定值。3、物理含義總括起來，信源熵有三種物理含義：(1)信源熵表示信源輸出后，每個離散消息所提供的平均信息量。(2)信源熵表示信源輸出前，信源的平均不確定度。(3)信源熵反映了變量X的隨機性。2.4.2聯(lián)合信源的平均信息量——聯(lián)合熵設(shè)離散集和組成二維聯(lián)合離散事件集的平均聯(lián)合自信息定義為：聯(lián)合集上的隨機變量的數(shù)學(xué)期望稱為集和集的聯(lián)合信息熵。2.4.3N次擴展信源的熵根據(jù)信息熵的定義，離散無記憶信源X的N次擴展信源的熵等于信源的熵的N倍，即證明由N次擴展信源的含義及熵的定義可知，N次擴展信源的熵為式中求和號是對信源中所有個符號求和，所以求和號共有個。這種求和號可以等效于N個求和，而且其中的每一個又是對X中的q個符號求和。所以得N次擴展信源的熵公式也可以寫成上式中共有N項，考察其中第一項上式引用了同理，計算其余各項，得例：有一離散無記憶信源求該離散無記憶信源的二次擴展信源的熵。解：由于擴展信源的每個符號是信源X的輸出長度為的符號序列，且信源X共有個不同符號，所以由信源X中的每二個符號組成的不同排列共有種，得二次擴展信源共有9個不同的符號。又因為信源X是無記憶的，則有（）于是得表如下信源符號符號序列概率可以算得，原始信源熵為比特/符號而二次擴展信源為比特/符號故有：對于上述結(jié)論，也可以直觀的進行理解。因為擴展信源的每一個輸出符號是由N個所組成的序列，并且序列中前后符號是統(tǒng)計獨立的。先已知每個信源符號含有的平均信息量為,那么N個組成的無記憶序列平均含有的信息量就為(根據(jù)熵的可加性)。因此，信源每個輸出符號含有的平均信息量為。2.5信息熵的性質(zhì)由于信息熵是信源概率空間的一種特殊矩函數(shù)。這個矩函數(shù)的大小，雖然與信源的符號及符號的概率分布有關(guān)。當(dāng)信源符號集的個數(shù)給定，信源的信息熵就是概率分布的函數(shù)。而這個函數(shù)形式即為（2.5.1）可用概率矢量來表示概率分布可用來表示符號概率。概率矢量是維矢量，是其分量，它們滿足和這樣信息熵是概率矢量或它的分量的元函數(shù)。所以（2.5.1）可寫成(2.5.2)是概率矢量的函數(shù)，稱為熵函數(shù)。常用來表示以離散隨機變量描述的信源的熵；而用或是來表示概率矢量為P=的個符號信源的信息熵。熵函數(shù)也是一種特殊函數(shù)，它的函數(shù)形式為（2.5.3）它具有下列一些性質(zhì)：對稱性當(dāng)變量的順序任意互換時，熵函數(shù)的值不變，即（2.5.4）該性質(zhì)表明熵只與隨機變量的總體結(jié)構(gòu)有關(guān)，即與信源的總體統(tǒng)計特性有關(guān)。如果某些信源的統(tǒng)計特性相同（含有的符號數(shù)和概率分布相同）,那么，這些信源的熵就相同。非負性即（2.5.5）該性質(zhì)是很顯然的。因為隨機變量的所有取值的概率分布滿足，當(dāng)取對數(shù)的底大于1時，，而，則得到的熵是正值的。只有當(dāng)隨機變量是一確知量時，熵才等于零。這種非負性對于離散信源的熵是合適的，但對連續(xù)信源來說這一性質(zhì)并不存在。以后還可以看到，在相對熵的概念下，可能出現(xiàn)負值。確定性即(2.5.6)因為在概率矢量中，當(dāng)某分量時，；而其余分量所以上式成立。這個性質(zhì)意味著從總體上來看，信源雖然有不同的輸出符號，但它只有一個符號幾乎必然出現(xiàn)，而其他符號都是幾乎不可能出現(xiàn)，那么，這個信源是一個確知的信源，其熵等于零。擴展性即（2.5.7）此性質(zhì)也不難證明，因為所以等式（2.5.7）成立。本性質(zhì)說明信源的取值數(shù)增多時，若這些取值對應(yīng)的概率很小（接近于零），則信源的熵不變。雖然，概率很小的事件出現(xiàn)以后，給予收信者較多的信息。但從總體來考慮時，因為這種概率很小的事件幾乎不會出現(xiàn)，所以它在熵的計算中占得比重很小，致使總的信源熵值維持不變。這也是熵的總體平均性的一種體現(xiàn)。可加性有兩個離散集,其中集的概率分布為其中集的概率分布為組成的聯(lián)合集的概率分布為聯(lián)合集的熵為：=為在給定條件下，發(fā)生的概率。為條件熵。當(dāng)相互獨立時，=，則即3)若集合X由K個子集組成的，每個子集的概率為，則其熵為。對每個子集作進一步劃分，如將第個子集劃分為個事件，則子集中某事件出現(xiàn)的概率為且。對這樣劃分的集X，當(dāng)我們要判斷事件出現(xiàn)在哪個子集時候可分兩步進行：第一步，先判斷事件屬于哪個子集，其不確定性為。即平均需要這么多的信息量。第二步，再判斷是子集中的哪個事件，其平均不確定性為相鄰的子集出現(xiàn)的概率為。所以第二次判斷平均付出的信息量為，以上兩步之和就是集X的總的平均不確定性，也就是判斷一個事件出現(xiàn)所必須付出的平均信息量。即=+極值性最大離散熵定理：X集中的事件發(fā)生的概率為則，即對于具有個符號的離散信源，只有在個信源符號等可能出現(xiàn)的情況下，信源熵才能達到最大值。也就是表明等概率分布信源的平均不確定性為最大。這個結(jié)論就叫做最大離散熵定理條件熵小于無條件熵(2.5.8)當(dāng)且僅當(dāng)X和Y相互獨立時等號成立。證明根據(jù)條件熵的定義=若令，于是得代入上述表達式，可以得到即證畢。上凸性熵函數(shù)是概率矢量的嚴格型凸函數(shù)（或稱上凸函數(shù)）。即對任意函數(shù)矢量和，及任意則有(2.5.9)此式可根據(jù)凸函數(shù)的定義來證明。正因為熵函數(shù)具有上凸性，所以熵函數(shù)具有極值，熵函數(shù)的最大值存在。2.6離散信源的互信息及平均互信息2.6.1非平均互信息1，輸入事件與輸出事件的概率關(guān)系例：設(shè)輸入空間，將各消息以三位二元數(shù)字表示并作為輸出，我們通過對輸出事件的觀測來判斷輸出的是哪個消息。假定系統(tǒng)的輸入消息為，則輸出為“011”輸入消息輸出消息消息的先驗概率消息后驗概率收到“0”后消息后驗概率收到“01”后消息后驗概率收到“011”后作為觀察者，我們只知道出現(xiàn)的概率相等而不知道輸入是哪個消息當(dāng)觀察到輸入的二元數(shù)字后，用后驗概率公式來表示出各消息的后驗概率。分析：每收到一個輸出的二元數(shù)字后，各輸入消息的后驗概率作獨立變化，這有利于對輸入事件進行猜測。在接收到011后，消息出現(xiàn)的概率逐步增加，最終到1，而其他消息出現(xiàn)的后驗概率都先后減為零，從而完全確定輸入的消息。結(jié)論：當(dāng)系統(tǒng)中關(guān)心的是哪個輸入消息時，則與事件出現(xiàn)的先驗概率和經(jīng)過觀測后事件出現(xiàn)的后驗概率有關(guān)。即，信息的概率是先驗概率和后驗概率的函數(shù)。——系統(tǒng)可能輸入的消息如——系統(tǒng)可能輸出的消息如令三個二元數(shù)字分別為，表示則每收到一個數(shù)字得到的信息量分別為：而且應(yīng)當(dāng)滿足：2．非平均信息量的定義1）定義：對給定的兩個離散事件集。事件的出現(xiàn)給出關(guān)于事件的信息量定義為同理，對于事件出現(xiàn)給出的關(guān)于事件的信息量為：2）非平均互信息即=證：3）說明：=1\*GB3①事件之間存在有互信息是因為兩個事件統(tǒng)計相關(guān)。=2\*GB3②若兩個事件相互獨立，則互信息等于零。=3\*GB3③若事件的出現(xiàn)有助于肯定事件的出現(xiàn)，即，則互信息大于零，即>0.若事件出現(xiàn)告訴我們事件的出現(xiàn)可能性減小，則<0,互信息小于零。2.6.2條件互信息與聯(lián)合事件的互信息1．條件互信息設(shè)分別為三個離散事件集，由組成的聯(lián)合集為：其概率關(guān)系為：定義：對三個離散集組成的聯(lián)合概率空間在給定的事件條件下，事件和事件之間的條件互信息量定義為：條件互信息的定義和無條件互信息的定義之間的差別僅在于它的先驗概率和后驗概率均為某種特定條件下的取值，這個定義可推廣到任意有限個空間。N維概率空間中的事件的互信息對于N個空間中的事件的條件互信息可以考慮已知的情況下之間的條件互信息量為：條件互信息也具有對稱性，即2.聯(lián)合互信息（互信息的可加性）有一個系統(tǒng)，其輸入空間是,輸出空間是.可為并行或是按時間前后的串行輸出，當(dāng)知道事件和后，共給出系統(tǒng)中有關(guān)的信息量，以及單獨提供有關(guān)的信息量的關(guān)系為：=1\*GB3①為聯(lián)合事件和事件之間的互信息。=2\*GB3②關(guān)系證明：即：聯(lián)合給出的關(guān)于的信息量等于給出的關(guān)于的信息量與已知的條件下，給出的關(guān)于的信息量——互信息的可加性=3\*GB3③聯(lián)合互信息對稱性即：事件給出的關(guān)于的信息量等于給出的的信息量加上已知條件下給出的關(guān)于的信息量。=4\*GB3④聯(lián)合互信息的可加性可以推廣到任意的有限空間互信息的可加性對于描述每個事件之間的互信息是非常方便的，特別是對于用戶信息論中的信息量的分析。2.6.3平均互信息量前面我們知道，聯(lián)合空間中的一對事件之間的互信息是定義在空間中的隨機變量，對空間上的概率分布進行統(tǒng)計平均得它是特定時間出現(xiàn)時所給的關(guān)于中各事件的平均信息量，設(shè)信息量非負，即對事件的觀察總是有助于對集中的事件出現(xiàn)的判斷，同時，又是集的隨機變量，即隨著中給定的事件的不同而不同。1，兩個離散集的平均互信息量定義：集合中的隨機變量的數(shù)學(xué)期望值定義為集和集之間的平均互信息量。平均互信息量描述了兩個集合之間一個集合中的事件出現(xiàn)后，所給出的關(guān)于另一個集合中事件出現(xiàn)的信息量的平均值。2．平均信息、熵、條件熵的關(guān)系各表達式說明：1）表示互信息等于輸入集的平均不確定性在觀察到輸出集后，集還保留的不確定性,稱作是含糊度，疑義度或存疑度。在給定集后，含糊度越大，得到的信息量就越小。2）表示平均互信息還等于觀察到后獲得的信息量(或集的平均不確定性)減去傳送時由于干擾影響使觀察的存在有的二平均不確定性,稱作散布度，干擾越嚴重散布度就越大，因而得到的信息量就越少。3）表明和之間信息關(guān)聯(lián)的緊密程度。若相互獨立則有3.平均條件互信息聯(lián)合集中在一個集合給定的條件下。列兩個集之間的平均互信息稱作是平均條件互信息。定義：集上定義的隨機變量的數(shù)學(xué)期望定義為集和集在集給定條件下的平均條件互信息量。由定義可推論出：A．B.C.2.7平均互信息量的性質(zhì)平均互信息量的基本性質(zhì)有：=1\*GB3①非負性離散集和的平均互信息不小于零。即當(dāng)且僅當(dāng)互相獨立時，否則，。當(dāng)集和統(tǒng)計相關(guān)時，集事件發(fā)生總能提供一些關(guān)于的信息。=2\*GB3②對稱性和統(tǒng)計相關(guān)，觀測得到的關(guān)于的信息量與觀測集得到的關(guān)于的信息量相等。證：=3\*GB3③可加性=4\*GB3④極值性=5\*GB3⑤平均互信息的凸性據(jù)得知，平均互信息只是輸入集的概率分布和條件概率的函數(shù)。即平均互信息只與信源的概率分布和信道的轉(zhuǎn)換概率有關(guān)，因此對于不同的信源分布和不同的條件概率得到的互信息不同。定理一：平均互信息是集的分布的上凸函數(shù)，即當(dāng)條件概率給定后，對于不同的集分布，平均互信息具有最大值。定理二：平均互信息是條件概率的下凸函數(shù)，即當(dāng)集分布給定后，對于不同的條件概率，平均互信息具有最小值。2.8信息處理定理由集合X,Y,Z組成的級聯(lián)系統(tǒng)如圖所示：XZY其中，X:系統(tǒng)一的輸入；Y:系統(tǒng)二的輸出；Z:系統(tǒng)一得輸出，系統(tǒng)二的輸入。系統(tǒng)分析：1，若是對任意的有下式成立：即在Z的條件下，X，Y相互獨立。則有，此時，2，若是系統(tǒng)二的輸出只由系統(tǒng)二的輸入Z決定則有，對所有滿足>0的x，y，z給兩邊同乘得，=此時，在給定Z的條件下，系統(tǒng)輸出Y和輸入X之間的平均互信息量等于零。即，由上面的級聯(lián)分析系統(tǒng)得出信息處理的定理：對于X,Y,Z組成的上述級聯(lián)系統(tǒng)，對于集Z到集Y的任意變換Y=f（Z）有如下結(jié)論：證明：由：得，即可得，又因為條件互信息非負，即得，根據(jù)熵中熵的自信息量之間的關(guān)系得：和代入;得得，當(dāng)且僅當(dāng)f（Z）=Y的時候，有此時，上式中的等號才能成立。（）此定理得證。對于上述的級聯(lián)我們還可以得到信息處理定理的說明：若將集X作為觀測對象，Z作為觀測到的數(shù)據(jù)集，而Y作為對觀測結(jié)果Z的某種變換（處理）得到的結(jié)果，則對于觀測得到的數(shù)據(jù)做任何處理都會帶來數(shù)據(jù)的損失，而絕對不會是信息增加。這就是信息的不增性原理，也是信息的一個重要性質(zhì)之一。在對觀測數(shù)據(jù)Z進行處理的時候，若是處理的細致些，會使信息損失少一些，但付出的代價（如設(shè)備的復(fù)雜性，計算量或者處理時間）要更大了。例如，一外文小說（Z）翻譯成中文小說（Y）,小說的信息量（X）之間的關(guān)系。2.9連續(xù)信源的信息度量2.9.1連續(xù)隨機變量的信息量和熵1．自信息量基本連續(xù)信源的數(shù)學(xué)模型為X=并滿足其中R是全實數(shù)集，是連續(xù)變量X的取值范圍。根據(jù)前述的離散化原則，連續(xù)變量X可量化分層后用離散變量描述。量化單位越小，則所得的離散變量和連續(xù)變量越接近。因此，連續(xù)變量的信息測度可以用離散變量的信息測度來逼近。假定連續(xù)信源X的概率密度函數(shù)為，我們把取值區(qū)間［］分割成n個小區(qū)間，有等寬=，當(dāng)連續(xù)變量X取值在范圍內(nèi)的時候，其出現(xiàn)的概率為所以事件的自信息量為：2．平均自信息量根據(jù)平均自信息量的定義，有：=分析：當(dāng)劃分無限精細時，即時，，因此將隨著劃分的變細而趨向無窮大，這說明連續(xù)隨機變量的潛在信息量是無窮的，對它進行量化時，量化的精度越高，它呈現(xiàn)出的信息量就會越大。而隨之表現(xiàn)這一精度所需的代價也就會越來越大。但實際中，由于人或者機器的分辨力是有限的，且存在著若干的干擾因素。使得對任何物理量的測量不必、也不可能過于精細。2.9.2連續(xù)信源的最大熵、熵功率、相對熵及互信息量1．連續(xù)信源的最大熵從前面的討論我們可以知道，對于離散信源來說的話，在所有的消息獨立等概率時，其輸出熵最大。在確定這個最大熵時，除了概率和等于1（即）外誒有任何其他的約束條件，這里要研究連續(xù)信源最大熵的條件。在討論的時候，仍然先假定樣值間是相互獨立的，也就是說，需要研究使連續(xù)信源熵為最大時信號的一維最佳概率分布。具體地說，就是求求當(dāng)熵為最大條件下，求解概率分布密度函數(shù)，且滿足：=1\*GB3①；=2\*GB3②其他約束條件。這個問題一般用變分法來求解，即在若干條件制約下（2.9.1）求積分（泛函）（2.9.2）為極值時這一函數(shù)。式（2.9.1）中為常數(shù)。在所研究的問題中為（2.9.3）在求解這個問題中，為了對式（2.9.2）的積分求極值，又要保證滿足給定的約束條件，就需要建立如下的函數(shù)（2.9.4）式中，為特定系數(shù)，由個制約條件決定的。因此，求函數(shù)的極值，就變?yōu)榍笫阶樱?.9。4）函數(shù)的極值，即對函數(shù)求導(dǎo)并令其為零，即（2.9.5）因為不管為何值，上式均應(yīng)滿足，因此必須保證（2.9.6）求解方程式（2.9.6）得函數(shù)，然后代入式（2.9.1）的個方程，即可求得系數(shù)從而決定了。實際上，對連續(xù)信源感興趣的有以下兩種情況：=1\*GB3①信源輸出的瞬時功率或輸出幅度受限的情況；=2\*GB3②信源輸出的平均功率受限的情況?，F(xiàn)在應(yīng)用上述的變分法來求解信源的最佳概率分布密度和最大熵。輸出值范圍受限的信源信源輸出信號的幅度或瞬時功率S受到限制。即：求解：（2.9.7）為極值時的。這時限制條件只有一個，即（2.9.8）對于給定的情況式（2.9.6）中所以式（2.9.6）可寫成則為了計算方便，對數(shù)取以e為底的對數(shù)，得（2.9.9）將式（2.9.9）代入（2.9.8）可得，則(2.9.10)這就是說，概率分布密度為常數(shù)時，有最大熵，如圖2.9.1所示。0+V0+V-VP(V)圖2.9.1信源輸出幅度受限時最佳分布最大熵為或?qū)懗桑?.9.11）一般情況下，當(dāng)幅度限制在和之間，即當(dāng)時，則（2.9.12）(2.9.13)從上面的分析中可以得到如下的結(jié)論：輸出信息值的范圍受限的連續(xù)信源，其輸出最大熵的條件是輸出信號在該范圍內(nèi)分布是均勻分布，其最大熵為概率分布密度倒數(shù)的對數(shù)。這與輸出符號數(shù)受限的離散信源在各符號以等概率出現(xiàn)時輸出熵最大的結(jié)論是類似的。輸出平均功率受限的信源假定信源的平均功率為，此時求解熵(2.9.14)為極值時的。這時限制條件為（2.9.15）這時，將上式代入式（2.9.6）得解得對數(shù)取以e為底，得（2.9.16）將上式代入式（2.9.15）第一式，得則得（2.9.17）將式（2.9.16），（2.9.17）代入式（2.9.15）第二式，得則得（2.9.18）所以（2.9.19）將式（2.9.19）和（2.9.18）代入式（2.9.16）得（2.9.20）此式表明，信號平均功率一定時，信號的最佳概率分布式數(shù)學(xué)期望為零，方差等于均功率的高斯分布。這時，最大熵為（奈特）（2.9.21）若高斯分布的信號平均功率為N，,因此式（2.9.21）可寫成(奈特)（2.9.22）式（2.9.21）和（2.9.22）說明了具有高斯分布的連續(xù)信源的熵最大，其大小平均功率N的增加而增加。也就是說，高斯信源輸出的每個樣值（也叫自由度）提供的平均信息量最大，而且隨平均功率而增加。倘若一個信源的輸出信號平均功率為N，但其幅度分布不是高斯分布，那么其熵將比式（2.9.21）計算的小。對于這種信源為了分析方便，又定義了一個“熵功率”，用來表示該信源的剩余。所謂熵功率就是指與這個平均功率的非高斯信源有同樣熵的高斯信源的平均功率。因此，若H為這個信源的熵，則根據(jù)熵功率的定義，得則熵功率為(2.9.23)即熵功率永遠小于信源的真正功率，這說明非高斯信源是有剩余信源，即有功率剩余。2．=1\*GB3①絕對熵將稱作絕對熵，在比較兩個事件信息量時常被略去。=2\*GB3②相對熵——微分熵——熵稱作為是連續(xù)變量集X的微分熵或是熵，在研究互信息量中只有該熵有作用，我們就把它的極限叫做連續(xù)隨機變量的相對熵。即(2.9.24)例：設(shè)X是區(qū)間上均勻分布的連續(xù)隨機變量，求X的熵。解：X的概率密度為注：連續(xù)隨機變量的相對熵不具有非負性當(dāng)3．聯(lián)合熵和條件熵假若有兩個連續(xù)信源X和Y，且：——分別為信源X和Y的概率分布密度：——分別為條件概率分布函數(shù)；——聯(lián)合概率分布密度，即二維分布。則二元聯(lián)合信源的聯(lián)合熵為:(2.9.25)其條件熵為（2.9.26）或（2.9.27）由于連續(xù)信源的熵是相對熵，它與離散信源的熵不同，不具有非負性和極值性。但也存在連續(xù)信源的聯(lián)合熵、條件熵和熵之間的關(guān)系：1)2)當(dāng)信源X和Y相互獨立時，1和2中的等號成立。3）對于多元聯(lián)合信源，若其聯(lián)合概率密度為，則其聯(lián)合熵為并且存在當(dāng)信源彼此獨立時，等號成立。4．連續(xù)隨機變量的互信息=1\*GB3①設(shè)X,Y都是隨機變量，概率密度分別為，聯(lián)合概率密度為概率密度之間的關(guān)系為：概率：對于任意的小區(qū)間隨機變量取值在附近的概率為：隨機變量取值在附近的概率為：同時取值在附近的概率為：互信息量的定義：連續(xù)聯(lián)合集{}中，事件之間的互信息量為：條件互信息：連續(xù)聯(lián)合集的條件互信息：聯(lián)合互信息量：=2\*GB3②平均互信息：連續(xù)隨機變量集之間的平均互信息定義為：平均條件互信息為：集XY和Z之間的平均互信息為：=3\*GB3③連續(xù)隨機變量平均互信息量的性質(zhì)：=1\*ROMANI非負性(當(dāng)X和Y獨立時等號成立)=2\*ROMANII對稱性=3\*ROMANIII極值性=4\*ROMANIV可加性連續(xù)集的平均互信息和相對熵的關(guān)系：2.9.3隨機過程的相對熵及互信息設(shè)是在時間段上的兩個隨機變量，他們滿足平方可積條件，即能量有限。將展開，展開形式為：其中=1，2…=1，2…這樣，隨機過程就在均方收斂意義下，由他們的分量來表示。其中每個分量都是一個隨機變量。則，時間上連續(xù)的隨機變量就化為樣點可數(shù)，取值連續(xù)的隨機變量的集合。隨機變量和的相對熵及互信息。相對熵：互信息：隨機過程在給定時間段上的相對熵及互信息相對熵：可由時的隨機變量給出：互信息：在實際中，對于一個數(shù)量為,時間段長為T的隨機過程?？山朴脤㈦S機變量來表示。這樣，一個數(shù)量和時間都為有限的時間函數(shù)就化為有限個時間離散的隨機變量。例：設(shè)是兩個獨立的隨機過程。是兩個隨機過程之和。求和的互信息。解：因獨立。則對任意N，其正交展開式的矢量X和Z的分量分別是獨立。故都可用同一正交數(shù)集展開。則隨機變量之間的互信息為：習(xí)題2.1同時擲兩個正常的骰子，也就是各面呈現(xiàn)的概率是一樣的，都是1/6,求：（1）“2和4同時出現(xiàn)”事件的自信息量；（2）“兩個3同時出現(xiàn)”事件的自信息量；（3）兩個點數(shù)的各種組合（無序?qū)Γ┑撵鼗蚱骄畔⒘?；?）兩個點數(shù)之和（即2,3，…，12構(gòu)成的子集）的熵；（5）兩個點中至少有一個是3的自信息量。2.2某大學(xué)設(shè)置有6個系，每個系的學(xué)生人數(shù)分別為系別：123456人數(shù)：360360480600480360問“某學(xué)生A是是三系學(xué)生”這一消息提供的信息量是多少？2.3一副充分洗亂了的牌（含52張牌），試問（1）任一特定排列所給出的信息量是多少？（2）若從中抽取13張牌，所給出的點數(shù)都不相同時得到多少信息量？2.4設(shè)有一離散無記憶信源，其概率空間為求每個符號的自信息量；信源發(fā)出一消息符號序列為{202120130213001203210110321010021032011223210}，求該消息序列的自信息量及平均每個符號攜帶的信息量。2.5兩個實驗X和Y，X={}，Y={}，聯(lián)合概率為如果有人告訴你X和Y的實驗結(jié)果，你得到的平均信息量是多少？如果有人告訴你Y的實驗結(jié)果，你得到的平均信息量是多少？在已知Y實驗結(jié)果的情況下，告訴你X的實驗結(jié)果，你得到的平均信息量是多少？2.6如果有6行8列的棋型方格，若有二個質(zhì)點A和B，分別以等概率落入任一方格內(nèi)，且它們的坐標分別是,，但A、B不能落入同一個方格內(nèi)。（1）若僅有質(zhì)點A，求A落入人一個格的平均自信息量是多少？（2）若已知A已落入，求B落入的平均自信息量是多少？（3）若A、B是可分辨的，求A、B同都落入的平均自信息量是多少？2.7設(shè)離散無記憶信源其符號集，知其相應(yīng)的概率分布為。設(shè)另一離散無記憶信源,其符號集為信源符號集的兩倍，并且各符號的概率分布滿足試寫出信源的信息熵與信源的信息熵的關(guān)系。2.8設(shè)信源求這信源的熵，并解釋為什么，不滿足信源熵的極值性。2.9變量的聯(lián)合概率密度分布如下：求熵，，，和。2.10在一個二進制信道中，信源消息集，且，信宿的消息集，信道傳輸概率，。求：（1）在接受端收到后，所提供的關(guān)于傳輸消息的平均條件互信息量；（2）該情況下所能提供的平均互信息量。2.11已知信源發(fā)出兩種消息，且。此消息在二進制對稱信道上傳輸，新到的傳輸特性為，。求互信息量和。2.12隨機變量的概率在取值范圍為內(nèi)服從均勻分布，計算該信源的相對熵。2.13一個發(fā)射機發(fā)出、、三個消息，他們的先驗概率和條件概率分別為00試求：（1）該信源的熵？（2）若信源各消息之間是獨立無關(guān)時，信源熵為多少？

第三章離散信源無失真編碼通信的實質(zhì)是信息的傳輸。而高速度、高質(zhì)量地傳送信息卻又是信息傳輸?shù)幕締栴}。將信源信息通過信道傳送給信宿，怎樣才能即做到盡可能不失真而又快速呢？這就需要解決。第一，在不失真或允許一定失真條件下，如何用盡可能少的符號來傳送信源信息，以便提高信息傳輸率。第二，在信道受到干擾的情況下，如何增加信號的抗干擾能力，同時又使得信息傳輸率最大。若接收端信宿要求無失真地精確復(fù)制信源輸出的消息，這種表示是一一對應(yīng)的，即保證信源產(chǎn)生的全部信息無失真地傳送給信宿，這時的信源編碼是無失真編碼。只有對離散信源可以實現(xiàn)無失真地信源編碼，對連續(xù)信源其信源輸出的信息量為無限大，因此是不可能實現(xiàn)無失真信源的編碼的。為了解決這兩個問題我們引入了信源編碼和信道編碼。在前面已建立的信源統(tǒng)計特性和信息熵的概念