信息論與編碼第一章 緒論

1、第一章 緒論信息論：采用數(shù)理統(tǒng)計(jì)方法研究信息處理和傳輸?shù)目茖W(xué)信息論與編碼1.1 信息的一般含義通信的消息消息：利用文字、語聲、圖像等載體將客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)予以表達(dá)。 消息傳輸系統(tǒng)： 信源-信道-信宿B.運(yùn)算的內(nèi)容C.人類感知的來源本體論層次信息定義： 關(guān)于事物運(yùn)動(dòng)的狀態(tài)和規(guī)律(知識(shí))三個(gè)層次: 信號(hào),物理表達(dá)層; 消息,數(shù)學(xué)表達(dá)層; 信息,哲學(xué)表達(dá)層.1.2 信息論研究的對(duì)象、目的和內(nèi)容 通信的目標(biāo)：多、快、好省地傳遞信息一、信息論的基本思路 1、決定論觀點(diǎn)：拉普控斯的決定論 ，只承認(rèn)必然性，排斥、否認(rèn)偶然性。 非決定論觀點(diǎn) ： 必然性寓于偶然性之中（統(tǒng)計(jì)規(guī)律） 2、形式化假說

2、 在輸出端將發(fā)送端發(fā)送的信號(hào)（符號(hào)）形式上復(fù)制出來也就同時(shí)復(fù)現(xiàn)了輸入端的語義內(nèi)容 抓住主要矛盾，跨出用數(shù)學(xué)方法描述和度量信息的關(guān)鍵一步 3、不確定性 通信的本質(zhì)：“不知”到“知” ，消除 “不確定性” 不確定性與“多種結(jié)果的可能性”相關(guān)聯(lián)，在數(shù)學(xué)上“可能性”以概率來度量 。上述三個(gè)觀點(diǎn)，是信息論的三大理論支柱 澄清了通信的基本問題，概率論為工具，刻劃產(chǎn)生了信息的數(shù)學(xué)模型，導(dǎo)出了度量信息的數(shù)學(xué)公式；同時(shí)，描述了信道傳輸信息的過程，給出了表征信道傳輸能力的容量公式；此外，還建立了一組信息傳輸?shù)木幋a定理，論證了信息傳輸?shù)囊恍┗窘缦?，使通信技術(shù)走向科學(xué)，開辟了通信科學(xué)的新紀(jì)元 。 因?yàn)槌鲇谶@三個(gè)基本觀點(diǎn)，致使信息理論只適用于一定的范圍，給這個(gè)理論帶來了一定的局限性。信息理論中的信息，應(yīng)該被理解為消息的統(tǒng)計(jì)特性的參量，它包含在消息之中，又不是消息本身，這種含義比一般意義下的信息含意（即廣義信息）要狹窄 。二、研究的對(duì)象、目的和內(nèi)容對(duì)象：消息（廣義）傳輸系統(tǒng) 模型的概括性很強(qiáng) 目的： 找到信息傳輸過程的共同規(guī)律，指導(dǎo)具體通信系統(tǒng)的設(shè)計(jì)，使其具有更高的可靠性和有效性。信源信源編碼器信道信道譯碼器信宿噪聲源信道編碼器密碼編碼器解密譯碼器信源譯碼器密鑰密鑰內(nèi)容 信息論基礎(chǔ)：信息的測(cè)度、信道容量，信源和信道編碼理論等香農(nóng)基本理論。 一般信息論： 香濃+維納 信息論 廣義信息論 包含、而