《信息論基礎(chǔ)》課程教學(xué)大綱

《信息論基礎(chǔ)》教學(xué)大綱一、課程基本信息課程名稱信息論基礎(chǔ)FoundationofInformationTheory課程編碼SCC262411030開課院部理學(xué)院課程團(tuán)隊(duì)信息論基礎(chǔ)學(xué)分3.0課內(nèi)學(xué)時(shí)48講授48實(shí)驗(yàn)0上機(jī)0實(shí)踐0課外學(xué)時(shí)48適用專業(yè)信息與計(jì)算科學(xué)授課語言中文先修課程數(shù)學(xué)分析（3-1）、高等代數(shù)（2-1）、數(shù)學(xué)分析（3-2）、高等代數(shù)（2-2）、數(shù)學(xué)分析（3-3）、概率論課程簡介（必修）信息論基礎(chǔ)是各高等院校內(nèi)信息科學(xué)相關(guān)專業(yè)的重要基礎(chǔ)課。信息論，又稱為通信的數(shù)學(xué)理論，以信息論的奠基人、當(dāng)代偉大的數(shù)學(xué)家和美國杰出的科學(xué)家香農(nóng)的著名論文《通信的數(shù)學(xué)理論》為理論基礎(chǔ)，以數(shù)理統(tǒng)計(jì)為主要工具來研究信息的度量、傳輸和處理。在很多情況下，由于信息量巨大，信源消息是不可能完全發(fā)送出去的，因而需要對消息進(jìn)行有效的壓縮處理；另一方面，在很多信道中往往存在干擾，因而導(dǎo)致消息在傳輸過程中會出現(xiàn)差錯，因而需要對消息進(jìn)行檢錯和糾錯處理，以使得在接收方能夠收到可靠消息。這就構(gòu)成信息論的中心問題：即為設(shè)計(jì)有效而可靠的通信系統(tǒng)提供理論依據(jù)。本課程的目的是使學(xué)生深刻理解與信息度量相關(guān)的基本概念，牢固掌握描述通信系統(tǒng)極限性能的三個基本定理，了解這三個基本定理在傳輸、處理一些實(shí)際系統(tǒng)的基本應(yīng)用。為學(xué)生進(jìn)一步學(xué)習(xí)后續(xù)專業(yè)課程打下堅(jiān)實(shí)的基礎(chǔ)。通過本課程的學(xué)習(xí)，使學(xué)生掌握一套系統(tǒng)地分析通信系統(tǒng)基本問題的理論，提高學(xué)生解決實(shí)際問題的能力。Elementsofinformationtheoryisanimportantbasiccourseforspecialtiesofinformationscienceinallkindsofuniversitiesorcolleges.Theoreticallybasedon“Amathematicaltheoryofcommunication”,onefamousarticlebyShannon,whoisacontemporarygreatmathematiciansandanAmericanfamousscientistandcalledthefounderofinformationtheory,informationtheoryconcernsaboutthemeasures,transmissionsandprocessingofinformationbymeansofprobabilitiesandstatistics.Inmanycases,duetothehugeamountofinformationandtheconstraintsofphysicalcondition,itisimpossibletotransmitthecompletesourcemessage.Thusitisnecessarytoefficientlycompresstheoriginalsourcemessage.Ontheotherhand,thereoftenexistssignalinterferenceinchannels,whichwillresultinsomeerrorsinthemessagetransmittedbythesechannels.Therefore,itisnecessarytocheckandcorrecterrorsbypreprocessinginformation.Theabovetwoproblemsconsistofthemaincontentsofinformationtheory,i.e.,providingatheoreticalbasisforthedesignofaneffectiveandreliablecommunicationsystem.Thegoalofthiscourseistomakestudentsdeeplyunderstandthebasicconceptsrelevanttoinformationmeasures,firmlygraspthethreefundamentalTheoremswhichdescribetheultimateperformanceofcommunicationsystems,andlearntheirbasicapplicationsofthethreeTheoremsintransmittingandprocessingsomerealsystems.Andlearningthiscoursecanalsoprovideasolidfoundationforthestudentstostudysubsequently.Additionally,throughlearningthiscourse,thestudentswillgraspaseriesoftheoriesofsystematicallyanalyzingthebasicproblemsofcommunicationsystemsandtheirabilitiesofsolvingrealproblemswillalsobeimproved.負(fù)責(zé)人大綱執(zhí)筆人審核人二、課程目標(biāo)序號代號課程目標(biāo)OBE畢業(yè)要求指標(biāo)點(diǎn)任務(wù)自選1M1目標(biāo)1：培養(yǎng)學(xué)生的信息思維，并掌握對信息的基本研究方法是3.23.22M2目標(biāo)2：通過本課程的學(xué)習(xí)，使學(xué)生掌握信息數(shù)據(jù)處理的基本方法，具備較強(qiáng)的數(shù)據(jù)處理能力是3.23.2三、課程內(nèi)容序號章節(jié)號標(biāo)題課程內(nèi)容/重難點(diǎn)支撐課程目標(biāo)課內(nèi)學(xué)時(shí)教學(xué)方式課外學(xué)時(shí)課外環(huán)節(jié)1111.1信息的概念和發(fā)展歷史信息論的誕生，信息論的作用，信息的定義。M11講授1自學(xué)21.21.2信息論的研究對象及主要內(nèi)容通信系統(tǒng)模型，香農(nóng)信息論的中心問題、局限性，信息定義的廣義性。M11講授1自學(xué)32.12.1離散變量的非平均互信息非平均互信息，自信息，條件互信息和聯(lián)合互信息。M1,M24講授6作業(yè)，自學(xué)42.22.2熵的概念和性質(zhì)熵，條件熵，熵的性質(zhì)；離散集平均互信息，信息處理定理。M1,M24講授4作業(yè)，自學(xué)52.32.3連續(xù)型隨機(jī)變量的熵連續(xù)隨機(jī)變量的互信息、熵和聯(lián)合熵。M1,M21講授1作業(yè)，自學(xué)63.13.1信源及其分類記憶信源，無記憶信源；簡單信源，馬爾科夫信源。M1,M21講授1作業(yè)，自學(xué)73.23.2離散無記憶信源的等長編碼典型序列集，信源劃分定理，可達(dá)速率，編碼效率。M1,M21講授2作業(yè)，自學(xué)83.33.3信源的不等長編碼定理。Kraft不等式，不等長編碼定理。M1,M24講授3作業(yè)，自學(xué)93.43.4最佳不等長編碼Huffman編碼，Shannon-Fano編碼，算術(shù)編碼，LZ編碼。M1,M23講授4作業(yè)，自學(xué)104.14.1信道分類離散信道，連續(xù)信道，恒參信道，隨參信道，無記憶和有記憶信道M1,M22講授3作業(yè)，自學(xué)114.24.2離散無記憶信道及信道容量DMC的信道容量定理，最佳分布；對稱DMC容量的計(jì)算，一般DMC容量的計(jì)算M1,M24講授6作業(yè)，自學(xué)124.34.3信道的組合積信道，和信道。M1,M22講授2作業(yè)，自學(xué)135.15.1信道編碼的相關(guān)問題信道編碼的分類，編碼和譯碼準(zhǔn)則，離散信道的譯碼M1,M21講授1作業(yè)，自學(xué)145.25.2信道編碼定理信道編碼定理的內(nèi)容M1,M21講授2作業(yè)，自學(xué)156.16.1線性分組碼線性分組碼的定義，生成矩陣，校驗(yàn)矩陣，碼的擴(kuò)展和縮短。M1,M22講授3作業(yè)，自學(xué)166.26.2漢明碼漢明碼定義，編碼和譯碼方法。M1,M22講授2作業(yè)，自學(xué)176.36.3Hadamard碼Hadamard碼定義，編碼和譯碼方法。M1,M22講授3作業(yè)，自學(xué)186.46.4循環(huán)碼循環(huán)碼的定義、編碼方法和糾錯性能。M1,M22講授3作業(yè)，自學(xué)196.56.5BCH碼和Reed-Solomon碼BCH碼和Reed-Solomon碼的編碼和譯碼方法M1,M22講授3作業(yè)，自學(xué)207.17.1網(wǎng)絡(luò)信息論與網(wǎng)絡(luò)編碼概述網(wǎng)絡(luò)信息論主要研究內(nèi)容及發(fā)展歷程，網(wǎng)絡(luò)編碼簡介及優(yōu)缺點(diǎn)M1,M22講授2作業(yè)，自學(xué)217.27.2線性網(wǎng)絡(luò)編碼局部編碼核、全局編碼核，四類線性網(wǎng)絡(luò)編碼，線性多播的譯碼矩陣M1,M22講授2作業(yè)，自學(xué)227.37.3量子糾錯碼量子位、量子態(tài)和量子碼，量子錯誤群，量子糾錯M1,M22講授2作業(yè)，自學(xué)237.47.4量子碼的構(gòu)造量子碼的界，由經(jīng)典碼構(gòu)造量子碼，量子MDS碼M1,M22講授2作業(yè)，自學(xué)四、考核方式序號考核環(huán)節(jié)操作細(xì)節(jié)總評占比1考勤與課堂表現(xiàn)1.通過刷卡點(diǎn)名、隨機(jī)點(diǎn)名等方式進(jìn)行考勤；2.通過隨機(jī)檢查學(xué)生上課的精神狀態(tài)及回答問題的積極性和準(zhǔn)確性等考察課堂表現(xiàn)；3.采用等級制，分為A,B,C,D四個等級。10%2平時(shí)作業(yè)1.每周布置3-4道題目，平均每次課1道題以上。2.成績采用等級制，分為A,B,C,D四個等級，根據(jù)作業(yè)完成準(zhǔn)確性、是否按時(shí)上交、是否獨(dú)立完成評分。3.考核學(xué)生對信息論基礎(chǔ)的基本知識的掌握能力，學(xué)生綜合運(yùn)用所學(xué)知識分析問題、解決問題的能力，作業(yè)題型主要有證明、分析和計(jì)算題。20%3大作業(yè)1.本課程要求學(xué)生以課程學(xué)習(xí)總結(jié)的方式，對信息論基礎(chǔ)課程總體理解進(jìn)行學(xué)習(xí)心得體會總結(jié)，進(jìn)行一定的應(yīng)用拓展思考，并給出利用信息論解決實(shí)際問題的具體案例。2.成績采用等級制，分為A,B,C,D四個等級，根據(jù)學(xué)生對課程的學(xué)習(xí)態(tài)度，總體理解深度，對知識的具體應(yīng)用環(huán)境的理解深度給出評分標(biāo)準(zhǔn)。3.考核學(xué)生對信息論基礎(chǔ)這門課程的整體理解程度，學(xué)生對信息論具體應(yīng)用的理解和實(shí)踐能力。25%4期末考試1.閉卷考試，成績采用百分制，卷面成績總分100分。2.主要考查學(xué)生對信息論基礎(chǔ)的基本知識的掌握程度，學(xué)生綜合運(yùn)用所學(xué)知識分析問題、解決問題的能力，題型主要有選擇題、填空題、證明題、計(jì)算提，應(yīng)用題等。45%五、評分細(xì)則序號課程目標(biāo)考核環(huán)節(jié)大致占比評分等級1M1考勤與課堂表現(xiàn)20%A-無遲到早退現(xiàn)象，上課精神飽滿，回答問題積極。B-偶有遲到早退現(xiàn)象，上課精神狀態(tài)尚可。C-經(jīng)常遲到或早退，上課不積極。D-經(jīng)常遲到或早退，上課不積極，并且曠課6次以上2M1平時(shí)作業(yè)40%A-作業(yè)完成準(zhǔn)確，按時(shí)上交，獨(dú)立完成B-作業(yè)基本正確，按時(shí)上交，獨(dú)立完成C-作業(yè)完成錯誤，不按時(shí)上交，或者有抄襲現(xiàn)象D-作業(yè)完成錯誤很多，不按時(shí)上交，并不交作業(yè)3次以上。3M1大作業(yè)40%A-無拷貝現(xiàn)象，對課程總體能形成自己的在邏輯上的理解，且理解有一定見解和深度，并對課程的應(yīng)用背景有一定了解和認(rèn)識。B-無拷貝現(xiàn)象，對課程總體能形成自己的在邏輯上的理解，但理解不深，對課程的應(yīng)用背景有一定了解。C-有少量拷貝現(xiàn)象，對課程總體不能形成自己的在邏輯上的理解。D-拷貝很多，對課程基本上一無所知。4M2平時(shí)作業(yè)25%A-作業(yè)完成準(zhǔn)確，按時(shí)上交，獨(dú)立完成B-作業(yè)基本正確，按時(shí)上交，獨(dú)立完成C-作業(yè)完成錯誤，不按時(shí)上交，或者有抄襲現(xiàn)象D-作業(yè)完成錯誤很多，不按時(shí)上交，并不交作業(yè)3次以上。5M2大作業(yè)25%A-無拷貝現(xiàn)象，對課程總體能形成自己的在邏輯上的理解，且理解有一定見解和深