管理信息學(xué)第4章.ppt

2019/7/16,4.4.7 抗干擾信道編碼定理,信道編碼 抗干擾信道編碼定理 抗干擾信道編碼定理之逆定理,2019/7/16,由于信道中存在噪聲，因而信道傳輸信息的質(zhì)量必然會下降。噪聲越嚴(yán)重，傳輸信息能力就會越差，當(dāng)噪聲嚴(yán)重到一定程度，傳輸信息就成為不可能。 只要信息要在空間上從一點傳向另一點，就必須經(jīng)過信道，理想的信道，也就是無噪聲的信道是不存在的。通常，在有噪聲存在的信道上傳輸信息，難免會發(fā)生差錯。 但是在同樣的噪聲條件下，如果進(jìn)行有效的信道編碼，就可以改善信息傳輸?shù)目煽啃?，減少接收到的信息的差錯。,4.4.7 抗干擾信道編碼定理：信道編碼,2019/7/16,直觀地看，在有噪聲信道上，信息傳輸?shù)目煽啃耘c信息傳輸率之間是矛盾的，要提高可靠性就必須犧牲傳輸率。但只要選擇合適的編碼和譯碼方法，既可以使信道的信息傳輸率保持在一定水平上，又可以使最小平均錯誤譯碼概率達(dá)到盡可能小的程度。 那么，信道信息傳輸率最高能達(dá)到什么樣的水平？最小平均錯誤譯碼概率又能小到什么程度？香農(nóng)第二編碼定理就是針對這些問題的。,4.4.7 抗干擾信道編碼定理：信道編碼,2019/7/16,定理4.17 設(shè)有一離散無記憶平穩(wěn)信道，該信道有 r個輸入符號，s 個輸出符號，其信道容量為 C，只要信息傳輸率 RC，則存在一種編碼，當(dāng)輸入序列長度N足夠大時，譯碼錯誤概率任意小。 定理4.17被稱為抗干擾信道編碼定理,也稱為香農(nóng)第二編碼定理。,4.4.7 抗干擾信道編碼定理：抗干擾信道編碼定理,2019/7/16,定理4.18 設(shè)有一離散無記憶平穩(wěn)信道，其信道容量為C，若信息傳輸率 R C ，則無論 N 取多大，也找不到一種編碼，使平均譯碼錯誤概率任意小。,4.4.7 抗干擾信道編碼定理：抗干擾信道編碼逆定理,2019/7/16,總結(jié) 從香農(nóng)定理可以看出，要做到有效和可靠地傳輸信息，我們可以將通信系統(tǒng)設(shè)計成二部分的組合，即信源編碼和倍道編碼二部分。 首先，通過信源編碼，用盡可能少的符號來表達(dá)信源，也就是對信源數(shù)據(jù)用最有效的表達(dá)方式表達(dá)，盡可能減少編媽后的數(shù)據(jù)的剩余度。 然后，針對信道，對經(jīng)過信源編碼后的數(shù)據(jù)設(shè)計信道編碼，也就是適當(dāng)增加一些剩余度，使其能糾正和克服信道中引起的錯誤和干擾。,4.4.7 抗干擾信道編碼定理,2019/7/16,4.5 限失真信源編碼定理,信息傳輸率R：信道中平均每個符號所能傳送的信息量；若傳送單個符號需要的時間為t，則信道單位時間平均傳輸?shù)男畔⒘繛镽/t，稱為信息傳輸速率。 信道容量C：對于一個固定的信道，總存在一個最大的信息傳輸率R，稱此最大的信息傳輸率為信道容量。 無噪無損的二元信道： C = 1 bit,2019/7/16,信息失真,當(dāng) R C 時就不能實現(xiàn)無失真?zhèn)鬏?。這時就必須減小信源的信息熵 H (X) 使 R C 條件滿足，因而產(chǎn)生信息失真。,4.5 限失真信源編碼定理,2019/7/16,允許產(chǎn)生失真的原因,由于連續(xù)信源的信息熵為無限大，若要求無失真地傳送連續(xù)信息，則C必須無限大；但固定信道的信道容量是有限的，因而不可能實現(xiàn)無失真?zhèn)鬏斶B續(xù)信息； 為了提高存儲或傳輸效率，就必須對有待傳送的信息進(jìn)行壓縮，也會出現(xiàn)失真； 在實際生活中，人們并不要求完全無失真地恢復(fù)信息，且不同的使用環(huán)境，允許有不同的失真。 在允許一定程度失真的條件下，如何能夠快速地傳輸信源信息？(信息)率失真理論,4.5 限失真信源編碼定理,例如在傳送語音信號時，由于人耳接受的帶寬和分辨率是有限的。我們就可以把頻譜范圍從20kHz一8kHz的語音信號去掉低端和高端的頻率，看成帶寬只有從300Hz3400Hz的信號。這樣，即便使傳輸?shù)恼Z音信號有一些失真，但已滿足語音信號傳輸?shù)囊?，所以這種失真是允許的。 又如傳送圖像時，也并不需要全部精確地把圖像傳送到觀察者。如電視信號每一像素的黑白灰度級只需分成256級，屏幕上的畫面就已足夠清晰悅目。,2019/7/16,信息壓縮與保真度,如果預(yù)先定義的平均失真度為D*，則稱信息壓縮后的失真度D不大于D*的準(zhǔn)則為保真度準(zhǔn)則。 信息壓縮問題就是對于給定的信源，在滿足保真度準(zhǔn)則的前提下，尋找信息率的下限。（尋找再現(xiàn)信源消息所必須獲得的最低平均信息量） 信息率失真函數(shù)：在滿足保真度準(zhǔn)則的信道中，尋找一個信道，使給定的信源經(jīng)過此信道傳輸時，其信息傳輸率達(dá)到最小，稱此信息傳輸率R為(信息)率失真函數(shù)，記為R(D)。,4.5 限失真信源編碼定理,2019/7/16,限失真信源編碼定理(香農(nóng)第三定理),定理4.19 設(shè)R(D)為一離散無記憶信源的信源率失真函數(shù)，并且有有限的失真測度。只要滿足信息傳輸率 R R(D)，則對于任意小的 0，允許失真值D 0，以及任意足夠長的碼長 N，則一定存在一種信源編碼C，使得譯碼的平均失真度 d(C) D+ 。 反之，若R R(D)，則無論采用什么樣的編碼方法，都不能使譯碼的失真度 D + 。,4.5 限失真信源編碼定理,2019/7/16,討論,在允許失真 D 確定后，總存在一種編碼方法，使編碼后的信息傳輸率大于 R(D) 且可任意接近 R(D)，即在保真度準(zhǔn)則下，不存在任何編碼，使得其編碼后的信息傳輸率小于 R(D)，R(D) 是保真度準(zhǔn)則下的極限。 若存在某種編碼，其編碼后的信息傳輸率小于 R(D) ，則該編碼不可能滿足保真度準(zhǔn)則，即其失真將大于允許失真。 如果信道容量 C R(D)，則總能以保真度D+再現(xiàn)信源的信息，反之，若 C R(D)，則不可能以保真度D的要求再現(xiàn)信源的信息。,4.5 限失真信源編碼定理,2019/7/16,實際應(yīng)用,在給定信源 S 和允許失真度 D 之后，可以求得率失真函數(shù) R(D)。若將該信源在某容量為 C(R(D) 的信道中傳輸，則我們可對給定信源 S 先進(jìn)行信源壓縮編碼，使編碼后的信息傳輸率 R 滿足： C R R(D) 然后將壓縮后的信源輸入信道傳輸。,4.5 限失真信源編碼定理,2019/7/16,練習(xí)題,1.關(guān)于載體，下列描述最準(zhǔn)確的是（ ）,A 載體既要能夠在空間中轉(zhuǎn)移，又要能夠在時間上實現(xiàn)轉(zhuǎn)移。 B 載體既要能夠在空間中轉(zhuǎn)移，又要有能力表示所傳輸?shù)男畔ⅰ?C 載體既要能夠在時間上實現(xiàn)轉(zhuǎn)移，又要有能力表示所傳輸?shù)男畔ⅰ?D 載體既要能夠在空間和時間上實現(xiàn)轉(zhuǎn)移，又要有能力表示所傳輸?shù)男畔ⅰ?B,4.5 限失真信源編碼定理,2019/7/16,A 最有效編碼的平均碼長不超過香農(nóng)信息熵。 B 并不總是存在有效編碼方法。 C 最有效編碼的平均碼長不小于香農(nóng)信息熵。 D 總是存在有效編碼方法，但會引起失真。,2. 根據(jù)香農(nóng)第一編碼定理，對于離散無記憶無噪聲平穩(wěn)信源（ ）,C,4.5 限失真信源編碼定理,201