第4章矢量量化課件

第四章語音信號的矢量量化§4.1概述§4.2矢量量化的基本原理§4.3失真測度§4.4最佳矢量量化器和碼本的設(shè)計§4.5降低復(fù)雜度的矢量量化系統(tǒng)§4.6語音參數(shù)的矢量量化§4.7人工神經(jīng)網(wǎng)絡(luò)與VQ§4.8遺傳矢量量化9/8/20231第四章語音信號的矢量量化§4.1概述8/3/2§4.1概述量化分為兩大類：一類是標量量化，另一類是矢量量化。標量量化:用若干個離散的數(shù)字值來表示每一個幅度具有連續(xù)取值(模擬值)的離散時域信號(采樣信號)。9/8/20232§4.1概述量化分為兩大類：一類是標量量化，另一類是矢量矢量量化的定義：矢量量化(VectorQuantization)是將若干個取樣信號分成一組，即構(gòu)成一個矢量，然后對此矢量一次進行量化。將某一范圍內(nèi)的矢量歸為某一類，即所謂的矢量量化9/8/20233矢量量化的定義：矢量量化(VectorQuantizati

矢量量化研究的基礎(chǔ)是信息論的一個分支：“率——畸變理論”，其中有兩項理論研究成果對于矢量量化算法的發(fā)展起關(guān)鍵作用。第一，該理論指出，對于一定的量化速率R(以每個采樣信號平均所用的量化比持數(shù)衡量，用比特／采樣表示)，量化畸變D(以量化信號與原信號之間的誤差均方值和原信號均方值之比來衡量)是一定的。第二，無論對于何種信息源，即使是無記憶的信息源(即各個采樣信號之間相互統(tǒng)計獨立的情況)，矢量量化總是優(yōu)于標量量化，且矢量維數(shù)越大優(yōu)度越高。9/8/20234矢量量化研究的基礎(chǔ)是信息論的一個分支：“率——畸變理論”，矢量量化的應(yīng)用：進入80年代以后，矢量量化技術(shù)引入語音處理領(lǐng)域，使之又有長足的進步。目前這項技術(shù)已經(jīng)用于語音波形編碼，線性預(yù)測編碼、語音識別與合成、圖像壓縮等。矢量量化的研究目的：針對待定的信息源和矢量維數(shù)，找到一種最優(yōu)的矢量量化器，它能夠在R一定時給出最低的畸變。9/8/20235矢量量化的應(yīng)用：進入80年代以后，矢量量化技術(shù)引入語音處理領(lǐng)上圖的兩維矢量空間里，存在6類矢量，每一類都有一個中心，稱為室心，每一室心對應(yīng)一個碼字矢量。從量上來表征第i類矢量。集合稱為碼本。圖4.1什么是矢量量化(VQ)9/8/20236上圖的兩維矢量空間里，存在6類矢量，每一類都有一個中心，稱任意一個矢量V應(yīng)該歸為哪一類，要看它是“靠近”哪一類矢量，或者說它離哪一個室心最“近”。例如上圖中虛線畫出的矢量V最靠近V1，則將其規(guī)定為V1類，并用V1表示V，或者說V被量化為V1。這樣作可以把本來無限多的矢量只用有限個碼字矢量來表示(此處為6個)。假如碼本中的碼字矢量是有序的，則被量化的矢量可用碼字序號來表示。因此，可以大大壓縮信息量。9/8/20237任意一個矢量V應(yīng)該歸為哪一類，要看它是“靠近”哪一類矢量，或§4.2

矢量量化的基本原理

矢量量化的過程是：將語音信號波形的A個樣點的每一幀，或有k個參數(shù)的每一參數(shù)幀，構(gòu)成k維空間中的一個矢量，然后對這個矢量進行量化。標量量化和矢量量化的區(qū)別：在標量量化時，在一維的零至無窮大值之間設(shè)置若干個量化階梯，當(dāng)某輸入信號的幅度值落在某相鄰的兩個量化階梯之間時，就被量化為兩階梯的中心值。而在矢量量化時，則將A維無限空間劃分為M個區(qū)域邊界，然后將輸入矢量與這些邊界進行比較，并被量化為“距離”最小的區(qū)域邊界的中心矢量值。9/8/20238§4.2矢量量化的基本原理矢量量化的過程是：將語音信號下面以K=2為例進行說明。

9/8/20239下面以K=2為例進行說明。8/3/20239相關(guān)概念：若要對一個矢量X進行量化，首先要選擇一個合適的失真測度，而后用最小失真原理，分別計算用量化矢量Yi替代x所帶來的失真。其中最小失真值所對應(yīng)的那個量化矢量，就是矢量X的重構(gòu)矢量(或稱恢復(fù)矢量)。通常把所有M個量化矢量構(gòu)成的集合{Yi}稱為碼書或碼本(Codebook)。把碼書中的每個量化矢量Yi({i=1，2，…，M)稱為碼字或碼矢。不同的劃分或不同的量化矢量選取就可以構(gòu)成不同的矢量量化器。

9/8/202310相關(guān)概念：若要對一個矢量X進行量化，首先要選擇一個合適的失真矢量量化系統(tǒng)的組成：

矢量量化系統(tǒng)的組成框圖9/8/202311矢量量化系統(tǒng)的組成：矢量量化系統(tǒng)的組成框圖8/3/2023矢量量化的特點：矢量量化的兩個問題：

有高度保密的優(yōu)良性能；用于傳輸時，其傳輸速率可以進一步降低；穩(wěn)定性能好。

①如何劃分M個區(qū)域邊界。這個過程稱為“訓(xùn)練”或建立碼書，方法是：將大量的欲處理的信號的波形幀矢量或參數(shù)幀矢量進行統(tǒng)計劃分，進一步確定這些劃分邊界的中心矢量值來得到碼書。②如何確定兩矢量在進行比較時的測度。這個測度就是兩矢量之間的距離，或以其中某一矢量為基準時的失真度。它描述了當(dāng)輸入矢量用碼書所對應(yīng)的矢量來表征時所應(yīng)付出的代價。

9/8/202312矢量量化的特點：有高度保密的優(yōu)良性能；用于傳輸時，其傳輸速率選擇了失真測度以后，就可以進行矢量量化器的設(shè)計了。矢量量化器最佳設(shè)計的兩個條件是：對給定的碼本,(為碼本尺寸），在矢量空間中，找出所有碼本矢量的最佳區(qū)域邊界使平均失真最小。2)對給定的區(qū)域邊界，找出最佳碼本矢量使平均失真最小，也就是得到碼本。9/8/202313選擇了失真測度以后，就可以進行矢量量化器的設(shè)計了。矢量量化器矢量量化器的性能指標：碼書大小M、平均信噪比。矢量量化器的設(shè)計：平均信噪比：定義為方括號中的分子是一秒內(nèi)信號矢量的平均能量，而分母是一秒內(nèi)輸入信號矢量與碼書矢量之間的平均失真(即量化噪聲)。

從大量信號樣本中訓(xùn)練出好的碼書，從實際效果出發(fā)尋找到好的失真測度定義公式，設(shè)計出最佳的矢量量化系統(tǒng)，以便用最少的搜索和計算失真的運算量，來實現(xiàn)最大可能的平均信噪比。

9/8/202314矢量量化器的性能指標：碼書大小M、平均信噪比。平均信噪比：8§4.3失真測度

失真的定義：失真測度必須具備的特性：

將輸入信號矢量用碼書的重構(gòu)矢量來表征時的誤差或所付出的代價。①必須在主觀評價上有意義，即小的失真應(yīng)該對應(yīng)于好的主觀語音質(zhì)量。②必須是易于處理的，即在數(shù)學(xué)上易于實現(xiàn)，這樣可以用于實際的矢量量化器的設(shè)計。③平均失真存在并且可以計算。

9/8/202315§4.3失真測度失真的定義：將輸入信號矢量用碼書失真測度的方法：

均方誤差(即歐氏距離)、加權(quán)的均方誤差、Itakura—Saito（板倉-齋藤）距離，似然比失真測度等。

9/8/202316失真測度的方法：均方誤差(即歐氏距離)、加權(quán)的均方誤4.3.1歐氏距離——均方誤差

設(shè)輸入信號的某個k維矢量X，與碼書中某個k維矢量Y進行比較，xi、yi分別表示X和Y的元素(1≤i≤k)，則定義均方誤差為歐氏距離，即有

9/8/2023174.3.1歐氏距離——均方誤差設(shè)輸入信號的某幾種其他常用的歐氏距離：9/8/202318幾種其他常用的歐氏距離：8/3/2023184.3.2線性預(yù)測失真測度

直接用由線性預(yù)測系數(shù)所描述的信號模型的功率譜來進行比較，采用板倉—齋藤(Itakura—Saito)距離，簡稱I—S距離。

但是，這兩種失真測度也有其局限性，它們都僅僅比較了兩矢量的功率譜，而沒有考慮其能量信息。

9/8/2023194.3.2線性預(yù)測失真測度直接用由線性預(yù)測系4.3.3識別失真測度

9/8/2023204.3.3識別失真測度8/3/202320§4.4最佳矢量量化器和碼本的設(shè)計

4.4.1矢量量化器最佳設(shè)計的兩個條件

定義：所謂最佳設(shè)計，就是使失真最小。由于碼書就是在這個設(shè)計過程中產(chǎn)生的，所以這也就是碼書的設(shè)計過程。重要問題：劃分量化區(qū)間和確定量化矢量。

9/8/202321§4.4最佳矢量量化器和碼本的設(shè)計

4.4.1矢量量化器1．最佳劃分對給定的碼書yM={Y1,Y2,...,YM}（M為碼書的尺寸），找出所有碼書矢量的最佳區(qū)域邊界Si(i=1,2,...,M)，以使平均失真最小，即尋找最佳劃分。由于碼書已給定，因此可以用最近鄰近準則NNR(NearestNeighborRule)得到最佳劃分。

這個條件實際上是敘述了最佳矢量量化器的設(shè)計。由于給定碼書共有M個碼字，所以可以把矢量空間分成M個區(qū)間Si(i=1,2,...,M)。這些Si稱為胞腔。

9/8/2023221．最佳劃分對給定的碼書yM={Y1,Y2,下圖給出了K=2的最佳劃分示意圖。

9/8/202323下圖給出了K=2的最佳劃分示意圖。8/3/2023232．最佳碼書

對于給定的區(qū)域邊界Si，找出最佳碼書矢量，使碼書的平均失真最小，也就是得到碼書yM。這里，使平均失真最小，碼字Yi必須為給定的Si(i=1,2,...,M)的形心。形心就是該區(qū)域空間的幾何中心。這些形心就組成了最佳碼書中的碼字。這個條件實際上敘述了碼書的設(shè)計方法。

9/8/2023242．最佳碼書對于給定的區(qū)域邊界Si，找出最佳碼書矢4.4.2LBG算法

9/8/2023254.4.2LBG算法8/3/2023254.4.3初始碼書的生成

1．隨機選取法定義：從訓(xùn)練序列中隨機地選取M個矢量作為初始碼字，從而構(gòu)成初始碼書，就是隨機選取法。優(yōu)點：不用初始化計算，從而可大大減少計算時間缺點：可能會選到一些非典型的矢量作為碼字，即被選中的碼字在訓(xùn)練序列中的分布不均勻。這樣碼字就沒有代表性，導(dǎo)致碼書中有限個碼字得不到充分利用，使矢量量化器的性能變差。這種方法帶有一定的“盲目性”。

9/8/2023264.4.3初始碼書的生成1．隨機選取法8/3/20232．分裂法

方法原理：先認為碼書尺寸為M=1，即初始碼書中只包含一個碼字。計算所有訓(xùn)練序列的形心，將此形心作為第一個碼字（i=0）。然后，將它分裂為此時碼書中包含有兩個元素，一個是i=0，另一個是i=1；并按M=2用訓(xùn)練序列對它設(shè)計出M=2的碼書。接著，再分別將此碼書的兩個碼字一分為二，這時碼書中就有了4個碼字。這個過程重復(fù)下去，經(jīng)過log2M次設(shè)計，就得到所要求的有M個碼字的初始碼書。特點：初始碼書性能較好，以此碼書設(shè)計的矢量量化器性能也較好；但是隨著碼書中碼字的增加，計算量也迅速增加。

9/8/2023272．分裂法方法原理：8/3/2023273．乘積碼書法

這種碼書初始化的方法，是用若干個低維數(shù)的碼書作為乘積碼，求得所需的高維數(shù)的碼書。比如說，要設(shè)計一個高維數(shù)的碼書，可簡單地用2個低維數(shù)的碼書作乘積來獲得。即維數(shù)為k1，大小為M1的碼書乘以維數(shù)為k-k1，大小為M2的碼書，得到一個k維碼書，其大小為M=M1·M2。

9/8/2023283．乘積碼書法這種碼書初始化的方法，是用若干個低維§4.5降低復(fù)雜度的矢量量化系統(tǒng)

方法分類：

無記憶的矢量量化、有記憶的矢量量化器。4.5.1無記憶的矢量量化系統(tǒng)1．樹形搜索的矢量量化系統(tǒng)分類：二叉樹、多叉樹。9/8/202329§4.5降低復(fù)雜度的矢量量化系統(tǒng)方法分類：無記憶的矢量如圖：碼本尺寸M=8的二叉樹，它的碼本中共包含有14個碼字。輸入信號矢量為X，先與Y0與Yl比較，計算出失真d(X，Y0)和d(X，Y1)。如果后者較小，則走下面支路，同時送“1”輸出。類似地，如果最后到達Yl0l，則送出的輸出角標就是101。這個過程也就是矢量量化的過程。9/8/202330如圖：碼本尺寸M=8的二叉樹，它的碼本中共包含有14個碼字。優(yōu)點：可以減少運算量。缺點：存儲容量增大且性能會有所降低。

9/8/202331優(yōu)點：可以減少運算量。8/3/2023312．多級矢量量化系統(tǒng)

9/8/2023322．多級矢量量化系統(tǒng)8/3/2023329/8/2023338/3/2023334.5.2有記憶的矢量量化系統(tǒng)

概念：有記憶的矢量量化在量化每一個輸入矢量時，不僅與此矢量本身有關(guān)，而且也與其前面的矢量有關(guān)。也就在量化時，它通過“記憶”，利用了過去輸入矢量的信息，利用了矢量與矢量之間的相關(guān)性，從而提高了矢量量化的性能。優(yōu)點：在語音編碼中，引入記憶后，還可利用音長、短時的非平穩(wěn)統(tǒng)計特性，清音、濁音和無聲區(qū)域的特性，短時頻譜特性等信息。意味著在相同維數(shù)條件下大大提高了矢量量化系統(tǒng)的性能。

9/8/2023344.5.2有記憶的矢量量化系統(tǒng)概念：有記憶的矢量量化在預(yù)測矢量量化（PredictiveVQ），自適應(yīng)矢量量化（AdaptiveVQ）,APVQ是它們的結(jié)合。下圖是APVQ的系統(tǒng)框圖。

9/8/202335預(yù)測矢量量化（PredictiveVQ），自適應(yīng)矢量量化（§4.6語音參數(shù)的矢量量化

語音參數(shù)矢量量化的定義：將語音信號經(jīng)過分析，得到各種參數(shù)，然后再將這些按幀或按段分析所得的參數(shù)組構(gòu)成矢量，進行矢量量化。

語音參數(shù)的矢量量化：是在生成碼本的基礎(chǔ)上，對作為矢量的語音參數(shù)序列進行編碼的過程。這個定義含有兩個過程：先要生成碼本，這是將語音參數(shù)序列作為矢量空間分類的形成碼本的過程；將語音參數(shù)序列作為矢量，參照碼本歸類的過程；9/8/202336§4.6語音參數(shù)的矢量量化語音參數(shù)矢量量化的定義：將語音舉例分析矢量量化前，每秒44.4幀，用54bit量化(其中，十個線性預(yù)測系數(shù)用41bit，基音周期用6bit，增益參數(shù)5bit，清／濁音判決用1bit，同步用1bit)。而在VQLPC聲碼器中，線性預(yù)測系數(shù)是{Ai}，基音周期是{Bi}，增益參數(shù){Gi}和濁／清音識別參數(shù){Vi}。

9/8/202337舉例分析矢量量化前，每秒44.4幀，用54bVQLPC聲碼器特點：對線性預(yù)測系數(shù)采用了矢量量化，而其余參數(shù)均采用差值標量量化。編碼速率明顯地比原來的LPC聲碼器低。語音編碼的目的：力求用盡可能低的編碼速率，以傳輸盡可能高的語音質(zhì)量(盡可能地減小重建信號與原始信號之間的失真)，而希望設(shè)備簡單，成本盡可能低。9/8/202338VQLPC聲碼器特點：對線性預(yù)測系數(shù)采用了矢量量化，而其余①采用與能量和增益無關(guān)的對數(shù)似然比失真測度作為VQ的距離測度。②碼書尺寸為1024，即用10bit來表示其角標。碼書的產(chǎn)生是用10個人(其中7人為男子，3人為女子)的大約30分鐘的隨機對話的聲音來進行訓(xùn)練產(chǎn)生的。并將訓(xùn)練序列分為濁音和清音兩類。因此，對應(yīng)的碼書也分為濁音碼書和清音碼書兩類，都用LBG算法訓(xùn)練。VQLPC聲碼器的設(shè)計方法9/8/202339①采用與能量和增益無關(guān)的對數(shù)似然比失真測度作為VQ的由于采用了矢量量化，所以VQLPC聲碼器編碼速率明顯降低了。在這種聲碼器中，僅對線性預(yù)測系數(shù)采用了矢量量化，對其他參數(shù)均采用差值標量量化。這種混合編碼方式是解決矢量量化系統(tǒng)復(fù)雜度過高的一個方法。意義：9/8/202340由于采用了矢量量化，所以VQLPC聲碼器編§4.7人工神經(jīng)網(wǎng)絡(luò)與VQ人工神經(jīng)網(wǎng)絡(luò)的一項非常重要的功能是通過學(xué)習(xí)實現(xiàn)對于輸入矢量的分類。即每輸入一個矢量，人工神經(jīng)網(wǎng)絡(luò)輸出一個該矢量所屬類別的標號，從這一點看它與VQ的功能是十分相近的。人工神經(jīng)網(wǎng)絡(luò)與普通VQ不同而獨具特色之處在于：（1）它是由大量神經(jīng)元構(gòu)成的并行分布處理系統(tǒng)來實現(xiàn)的，因此較之普通VQ的串行搜索而言，它可以用并行搜索方法由輸入矢量求得其輸出標號。因此，它的運行速度比前者高得多。（2）人工神經(jīng)網(wǎng)絡(luò)依托于這套并行分布處理機構(gòu)，可以建起高效的學(xué)習(xí)算法(與VQ碼本的建立算法相對應(yīng)，也可稱之為訓(xùn)練算法)。9/8/202341§4.7人工神經(jīng)網(wǎng)絡(luò)與VQ人工神經(jīng)網(wǎng)絡(luò)的一項非常重要的功能學(xué)習(xí)算法可以分成無監(jiān)督和有監(jiān)督兩大類。無監(jiān)督學(xué)習(xí)算法又稱為自組織學(xué)習(xí)算法，它對輸人矢量所做的類別劃分，無需依賴于外界事先已建立的對這些矢量類別的約定，從這點看自組織學(xué)習(xí)算法與普通VQ碼本建立算法十分相似。有監(jiān)督的學(xué)習(xí)算法則需在學(xué)習(xí)之前就建立訓(xùn)練矢量集合中各個矢量所屬類別的約定，通過學(xué)習(xí)使神經(jīng)網(wǎng)絡(luò)能夠完成這種約定；并且推而廣之及于所有末參加訓(xùn)練的輸人矢量。這樣有監(jiān)督學(xué)習(xí)算法可以直接或間接地用于完成各種模式識別任務(wù)。（3）對于普通VQ，各個輸出標號之間不存在空間關(guān)系上的關(guān)聯(lián)(拓樸關(guān)系)。而對于像Kohonen自組織特征映射人工神經(jīng)網(wǎng)絡(luò)等類型的網(wǎng)絡(luò)，各個輸出之間存在空間拓撲關(guān)聯(lián)。這對于進一步利用這些輸出是很有價值的。9/8/202342學(xué)習(xí)算法可以分成無監(jiān)督和有監(jiān)督兩大類。無監(jiān)督學(xué)習(xí)算法又稱為自有三種人工神經(jīng)網(wǎng)絡(luò)與這一章討論的VQ有密切關(guān)系，它們是：(1)前向多層人工神經(jīng)網(wǎng)絡(luò)(采用有監(jiān)督學(xué)習(xí)算法)；(2)ART(自適應(yīng)諧振理論)人工神經(jīng)網(wǎng)絡(luò)(采用自組織學(xué)習(xí)算法)；(3)T．Kohonen自組織待征映射人工神經(jīng)網(wǎng)絡(luò)(自組織和有監(jiān)督學(xué)習(xí)算法都被采用)。9/8/202343有三種人工神經(jīng)網(wǎng)絡(luò)與這一章討論的VQ有密切關(guān)系，它們是：(1§4.7.1Kohonen神經(jīng)網(wǎng)絡(luò)簡介在對人類的神經(jīng)系統(tǒng)及腦的研究中，人們發(fā)現(xiàn)：人腦的某些區(qū)域?qū)δ撤N信息或感覺敏感，如人腦的某一部分對視知覺的處理特別有效，而另一部分則對聽知覺的處理特別有效。這種情況使人們對大腦的作用的整體性與局部性特征有所認識。對大腦的研究表明，大腦是由大量協(xié)同作用的神經(jīng)元群體組成的。大腦的神經(jīng)網(wǎng)絡(luò)是一個十分復(fù)雜的反饋系統(tǒng)，在這個系統(tǒng)中含有各種反饋作用，有整體反饋，局部反饋；另外，還有化學(xué)交互作用。在大腦處理信息的過程中，聚類是其極其重要的功能。大腦通過聚類過程從而識別外界信號，并產(chǎn)生自組織過程。9/8/202344§4.7.1Kohonen神經(jīng)網(wǎng)絡(luò)簡介在對人類的神經(jīng)系統(tǒng)及具有二維網(wǎng)格的自組織特征映射網(wǎng)絡(luò)模型9/8/202345具有二維網(wǎng)格的自組織特征映射網(wǎng)絡(luò)模型8/3/202345自組織特征映射神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的步驟如下：采用隨機擾動法生成一組初始權(quán)值:式中N為輸入節(jié)點數(shù)，它對應(yīng)著輸入矢量的維數(shù)；M為輸出節(jié)點的個數(shù)，同時將M個輸出節(jié)點排列成二維陣列，每一個節(jié)點表示一個聚類中心。(2)每次輸入一個N維的訓(xùn)練矢量，采用歐幾里德距離測度，計算各輸入節(jié)點到每一輸出節(jié)點j的距離：

，

9/8/202346自組織特征映射神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的步驟如下：采用隨機擾動法生成(3)選擇最佳匹配的輸出節(jié)點。即選出最小對應(yīng)的輸出節(jié)點。(4)調(diào)整相鄰近節(jié)點的權(quán)值：式中j是包含在內(nèi)的與相鄰的輸出節(jié)點。(t)是一個大于0而小于1的增益函數(shù)，其值是隨迭代次數(shù)逐漸遞減的。以節(jié)點為中心的鄰近區(qū)域的大?。ㄒ脏徲蚝瘮?shù)來表示）也是隨迭代次數(shù)逐漸縮小的。9/8/202347(3)選擇最佳匹配的輸出節(jié)點。即選出最小對應(yīng)的輸出(5)其它神經(jīng)元的權(quán)值保持不變，即：

(6)如果已經(jīng)達到預(yù)定的迭代次數(shù)，停止迭代，否則轉(zhuǎn)向(2)繼續(xù)迭代，或象矢量量化那樣根據(jù)相對失真值觀察收斂的情況，決定是否結(jié)束。9/8/202348(5)其它神經(jīng)元的權(quán)值保持不變，即：8/3/202348§4.7.2二進樹碼本形成算法在kohonen神經(jīng)網(wǎng)絡(luò)中的應(yīng)用9/8/202349§4.7.2二進樹碼本形成算法在kohonen神經(jīng)網(wǎng)絡(luò)中的9/8/2023508/3/2023509/8/2023518/3/2023519/8/2023528/3/2023529/8/2023538/3/202353§4.8遺傳矢量量化（GAVQ）算法

求取VQ碼本的傳統(tǒng)的方法是LBG算法。但該算法是一種局部優(yōu)化算法，得到的碼本質(zhì)量往往不高。本節(jié)采用的遺傳矢量量化算法(GeneticAlgorithmsVectorQuantization，GAVQ)，是一種全局優(yōu)化算法，將遺傳算法的全局優(yōu)化特性和VQ建模技術(shù)巧妙地結(jié)合起來，通過科學(xué)的編碼方案及對初始群體中的VQ碼本進行有效的遺傳操作從而搜索出訓(xùn)練矢量空間中的全局優(yōu)化VQ碼本。9/8/202354§4.8遺傳矢量量化（GAVQ）算法求取VQ碼本的傳統(tǒng)的§4.8.1遺傳算法遺傳算法（GeneticAlgorithm-GA）由美國J.Holland教授提出的，是模擬生物在自然環(huán)境中的遺傳和進化過程而形成的一種自適應(yīng)全局優(yōu)化概率搜索算法。它模擬物種從低級到高級的演化過程，從一個稱之為群體的隨機初始解的集合開始，采用優(yōu)勝劣汰，適者生存的自然法則，通過對群體施加遺傳操作實現(xiàn)群體內(nèi)個體結(jié)構(gòu)重組的迭代過程，每一次迭代獲得一組解答，每個解答由一個適應(yīng)度函數(shù)來評估，這一過程不斷重復(fù)，直到達到某種形式上的收斂。9/8/202355§4.8.1遺傳算法遺傳算法（GeneticAlgori遺傳算法尤其適用于處理傳統(tǒng)搜索方法難以解決的復(fù)雜和非線性問題，可以廣泛用于組合優(yōu)化、機器學(xué)習(xí)、自適應(yīng)控制和人工生命等領(lǐng)域。而且，遺傳算法作為一種新的全局優(yōu)化搜索方法，具有簡單通用、魯棒性強、適于并行處理和應(yīng)用廣泛的優(yōu)點，近些年得到了迅速的發(fā)展，已廣泛用于最優(yōu)控制、圖像編碼、發(fā)現(xiàn)博弈策略等許多實際問題的求解。它比盲目的搜索效率高得多，又比專門針對特定問題的算法通用性強，是一種與問題無關(guān)的求解模式。9/8/202356遺傳算法尤其適用于處理傳統(tǒng)搜索方法難以解決的復(fù)雜和非線性問題遺傳算法包括三個基本操作：選擇、交叉和變異。1)選擇選擇運算又稱為繁殖、再生或復(fù)制運算，用于生物界優(yōu)勝劣汰的自然選擇。它從第代種群中選擇出優(yōu)良的某些染色體，放入匹配池(緩沖區(qū)，matchpool)，為染色體交叉和變異運算產(chǎn)生新種群做準備。適應(yīng)度越高的染色體被選擇的可能性越大，遺傳基因在下一代種群中的分布就越廣，其子孫在下一代出現(xiàn)的數(shù)量就越多。選擇的方法有多種，較常用的是賭輪盤選擇法，應(yīng)用該方法個體被選中并遺傳到下一代群體中的概率與該個體的適應(yīng)度大小成正比。9/8/202357遺傳算法包括三個基本操作：選擇、交叉和變異。8/3/20232)交叉將群體內(nèi)的各個個體隨機搭配成對，對每一個個體，以某個概率交換它們之間的部分染色體，這樣可以創(chuàng)造出新的個體。3)變異變異運算模擬生物在自然的遺傳環(huán)境中由于各種偶然因素引起的基因突變，它以某一概率隨機地改變遺傳基因(表示染色體的符號串的某一位)的值。它隨機地將染色體的某一個基因由1變成0，或由0變成1。若只有選擇和交叉，而沒有變異操作，則無法在初始基因組合以外的空間進行搜索，使進化過程在早期就陷入局部解而中止進化，從而使解的質(zhì)量受到限制。通過變異操作，可確保種群中遺傳基因類型的多樣性，以便搜索能在盡可能大的空間中進行，避免丟失有用的遺傳信息而陷入局部解，獲得質(zhì)量較高的優(yōu)化解。9/8/2023582)交叉8/3/202358遺傳算法的步驟如下：第1步：初始化。設(shè)置進化代數(shù)計數(shù)器，設(shè)置最大進化代數(shù)，隨機產(chǎn)生初始種群，個體數(shù)目一定，每個個體表示為染色體的基因編碼；第2步：個體評價。計算群體中