聯(lián)合因子分析中的語音間變異性和對角項在說話人識別中的應(yīng)用 2011

聯(lián)合因子分析中的語音間變異性和對角項在說話人識別中的應(yīng)用SachinS.Kajarekar美國加州門洛帕克斯坦福國際研究所［摘要］本文在一個聯(lián)合因子分析(JFA)框架中對語音間變異性對說話人識別的有效性進行研究,將會話的一端在所有會話中平均的變異性作為話音間協(xié)方差的估計(注意：它是當前JFA框架中信道變異性的一部分)。本文對代表語音間、說話人和信道變異性的特征子空間進行各自獨立的估計，并通過保留或刪除這些特征子空間來完成說話人識別實驗，結(jié)果表明跨語音子空間和說話人子空間有更強的相關(guān)性。本文也將這些子空間結(jié)合起來進行了說話人識別的實驗,結(jié)果表明當跨語音子空間和說話人子空間結(jié)合在一起時性能得到改善。這表明語音間變異性對說話人識別是有用處的。進一步的實驗表明這一結(jié)果受到JFA中一個對角項的影響，特別是，當這一對角項是從一個通用背景模型(UBM)中估計得來時，通過聯(lián)合說話人和語音間空間得到的改善減少。這表明對角項代表的變異性和語音間變異性之間存在相互影響?？偟膩碚f，本文的工作說明了對角項(說話人和信道子空間中)在為說話人和信道上的JFA模型中加入附加的變異性這一方面的重要性。［關(guān)鍵字］說話人識別聯(lián)合因子分析語音變異性語言無關(guān)性語音識別引言聯(lián)合因子分析（JFA）［1］是在說話人識別中最成功的說話人和信道變異性模型，其最初的模型己被擴展，包含了其他一些因素，比如語種和會話段［2］。本文之前的工作［3］集中于在說話人識別系統(tǒng)中加入語音變異性，持向量機（SVM）框架下應(yīng)用多項式倒譜特征法我們獲得了重大的性能提升。主旨思想是使用通話中的所有數(shù)據(jù)來訓(xùn)練信道或短時變異性矩陣，并將補償特征劃分為不同的音素類別，為每一種分類訓(xùn)練獨立的SVM系統(tǒng)，然后將這些獨立的系統(tǒng)以一定的比分水平結(jié)合在一起。在JFA、倒譜特征和高斯混合模型（GMM）框架中進行類似的實驗，實驗結(jié)果和在早一些的論文［3］中確定的結(jié)果一致，即在對每個音素進行獨立估計時，說話人和信道因子的全局估計給出了最佳性能（相等錯誤率）。然而，對將每個音素系統(tǒng)進行的按比分水平組合沒有顯示出任何性能改善。2008年約翰霍普金斯大學(xué)的暑期研討會進行了一項具有重要意義的研究，即為了進行說話人識別，將特有音素信息加入到JFA框架中［4］。結(jié)果得到當把說話人和信道子空間描述為一堆特有音素子空間時，可以得到最佳性能。在類似的工作［2］中，在JFA框架中除了對常規(guī)的會話間變異性建模，也對會話內(nèi)變異性進行建模。假設(shè)去除這些會話內(nèi)的變異性將會提升短時測試會話方式的性能，而實驗結(jié)果也支持這一假設(shè)。有個問題是，在早期的處理方法［3,4］中語音間變異性在因子分析中是被忽略的，它以一定的比分水平被建模。在現(xiàn)在的工作中，本文關(guān)注于使用因子分析法的語音間變異性，在每一個會話端對這一變異性進行估計，然后在所有的會話上做平均。這與早期工作［2］中使用固定長度片段代替語音分類相類似。將語音間變異性加入到JFA框架中的方法有很多種，本論文中我們將探索一種途徑去理解建模于常規(guī)JFA框架中的變異性，所想知道的是一個新因子和己經(jīng)存在的因子間的相似程度，怎樣才能最好的將新的變異性加入到JFA框架中去。評估架構(gòu)使用NIST2008說話人識別評估(SRE)數(shù)據(jù)進行評估。使用段2至段3的情況6,其中有來自不同語種的電話會話數(shù)據(jù)，它包括1788種說話人模型，2569個測試和35869個試驗。進一步得到訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)都使用英語的英語試驗子集,這些子集包含17761次試驗(也被稱為情況7)。本論文中的實驗結(jié)果均是在相等錯誤率(%EER)的情況下進行報告的，通過布爾諾科技大學(xué)(BUT)的匈牙利開放電話回路識別器獲得語音隊列，這一隊列由2008年約翰霍普金斯大學(xué)夏季研討會的參與者共享?；鶞蔎FA系統(tǒng)基準系統(tǒng)使用13段美爾頻段倒譜系數(shù)［MFCCs］（C0-C12）,并使用倒譜平均消去法進行處理，并有附加的Delta系數(shù)和雙Delta系數(shù)。使用SRI的隱馬爾科夫模型基于話音/無聲分段對會話的一端進行分割。選擇其中的語音段，并將這些幀中能量最低的10%丟棄，保留下的特征向量使用具有各自獨立特征的均值和方差標準化，這些均值和方差在整個說話過程上計算獲得。本文使用2004的SRE數(shù)據(jù)訓(xùn)練得到一個1024點的GMM模型，并以此作為全局背景模型（UBM）oJFA基于相同數(shù)據(jù)進行300個說話人和信道因子的估計。使用零規(guī)整（ZTnorm）評分歸一化進行點乘評分［5］,從中我們可以從2004和2005交替麥克風SRE數(shù)據(jù)中識別出冒充者。在JFA［6］中，假設(shè)一個給定說話人（信道亦給定）超級向量m（維度為NF=高斯模型數(shù)（N）*特征數(shù)（F））可以分解為兩個超級向量單元的和：說話人超級向量Vy和干擾（或信道）超級向量Ux及UBM均值n】o,m=m0+Ux+&+Dz干擾超級向量分布于秩為Rc的低維子空間中，且假定按照UljT分解。類似地，說話人超級向量分布于秩為Rs的低維子空間上，且假定按照VVT分解。矩陣U（信道子空間）的維數(shù)為NF*Rc,矩陣V（說話人子空間）的維數(shù)為F*Rs。子空間U和V由一個足夠大的數(shù)據(jù)集中估計出來，而潛在變量x和y則由每一次說話中估計得到。D可以用兩種方式來解釋。它可以和Vy結(jié)合在一起，這個聯(lián)合項可以當做說話人超級向量，或者D也可以被解釋為一個誤差項，它是由m。、U、V估計m時產(chǎn)生的誤差，可以用一對角向量表示。D可以通過兩種方式來估計，而這一選擇會對性能產(chǎn)生顯著影響。在JFA框架中，D初始化為一隨機向量，然后考慮或不考慮V來對其進行估計。在JFA框架之外，D可以估計為D2=SoA；t是一調(diào)整系數(shù)，用于控制先驗分布以適應(yīng)最大后驗概率分布。表1給出了本系統(tǒng)中在2008SRE數(shù)據(jù)段2至段3狀態(tài)7和狀態(tài)6下的實驗結(jié)果。第一行（“NO”）展示了沒有改寫（不包含D）,常規(guī)MAP（D=BUM）和使用JFA統(tǒng)計（D=JFA）估計的D值的情況下的作用效果。不含D的結(jié)果通過超級向量獲得，這些超級向量是考慮到特征和UBM的最大似然估計。盡管JFA中的D未被使用，但是存在一個事先使用最大似然估計的隱式均勻。同一行中的結(jié)果之間相當，而使用由JFA得來的D估計值可以獲得最好的結(jié)果。第二行（“信道”）的結(jié)果使用一個本征信道法獲得，其中刪除了300個信道因子，產(chǎn)生的超級向量估計為m?Ux，D的使用和估計對結(jié)果的影響很小。第三行（“說話人'）展示了通過本征信道法獲得的結(jié)果，其中超級向量估計為m°+Vy,它們嚴重依賴于D的使用。結(jié)果隨著D而改善，且當D是由UBM估計得來時，結(jié)果有進一步改善。第四行（“信道、說話人”）給出了由JFA模型獲得的結(jié)果。它們和第三行（“說話人”）趨向相似，但對英語試驗D=UBM有最佳性能，而對所有的試驗D=JFA時給出最佳性能這點除外。通過語種補償［7］,所有試驗上的性能可以得到重大提升，而這點在本論文中因以下兩點原因未被使用。第一，為了訓(xùn)練補償需要另一個數(shù)據(jù)庫，比如2006SRE,但是就從JFA效

果方面來講，2006和2008SRE結(jié)果之間存在嚴重不匹配。第二，在所有試驗上性能的改善除了通過優(yōu)化各個情況下的性能外，也可以通過不同語種情況間更好的校正獲得，而語種補償掩蓋了前者的改進。表1三種不同D的選擇下基準JFA系統(tǒng)的相等錯誤率%EERJFA（超向量維數(shù)）WITHOUTDWITHD二UBM(NF)WITHD二JFA(NF)ENGALLENGALLENGALLNO(NF)903912.9208.95812.5098.63212.509CHANNEL(NF-300)3.1767.6182.9327.5803.0957.655SPEAKER(300)12.8661609410.83114.26412.29615571CHANNEL,SPEAKER(300)39907.1692.7697.0203.4206.647注：⑴數(shù)據(jù)來自2008SRE數(shù)據(jù)段2至段3情形7（英語）和情形6。（2） 粗體單元表示刪除了子空間。生成超向量的維數(shù)己在括號中給出。未使用D則維數(shù)如列1給定，使用D則維數(shù)為NFo（3） 第一行（“N?！保┑谝磺?WITHOUTD'）是使用UBM和其數(shù)據(jù)進行的超向量的最大似然估計。3.語音間變異性語音間變異性計算如表2所示。對各個會話端，基于音素標簽選擇均值方差歸一化后的特征向量。如表所示，本文選擇四種音素類：元音，滑音+鼻音，阻塞音和間歇。理論上，間歇可以被忽略，但這里仍然包含它，因為這些在話音/無聲分割后通過開音素環(huán)路音素識別器得到的被稱為間歇的幀可能屬于清音，而且可能對說話人識別很有用。此外，我們想要確保組合所有類中的所有幀可以給出在基準系統(tǒng)中用到的所有幀。GMM超向量由各個類的幀估計得來，一個給定說話人（信道給定）超向量可以描述為UBM均值I】】。和音素超向量Pq的和:m=m0+Pq音素超向量分布于秩為Rp的低維子空間中，且假定可按照PPT分解，音素因子q假定為標準正態(tài)分布。音素子空間P和常規(guī)JFA中的干擾子空間一樣由說話人、信道和特有音素超向量估計得來。表2計算語音間變異性的設(shè)置Speakei',ChannelPhones 1sl,lsl,lVov/elsl,lGNsl,lObstrsl,lPausesi,2si,2Vowelsi,2GNsi,2Obstrsi,2Pauses2,ls2,lVowels2,lGNs2,lObstrs2,lPausesN,MsN,MVowelsN,MGNsN,MObstrsN,MPause使用四種音素類獲得的結(jié)果本文使用NIST2004SRE數(shù)據(jù)集對信道、說話人和音素子空間進行各自獨立的估計，每個子空間的維數(shù)選為300,本論文的目標是比較這些子空間的性能。如前所訴，首先不考慮對角因子（D）而只比較不同子空間的作用效果，以信道+音素和說話人+音素的形式連結(jié)子空間,然后測量其與獨立子空間相比的改善程度。我們將在JFA框架中對說話人和信道子空間進行試驗，而音素子空間則附加到其中一個子空間上。5.1.1.獨立的音素、說話人、信道子空間上獲得的結(jié)果表3相等錯誤率%EER（通過刪除信道、說話人、音素子空間獲得）RemoveSubspaceWithoutDEngti'ialsAlltnals1None(NF)903912.920oChannel3.1767.6183Speaker5.94510.7544Phone692210.866表4能效比偶）（通過保持信道、說話人、音素空間獲得）KeepSubspace(300dim)WithoutDEngti'ialsAllfacials1All(NF)903911920oChannel15.22818.2973Speaker12.86616.0944Phone14.16917.140表3和表4給出了在使用或刪除獨立子空間時的作用效果。本文的思想是將其與基準系統(tǒng)的結(jié)果進行比較。如果一個特定子空間代表干擾維數(shù)，那么刪除它會提升性能而僅使用這個子空間會使性能更糟，這一假設(shè)僅在信道子空間上被證實。刪除說話人（音素）子空間顯示出和信道相同的趨向，刪除這些子空間性能提升，保持他們則性能更壞。這與直觀是相反的，因為說話人子空間含有有用的變異性因此刪除它會使性能受損。這一結(jié)果表明說話人子空間和信道子空間不是分離地代表說話人和信道信息，而是兩部分都包含。這一點在［8］中報告過，其中Dehaketal.展示了通過一種信道補償技術(shù)一一類內(nèi)協(xié)方差歸一化［9］一一可以提升使用說話人因子時的性能?？傮w上，看起來最好保留的子空間是說話人，最好刪除的子空間應(yīng)該是信道。因素子空間的性能表明刪除它影響最小，這表明它與信道子空間的關(guān)聯(lián)相對較小或者不高。后者是一個十分有趣的假設(shè)因為音素子空間就包含在信道子空間內(nèi)。若假設(shè)正確，則可能表明說話人和信道子空間之間存在相互關(guān)聯(lián)。4.1.2.聯(lián)合音素、說話人和信道子空間獲得的結(jié)果現(xiàn)在通過聯(lián)合這些子空間來探索它們之間的相似性。表5給出了這些實驗的結(jié)果，行1是基準系統(tǒng)結(jié)果，給出了刪除信道子空間保留說話人子空間時在所有試驗上有最佳性能但是在英語試驗上，與只刪除信道子空間相比性能差些（表3,行2）o首先對音素子空間包含了說話人或信道大部分的變異性這一假設(shè)進行檢驗，如果這樣，那么用音素子空間代替說話人或信道子空間性能就不會降低很多。第2、3行說明在基準系統(tǒng)中使用因素子空間代替說話人和信道子空間時性能會嚴重降低，這兩種情形下，結(jié)果都不支持假設(shè)。接下來驗證音素子空間中含有對說話人識別有用而未被現(xiàn)存說話人和信道子空間建模的新信息這一假設(shè)，如果這樣，將音素子空間和說話人或信道子空間結(jié)合在一起將會獲得更好的性能，行4說明將音素子空間加到說話人子空間上時英語試驗上的性能得到提升。這是一個很有趣的結(jié)果因為音素子空間是信道子空間的一部分，同樣有趣的是英語試驗的結(jié)果性能改善，而數(shù)據(jù)隊列卻是來自語言無關(guān)性的開放音素環(huán)路音素識別器。行5表明因素子空間加到信道子空間時性能不受影響。這證實了之前關(guān)于這些子空間的性質(zhì)的假設(shè)。表5相等錯誤率%EER（在JFA框架中連結(jié)各子空間獲得）KeepSubspaceRemoveSubspaceWithoutDEngtnalsAlltnals1SpeakerChannel3.9907.1692PhoneChannel7.16611.2773SpeakerPhone11.31914.3394Speaker+PhoneChannel3.5837.1325SpeakerChannel+Phone3.8277.319注意：表3和表5給出的結(jié)果不包含對角項。在表6和表7中，JFA框架中加入對角項。如前所述，有兩種方法獲得對角項一一使用JFA或者使用UBMo如表1所示，D的選擇對性能有重要影響。表6表明當D由JFA估計得來時，趨向與表4相似。對英語試驗，連結(jié)音素和說話人子空間時性能提升，連結(jié)音素和信道子空間時結(jié)果不受影響。注意：D值僅根據(jù)說話人和信道子空間估計得來，當為各個結(jié)構(gòu)重新估計D時，我們的試驗給出了類似的性能。

表6相等錯誤率%EER（使用JFA框架中的信道、音素和說話人子空間，JFA中估計的D獲得）KeepSubspaceRemoveSubspaceDfi'omJFAEngAllSpeakei'Channel3.4206.647Speakei^-PhoneChannel3.0956.908Speakei'Channel+Phone3.3396.796表7表明當D由UBM估計得來時，趨向有很大不同。將音素子空間與說話人子空間或信道子空間連結(jié)時性能均沒有改善。由此可以假設(shè)從UBM獲得的對角項含有的音素信息和音素子空間中的相似，這是一個很有趣的假設(shè)因為D不是明確為語音變異性而訓(xùn)練的，檢驗這一假設(shè)還需要更多的工作。表7相等錯誤率%EER（使用JFA框架中的信道、音素和說話人子空間，UBM中估計的D獲得）KeepSubspaceRemoveSubspaceDfi'omJFAEngAllSpeakei'Channel2.7697.020SpeakeiH-PhoneChannel2.7697.095Speakei'Channel+Phone2.S506946本文在JFA框架中估計語音間變異性對說話人識別的有用性，使用匈牙利開放.音素環(huán)路識別器來估計這一變異性，并將這一變異性同說話人和信道變異性進行比較。所有這些變異性均使用JFA框架在大約6萬維的平均超向量空間中的300維數(shù)子空間上估計獲得。首先通過保留或刪除這些子空間來比較它們，結(jié)果表明最有損害的子空間是信道子空間而最有用的子空間是說話人子空間。同時可以得到通過刪除說話人信道可以獲得更好的性能，而只使用信道子空間的性能也不會比只使用說話人子空間的性能差很多。這證實了之前的觀察即說話人和信道子空間都包含了兩種類型的變異性。通過刪除音素子空間獲得的結(jié)果引起的性能下降最小，而通過保留音素子空間獲得的性能介于說話人和信道之間。這些結(jié)果對確定語音變異性對說話人識別的有用性是不夠的。為此目的，連結(jié)這些子空間進行了試驗，這是聯(lián)合估計的一個近似?；鶞适荍FA系統(tǒng)，其中刪除了信道子空間而說話人子空間被保留。結(jié)果得到將音素子空間和信道子空間連結(jié)或者將音素子空間刪除時性能不變，這表明音素子空間中含有的干擾維數(shù)不會比信道子空間多。然而，當音素子空間與說話人子空間連結(jié)或被保留下來時，性能會得到提升，這表明音素子空間中含有對說話人識別有用的變異性。注意：目前為止獲得的結(jié)果都未使用JFA中得來的對角項。用不同方式估計這個對角項然后進行相同的實驗，當使用JFA數(shù)據(jù)估計對角項時性能會有進一步提升，但使用UBM數(shù)據(jù)估計對角項時，原本性能的改善會減少。這表明語音變應(yīng)性和由對角項代表的變異性之間存在相互影響，要理解這一相互影響我們還需要進行更多的工作。6.討論及未來的工作本文的工作得到一些有趣或者說意外的結(jié)果。音素子空間是使用語言無關(guān)性音素識別器進行估計的，但是這一識別器的使用只提升了英語試驗上的性能，而合為一體時，它使得所有實驗上的總體性能變得更糟。音素子空間是常規(guī)子空間的一部分，但是聯(lián)合它和說話人子空間時性能看起來很好。所以，本研究未來的工作是探索用說話人和信道子空間來估計音素子空間的可能途徑，例如，可以先估計音素子空間，后估計信道和說話人子空間。刪除信道子空間可能改善對信道子空間的估計。音素因子可以類似于［2］和短時測試對話方式一起使用。本研究將在SRI英語ASR系統(tǒng)中重復(fù)這些結(jié)果，并將其與BUT開環(huán)音素環(huán)路識別器中獲得的結(jié)果進行比較。音素類的選擇對結(jié)果很重要，而且應(yīng)該研究這四個或更多類的其他種選擇是否可以呈現(xiàn)相似的改善。本研究將用一個改進的基準系統(tǒng)重新進行實驗，來觀察數(shù)據(jù)集和特征對結(jié)論的影響。感謝LukasBurget和布爾諾大學(xué)技術(shù)組組織了2008年的JHU夏季研討會，并慷慨地提供開放音素環(huán)路輸出。感謝NicolasScheffer關(guān)于JFA的眾多論述和很多有幫助的建議。本工作的資金來源于與桑迪亞國家實驗室的一個開發(fā)合同(#DE-AC04-94AL85000),這里的觀點僅為筆者的觀點，不代表資金機構(gòu)的觀點。8.參考文獻PKenny,G.Boulianne,P.Ouellet,andPDumouchel,"Factoranalysissimplified,"ProcofICASSP,vol1,pp.637?640,Philadelphia,PA,2005.RVogt,CJLustn,andS.Shridharan,"Factoranalysismodelingforspeakei'venficationvzitlishortutterances,"ProcofOdyssey2008:TheSpeakerandLanguageRecognitionworkshop,Stellenbosch,SoutliAfi'ica,2008.SKajarekar,"Phone-basedcepsti'alpolynomialSVMsystemforspeakerrecognition,"Proc,ofIntei'speech,Brisbane,Austi'aha,2008.NScheffei;R.Vogt,J.Pelecanos,andS.Kajarekar,11CombinationstrategiesfortheJFAmodelinspeakeivenfication,applicationtoaphoneticsystem/Proc,ofICASSP,Taipei,T