說(shuō)話人聚類的初始類生成方法

賴松軒;李艷雄【摘要】Duringtheprocedureofstate-of-artspeakerclustering,theindividualspeechsegmentdirectlyobtainedfromspeakersegmentationisusedasaninitialcluster,whichleadstohugeamountofcalculation.Inthispaper,analgorithmofgeneratinginitialclustersforspeakerclusteringisthusproposedinordertoreducecalculationload.First,featuresareextractedfromspeechsegments,andcentroidsoffeaturesarecalculated.ThentheinitialclustersaregeneratedbyclusteringthesecentroidsusingbothhierarchicalclusteringalgorithmandBayesianinformationcriterionunderaneasystoppingcriterion.Experimentsshowthatdoingspeakerclusteringontheinitialclustersgeneratedbytheproposedmethodisfasterthandoingspeakerclusteringonthespeechsegmentsdirectlyobtainedbyspeakersegmentation.Thecomputationalreductionisabout40.04%withoutlosingtheperformanceofspeakercluster,andthecomputationalreductionismorethan60.03%withlosinglittleperformanceofspeakercluster.%目前說(shuō)話人聚類時(shí)將說(shuō)話人分割后的語(yǔ)音段作為初始類，直接對(duì)這些數(shù)量龐大語(yǔ)音段進(jìn)行聚類的計(jì)算量非常大.為了降低說(shuō)話人聚類時(shí)的計(jì)算量，提出一種面向說(shuō)話人聚類的初始類生成方法.提取說(shuō)話人分割后語(yǔ)音段的特征參數(shù)及特征參數(shù)的質(zhì)心，結(jié)合層次聚類法和貝葉斯信息準(zhǔn)則,對(duì)語(yǔ)音段進(jìn)行具有寬松停止準(zhǔn)則的”預(yù)聚類",生成初始類.與直接對(duì)說(shuō)話人分割后的語(yǔ)音段進(jìn)行聚類的方法相比,該方法能在保持原有聚類性能的情況下，減少40.04%的計(jì)算時(shí)間;在允許聚類性能略有下降的情形下，減少60.03%以上的計(jì)算時(shí)間.【期刊名稱】《計(jì)算機(jī)工程與應(yīng)用》【年(卷)，期】2017(053)003【總頁(yè)數(shù)】5頁(yè)(P149-153)【關(guān)鍵詞】層次聚類;貝葉斯信息準(zhǔn)則;說(shuō)話人聚類;初始類;語(yǔ)音信號(hào)處理【作者】賴松軒;李艷雄【作者單位】華南理工大學(xué)電子與信息學(xué)院，廣州510640;華南理工大學(xué)電子與信息學(xué)院廣州510640【正文語(yǔ)種】中文【中圖分類】TN912.3LAISongxuan,LIYanxiong.ComputerEngineeringandApplications,2017,53(3)：149-153.隨著信息技術(shù)的發(fā)展，語(yǔ)音文檔記錄正在迅猛增加［1］。如何對(duì)語(yǔ)音文檔進(jìn)行更為有效智能的管理、分析和利用，是一個(gè)有重要意義且急需解決的問(wèn)題［2-3］。說(shuō)話人聚類是語(yǔ)音信號(hào)處理的一個(gè)重要手段，它將一個(gè)語(yǔ)音文檔中的同一個(gè)說(shuō)話人的語(yǔ)音片段聚成一類并用一個(gè)標(biāo)簽標(biāo)記它們。目前主流的說(shuō)話人聚類算法是在說(shuō)話人分割的基礎(chǔ)上，基于貝葉斯信息判據(jù)(BayesianInformationCriterion，BIC)，采用凝聚分層聚類(AgglomerativeHierarchicalClustering，AHC)算法［4］直接對(duì)說(shuō)話人分割后的語(yǔ)音段進(jìn)行判決，將屬于同一說(shuō)話人的語(yǔ)音段合并為一類。其基本思路是從每個(gè)語(yǔ)音片段中提取特征參數(shù)，例如梅爾倒譜參數(shù)(Mel-FrequencyCepstralCoefficients，MFCC)，計(jì)算每?jī)蓚€(gè)語(yǔ)音段之間特征參數(shù)的相似度，并利用BIC判定相似度最高的兩個(gè)語(yǔ)音段是否合并為一類。對(duì)任意兩個(gè)語(yǔ)音段都進(jìn)行上述判決，直至所有語(yǔ)音段都不再合并。語(yǔ)音的非平穩(wěn)特性要求提取特征參數(shù)時(shí)必須按幀進(jìn)行，這樣一來(lái)語(yǔ)音段的特征參數(shù)序列相當(dāng)龐大，因而凝聚分層聚類的計(jì)算量也相當(dāng)大。文獻(xiàn)［5］提出時(shí)序說(shuō)話人聚類(SequentialSpeakerClustering，SSC)，基本思路是按時(shí)間先后順序進(jìn)行聚類，避免了AHC的迭代，但是性能有所下降。目前在進(jìn)行說(shuō)話人聚類時(shí)，都將說(shuō)話人分割后的語(yǔ)音段作為初始類，語(yǔ)音段個(gè)數(shù)就是初始類數(shù)，而且語(yǔ)音段個(gè)數(shù)往遠(yuǎn)大于真實(shí)的說(shuō)話人類數(shù)。因而，直接對(duì)這些語(yǔ)音段進(jìn)行說(shuō)話人聚類時(shí)，需要計(jì)算兩兩語(yǔ)音段之間的相似度，計(jì)算量非常大。為了降低說(shuō)話人聚類時(shí)的計(jì)算量，本文提出一種生成初始類(GeneratingInitialClusters，GIC)的方法，先將部分特征相似的語(yǔ)音段進(jìn)行合并，生成初始類，初始類的個(gè)數(shù)略多于真實(shí)說(shuō)話人個(gè)數(shù)但遠(yuǎn)小于語(yǔ)音段個(gè)數(shù)。再采用說(shuō)話人聚類算法對(duì)這些初始類進(jìn)行說(shuō)話人聚類，將大大降低聚類的計(jì)算量。2.1算法基本思路設(shè)某一說(shuō)話人任意語(yǔ)音段的特征向量序列：X中的列向量口尺2,...,3表示d維特征參數(shù)中每一維度的觀察序列。X中每一個(gè)行向量即為一幀語(yǔ)音的特征參數(shù)。則X能夠由其質(zhì)心：和協(xié)方差矩陣：來(lái)刻畫。其中，E［&］是指X列向量&的均值。E［X］對(duì)X具有一定表征性［6-7］,對(duì)于分割后的語(yǔ)音段，段數(shù)較多，一些語(yǔ)音段的特征參數(shù)之間具有明顯差異，利用其質(zhì)心'E［X］能初步區(qū)分不同語(yǔ)音類(不需考慮反映其分布形狀的￡)。然而，只對(duì)E［X］進(jìn)行聚類分析，難以確定何時(shí)停止聚類。解決辦法是計(jì)算兩兩語(yǔ)音段特征參數(shù)質(zhì)心之間的距離，找出距離最小的兩段，然后利用BIC信息判據(jù)［7］判斷應(yīng)該合并為一類或是停止；若合并，不斷進(jìn)行上述步驟。通過(guò)設(shè)置BIC懲罰系數(shù)可以設(shè)置一個(gè)較為寬松的停止條件，以合理控制初始類的數(shù)目。設(shè)Xi,Xj為兩個(gè)語(yǔ)音段的特征向量序列，則這兩個(gè)語(yǔ)音段之間的ABIC值為：上式中，Mi為Xi的長(zhǎng)度，Ei為其協(xié)方差矩陣，d為特征參數(shù)的維數(shù)，入為懲罰系數(shù)。若ABIC>0則認(rèn)為兩個(gè)語(yǔ)音段存在差異，屬于不同說(shuō)話人，停止聚類；若△BICv0則認(rèn)為兩個(gè)語(yǔ)音段差異較小，屬于同一說(shuō)話人，應(yīng)合并為一類。BIC實(shí)際上采用單高斯描述語(yǔ)音段[8],考慮E對(duì)分布的表征性。在生成初始類時(shí)，每合并兩個(gè)類，需滿足特征參數(shù)質(zhì)心距離最為接近和BIC信息判據(jù)雙重準(zhǔn)則，綜合考慮了E[X]與乙在生成初始類時(shí)設(shè)置較為寬松的停止條件（通過(guò)控制BIC懲罰系數(shù)），只讓最為鄰近的質(zhì)心合并，即把最相似的語(yǔ)音段合并。這是考慮到合并了部分語(yǔ)音段后，段數(shù)減少，語(yǔ)音段只通過(guò)E[X]來(lái)表征可能信息量不足。生成初始類后再對(duì)得到的初始類進(jìn)行說(shuō)話人聚類，可大幅降低聚類計(jì)算量。本文采用主流AHC算法。2.2算法流程首先，對(duì)語(yǔ)音文檔進(jìn)行靜音檢測(cè)，去除其靜音部分，并對(duì)語(yǔ)音部分按幀求取特征參數(shù)。接著，采用基于距離測(cè)度和BIC的方法[9]進(jìn)行說(shuō)話人分割：首先用距離測(cè)算的方法尋找潛在的說(shuō)話人改變點(diǎn)，然后使用BIC對(duì)相鄰片段進(jìn)行合并（使用BIC時(shí)采取多次迭代計(jì)算，懲罰系數(shù)取，A=Abase+入stepxZ,Z為迭代次數(shù)，即隨著語(yǔ)音段合并，逐步增大懲罰系數(shù)），從而得到分割好的最終的語(yǔ)音段。迭代完成后最終的懲罰系數(shù)記為Amo假設(shè)共有N0個(gè)語(yǔ)音段，其特征參數(shù)序列依次為X0,X1,...,XN0,采用下述方法生成初始類：（1）將X0,X1,...,XN0歸為N類，每類包含一個(gè)樣本（即N0=N），計(jì)算樣本質(zhì)心'之間的距離，即E[X1],E[X2],...,E[XN0]之間的距離。（2）找到距離最小兩類，分別記為i和j，利用i和j中的樣本Xi,Xj計(jì)算ABIC值，懲罰系數(shù)取a入m,a為調(diào)節(jié)因子：如果ABICv0，則合并此二類，進(jìn)入第步；否則算法結(jié)束，所得N類即為初始類。(3)令s為第i類和第j類合并后所得新類，第s類中的語(yǔ)音樣本為Xs=[Xi;Xj],第s類樣本Xs的質(zhì)心包含第i和j類樣本Xi和Xj的質(zhì)心；刪除第i和j類，更新總類數(shù)N=N-1，重新得到N個(gè)類，更新兩兩類間的距離，類與類間的距離是類中樣本質(zhì)心E[X1],E[X2],...,E[XN0]間的距離。(4)重復(fù)第(2)步和第(3)步，直至ABIC〉。。語(yǔ)音段特征參數(shù)質(zhì)心即E[Xi]兩兩之間采用歐氏距離，類與類間的距離準(zhǔn)則采用average-linkage[10]:設(shè)Xmi為第m類中第i個(gè)樣本，dist(E[Xmi],E[Xsj])表示E[Xmi]與E[Xsj]的歐氏距離，則第s和第m類之間的距離為：在第(2)步中，調(diào)節(jié)因子a用以調(diào)節(jié)初始類生成時(shí)的寬松程度°a取值越小，則停止條件越容易達(dá)到，初始類生成方法越早停止。合適的a應(yīng)使初始類不會(huì)被過(guò)度合并，又能使所得初始類數(shù)盡可能少。2.3算法計(jì)算量分析設(shè)分割所得語(yǔ)音段個(gè)數(shù)為N，初始類生成后得到的初始類數(shù)為Nc，實(shí)際類數(shù)為Ns。比較GIC+AHC與直接進(jìn)行AHC的計(jì)算量。GIC、AHC都需要迭代計(jì)算特征參數(shù)或特征參數(shù)質(zhì)心的距離，并比較距離大小，將計(jì)算距離、比較距離的計(jì)算量分開討論。比較距離的時(shí)間：利用GIC方法生成初始類后再進(jìn)行AHC與直接進(jìn)行AHC，都要進(jìn)行層次迭代計(jì)算，區(qū)別在于GIC方法對(duì)語(yǔ)音段距離的計(jì)算方式不同。但從N類聚至最終的Ns類，兩者都需要對(duì)計(jì)算得到的距離進(jìn)行比較，選取最小值，故比較距離的時(shí)間是一致的，記為t。計(jì)算距離的時(shí)間：說(shuō)話人AHC聚類，一般通過(guò)計(jì)算、比較語(yǔ)音段特征參數(shù)的GLR距離(GeneralizedLikelihoodRatio,GLR)合并類[11-12]。直接進(jìn)行AHC,需要計(jì)算特征參數(shù)兩兩之間的GLR距離。由于每次GLR具體的計(jì)算量都不盡相同，為方便分析，假定每次計(jì)算時(shí)間基本一致，記為tg。直接進(jìn)行AHC聚類，需要計(jì)算GLR的次數(shù)為：而采用GIC+AHC，GIC需要計(jì)算特征參數(shù)質(zhì)心的歐氏距離，并對(duì)質(zhì)心距離最小的兩個(gè)特征參數(shù)計(jì)算ABIC（AHC迭代一次，計(jì)算多次GLR距離；而GIC迭代一次，只計(jì)算一次ABIC，降低了計(jì)算量）。計(jì)算歐氏距離相對(duì)于計(jì)算ABIC可忽略不計(jì)。ABIC是一種懲罰補(bǔ)償?shù)腉LR距離［13］,兩者只差一個(gè)復(fù)雜度為0（1）的補(bǔ)償項(xiàng)，故ABIC與GLR計(jì)算量相同。記GIC計(jì)算ABIC的次數(shù)為Np，則對(duì)比式（8）知，GIC+AHC計(jì)算ABIC與GLR的次數(shù)為：故直接進(jìn)行AHC的計(jì)算時(shí)間為：GIC+AHC的計(jì)算時(shí)間為：GIC+AHC相比于直接進(jìn)行AHC，減少計(jì)算量：3.1實(shí)驗(yàn)方法實(shí)驗(yàn)數(shù)據(jù)來(lái)自于新聞發(fā)布會(huì)，訪談，新聞聯(lián)播等。相關(guān)信息如表1。音頻采樣率為16000Hz,16bit量化，單聲道WAV格式，單個(gè)時(shí)長(zhǎng)都約為15min，會(huì)議語(yǔ)音合計(jì)時(shí)長(zhǎng)約300min，新聞?wù)Z音合計(jì)時(shí)長(zhǎng)約120min。分割算法所得的語(yǔ)音片段應(yīng)較為純凈，即一個(gè)語(yǔ)音段只含有一個(gè)說(shuō)話人的語(yǔ)音。實(shí)驗(yàn)中入base取0.7,入step取0.45,Z取0~4迭代5次，分割效果較好，針對(duì)個(gè)別分割效果差的音頻段，對(duì)入base與入step作具體調(diào)整。MFCC作為典型的說(shuō)話人特征參數(shù)能對(duì)不同說(shuō)話人的特性有較好反映，本實(shí)驗(yàn)對(duì)語(yǔ)音數(shù)據(jù)分幀并提取12維MFCC參數(shù)，幀長(zhǎng)20ms,幀移10ms，具體提取方法參見(jiàn)文獻(xiàn)［14］?；诰嚯x測(cè)算尋找潛在說(shuō)話人改變點(diǎn)時(shí)，取窗長(zhǎng)0.7s，窗移0.1s。記錄實(shí)驗(yàn)數(shù)據(jù)：調(diào)節(jié)因子a、計(jì)算減少量D、錯(cuò)誤合并次數(shù)Nw。其中，錯(cuò)誤合并次數(shù)Nw是指GIC在總次數(shù)為Np-1次的語(yǔ)音段合并中，錯(cuò)誤合并了不同說(shuō)話人語(yǔ)音段的次數(shù)。3.2實(shí)驗(yàn)結(jié)果與分析表2中，a=1.1時(shí)，Nw均為0，即GIC每次都正確合并了屬于同一說(shuō)話人的兩個(gè)語(yǔ)音類°a=1.4時(shí)，D值較大，但出現(xiàn)了錯(cuò)誤合并不屬于同一說(shuō)話人的兩個(gè)語(yǔ)音類的情況。表3通過(guò)進(jìn)一步實(shí)驗(yàn)對(duì)錯(cuò)誤合并次數(shù)Nw、錯(cuò)誤合并率E、計(jì)算減少量D與調(diào)節(jié)因子a的關(guān)系做出分析。E計(jì)算式如下：由表3可知，隨著GIC調(diào)節(jié)因子a的提高，計(jì)算減少量D隨之提高，而GIC錯(cuò)誤合并率E也隨之提高。這是容易解釋的：a提高即懲罰系數(shù)提高，根據(jù)ABIC計(jì)算式，同一說(shuō)話人的兩個(gè)特征相似的語(yǔ)音類更趨向合并，與此同時(shí)，由于特征參數(shù)質(zhì)心信息量較低以及存在不屬于同一說(shuō)話人但特征相近的語(yǔ)音類，不屬于同一說(shuō)話人的兩個(gè)語(yǔ)音類也更趨向合并。并且可以預(yù)見(jiàn)，如果a繼續(xù)提高，由于錯(cuò)誤合并的語(yǔ)音類存在兩個(gè)或以上說(shuō)話人，語(yǔ)音特征混雜，GIC錯(cuò)誤率E會(huì)隨之提高。在本實(shí)驗(yàn)中，a取1.1及以下時(shí)，GIC錯(cuò)誤合并率E為0%，即GIC正確合并了同—說(shuō)話人特征相近的片段；a=1.7時(shí)，GIC出現(xiàn)了多次錯(cuò)誤；在a=1.1以及a=1.7的GIC所得初始類基礎(chǔ)上，再進(jìn)行AHC聚類，并與直接進(jìn)行AHC聚類的結(jié)果作比較。同時(shí)記錄實(shí)際運(yùn)行時(shí)間T,實(shí)驗(yàn)平臺(tái)：Intel?CorT?i5CPU1.7GHz,3.80GBRAM,Windows7操作系統(tǒng)，編程軟件MatlabR2009。聚類的性能指標(biāo)為：平均類純度(AverageClusterPurity,ACP)、平均說(shuō)話人純度(AverageSpeakerPurity,ASP)和F值(F-score,ASP和ACP的調(diào)和平均值)，其定義如下：設(shè)n為說(shuō)話人的總數(shù)，c為聚類后得到的類數(shù)，nij為第i類中包含說(shuō)話人j的語(yǔ)音幀數(shù)，則平均類純度ACP定義如下［15］：平均說(shuō)話人純度ASP定義如下：F值定義如下：由表4可知，在正確的GIC初始類基礎(chǔ)上，即a=1.1,再進(jìn)行AHC，與直接進(jìn)行AHC，兩者的聚類性能是一致的。而由表5知GIC+AHC能在保持原有性能情況下，減少40.04%的聚類時(shí)間。這與理論分析值50.32%（見(jiàn)表3）有一定差距，主要原因：首先，理論分析時(shí)為了簡(jiǎn)化問(wèn)題進(jìn)行了一定的假設(shè)；其次，由于編程原因，GIC生成初始類時(shí)效率不高。而在a=1.7的GIC初始類基礎(chǔ)上，再進(jìn)行AHC聚類，綜合性能F略微有所下降（這是GIC中出錯(cuò)的初始類對(duì)后續(xù)聚類產(chǎn)生的影響），但因?yàn)橛?jì)算減少量為60.03%，在某些情況下，如計(jì)算能力較低的移動(dòng)端，卻可能是更優(yōu)的選擇。a=1.7時(shí)，雖然GIC中出現(xiàn)語(yǔ)音段的錯(cuò)誤合并，得到的初始類不純，但實(shí)驗(yàn)中發(fā)現(xiàn)，GIC中錯(cuò)誤合并的語(yǔ)音段，在直接進(jìn)行AHC時(shí)，也往往出現(xiàn)錯(cuò)誤合并，因而最終聚類綜合性能F并沒(méi)有下降過(guò)多。這也說(shuō)明了GIC算法的魯棒性。實(shí)驗(yàn)中選取的音頻較短，分割所得的語(yǔ)音段數(shù)N不大，約為10~50。而根據(jù)式（12）,因?yàn)镹遠(yuǎn)大于Nc，故有：即分割的語(yǔ)音段數(shù)越多，GIC+AHC起到更好效果。本文針對(duì)目前說(shuō)話人聚類時(shí)將說(shuō)話人分割后的語(yǔ)音段直接作為初始類，使得迭代計(jì)算量大的問(wèn)題，提出了一種說(shuō)話人聚類的初始類生成方法。實(shí)驗(yàn)表明，本文方法能在保持原有聚類性能不變的情況下，減少40.04%的聚類時(shí)間，在允許聚類性能略有下降情形下，減少更多的計(jì)算量，具有良好魯棒性。直接進(jìn)行說(shuō)話人AHC聚類，計(jì)算兩兩語(yǔ)音段特征參數(shù)之間的距離，選取距離最小的兩類進(jìn)行合并；由于特征參數(shù)的數(shù)量大，迭代計(jì)算特征參數(shù)距離十分耗時(shí)。而本文提出的初始類生成方法依據(jù)特征參數(shù)質(zhì)心具有一定表征性，計(jì)算參數(shù)質(zhì)心兩兩之間的歐氏距離（其計(jì)算量相對(duì)于計(jì)算特征參數(shù)的距離可以忽略不計(jì)），并利用BIC判據(jù)判斷距離最小的兩類是否合并。這樣一來(lái)，以較低的計(jì)算量合并了同一說(shuō)話人語(yǔ)音特征最為相近的語(yǔ)音段，為后續(xù)的AHC聚類提供大為減少的初始類數(shù)，從而減少計(jì)算時(shí)間，而不改變聚類性能。[1]OstendorfM,FavreB,GrishmanR,etal.Speechsegmentationandspokendocumentprocessing[J].IEEESignalProcessingMagazine,2008,25（3）:59-69.TurG，StolckeA，VossL，eta1.TheCALOmeetingassistantsystem[J].IEEETransactionsonAudio，SpeechandLanguageProcessing，2010，18（6）：1601-1611.馬勇，鮑長(zhǎng)春.說(shuō)話人分割聚類研究進(jìn)展[J].信號(hào)處理，2013，29（9）：1190-1199.李艷雄，吳永，賀前華.基于特征均值距離的短語(yǔ)音段說(shuō)話人聚類算法[J].電子與信息學(xué)報(bào)，2012，34（6）：1404-1407.陳祝允，李艷雄，杜佳媛.基于矢量量化的時(shí)序說(shuō)話人聚類方法[J].科學(xué)技術(shù)與工程，2014，14（2）：41-44.ReynoldsD，RoseR.Robusttext-independentspeakeridentificationusinggaussianmixturespeakermodels[J].IEEETransactionsonSpeechandAudioProcessing，1995，3（1）：72-83.熊華喬，鄭建彬，詹恩奇，等.基于說(shuō)話人模型聚類的說(shuō)話人識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（2）：133-136.ChenS，GopalakrishnanP.Speaker，environmentandchannelch