語音信號處理第8章-語音信號情感處理課件

第8章語音信號情感處理情感的聲學(xué)特征分析實(shí)用語音情感的識別算法概述情感理論與情感誘發(fā)實(shí)驗(yàn)應(yīng)用與展望何為情感？吃驚眉毛向上挑眼睛圓睜嘴唇無意識地張開恐懼雙眉上揚(yáng)，聚攏上眼皮上揚(yáng)眼袋緊繃雙唇向兩耳水平方向略微拉伸悲傷上層眼皮下垂兩眼無光兩側(cè)嘴角微微下拉情感行為識別：面部表情識別語音情感識別姿態(tài)識別生理模式識別：皮膚電反應(yīng)呼吸心率體溫腦電波等多模態(tài)情感識別8.1概述計算機(jī)要能夠更加主動的適應(yīng)操作者的需要，首先必須能夠識別操作者的情感，而后再根據(jù)情感類型來調(diào)整交互對話的方式。對于情感信息處理技術(shù)的研究包括多個方面，主要有情感特征分析、情感識別（如肢體情感識別、面部情感識別和語音情感識別等）、情感模擬（如情感語音合成等）。近年來，語音情感的研究進(jìn)展可以大致分為四個方面：一、情感特征的選擇和優(yōu)化；二、建模算法的研究；三、自然情感數(shù)據(jù)庫的建立；四、關(guān)注情感模型適應(yīng)能力的環(huán)境自適應(yīng)方法，如上下文信息、跨語言、跨文化，和性別差異等。MITCMU東京大學(xué)早稻田大學(xué)日內(nèi)瓦大學(xué)情緒研究實(shí)驗(yàn)室伯明翰大學(xué)國內(nèi)外研究現(xiàn)狀中科院計算所：研究帶有表情和動作的虛擬人。中科院自動化所：基于生物特征的身份驗(yàn)證。中科院心理學(xué)所、生物所：情緒心理學(xué)、生理學(xué)研究中科院軟件所：智能用戶界面浙江大學(xué)：虛擬人物、情緒系統(tǒng)構(gòu)造北京工業(yè)大學(xué)：多功能感知機(jī)同情感計算的融合研究。東南大學(xué)：語音情感識別南京航空航天大學(xué)：語音情感計算。中國科技大學(xué)：基于內(nèi)容的交互式感性圖像檢索的研究重慶大學(xué)：智能服務(wù)、增強(qiáng)現(xiàn)實(shí)、環(huán)境感知、智能手表等，注重軟件方面的研究。海南大學(xué)：軍用無線局域網(wǎng)結(jié)構(gòu)中的可穿戴計算機(jī)。哈工大：“具有六種面部表情及視覺的類人頭像型機(jī)器人及行為研究”，于2004年研制出具有八種面部表情的仿人頭像機(jī)器人系統(tǒng)，并進(jìn)行了表情實(shí)驗(yàn)，實(shí)現(xiàn)了喜、怒、哀、樂、悲傷、嚴(yán)肅、吃驚、自然(中性)等8種表情。索尼公司的AIBO狗：第一個實(shí)現(xiàn)規(guī)模商品化的寵物機(jī)器人（2006年生產(chǎn)6萬只，收益10億美元），QRIO、SDR-4X等寵物機(jī)器人。為有情感交互能力的機(jī)器人及相關(guān)的研究打開了想象的空間。典型應(yīng)用Pepper是一款人形機(jī)器人，由日本軟銀集團(tuán)和法國AldebaranRobotics研發(fā)，可綜合考慮周圍環(huán)境，并積極主動地作出反應(yīng)。機(jī)器人配備了語音識別技術(shù)、呈現(xiàn)優(yōu)美姿態(tài)的關(guān)節(jié)技術(shù)，以及分析表情和聲調(diào)的情緒識別技術(shù)，可與人類進(jìn)行交流。8.2

情感理論與情感誘發(fā)實(shí)驗(yàn)1）基本情感論8.2.1情感的心理學(xué)理論基本情感論認(rèn)為，人類的復(fù)雜的情感是由若干種有限的基本情感構(gòu)成的，基本情感按照一定的比例混合構(gòu)成各種復(fù)合情感。基本情感論認(rèn)為情感可以用離散的類別模型來描述，目前大部分的情感識別系統(tǒng)，都是建立在這一理論體系之上的。在心理學(xué)領(lǐng)域?qū)厩楦蓄悇e的定義還沒有一個統(tǒng)一的結(jié)論，然而在語音情感識別的文獻(xiàn)中，較多的研究者采用的是六種基本情感狀態(tài)：“喜悅”、“生氣”、“驚訝”、“悲傷”、“恐懼”和“中性”。人類情緒的基本類型

快樂憤怒恐懼悲哀1.快樂：追求并達(dá)到所盼望的目的?！鞓?盼望的目的達(dá)到后繼之而來的緊張解除時的情緒體驗(yàn)?！鶓嵟?愿望不能達(dá)到或事與愿違，并一再受到妨礙的情況下產(chǎn)生的情緒體驗(yàn)?？謶郑河捎谌狈μ幚砘驍[脫可怕的情景或事物的能力引起的情緒體驗(yàn)。悲傷：與失去所熱愛的事物或所盼望的東西有關(guān)的體驗(yàn)。

8.2.1情感的心理學(xué)理論2）維度空間論維度模型，是由效價度和喚醒度組成的二維空間：1）效價度或者快樂度，其理論基礎(chǔ)是正負(fù)情感的分離激活，主要體現(xiàn)為情感主體的情緒感受，是對情感和主體關(guān)系的一種度量；2）喚醒度或者激活度，指與情感狀態(tài)相聯(lián)系的機(jī)體能量激活的程度，是對情感的內(nèi)在能量的一種度量。8.2.2實(shí)用語音情感數(shù)據(jù)庫的建立1）概述語音情感數(shù)據(jù)庫的建立，是研究語音情感的必需的研究基礎(chǔ)，具有極為重要的意義。目前國際上流行的語音情感數(shù)據(jù)庫有AIBO（ArtificialIntelligenceRobot）語料庫、VAM（TheVeraamMittag）數(shù)據(jù)庫、丹麥語數(shù)據(jù)庫（DanishEmotionalSpeech，DES）、柏林?jǐn)?shù)據(jù)庫、SUSAS（SpeechunderSimulatedandActualStress）數(shù)據(jù)庫等。8.2.2實(shí)用語音情感數(shù)據(jù)庫的建立2）實(shí)用語音情感數(shù)據(jù)庫的需求情感語料可以分為自然語音、誘發(fā)語音和表演語音三類。表演語料的優(yōu)點(diǎn)是容易采集，缺點(diǎn)是情感表現(xiàn)夸張，與實(shí)際的自然語音有一定的差別。早期基于表演語料的識別系統(tǒng)，它的情感模型在實(shí)驗(yàn)室條件下是符合樣本數(shù)據(jù)的，在實(shí)驗(yàn)測試中也能獲得較高的識別率，但是在實(shí)際條件下，系統(tǒng)的情感模型與真實(shí)的情感數(shù)據(jù)不能符合的很好，導(dǎo)致應(yīng)用中的技術(shù)瓶頸。面向?qū)嶋H應(yīng)用的需求，實(shí)用語音情感數(shù)據(jù)庫必須要保證語料的真實(shí)可靠，不能采用傳統(tǒng)的表演方式采集數(shù)據(jù)。通過實(shí)驗(yàn)心理學(xué)中的方法來誘發(fā)實(shí)用語音情感數(shù)據(jù)，可盡可能的使訓(xùn)練數(shù)據(jù)接近真實(shí)的情感數(shù)據(jù)。8.2.2實(shí)用語音情感數(shù)據(jù)庫的建立3）建立過程和一般規(guī)范參考國內(nèi)外著名語料庫及其相關(guān)的規(guī)范，實(shí)用語音情感數(shù)據(jù)庫建立的流程主要包含五個步驟：制定情感誘發(fā)方式、情感語音采集、數(shù)據(jù)檢驗(yàn)與補(bǔ)錄、語句切分與標(biāo)注和聽辨測試。規(guī)范詳細(xì)說明發(fā)音人規(guī)范描述發(fā)音人的年齡、性別、教育背景和性格特征等。語料設(shè)計規(guī)范描述語料的組織和設(shè)計內(nèi)容，包括文本內(nèi)容設(shè)計、情感選擇、語料來源等。錄音規(guī)范描述錄音環(huán)境的軟硬件設(shè)備、錄音聲學(xué)環(huán)境等技術(shù)指標(biāo)。數(shù)據(jù)存儲技術(shù)規(guī)范描述采樣率、編碼格式、語音文件的存儲格式及其技術(shù)規(guī)范。語料庫標(biāo)注規(guī)范情感標(biāo)注內(nèi)容和標(biāo)注系統(tǒng)說明。法律聲明發(fā)音人錄音之后簽署的有關(guān)法律條文或者聲明。8.2.2實(shí)用語音情感數(shù)據(jù)庫的建立4）數(shù)據(jù)檢驗(yàn)錄音過程通常在安靜的實(shí)驗(yàn)室內(nèi)進(jìn)行。每次錄音后，應(yīng)進(jìn)行數(shù)據(jù)的檢驗(yàn)與補(bǔ)錄，及時對語音文件進(jìn)行人工檢驗(yàn)，以排除錄音過程中可能出現(xiàn)的錯誤。例如，查看并剔除語音中的信號過載音段、不規(guī)則噪聲（如咳嗽等）和非正常停頓造成的長時靜音等。對于錯誤嚴(yán)重的錄音文件，必要時進(jìn)行補(bǔ)錄。8.2.3情感語料的誘發(fā)方法1）通過計算機(jī)游戲誘發(fā)情感語料因?yàn)槿祟惵曇糁刑N(yùn)含的情感信息受到無意識的心理狀態(tài)變化的影響，以及社會文化導(dǎo)致的有意識的說話習(xí)慣的控制，所以實(shí)用語音情感數(shù)據(jù)庫的建立需要考慮語音中情感的自然流露和有意識控制。通過計算機(jī)游戲誘發(fā)情感的方法的優(yōu)勢在于通過游戲中畫面和音樂的視覺、聽覺刺激，能提供一個互動的、具有較強(qiáng)感染力的人機(jī)交互環(huán)境，能夠有效的誘發(fā)出被試的正面情感與負(fù)面情感。8.2.3情感語料的誘發(fā)方法2）通過認(rèn)知作業(yè)誘發(fā)情感語料除了游戲誘發(fā)以外，通過認(rèn)知作業(yè)可誘發(fā)包括煩躁、疲勞和自信等心理狀態(tài)下的情感。在一個重復(fù)的、長時間的認(rèn)知作業(yè)中，采用噪聲誘發(fā)、睡眠剝奪等手段可輔助誘發(fā)負(fù)面情緒。認(rèn)知作業(yè)現(xiàn)場的情感識別具有重要的實(shí)際意義，特別是在航天、航空、航海等長時間的、高強(qiáng)度的工作環(huán)境中，對工作人員的負(fù)面情感的及時檢測和調(diào)控具有非常重要的意義。煩躁、疲勞和自信等心理狀態(tài)對認(rèn)知過程有重要的影響，是評估特殊工作人員的心理狀態(tài)和認(rèn)知作業(yè)水平的一個重要因素。8.2.4情感語料的主觀評價方法為了保證所采集的情感語料的可靠性，需要進(jìn)行主觀聽辨評價，每條樣本由10名未參與錄音的人員進(jìn)行評測。一般認(rèn)為人類區(qū)分信息等級的極限能力為72，故可以引入九分位的比例標(biāo)度來衡量信息等級。例如，采用標(biāo)度1、3、5、7、9表示情感的五種強(qiáng)度，對應(yīng)極弱，較弱，一般，較強(qiáng)，極強(qiáng)五個等級。由于采取多人評測，為了得到第

條情感樣本的評價結(jié)果，需要將所有聽辨人的測評結(jié)果進(jìn)行融合，采用加權(quán)融合的準(zhǔn)則得到該條情感樣本的評判結(jié)果為：8.3

情感的聲學(xué)特征分析8.3.1情感特征提取用于語音情感識別的聲學(xué)特征大致可歸納為韻律學(xué)特征、基于譜的相關(guān)特征和音質(zhì)特征三種類型：1）韻律是指語音中凌駕于語義符號之上的音高、音長、快慢和輕重等方面的變化，是對語音流表達(dá)方式的一種結(jié)構(gòu)性安排。最常用的韻律特征有時長、基頻、能量等。2）基于譜的相關(guān)特征被認(rèn)為是聲道形狀變化和發(fā)聲運(yùn)動之間相關(guān)性的體現(xiàn)，使用的譜特征一般有線性預(yù)測系數(shù)、線性預(yù)測倒譜系數(shù)、美爾倒譜系數(shù)等。3）聲音質(zhì)量是人們賦予語音的一種主觀評價指標(biāo)，用于衡量聲音質(zhì)量的聲學(xué)特征一般有：共振峰頻率及其帶寬、頻率微擾和振幅微擾、聲門參數(shù)等。8.3.1情感特征提取特征序號特征名稱1-4短時能量的最大值、最小值、均值、方差5短時能量抖動6-7短時能量的線性回歸系數(shù)及其均方誤差8250Hz以下短時能量占全部短時能量的比例9-12基音頻率的最大值、最小值、均值、方差13-14一階基音頻率抖動、二階基音頻率抖動15基音頻率分段方差16-19基音頻率一階差分的最大值、最小值、均值、方差20-34第一、第二、第三共振峰頻率的最大值、最小值、均值、方差、一階抖動35-37第二共振峰頻率比率最大值、最小值、均值38-890-12階MFCC的最大值、最小值、均值、方差90-1410-12階MFCC一階差分的最大值、最小值、均值、方差142-144關(guān)聯(lián)維數(shù)、最大Lyapunov指數(shù)和Kolmogorov熵8.3.2特征降維算法由于受到訓(xùn)練樣本規(guī)模的限制，特征空間維度不能過高，需要進(jìn)行特征降維。在具體的算法訓(xùn)練當(dāng)中，幾乎所有的算法都會受到計算能力的限制，特征數(shù)量的增加，最終會導(dǎo)致“維度災(zāi)難”的問題。常用的特征降維方法：LDA（LinearDiscriminantAnalysis）、PCA（PrincipalComponentsAnalysis）、FDR（FisherDiscriminantRatio）、SFS（SequentialForwardSelection）等。8.3.2特征降維算法1）LDA降維原理LDA用來特征降維的具體步驟如下：（1）中心化訓(xùn)練樣本，并計算其類內(nèi)離散度矩陣

和類間離散度矩陣。（2）計算樣本的協(xié)方差矩陣，并對其特征值分解，將特征向量按照其特征值的大小進(jìn)行降序排列，取前若干個特征向量組成投影矩陣。（3）計算投影到投影矩陣上的樣本的類內(nèi)離散度矩陣和類間離散度矩陣。8.3.2特征降維算法1）LDA降維原理（4）對

進(jìn)行特征值分解，并將其特征向量按其特征值大小進(jìn)行降序排列，取前c-1個特征值對應(yīng)的特征向量組成新的投影矩陣。（5）將訓(xùn)練樣本按照新的投影矩陣進(jìn)行投影。（6）對測試樣本進(jìn)行中心化處理，并按照新的投影矩陣進(jìn)行投影。（7）選擇合適的分類算法進(jìn)行分類。8.3.2特征降維算法2）PCA降維原理PCA是經(jīng)常使用的特征獲取方法之一，被稱作是模式分類中的著名算法之一，是一種使用相當(dāng)廣泛的降低數(shù)據(jù)維度方法。PCA的目的就是利用一組向量基去再次表征獲得的信息量，使新的信息量能夠盡可能表達(dá)初始信息之間的關(guān)聯(lián)，最后從中獲取“主分量”，很大程度上減小多余信息的干擾。為了使得重構(gòu)信號誤差最小，需要選取特征矩陣特征值較大的特征矢量，而用該特征矢量重構(gòu)系數(shù)作為信號的低維特征。8.4

實(shí)用語音情感的識別算法算法情感擬合性能優(yōu)點(diǎn)缺點(diǎn)GMM高對數(shù)據(jù)的擬合能力較高對訓(xùn)練數(shù)據(jù)依賴性強(qiáng)SVM較高適合于小樣本訓(xùn)練集多類分類問題中存在不足KNN較高易于實(shí)現(xiàn)，較符合語音情感數(shù)據(jù)的分布特性計算量較大HMM一般適合于時序序列的識別受到音位信息的影響較大決策樹一般易于實(shí)現(xiàn)，適合于離散情感類別的識別識別率有待提高ANN較高逼近復(fù)雜的非線性關(guān)系容易陷入局部極小特性和算法收斂速度較低的混合蛙跳算法較高優(yōu)化能力強(qiáng)，有利于發(fā)現(xiàn)情感數(shù)據(jù)中潛在的模式在迭代后期容易陷入局部最優(yōu)，收斂速度較慢8.4.1K近鄰分類器K近鄰（KNN）分類算法，是一種較為簡單直觀的分類方法，但在語音情感識別中表現(xiàn)出的性能卻很好。KNN算法分為如下四步：1）提取訓(xùn)練樣本的特征向量，構(gòu)成訓(xùn)練樣本特征向量集合{X1,X2,…,Xn}；2）設(shè)定算法中K的值。K值的確定沒有一個統(tǒng)一的方法（根據(jù)具體問題選取的K值可能有較大的區(qū)別）。一般方法是先確定一個初始值，然后根據(jù)實(shí)驗(yàn)結(jié)果不斷調(diào)試，最終達(dá)到最優(yōu)。3）提取待測樣本的特征向量X，并計算X與

中每一樣本的歐式距離D(X,Xl)。4）統(tǒng)計D(X,Xl)中K個最近鄰的類別信息，給出X的分類結(jié)果。8.4.2支持向量機(jī)支持向量機(jī)是由Cortes和Vapnik等人提出的一種機(jī)器學(xué)習(xí)的算法，它是建立在統(tǒng)計學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險最小化的基礎(chǔ)之上的。支持向量機(jī)在諸多模式分類應(yīng)用領(lǐng)域中具有優(yōu)勢，如解決小樣本問題、非線性模式識別問題以及函數(shù)擬合等。SVM算法是統(tǒng)計學(xué)習(xí)理論的一種實(shí)現(xiàn)方式。最基本思路就是要找到使測試樣本的分類錯誤率達(dá)到最低的最佳超平面，也就是要找到一個分割平面，使得訓(xùn)練集中的訓(xùn)練樣本距離該平面的距離盡量的遠(yuǎn)以及平面兩側(cè)的空白區(qū)域最大。8.4.2支持向量機(jī)在n維空間Rn中，對于兩類問題進(jìn)行分類時，設(shè)輸入空間中的一組樣本為(xi,yi)，yi∈{+1,-1}是類別標(biāo)號?！蕒+1,-1}在線性可分的情況下，存在多個超平面將兩類樣本分開，其中可以使得兩個類別離超平面最近的樣本與它的距離最大的那個超平面，稱為最優(yōu)超平面。8.4.2支持向量機(jī)設(shè)超平面方程為

使得推得則分類函數(shù)就是g(x)=wx+b，且分類函數(shù)歸一化以后，兩類中的所有樣本都滿足|g(x)|≥1，距離分類超平面最近的樣本滿足|g(x)|=1，分類間隔即為2/||w||。當(dāng)||w||最小時，分類間隔最大。8.4.2支持向量機(jī)尋找最優(yōu)分類面的問題就簡化成一個簡單的優(yōu)化問題，即當(dāng)約束條件為

，使得

最小。引入拉格朗日算子

α，原問題變成了一個約束條件下的二次優(yōu)化問題：通過對系數(shù)w和b求導(dǎo)，并代入上式，則當(dāng)約束條件為使得8.4.2支持向量機(jī)引入非線性映射后，假設(shè)Φ是低維輸入空間Rn到高維特征空間F的一個映射，核函數(shù)k對應(yīng)高維特征F中向量內(nèi)積運(yùn)算，即最優(yōu)分類問題轉(zhuǎn)化為一個約束條件

下的二次優(yōu)化問題：得到最佳分類函數(shù)為8.4.2支持向量機(jī)1）多項(xiàng)式形式的核函數(shù)：2）徑向基形式的核函數(shù)：3）S形核函數(shù)：8.4.2支持向量機(jī)上面介紹的是兩類樣本的分類問題，如果需要對

類問題進(jìn)行分類，則需要對SVM進(jìn)行組合。組合的策略有“一對一”和“一對多”?！耙粚Χ唷钡乃枷胧窃谠擃悩颖竞筒粚儆谠擃惖臉颖局g構(gòu)建一個超平面，假設(shè)總共有k個類別，則需要構(gòu)建k個分類器，每個分類器分別用第

類的樣本作為正樣本，其余的樣本作為負(fù)樣本。該方法的缺點(diǎn)是樣本數(shù)目不對稱，負(fù)樣本比正樣本要多很多，故分類器訓(xùn)練的懲罰因子很難選擇?！耙粚σ弧钡姆绞绞敲績深悩颖鹃g構(gòu)造一個超平面，一共需要訓(xùn)練k(k-1)/2個分類器，最后識別樣本時采用后驗(yàn)概率最大法選定待識別樣本的類型，“一對一”的方法的缺點(diǎn)是訓(xùn)練的分類器比較多。8.4.3人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ANN）是一種由大量簡單處理單元構(gòu)成的并行分布式數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)主要從兩方面模仿大腦工作：從外界環(huán)境中學(xué)習(xí)和用突觸權(quán)值存儲知識。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)處理信息的基本單位，是由突觸權(quán)值、加法器、激活函數(shù)三部分構(gòu)成的非線性模型。8.4.3人工神經(jīng)網(wǎng)絡(luò)對于多層感知器，通常采用著名的BP算法來修正連接權(quán)值。下面簡單介紹用于MLP訓(xùn)練的BP算法。訓(xùn)練分兩步：第一步是計算MLP的輸出值；第二步是用BP算法更新網(wǎng)絡(luò)的連接權(quán)值。8.4.3人工神經(jīng)網(wǎng)絡(luò)具體步驟如下：1）設(shè)置初始權(quán)值及閾值，即設(shè)所有的權(quán)值及節(jié)點(diǎn)的閾值為一個小的隨機(jī)數(shù)。2）給定新的輸入值x1,…,xN及相應(yīng)的理想輸出信號d1,…,dM。

3）計算當(dāng)輸入x1,…,xN通過網(wǎng)絡(luò)時的實(shí)際輸出值y1,…,yM。對于網(wǎng)絡(luò)中任一節(jié)點(diǎn)j，它的輸出的計算步驟為：

8.4.3人工神經(jīng)網(wǎng)絡(luò)4）修正每個權(quán)值和閥值。從輸出節(jié)點(diǎn)開始逐步向前遞推，直到第一層。

當(dāng)節(jié)點(diǎn)j是輸出節(jié)點(diǎn)時，理想輸出明確，δj可表示為

當(dāng)節(jié)點(diǎn)j是隱含節(jié)點(diǎn)時，理想輸出不明確，δj定義為

5）轉(zhuǎn)移到第2步重復(fù)進(jìn)行，直到各