情感計算的研究進展

情感計算的研究進展楊勇（副教授、博士研究生）

/yangyong1/31/20231重慶郵電大學計算機學院楊勇概述情感識別情感建模情感推理1/31/20232重慶郵電大學計算機學院楊勇1.1情感計算研究的意義目前人工智能的研究發(fā)展已經(jīng)達到了較高的水平，同時它的研究內(nèi)容也在逐步擴展和延伸。對人的情感和認知的研究是人工智能的高級階段，它的研究將會大大促進擬人控制理論、情感機器人、人性化的商品設(shè)計和市場開發(fā)等方面的進展，為最終營造一個人與人、人與機器和諧的社會環(huán)境做出貢獻。對人的情感和認知的研究必將為計算機的未來應(yīng)用展現(xiàn)一種全新的方向。1/31/20233重慶郵電大學計算機學院楊勇1.2情感計算的概念MIT媒體實驗室Picard教授于1995年提出了情感計算的概念。情感計算是與情感相關(guān)，來源于情感或能夠?qū)η楦惺┘佑绊懙挠嬎?。情感計算包括情感識別、情感表示、情感建模、情感交互等四個方面。1/31/20234重慶郵電大學計算機學院楊勇中國人工智能學會人工心理與人工情感專業(yè)委員會主任、北京科技大學王志良教授提出了人工心理理論。人工心理是利用信息科學的手段，對人的心理活動（著重是人的情感、意志、性格、創(chuàng)造）更全面地再一次人工機器（計算機、模型算法等）模擬，其目的在于從心理學廣義層次上研究人工情感、情緒與認知、動機與情緒的人工機器實現(xiàn)的問題。1/31/20235重慶郵電大學計算機學院楊勇日本從20世紀90年代就開始了感性工學(kanseiengineering)的研究。所謂感性工學，就是將感性與工程結(jié)合起來，在感性科學的基礎(chǔ)上，通過分析人類的感性，把人的感性情感加入到商品設(shè)計和制造中去，它是一門從工程學的角度實現(xiàn)給人類帶來喜悅和滿足的商品制造的技術(shù)科學。日本已經(jīng)形成了舉國研究感性工學的高潮。1/31/20236重慶郵電大學計算機學院楊勇人工心理學是一門交叉科學，其理論根源來自腦科學、心理學、生理學、倫理學、神經(jīng)科學、人類工學、感性工學、語言學、美學、法律、信息科學、計算機科學、自動化科學、人工智能等。應(yīng)用范圍主要是情感機器人的技術(shù)支持、擬人機械、人性化商品設(shè)計、感性市場開發(fā)、人工心理編程語言、人工創(chuàng)造技術(shù)、人類情感評價計算機系統(tǒng)(虛擬技術(shù))、人類心理數(shù)據(jù)庫及數(shù)學模型、人際和諧環(huán)境技術(shù)和人機和諧多通道接口等。1/31/20237重慶郵電大學計算機學院楊勇1.3國內(nèi)外研究現(xiàn)狀MIT：/projects.phpCMU東京大學早稻田大學日內(nèi)瓦大學情緒研究實驗室伯明翰大學1/31/20238重慶郵電大學計算機學院楊勇中科院計算所：研究帶有表情和動作的虛擬人。中科院自動化所：基于生物特征的身份驗證。中科院心理學所、生物所：情緒心理學、生理學研究中科院軟件所：智能用戶界面浙江大學：虛擬人物、情緒系統(tǒng)構(gòu)造北京工業(yè)大學：多功能感知機同情感計算的融合研究。東南大學：語音情感識別南京航空航天大學：語音情感計算。中國科技大學：基于內(nèi)容的交互式感性圖像檢索的研究1/31/20239重慶郵電大學計算機學院楊勇重慶大學：智能服務(wù)、增強現(xiàn)實、環(huán)境感知、智能手表等，注重軟件方面的研究。海南大學：軍用無線局域網(wǎng)結(jié)構(gòu)中的可穿戴計算機。哈工大：“具有六種面部表情及視覺的類人頭像型機器人及行為研究”，于2004年研制出具有八種面部表情的仿人頭像機器人系統(tǒng)，并進行了表情實驗，實現(xiàn)了喜、怒、哀、樂、悲傷、嚴肅、吃驚、自然(中性)等8種表情。1/31/202310重慶郵電大學計算機學院楊勇1.4典型應(yīng)用索尼公司的AIBO狗：第一個實現(xiàn)規(guī)模商品化的寵物機器人（2006年生產(chǎn)6萬只，收益10億美元），QRIO、SDR-4X等寵物機器人。為有情感交互能力的機器人及相關(guān)的研究打開了想象的空間。它們的共同特點是：對外界刺激有反應(yīng)能力；能與人進行生動的交流，這種交流除了語言，還有面部表情、語凋和身體姿態(tài)等。1/31/202311重慶郵電大學計算機學院楊勇卡內(nèi)基梅隆大學的機器人接待員Valerie：Valerie的面孔形象出現(xiàn)在一個能夠轉(zhuǎn)動方向的移動屏幕上，向訪問者提供一些天氣和方位方面的信息，還可以接電話、解答一些問題；并且Valerie有自己的性格和愛好，情感表達較為豐富。1/31/202312重慶郵電大學計算機學院楊勇1.5待研究的關(guān)鍵問題[1]沒有符合人類情感規(guī)律并適于機器實現(xiàn)的人工情緒自動生成模型。在智能推理過程中，如何考慮情緒影響的因素，實現(xiàn)真正意義上的擬人推理過程。語音情感信息處理技術(shù)和表情識別技術(shù)的不成熟，成為制約人工情感與和諧人機交互技術(shù)發(fā)展的瓶頸。如何從多模態(tài)的角度進行情感信息融合、識別與理解，實現(xiàn)自然和諧的人機交互平臺環(huán)境。

[1]王志良.人工心理與人工情感.智能系統(tǒng)學報,2006,1(1):1-6.1/31/202313重慶郵電大學計算機學院楊勇2.1多模情感識別概述語音圖像姿態(tài)其他傳感器數(shù)據(jù)預處理特征抽取特征選擇情感模型心理學基礎(chǔ)情感建模各種情感識別方法識別結(jié)果1/31/202314重慶郵電大學計算機學院楊勇2.2情感特征情感行為識別：面部表情識別語音情感識別姿態(tài)識別生理模式識別：皮膚電反應(yīng)呼吸心率體溫腦電波等1/31/202315重慶郵電大學計算機學院楊勇2.3特征抽取和數(shù)據(jù)預處理2.3.1面部表情識別特征：幾何特征（ERS：33個幾何特征）局部區(qū)域特征紋理特征小波特征…1/31/202316重慶郵電大學計算機學院楊勇特征抽?。喝四槞z測人臉邊緣檢測特征點定位基于樣例學習的面部特征點自動標定算法特征點跟蹤光流跟蹤1/31/202317重慶郵電大學計算機學院楊勇預處理光照不理想遮擋側(cè)面人臉1/31/202318重慶郵電大學計算機學院楊勇2.3.2語音識別特征（ERS:37）：短時能量及短時平均幅度基音周期短時過零率語速線性預測系數(shù)共振峰Mel倒譜和LPC倒譜1/31/202319重慶郵電大學計算機學院楊勇噪音的預處理：語音增強發(fā)現(xiàn)抗噪性能比較好的語音特征模型補償1/31/202320重慶郵電大學計算機學院楊勇2.4識別方法常用的識別方法：ANNSVM模糊規(guī)則基于模板的方法HMM貝葉斯理論決策樹1/31/202321重慶郵電大學計算機學院楊勇新的嘗試（？）集成學習理論粒計算理論覆蓋機器學習理論流形學習（manifoldlearning）理論1/31/202322重慶郵電大學計算機學院楊勇3.1情感建模概述情感建模的目的：根據(jù)心理學基礎(chǔ)理論，對情感進行（數(shù)學）表達（建模），并進行計算機表示。情緒心理學理論的多樣性，導致人工情緒理論方法的不一致，以致于很難找到適用于信息科學的人工情緒的統(tǒng)一理論方法，如何建立一個統(tǒng)一的人工心理模型來表達情緒與認知乃至與意識的關(guān)系，進而適于機器實現(xiàn)，這將是一個很大的挑戰(zhàn)。1/31/202323重慶郵電大學計算機學院楊勇3.2Ekman情感分類Ekman：根據(jù)達爾文的理論，提出存在6種基本情感：“憤怒”、“厭惡”、“恐懼”、“高興”、“悲傷”和“驚訝”，基本情感直接影響情感分類，與生命體的基本特征息息相關(guān)，其他情感都可以由這6種基本情感構(gòu)成，而且這6種情感在文化傳統(tǒng)間的差異很小，因此，對這6種情感的研究優(yōu)于其它情感模型。1/31/202324重慶郵電大學計算機學院楊勇3.3OCC模型1988年，Ortony和Collins提出了著名的認識評價情感模型OCC模型，這個模型根據(jù)不同的情感刺激提出了22類情感，并對產(chǎn)生情感的刺激特征做了詳細描述。該模型一經(jīng)發(fā)表就被視為本領(lǐng)域的經(jīng)典情感模型，但因為模型過于復雜OCC模型被應(yīng)用于實際的應(yīng)用并不多。2003年，Ortony改進了該模型，刺激的分類趨向于積極和消極兩類，同時提出還應(yīng)具有自己的目標、評價標準和喜好這三種固有意識。1/31/202325重慶郵電大學計算機學院楊勇3.4基于HMM的建模方法將情感視為表征生命體心智狀態(tài)的一種信息，認為情感信息是情緒過程產(chǎn)生的觀察序列，并假定這種情緒過程是一種馬爾可夫過程。在情感模型的Markov鏈中，狀態(tài)轉(zhuǎn)移概率矩陣A中各元素的值由多種因素決定：與該個體的性格特征有關(guān)；與意識刺激的類型有關(guān)。1/31/202326重慶郵電大學計算機學院楊勇情感模型訓練過程中要解決的問題是確定一個角色的心理模型參數(shù)，再由該參數(shù)模型產(chǎn)生情感表現(xiàn)的觀察序列?？梢圆捎肂aum－Welch算法用于情感模型的參數(shù)估計。該方法基于統(tǒng)計模型規(guī)律，而不是基于行為模式的方法，建模簡單，易于構(gòu)造不同性格人物的特點。1/31/202327重慶郵電大學計算機學院楊勇3.5基于心理能量思想的人工情感模型心理學基礎(chǔ)：動力心理學。把人的心理系統(tǒng)看成一個動力學系統(tǒng)。心理動力學系統(tǒng)也需要能量（即心理能量）。心理能量就是推動個體進行各種心理活動、行為的能力，有兩種基本表現(xiàn)形式：自由的心理能量和受約束的心理能量。心理能量對外的表現(xiàn)形式有兩個方面：一方面體現(xiàn)為驅(qū)動個體進行感興趣或與當前需要相聯(lián)系的各種活動；另一方面（情感能量）伴隨著各種活動的進行以及根據(jù)活動目標是否達到、需要是否得到滿足，而以各種情感狀態(tài)和情緒表達的方式體現(xiàn)出來。1/31/202328重慶郵電大學計算機學院楊勇絕對的情感能量分配方程相對的情感能量分配方程情感能量分布描述空間1/31/202329重慶郵電大學計算機學院楊勇3.6新的嘗試？基于粒計算理論的情感模型…1/31/202330重慶郵電大學計算機學院楊勇4.1情感推理的研究擬人情感推理的研究還是難題。情感狀態(tài)的確定受到心情、情緒、個性、周圍環(huán)境等諸多因素的影響。1/31/202331重慶郵電大學計算機學院楊勇4.2覺察上下文計算與情感推理4.2.1覺察上下文計算（ContextAwareComputing）概念：指系統(tǒng)感知，獲取，解釋，管理和使用上下文信息，動態(tài)地調(diào)整自身的行為，為用戶提供更滿意，更智能的信息和服務(wù)。1/31/202332重慶郵電大學計算機學院楊勇上下文信息：身份上下文?？臻g中的人的身份，各物體的ID空間上下文。人或物體的絕對位置，相對位置，人的朝向，是否在運動，站著還是坐著等時間上下文。是上午還是下午，工作日還是休息日，哪個季節(jié)環(huán)境上下文。環(huán)境的聲音分貝值，亮度，濕度，溫度等社會關(guān)系上下文。比如對一個家庭來說，空間中的人是否是家的主人，朋友還是陌生人是相關(guān)的上下文。事務(wù)上下文。比如房間的功能，是會議室還是咖啡間，房間中是否在開會，用戶是否忙等。1/31/2