情感計算的研究進展

情感計算的研究進展楊勇（副教授、博士研究生）

/yangyong9/15/20231重慶郵電大學計算機學院楊勇概述情感識別情感建模情感推理9/15/20232重慶郵電大學計算機學院楊勇1.1情感計算研究的意義目前人工智能的研究發(fā)展已經(jīng)達到了較高的水平，同時它的研究內(nèi)容也在逐步擴展和延伸。對人的情感和認知的研究是人工智能的高級階段，它的研究將會大大促進擬人控制理論、情感機器人、人性化的商品設計和市場開發(fā)等方面的進展，為最終營造一個人與人、人與機器和諧的社會環(huán)境做出貢獻。對人的情感和認知的研究必將為計算機的未來應用展現(xiàn)一種全新的方向。9/15/20233重慶郵電大學計算機學院楊勇1.2情感計算的概念MIT媒體實驗室Picard教授于1995年提出了情感計算的概念。情感計算是與情感相關，來源于情感或能夠?qū)η楦惺┘佑绊懙挠嬎?。情感計算包括情感識別、情感表示、情感建模、情感交互等四個方面。9/15/20234重慶郵電大學計算機學院楊勇中國人工智能學會人工心理與人工情感專業(yè)委員會主任、北京科技大學王志良教授提出了人工心理理論。人工心理是利用信息科學的手段，對人的心理活動（著重是人的情感、意志、性格、創(chuàng)造）更全面地再一次人工機器（計算機、模型算法等）模擬，其目的在于從心理學廣義層次上研究人工情感、情緒與認知、動機與情緒的人工機器實現(xiàn)的問題。9/15/20235重慶郵電大學計算機學院楊勇日本從20世紀90年代就開始了感性工學(kanseiengineering)的研究。所謂感性工學，就是將感性與工程結合起來，在感性科學的基礎上，通過分析人類的感性，把人的感性情感加入到商品設計和制造中去，它是一門從工程學的角度實現(xiàn)給人類帶來喜悅和滿足的商品制造的技術科學。日本已經(jīng)形成了舉國研究感性工學的高潮。9/15/20236重慶郵電大學計算機學院楊勇人工心理學是一門交叉科學，其理論根源來自腦科學、心理學、生理學、倫理學、神經(jīng)科學、人類工學、感性工學、語言學、美學、法律、信息科學、計算機科學、自動化科學、人工智能等。應用范圍主要是情感機器人的技術支持、擬人機械、人性化商品設計、感性市場開發(fā)、人工心理編程語言、人工創(chuàng)造技術、人類情感評價計算機系統(tǒng)(虛擬技術)、人類心理數(shù)據(jù)庫及數(shù)學模型、人際和諧環(huán)境技術和人機和諧多通道接口等。9/15/20237重慶郵電大學計算機學院楊勇1.3國內(nèi)外研究現(xiàn)狀MIT：/projects.phpCMU東京大學早稻田大學日內(nèi)瓦大學情緒研究實驗室伯明翰大學9/15/20238重慶郵電大學計算機學院楊勇中科院計算所：研究帶有表情和動作的虛擬人。中科院自動化所：基于生物特征的身份驗證。中科院心理學所、生物所：情緒心理學、生理學研究中科院軟件所：智能用戶界面浙江大學：虛擬人物、情緒系統(tǒng)構造北京工業(yè)大學：多功能感知機同情感計算的融合研究。東南大學：語音情感識別南京航空航天大學：語音情感計算。中國科技大學：基于內(nèi)容的交互式感性圖像檢索的研究9/15/20239重慶郵電大學計算機學院楊勇重慶大學：智能服務、增強現(xiàn)實、環(huán)境感知、智能手表等，注重軟件方面的研究。海南大學：軍用無線局域網(wǎng)結構中的可穿戴計算機。哈工大：“具有六種面部表情及視覺的類人頭像型機器人及行為研究”，于2004年研制出具有八種面部表情的仿人頭像機器人系統(tǒng)，并進行了表情實驗，實現(xiàn)了喜、怒、哀、樂、悲傷、嚴肅、吃驚、自然(中性)等8種表情。9/15/202310重慶郵電大學計算機學院楊勇1.4典型應用索尼公司的AIBO狗：第一個實現(xiàn)規(guī)模商品化的寵物機器人（2006年生產(chǎn)6萬只，收益10億美元），QRIO、SDR-4X等寵物機器人。為有情感交互能力的機器人及相關的研究打開了想象的空間。它們的共同特點是：對外界刺激有反應能力；能與人進行生動的交流，這種交流除了語言，還有面部表情、語凋和身體姿態(tài)等。9/15/202311重慶郵電大學計算機學院楊勇卡內(nèi)基梅隆大學的機器人接待員Valerie：Valerie的面孔形象出現(xiàn)在一個能夠轉(zhuǎn)動方向的移動屏幕上，向訪問者提供一些天氣和方位方面的信息，還可以接電話、解答一些問題；并且Valerie有自己的性格和愛好，情感表達較為豐富。9/15/202312重慶郵電大學計算機學院楊勇1.5待研究的關鍵問題[1]沒有符合人類情感規(guī)律并適于機器實現(xiàn)的人工情緒自動生成模型。在智能推理過程中，如何考慮情緒影響的因素，實現(xiàn)真正意義上的擬人推理過程。語音情感信息處理技術和表情識別技術的不成熟，成為制約人工情感與和諧人機交互技術發(fā)展的瓶頸。如何從多模態(tài)的角度進行情感信息融合、識別與理解，實現(xiàn)自然和諧的人機交互平臺環(huán)境。

[1]王志良.人工心理與人工情感.智能系統(tǒng)學報,2006,1(1):1-6.9/15/202313重慶郵電大學計算機學院楊勇2.1多模情感識別概述語音圖像姿態(tài)其他傳感器數(shù)據(jù)預處理特征抽取特征選擇情感模型心理學基礎情感建模各種情感識別方法識別結果9/15/202314重慶郵電大學計算機學院楊勇2.2情感特征情感行為識別：面部表情識別語音情感識別姿態(tài)識別生理模式識別：皮膚電反應呼吸心率體溫腦電波等9/15/202315重慶郵電大學計算機學院楊勇2.3特征抽取和數(shù)據(jù)預處理2.3.1面部表情識別特征：幾何特征（ERS：33個幾何特征）局部區(qū)域特征紋理特征小波特征…9/15/202316重慶郵電大學計算機學院楊勇特征抽?。喝四槞z測人臉邊緣檢測特征點定位基于樣例學習的面部特征點自動標定算法特征點跟蹤光流跟蹤9/15/202317重慶郵電大學計算機學院楊勇預處理光照不理想遮擋側(cè)面人臉9/15/202318重慶郵電大學計算機學院楊勇2.3.2語音識別特征（ERS:37）：短時能量及短時平均幅度基音周期短時過零率語速線性預測系數(shù)共振峰Mel倒譜和LPC倒譜9/15/202319重慶郵電大學計算機學院楊勇噪音的預處理：語音增強發(fā)現(xiàn)抗噪性能比較好的語音特征模型補償9/15/202320重慶郵電大學計算機學院楊勇2.4識別方法常用的識別方法：ANNSVM模糊規(guī)則基于模板的方法HMM貝葉斯理論決策樹9/15/202321重慶郵電大學計算機學院楊勇新的嘗試（？）集成學習理論粒計算理論覆蓋機器學習理論流形學習（manifoldlearning）理論9/15/202322重慶郵電大學計算機學院楊勇3.1情感建模概述情感建模的目的：根據(jù)心理學基礎理論，對情感進行（數(shù)學）表達（建模），并進行計算機表示。情緒心理學理論的多樣性，導致人工情緒理論方法的不一致，以致于很難找到適用于信息科學的人工情緒的統(tǒng)一理論方法，如何建立一個統(tǒng)一的人工心理模型來表達情緒與認知乃至與意識的關系，進而適于機器實現(xiàn)，這將是一個很大的挑戰(zhàn)。9/15/202323重慶郵電大學計算機學院楊勇3.2Ekman情感分類Ekman：根據(jù)達爾文的理論，提出存在6種基本情感：“憤怒”、“厭惡”、“恐懼”、“高興”、“悲傷”和“驚訝”，基本情感直接影響情感分類，與生命體的基本特征息息相關，其他情感都可以由這6種基本情感構成，而且這6種情感在文化傳統(tǒng)間的差異很小，因此，對這6種情感的研究優(yōu)于其它情感模型。9/15/202324重慶郵電大學計算機學院楊勇3.3OCC模型1988年，Ortony和Collins提出了著名的認識評價情感模型OCC模型，這個模型根據(jù)不同的情感刺激提出了22類情感，并對產(chǎn)生情感的刺激特征做了詳細描述。該模型一經(jīng)發(fā)表就被視為本領域的經(jīng)典情感模型，但因為模型過于復雜OCC模型被應用于實際的應用并不多。2003年，Ortony改進了該模型，刺激的分類趨向于積極和消極兩類，同時提出還應具有自己的目標、評價標準和喜好這三種固有意識。9/15/2023