德勤-情感計算白皮書

里蘭任、浙江大學(xué)黨委副書記大學(xué)腦科學(xué)學(xué)術(shù)委員會主任腦網(wǎng)絡(luò)組研究中心主任龍之江實驗室黨委副書記陳偉之江實驗室主任助理、黨委委員陳光之江實驗室科研發(fā)展部部長林峰之江實驗室人工智能研究院副院長級研究專家、跨媒體智能研究中心副主任、研究員究員、模式識別國家重點實驗室副主任、國家杰Ⅱ王蕊潘煜金佳曾紅梅林莊珺劉晶上海交通大學(xué)計算機科學(xué)與工程系教授、上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院學(xué)與技術(shù)學(xué)院副院長、教授、安徽省杰出青年基金獲得者心主任、教授國際工商管理學(xué)院院長、教授腦機協(xié)同信息行為重點實驗室教授授究所研究員副首席執(zhí)行官、首席轉(zhuǎn)型官生態(tài)系統(tǒng)事業(yè)部總經(jīng)理究所產(chǎn)業(yè)創(chuàng)新研究室主任、研究員發(fā)展組織全球創(chuàng)新網(wǎng)絡(luò)項目上海全球科創(chuàng)中心副主任裴冠雄之江實驗室人工智能研究院跨媒體智能研究中心副研究員德勤科學(xué)加速中心副總監(jiān)興版社副總編輯、《張江科技評論》主編技術(shù)總監(jiān)朱敏學(xué)院商業(yè)數(shù)據(jù)系主任、副教授學(xué)院企業(yè)管理系講師學(xué)計算機與信息學(xué)院副研究員科學(xué)與技術(shù)學(xué)院副教授之江實驗室人工智能研究院跨媒體智能研究中心助理研究員之江實驗室人工智能研究院跨媒體智能研究中心助理研究員之江實驗室人工智能研究院跨媒體智能研究中心算法工程師Ⅲ計算旨在創(chuàng)建一種能感知、識別和理解人的情感，并能針對人的情感作出智慧、靈敏、自然反應(yīng)的計算系統(tǒng)。情感計算是實現(xiàn)自然化、擬人化、人格化人機交互的基礎(chǔ)性技術(shù)和重要前提，也為人工智能決策提供了優(yōu)化路徑，對開啟智能化、數(shù)字化時代具有重大價值。近年來，中國成為情感計算領(lǐng)域最重要的崛起力量之一，并有越來越多的學(xué)者投入該領(lǐng)域的研究。同時，中國也成為情感計算賦能應(yīng)用的主戰(zhàn)場之一，為支撐經(jīng)濟高質(zhì)量發(fā)展和數(shù)字化改革發(fā)揮了重要作用。這本白皮書的發(fā)布，旨在回應(yīng)中國乃至全球?qū)W術(shù)界和產(chǎn)業(yè)界對了解和掌握情感計算最新發(fā)展動向的需求，給科學(xué)研究人員和行業(yè)實踐人員提供較為完整的技術(shù)發(fā)展藍圖和應(yīng)用趨勢洞察，以助推情感計算的發(fā)展與轉(zhuǎn)化。這本白皮書有幾個鮮明的特點：一是以主流學(xué)術(shù)數(shù)據(jù)庫為基礎(chǔ)，之江實驗室、中國科學(xué)院文獻情領(lǐng)域全周期、論文全量級、科研全過程的覆蓋優(yōu)勢，梳理出的重要研究論文、專利和標準，有助于明晰關(guān)鍵共性技術(shù)和前沿引領(lǐng)技術(shù)，對把握情感計算領(lǐng)域?qū)W術(shù)發(fā)展動態(tài)具有指導(dǎo)性意義，對實現(xiàn)“高原造峰”和從“0”到“1”等不同創(chuàng)新路徑均具有較大參考價值。二是白皮書描繪了情感計算的學(xué)科全景，包括重要研究機構(gòu)、學(xué)術(shù)期刊、國際會議、代表性科學(xué)家、高水平學(xué)會等，并對合作生態(tài)進行了梳理，這對指導(dǎo)學(xué)科建設(shè)和重大科研基金立項具有導(dǎo)向作用。中國學(xué)者在學(xué)科領(lǐng)域內(nèi)的進步明顯，初步形成了高水平的學(xué)科人才梯隊，且在典型學(xué)者和重要研究陣地中占比較高。但是，在學(xué)術(shù)期刊、國際會議等方面存在劣勢，中國主導(dǎo)能力偏弱，這不利于學(xué)科話語權(quán)的提Ⅳ升，也與中國在該領(lǐng)域發(fā)文量排名世界第一的情況不匹配。這在一定程度上阻礙了中國科學(xué)家作為學(xué)術(shù)共同體的發(fā)展，不利于從跟隨性走向引領(lǐng)性的地位變革。三是白皮書非常重視對情感計算成果轉(zhuǎn)化及應(yīng)用情況的研究。中國共產(chǎn)黨二十大報告提出，“加快實施創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略。堅持面向世界科技前沿、面向經(jīng)濟主戰(zhàn)場、面向國家重大需求、面向人民生命健康，加快實現(xiàn)高水平科技自立自強”。針對應(yīng)用情況的定量分析和案例研究，有助于引導(dǎo)廣大科技工作者面向經(jīng)濟主戰(zhàn)場和重大實際需求開展科研攻關(guān)，同時促進相關(guān)從業(yè)人員對技術(shù)全景加深理解和認知，促進經(jīng)濟主體增加情感計算賦能應(yīng)用的探索，加速數(shù)字經(jīng)濟轉(zhuǎn)型升級和人工智能技術(shù)迭代應(yīng)用，促進更多企業(yè)從產(chǎn)業(yè)鏈下游向產(chǎn)業(yè)鏈中上游的價值重塑。正是白皮書在以上三個方面的扎實工作，為情感計算未來趨勢預(yù)測筑牢了基礎(chǔ)。這本白皮書也專門設(shè)立章節(jié)，對技術(shù)走向和行業(yè)應(yīng)用作了展望。未來將會怎樣，不可準確預(yù)知，但對過去和現(xiàn)狀的精準把握，為情感計算的發(fā)展脈絡(luò)提供了蹤跡。當今世界正在經(jīng)歷百年未有之大變局，這場變局不限于一時一事、一國一域，而是深刻而宏闊的時代之變。我堅信，中國在情感計算領(lǐng)域的影響力將繼續(xù)迅速提升，我們樂見這種不可阻擋的力量為情感計算學(xué)術(shù)發(fā)展和應(yīng)用賦能提供源源不斷的動力。Ⅴ近年來，中國在人工智能技術(shù)領(lǐng)域的發(fā)展突飛猛進。上一代人工智能技術(shù)在研發(fā)、行業(yè)應(yīng)用和內(nèi)涵普及方面可謂“百花齊放”。經(jīng)過一大批科學(xué)家和實踐者的努力，在短短幾年的時間里，中國就在人工智能發(fā)展的第一階段追趕上了世界先進水平。中國發(fā)展人工智能等前沿信息技術(shù)不僅為了實現(xiàn)中華民族偉大復(fù)興，也為了世界可持續(xù)發(fā)展和德勤作為一家立足中國本土的國際性專業(yè)服務(wù)機構(gòu)，正是感受到了這樣的使命而欣然地加入新一代人工智能技術(shù)——情感計算的開發(fā)策源和轉(zhuǎn)化實踐的隊伍。與諸多科學(xué)家和實踐者一樣，我們也清楚地預(yù)見情感心智在整體智能技術(shù)群中的重要性。情感計算是一項涵蓋心理學(xué)、認知科學(xué)、計算機科學(xué)、數(shù)學(xué)等多學(xué)科交叉的前沿技術(shù)，因此我們需要通過一個由多方角色組成的生態(tài)網(wǎng)絡(luò)，通過實現(xiàn)各自的訴求來形成共贏，從而推動情感計算技術(shù)從研發(fā)向轉(zhuǎn)化、普及等環(huán)節(jié)發(fā)展。為此，在之江實驗室的發(fā)起和指導(dǎo)下，德勤通過多年創(chuàng)新積累的生態(tài)網(wǎng)絡(luò)群組織包括上海科學(xué)技術(shù)出版社、中國科學(xué)院文獻情報中心、英國工程技術(shù)學(xué)會、亞馬遜云科技、上海師范大學(xué)等在內(nèi)的大批專家學(xué)者，共同完成《情感計算白皮書》的撰寫和發(fā)布工作。由于情感計算技術(shù)是過往鮮有人涉足的前沿技術(shù)領(lǐng)域，對當前全球情感計算技術(shù)的相關(guān)信息進行匯總、解讀和分析工作自然也是困難重重，尤其是在面臨日新月異的技術(shù)更替環(huán)境下，如何確保內(nèi)容的時效性，并以最快的速度、最高的質(zhì)量和最全的信息進行白皮書發(fā)布，成為本次任務(wù)的最大挑戰(zhàn)。這樣的任務(wù)實施起來如同發(fā)起和管理一項大科學(xué)工程，也充分考驗了參與者彼此的協(xié)同和默契。在撰寫白皮書的半年多時間里，參與指導(dǎo)和編寫的近50位學(xué)界領(lǐng)軍人物、學(xué)者專家Ⅵ和行業(yè)領(lǐng)袖能夠在新冠肺炎疫情頻發(fā)的不確定環(huán)境下，毅然打破地域限制，按時且高質(zhì)量地完成白皮書的撰寫任務(wù)，這令人感到興奮白皮書從人類對自身情感研究的歷史到通過信息技術(shù)的手段如何進行仿生實現(xiàn)情感計算，再到已經(jīng)實現(xiàn)的場景應(yīng)用，對情感計算技術(shù)進行介紹，實為一部情感計算技術(shù)發(fā)展和應(yīng)用的簡明百科。這樣的內(nèi)容安排，充分寄托了項目組對情感計算技術(shù)在科研和商業(yè)應(yīng)用兩個方面的期許。我們始終堅信，一項好的技術(shù)既離不開前沿科學(xué)的啟蒙，也脫不開與社會經(jīng)濟發(fā)展的實質(zhì)聯(lián)系。白皮書的發(fā)布并不意味著項目組工作的結(jié)束，而是揭開了中國在情感計算技術(shù)方面技術(shù)研究和應(yīng)用轉(zhuǎn)化的序幕。我們衷心地期盼更多對情感計算技術(shù)有熱情的個人和團隊加入我們的大家庭，在新一代人工智能技術(shù)賦能社會安定、國家昌盛、人類發(fā)展等方面作出更多的貢獻。 1.1人類社會的情感 3 1.2情感計算的沿革、定義和內(nèi)容 8 3 Ⅷ3.1.2主要研究陣地(國家/地區(qū)分析) 27 29 29 言學(xué)年會 33.2.4IEEE計算機視覺和模式識別會議 33 ESI點論文 36 42 43 45 47 學(xué)者地圖 49中國學(xué)者分布 50全球典型學(xué)者 52高被引學(xué)者 52 情感計算促進協(xié)會 52中國人工智能學(xué)會情感智能專業(yè)委員會 53 重要研究機構(gòu) 53 2 Ⅹ 0領(lǐng)域主要代表產(chǎn)品及應(yīng)用技術(shù) 92 1計算機科學(xué)(含智能科學(xué))、腦與心理科學(xué)(含心理學(xué)、神經(jīng)科學(xué))、社會科學(xué)(含社會學(xué)、經(jīng)濟學(xué)、管理學(xué))、醫(yī)學(xué)等的交叉學(xué)科領(lǐng)域，并逐步成為全球?qū)W術(shù)和工程熱點。中國科學(xué)院科技戰(zhàn)略咨詢研究院發(fā)布的《2021年研究前沿?zé)岫戎笖?shù)》報告顯示，以“多模態(tài)情感計算”為核心的相關(guān)研究熱度指數(shù)位列前10名。根據(jù)英國工程技術(shù)學(xué)會(The的文獻進行計量分析顯示，情感計算領(lǐng)域的發(fā)文量呈現(xiàn)高速增長態(tài)勢，中國和美國的學(xué)者成為該領(lǐng)域最具代表性的研究力量?！蹲匀弧?Nature)旗自中國的研究力量迅速崛起，論文總數(shù)已超過美國，越來越多的科研機構(gòu)和高科技企業(yè)正投身于情感為了響應(yīng)中國乃至全球?qū)W術(shù)界和產(chǎn)業(yè)界對了握情感計算最新發(fā)展動向的需求，向科學(xué)研和行業(yè)實踐人員提供較為完整的技術(shù)發(fā)展藍用趨勢，以助推情感計算的發(fā)展與轉(zhuǎn)化。由智能研究院跨媒體智能研究中心發(fā)勤科學(xué)加速中心、上海科學(xué)技術(shù)出版社、中國科學(xué)院文獻情報中心和英國工程技術(shù)學(xué)會共同組成聯(lián)合項目組，推動了《情感計算白皮書》(以下簡稱“白皮書”)的發(fā)布。由行業(yè)領(lǐng)袖和國內(nèi)外知名學(xué)者組成的顧問委員會和專家委員會為白皮書的編制給予了專業(yè)性審查和指導(dǎo)。涵理解的不斷深化，智能機器“雙商(智商+情商)”理念的進一步普及，情感智能的迭代升級以字經(jīng)濟驅(qū)動下的產(chǎn)業(yè)變革，多要素共同作用動情感計算的學(xué)科發(fā)展、技術(shù)演化和行業(yè)進要創(chuàng)新動力。在白皮書的編寫過程中，項目調(diào)研了情感計算及其關(guān)聯(lián)學(xué)科的技術(shù)發(fā)展和遷移進程，在學(xué)術(shù)界和產(chǎn)業(yè)界專家的共同努力下，白皮書最終形成“集大成”和“思全局”的框架，研究者和實踐者能夠?qū)η楦杏嬎愕淖钚掳l(fā)展全面的認識，并以更廣闊、更長遠的視角思2算機科學(xué)、腦與心理科學(xué)、社會科學(xué)等學(xué)科。計機科學(xué)與機電科學(xué)側(cè)重于提供各類信息技術(shù)手段和工程化能力，能夠?qū)η楦械母兄?、識別、理解、饋等實施數(shù)字化重構(gòu)和計算實現(xiàn)，從而使機器能擁有類人情感心智功能。腦與心理科學(xué)的心理及識領(lǐng)域側(cè)重于提供關(guān)于人類情感的基礎(chǔ)定義、相要素結(jié)構(gòu)存在的意義等方面的理論，這為情感理認知神經(jīng)科學(xué)則側(cè)重于研究人類大腦對情感加工的機理以及建立與情感相關(guān)的心理要素功能網(wǎng)絡(luò)，這為開發(fā)情感計算模型提供了關(guān)鍵的啟發(fā)和策略的指導(dǎo)。社會科學(xué)和醫(yī)學(xué)為情感計算的應(yīng)用提供武之地”，是該類技術(shù)應(yīng)用場景設(shè)計由此可見，情感計算是一個多學(xué)科共建的領(lǐng)個由行業(yè)實際需求推動技術(shù)進步和迭代1.1人類社會的情感Grammarof和思想溝通的重要載體，是推動人類文明生生不元繁榮的重要力量。根據(jù)物種進化理論，情為是保障人類的基本生存能力、形成社會習(xí)撐高級思維的心理要素。人類如果不具有情感，那么維持生存的將只有原始沖動和生存欲望，這樣的物種幾乎不可能發(fā)展出高度發(fā)達的社會文然情感在整個人類進化過程中發(fā)揮了重要作是人們對情感功能的認知和重視經(jīng)歷了一個時至今日，涉及情感的各種理論已具規(guī)模。類文明。這一歷程可大致分為三個階段，如第一階段的主要活動是嘗試識別和厘清“情其有關(guān)的概念。在早期東方文明體系下，古代中國的《易經(jīng)》哲學(xué)和諸子百家哲學(xué)以及古代了理解和闡述。例如，《禮記·禮運》提出了“七情”的概念以及“何謂人性論述。在早期西方文明體系下，古希臘醫(yī)前377年)在古代生理醫(yī)學(xué)體系下提出人類“體液性質(zhì)的物質(zhì)基礎(chǔ)，以不為性質(zhì)主導(dǎo)的人會更容易表現(xiàn)出某種或某幾種特定的情感。這與同時期人類的四種氣質(zhì)學(xué)說34第一階段第二階段第三階段歐洲文藝復(fù)興及其之前的探索思辨階段(大及以前)法國啟蒙運動到科學(xué)心理學(xué)誕生的科學(xué)啟蒙階段(公元17—18世紀到19世紀末)科學(xué)心理學(xué)誕生之后的心理學(xué)、生理學(xué)和信息技術(shù)的融合階段(公元19世紀末及以后)圖1-1早期情感理論發(fā)展的三個階段 (膽汁質(zhì)、多血質(zhì)、黏液質(zhì)、抑郁質(zhì))似乎有潛在第二階段的主要活動是以科學(xué)的視角對上述概念進行驗證，并明確概念之間的機能關(guān)系。該階段的兩大情感研究陣營分別是現(xiàn)代生理醫(yī)學(xué)和科學(xué)心理學(xué)。在現(xiàn)代生理醫(yī)學(xué)體系下，著名生物學(xué)家查爾斯·達爾文(CharlesDarwin)的著作《人類和動物的表情》(TheExpressionofEmotioninManandAnimals)被公認為與他的《物種起源》 (OntheOriginofSpecies)分量相當?shù)摹扒楦小毖芯烤拮?。達爾文在書中提出了人類所擁有的一般表情，如痛苦、哭泣、快樂、憎恨、憤怒等。在此基礎(chǔ)上，他進一步闡述了基于這些表情的情感、思維過程以及相應(yīng)的生理表現(xiàn)。這被認為是現(xiàn)代科學(xué)有關(guān)情感及其行為研究的開始。在科學(xué)心理學(xué)體系下，美國心理學(xué)家斯坦利·沙赫特(Stanley 同提出的激活歸因情緒理論(AttributionTheoryof 基礎(chǔ)。該理論認為情感既來自生理反應(yīng)的認知評價，也來自對導(dǎo)致這些反應(yīng)的情境的認知評價。這一解釋為情感智能的實現(xiàn)提供了策略和思路。第三階段是心理學(xué)、生理學(xué)和信息技術(shù)的融合階段。在德國心理學(xué)家威廉·馮特(WilhelmWundt)創(chuàng)立科學(xué)心理學(xué)后的半個多世紀里，世界各地的心理學(xué)流派如雨后春筍般涌現(xiàn)。這些流派對情感都有著不同視角的認知和理論。同時，隨著現(xiàn)代生理醫(yī)學(xué)的發(fā)展，在神經(jīng)科學(xué)視角下情感的腦機制研究得到長足進步。美國心理學(xué)家保羅·?？寺?PaulEkman)提出了如今被視作普遍標準的人類七大基本表情理論：快樂、悲傷、憤怒、厭惡、驚訝、蔑視和恐懼。由埃克曼領(lǐng)導(dǎo)開發(fā)的人類表情動作編碼系統(tǒng)(FACS)被認為是機器視覺讀懂人類表情的關(guān)鍵技術(shù)。1997年，美國麻省理工學(xué)院媒體實驗室(MITMediaLab)羅莎琳德·皮卡德 式開啟了實現(xiàn)情感智能的人工智能新時代。結(jié)合不同時期人們對情感性質(zhì)和作用的認識，和發(fā)展的生理反應(yīng)，如在危險環(huán)境中的緊張和、在受到侵擾和威脅時的憤怒和亢奮、在獲得和生存必需品時的喜悅和興奮。情感不斷地強類適應(yīng)和利用環(huán)境的能力，并形成習(xí)得性的生理反應(yīng)，對個體的注意、記憶、感知等進行調(diào)節(jié)，5二是溝通功能。諾貝爾經(jīng)濟學(xué)獎獲得者、美國心理學(xué)家赫伯特·西蒙(HerbertSimon)認為，情感的識別和表達對于信息的交流和理解是必需的。情感對人類意圖的準確表達和理解至關(guān)重要，同樣的文字語言用不同的情感來表達，其內(nèi)涵是完全不同的。因此，情感與語言密不可分。情感起到了關(guān)鍵的語義消歧作用，無論對信息的發(fā)出方還是信息的接收方都至關(guān)重要。這也是很多重要事項需要面對面交流的一個重要原因。在面對面場景下，相較于語音或文字溝通，表情、肢體動作等具有情感內(nèi)涵的表達方式，有助于減少誤信。心理學(xué)家丹尼爾·卡尼曼(DanielKahneman)認為，大腦通過快(“系統(tǒng)一”)與慢(“系統(tǒng)二”)兩出決策。常用的無意識的“系統(tǒng)一”主要于情感、經(jīng)驗等迅速作出判斷；有意識的“系要依賴于理性思辨。因此，情感廣泛參與高級思維和決策過程，并深刻影響了決策體的資源投入程度、行為持久程度以及對、家庭等的維系紐帶，是低成本維系人類的核心，是潛在的社會交往契約，并與個密不可分，也對人類社會的進步有著斷地擴展和豐富。早期的情感理論多是基于中國古代就有對“七情”“情理法”等理論的論述，并把與情感和心智有關(guān)的概念統(tǒng)稱為“情”。隨著白話文的普及和西方現(xiàn)代科學(xué)體系的引入，人情”等概念。本白皮書參考中國科學(xué)院心理研究所傅小蘭關(guān)于中英文譯法的說明，將“emotion”譯“感情”或“感受”。和“movere”(意為“動”)，從構(gòu)詞上來看，情緒含有移動、運動的意思，強調(diào)非常短暫但強烈的體驗。反觀感情和情感，英國心理學(xué)家邁克爾·艾森克(MichaelEysenck)和馬克·基恩(MarkKeane)認為，情感具有廣泛的意義，表示情緒、心境和偏好等不同的內(nèi)心體驗。中國心理學(xué)家孟昭蘭和黃希庭認為，情感是情緒過程的主觀體驗，而感情是情緒、情感這一類心理現(xiàn)象的籠統(tǒng)稱呼。綜合上述觀點，本白皮書認為，情緒是情感性反應(yīng)的過程，感情是情感性反應(yīng)的內(nèi)容，而情感涵蓋上述詞義，是情緒和感情等的籠統(tǒng)稱謂。參考情感計算領(lǐng)域的做法以及孟昭蘭的定義，即“多成分組成、多維量結(jié)構(gòu)、多水平整合，并為有機體生存適應(yīng)和人際交往，而同認知交互作用的心理活動過程和心理動機力量”，本白皮書將上述學(xué)術(shù)詞匯統(tǒng)稱為“情感”(在后續(xù)章節(jié)中不再區(qū)分上述概念)并進行定義。情感是一種包括認知、生理、體驗、行為等多種要素的心理狀態(tài)，是有機體應(yīng)對和控制生存環(huán)境的進化產(chǎn)物。在情感計算領(lǐng)域，運用最多的理論模型是情感分類理論模型，主要包括離散情感模型和維度情感模型。離散情感模型將情感分為各個獨立的每一種情感之間沒有關(guān)聯(lián)性。美國心理學(xué)家卡羅爾·伊扎德(CarrollIzard)使用因素分析法，建立了包括興趣、驚訝、痛苦、厭惡、高興、憤通過表情分析，得出了更6詹姆斯-蘭格理詹姆斯-蘭格理論坎坎農(nóng)-巴德理論在詹姆斯-蘭格理論基礎(chǔ)上進一步提出，除了外周神經(jīng)系統(tǒng)以外，更為和變化的中心系統(tǒng)。評評定-興奮學(xué)說大腦皮層的興奮程度也是情感喚醒的重要通路，大腦皮層和皮下組織協(xié)同作用產(chǎn)生了情感。該學(xué)說將情感的產(chǎn)生過程進行了劃分，分別是情境刺激、情感評估和情感產(chǎn)生，并首次將認知理論引入情感研究領(lǐng)域，這為沙赫特-辛格理論的提出進行了鋪墊。沙赫特-辛格理沙赫特-辛格理論息認認知-評價理論情感是人與環(huán)境交互產(chǎn)生的結(jié)果，人會不斷地對周圍環(huán)境進行初評、次傷、憤怒、厭惡、驚訝、恐懼和蔑視。離散情感模型更符合人的認知與在日常生活中的表達形式，主要反映的是人類的基本情感類型，區(qū)分較為清晰，具有天然的可解釋性。維度情感模型則是運用情感空間將不同的情感通過多維向量進行表示。在情感的二維分類模型中具有代表性的是美國心理學(xué)家詹姆斯·羅素(JmaesRussel)提出的環(huán)形情感分類模型(見圖1-3)，也因其橫縱軸結(jié)構(gòu)(橫軸表示效價，左右分別表示消極和積極情感；縱軸表示喚醒度，上下分別表示喚醒程度高和低)被稱為VA 的種類很多，主要也是通過軸和極點來界定情感的類型，所有情感分布在每個軸兩極間的不同位置，比較常用的有兩種：由愉悅度(Pleasure)、激活度 ArousalDominance感三維模型；由愉悅度(Pleasure)、強度(Activation)、關(guān)注度(Attention)組成的情感三維模型。另一個著名的情感三維模型是美國心理學(xué)家羅伯特·普拉奇克 (RobertPlutchik)提出的基于情感進化理論的“情感輪”模型(見圖1-4)，也被稱為倒錐體情感三維模型；包括兩極性(Polarity)、相似性(Similarity)、強度(Intensity)三個維度。不同于傳統(tǒng)的情感維度模型，該模型是情感進化理論的一部分，系統(tǒng)闡釋驚驚奇奮興高采烈惡不愉快傷心松疲乏未喚醒愉快惶恐怒動靜煩亂憋悶足煩警惕崇敬不耐煩生氣暴怒驚煉恐懼擔心憎恨驚記81956年美國達特茅斯學(xué)院(DartmouthCollege)開會研討了如何用機器模擬人的智能。會上，人工智能 (Artificial1956年美國達特茅斯學(xué)院(DartmouthCollege)開會研討了如何用機器模擬人的智能。會上，人工智能 (ArtificialIntelligence，AI)的概念被首次提出，人工智能學(xué)科由此誕生。此后，人們開始通過研究人的智能活動規(guī)律，開發(fā)類人的智能系統(tǒng)，以使計算機能夠模擬人的智能行為。前期的研究基本集中在人的理性和邏輯活動規(guī)律在機器的實現(xiàn)上。與此同時，心學(xué)家對感性或情感的研究也在逐步深化美國心理學(xué)家彼得·薩洛維(PeterSalovey)和約翰·邁耶(JohnMayer)發(fā)表的名為《情感智能》(EmotionalIntelligence)的文章，描述了他們創(chuàng)建的情感智能框架。該文章認為，情感也是一智能，強調(diào)情感的認知成分和處理能力論述。情感的四維分類模型由于過于抽象和復(fù)雜，并未被廣泛接納。分類模型和情感三基礎(chǔ)上，研究者嘗1.2情感計算的沿革、定義感計算的研究日益活躍(見圖1-5)。11960年美國社會心理學(xué)家丹尼爾·卡茨(DanielKatz)發(fā)表了關(guān)于態(tài)度功能的理論，揭示態(tài)度具有適應(yīng)功能、自我防御功能、認知功能、價值表達功能等四功能19901990年1997年皮卡德出版了《情感計算》(AffectiveComputing)作，對情感計算進行了系統(tǒng)的闡述。至此，這門性學(xué)科開始得到廣泛關(guān)注1998年1999年2004年美國人工智能促進協(xié)會(AAAI)分別召開了針對人美國人工智能促進協(xié)會(AAAI)分別召開了針對人工情感和認知的專業(yè)學(xué)術(shù)會議。同一時期，日本的“感性工學(xué)”逐步發(fā)展，即從工程學(xué)的角度實現(xiàn)對人的感性需求的滿足，把情感信息的研究從心理科學(xué)角度過渡到心理科學(xué)、機電科學(xué)、信息科學(xué)等相關(guān)學(xué)科的交叉融合領(lǐng)域。在歐洲，許多大學(xué)成立了情感與智的研究小組歐盟設(shè)立了一個名為HUMAINE的人機交互情感項目，旨在為能夠記錄、建模和影響個體情感的導(dǎo)向系統(tǒng)奠定基礎(chǔ)。歐盟27所大學(xué)聯(lián)合參與了該項目22010年《IEEE情感計算匯刊》(IEEETransactionsonAffectiveComputing)創(chuàng)刊。它是情感計算領(lǐng)域的第一本期刊，是由全球最大的非營利性專業(yè)技術(shù)學(xué)會——電氣與電子工程師協(xié)會(IEEE)創(chuàng)辦的展歷程920世紀90年代2003年中國學(xué)者開始投身于情感計算的研究。中國的情感計2003年第一屆“中國情感計算及智能交互學(xué)術(shù)會議”在北京第一屆“中國情感計算及智能交互學(xué)術(shù)會議”在北京2021年中國中文信息學(xué)會情感計算專委會(籌)在北京成立首屆“情感計算和智能交互國際學(xué)術(shù)會議”在北京召開。此外，多所大學(xué)在2000年前后逐步建立起相關(guān)的研究單元。其中，具有代表性的有之江實驗室人工智能研究院跨媒體智能研究中心、清華大學(xué)人機交互與媒體集成研究所、中國科學(xué)院自動化研究所和哈爾濱工業(yè)大學(xué)社會計2021年中國中文信息學(xué)會情感計算專委會(籌)在北京成立展歷程曾被問及關(guān)于機器情感的問題，他認為這一問題的核心不在于智能機器能否有情感，而在于沒有情感的機器能否實現(xiàn)智能。雖然他最先提出了讓計算機具有情感能力的想法，但是學(xué)術(shù)界公認的第一個正式提出情感計算完整定義的是皮卡德。她所著的表現(xiàn)，能夠進行測量和分析，并能對情感施加影響的計算。此外，也有一些學(xué)者提出了不同的見解。與皮卡德采用認知主義框架不同，瑞典計算機科學(xué)家克里斯蒂娜·霍克(KristinaH??k)以及美國計算機科學(xué)家菲比·森格斯(PhoebeSengers)和保羅·多羅希(PaulDourish)等學(xué)者從現(xiàn)象學(xué)出發(fā)，認為情感計算的情感是在人與人、人與機器之間的交互過程中構(gòu)建起來的。日本工程院院士任福繼(FujiRen)認為，情感計算旨在通過開發(fā)能夠識別、表感的系統(tǒng)和設(shè)備來減少計算機與人之流障礙。中國科學(xué)院自動化研究所胡包剛及認為，情感計算的目的是通過賦予計算機識解、表達、適應(yīng)人情感的能力來建立和諧的人機環(huán)境，并使計算機具有更高、更全面的智能。驗室人工智能研究院跨媒體智能研究中心李為，情感計算是賦予機器以感知、識別、理情感計算的研究內(nèi)容主要包括五個方面(見1-7)。情感基礎(chǔ)理論模型主要包括離散情感模型和維度情感模型兩種類型(見圖1-8)。兩種類型各體采用哪種模型，取決于實際應(yīng)用任務(wù)通工具，在各種溝通載體上形成了海量的數(shù)，為文本挖掘提供了基礎(chǔ)。因此，語言文字信號獲取的成本最低。但是，數(shù)據(jù)質(zhì)量參差不齊，生語法錯誤、文字亂碼等問題，從而對情感1別3和深度學(xué)1別3和深度學(xué)集音、視覺4 (如表情、手勢等)、生理個方面，并建立相據(jù)集2論和維度情復(fù)合情感表達肢體動作等表態(tài)5的研究內(nèi)容型基礎(chǔ)理論模型識別產(chǎn)生不利的影響。由于攝像頭、麥克風(fēng)等傳感器成本較低且無須與用戶直接接觸，采集語音、面部表情等情感信號較為便利。這些領(lǐng)域的數(shù)據(jù)量十分龐大，相關(guān)的研究論文數(shù)量也很多，且不少數(shù)據(jù)直接來自實際場景。生理數(shù)據(jù)相較于文本、語音、表情等信號數(shù)據(jù)，其優(yōu)勢在于能夠更加直接、客觀、真實地反映個體的情感狀態(tài)，較少受到個體主觀意識的影響。因此，生理數(shù)據(jù)也成為情感計算領(lǐng)域的研究熱點之一。目前，在情感計算領(lǐng)域，運用較多的生理數(shù)據(jù)包括腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等。由于需要佩戴較為復(fù)雜且成本較高的生理數(shù)據(jù)傳感器，生理數(shù)據(jù)的獲取較難在實際應(yīng)用中進行推廣。目前，實驗室或研究所能夠使用的生。針對文本數(shù)據(jù)、語音數(shù)據(jù)、視覺數(shù)據(jù)、生理數(shù)據(jù)，研究人員開發(fā)了相應(yīng)的數(shù)據(jù)分析算法和工具 (見圖1-9)。析分析①文本數(shù)據(jù)分析。傳統(tǒng)的文本情感分析通過建特定領(lǐng)域的情感詞典，再根據(jù)情感詞和文本的射關(guān)系進行情感分析。但是，情感詞典的特定屬性限制了文本情感分析在多領(lǐng)域應(yīng)用的能力。近er語言模型為代表的預(yù)訓(xùn)練語言模型在多種情感分析任務(wù)中獲得成功，這引起了學(xué)術(shù)界和產(chǎn)業(yè)界極②語音數(shù)據(jù)分析。語音情感識別借助語言學(xué)聲學(xué)的相關(guān)技術(shù)，除了分析語法、語義之外，還會識別與情感狀態(tài)有關(guān)的聲學(xué)特征信息，如語速、音、語調(diào)。當前，提取情感語音特征應(yīng)用較為廣③視覺數(shù)據(jù)分析。在表情、肢體動作、場景圖片情感識別中，對面部表情的識別經(jīng)典的基本表情識別模型，該模型雖然簡單但應(yīng)用廣泛?；谏疃壬窠?jīng)網(wǎng)絡(luò)的深度情感特征，利用人臉情感識別數(shù)據(jù)集訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，如④生理數(shù)據(jù)分析。與上述文本、語音、表情信號相比，生理信號的識別難度更大。同時，生理信號具有獨特的屬性。例如，在對腦電數(shù)據(jù)進，需要開展較為繁雜的預(yù)處理流程，包括電極位置定位、帶通濾波、轉(zhuǎn)換參考、分析段截取、偽跡去除、壞電極插補等，隨后要采取特征提取、特征降維等步驟，最后運用機器學(xué)習(xí)分類對情感進行識別。自2018年以來，運用深度學(xué)習(xí)方法開展腦電數(shù)據(jù)情感計算的論文呈現(xiàn)較大幅Encoders，SAE)等在內(nèi)的方法得到普遍運用。早期的情感計算一般都是單模態(tài)的，即在文、表情、肢體動作、生理信號等模態(tài)中對進行數(shù)據(jù)分析和情感識別。然而，人在表達情感的時候往往是通過多種方式進行聯(lián)合表達使用單模態(tài)進行情感識別所獲取的情感信限性。人的情感豐富、細膩，表達形式多這就需要融合多個信息源，綜合處理，協(xié)以求盡可能精準地識別人類情感。多模態(tài)利用來自不同模態(tài)的信息整合成一個穩(wěn)定表征，可以有效地解決這一問題。根據(jù)融不同，常見的多模態(tài)融合方法可以分為基的早期融合、基于模型級的混合融合、基根據(jù)情感的分析識別結(jié)果，機器通過面部表情、情感回復(fù)生成、肢體動作等方式向用戶傳遞帶有情感溫度的表達和回應(yīng)。例如，利用特定的聲音風(fēng)格、綜合具有情感標簽的文本內(nèi)容合成語音，讓機器表達出特定的情感。這個過程將需要合成的文字內(nèi)容和特定風(fēng)格的聲音輸入神經(jīng)網(wǎng)絡(luò)，然后讓神經(jīng)網(wǎng)絡(luò)合成特定風(fēng)格的語音。如果需要通過肢體動作表達情感，則需要先分析動作的基本單元，然后再根據(jù)情感與單元組合的映射關(guān)系合成相應(yīng)的交互動作，讓機器執(zhí)行。1.3情感計算的意義(1)情感計算是實現(xiàn)自然化、擬人化、人格基礎(chǔ)性技術(shù)和重要前提“深度”。計算機雖然已經(jīng)擁有強大的計算能力，但是因缺乏與人相似的情感能力而始終無法與人進行深層次的、自然的人機交互。皮卡德曾表示，當初就是因為在研究人工智能時好像各方面受限于忽視了情感或者無法充分理解情感的機制。這促使她提出情感計算的概念并展開研究。情感的識別和表達對信息的交流和理解是必需的，使機器具備情感智能從而有助于交互信息的深度感知和理解。交互擁有“溫度”。人與機器的交互不再冰冷和程式化，而是更加貼心和共情，以突出人本理念、人性理解、人文關(guān)懷。再”。機器擁有了人格化特征、個性甚至是自我意識，可以帶來態(tài)。(2)情感計算為人工智能決策提供了優(yōu)化路徑17—18世紀，法國哲學(xué)家勒內(nèi)·笛卡爾 (RenéDescartes)提出的身心二元論在西方世界占據(jù)思想的主流。笛卡爾拒絕承認情感在理性決策中的作用，認為受情感支配會喪失自主權(quán)。然而，如今眾多研究已經(jīng)表明情感在決策、理解、學(xué)習(xí)等理性思考中扮演著重要且正面的角色并影響最終的結(jié)果。認知神經(jīng)科學(xué)家通過對情感障礙病理學(xué)、神經(jīng)生理學(xué)、神經(jīng)影像學(xué)等的研究，為情感影響認知這個理論提供了堅實的科學(xué)依據(jù)。大量的研究表明，人在解決某些問題的時候，純理性的決策往往并非最優(yōu)解。在作出決策時，情感的加入反而有可能幫助人們找到更優(yōu)解。因此，情感變量的輸入或?qū)椭鷻C器作出更加人性化的決策。(3)情感計算在多領(lǐng)域具有巨大應(yīng)用價值，化、數(shù)字化時代具有重大價值應(yīng)用，極大地提高了人的生活質(zhì)量和學(xué)習(xí)者的情感狀態(tài)，然后給予相應(yīng)的反饋和調(diào)例如，教師能夠通過情感教學(xué)智能系統(tǒng)進一步學(xué)生的課堂參與度，以便及時調(diào)整教學(xué)節(jié)奏和，改進教學(xué)計劃。智能系統(tǒng)能夠通過情感分析學(xué)生感興趣的主題，從而推薦定制化的學(xué)習(xí)內(nèi)容。學(xué)生也能通過智能系統(tǒng)進行真實的教學(xué)反饋，既能在傳統(tǒng)課堂中使用，也能嵌入網(wǎng)絡(luò)軟件于線上課堂。特別是在新冠肺炎疫情的影響下，線上教育培訓(xùn)的應(yīng)用場景更廣、頻率也更高。但是，遠程教育缺乏面對面互動的情感化課堂氛此使用情感計算的線上課堂值得被應(yīng)用和推了課堂教育之外，情感計算還有利于教育游育機器人的研究和發(fā)展。融入情感元素的游器人能夠帶來更好的人機交互體驗，從而更在醫(yī)療健康領(lǐng)域，尤其是在心理疾病的治療情感計算能夠科學(xué)和客觀地對患者的情感進行和判斷，這是對行為觀察、量表填寫等主觀性的傳統(tǒng)診斷手段的有益補充?？陀^的數(shù)據(jù)有利性化、精準化醫(yī)療水平的提升，根據(jù)收集到的在商業(yè)服務(wù)領(lǐng)域，情感計算的應(yīng)用更加廣泛。，消費者的體驗與情感高度關(guān)聯(lián)，情感計算助企業(yè)了解消費者的內(nèi)心世界以及驅(qū)動消費誘因。由此挖掘產(chǎn)生的信息能夠協(xié)助企業(yè)制前瞻性的商業(yè)策略。另一方面，融入情感計此外，情感計算還能用于安保防范和輿情監(jiān)減輕人力成本的同時提升監(jiān)控質(zhì)量，保是可以預(yù)見其潛力巨大。近代科學(xué)大部分是和改造外部世界的過程中發(fā)展開來的，但目前人們對內(nèi)心世界的認識還處于比較粗淺的階段。算是在人工智能框架下的一大進步，體現(xiàn)了高層次的智能，有助于引領(lǐng)人類走向和諧人單模態(tài)情感計算多模態(tài)情感計算文本情感計算語音情感計算多情感單感計音計算算情感計情模視覺情感計算生理信號情感計算生理策合信號視覺多模態(tài)數(shù)據(jù)集計算計算情感情感態(tài)計算多模態(tài)融合策略單模態(tài)情感計算多模態(tài)情感計算文本情感計算語音情感計算多情感單感計音計算算情感計情模視覺情感計算生理信號情感計算生理策合信號視覺多模態(tài)數(shù)據(jù)集計算計算情感情感態(tài)計算多模態(tài)融合策略互需求的不斷增強，情感計算在人機交互性日益凸顯，基于情感理解與表達的人機也受到了各領(lǐng)域的廣泛關(guān)注。情感計算對、推理、決策、規(guī)劃、創(chuàng)造、社會互動等動起著不可或缺的作用?；谇楦杏嬎愕难蟹治隹茖W(xué)中具有重要意義。情感計算大致模態(tài)情感計算和多模態(tài)情感計算，本章將。情感計情感計算腦電信號心電信號信號肌電腦電信號心電信號信號肌電信號信號信號圖2-1情感計算研究框架2.1單模態(tài)情感計算單模態(tài)情感計算主要包含文本、語音、視覺、文本就是人與人之間的交流因時空等限制而助的媒介，也是記錄信息的一種載體。文本記錄人的思維意識活動，其中一些文本一定帶有情感向，那么對這部分信息的挖掘、研究和應(yīng)用就是(1)研究背景和發(fā)展現(xiàn)狀由于機器無法直接理解語言文字這種非結(jié)NLU)通過語法分析、句法分析與語義分析對句落、語篇等長文本進行理解；二是自然語言言格式的數(shù)據(jù)轉(zhuǎn)換成人可以理解的語言格式。NLP由于數(shù)據(jù)的龐雜，人工分析成本高且耗時耗大數(shù)據(jù)技術(shù)和人工智能技術(shù)對文本的情感可以極大地提高效率和準確率。因此，文范疇，主要研究情感狀態(tài)與文本信息的對應(yīng)關(guān)系。感的計算主要由文本情感特征標注、文本情計算機無法識別文本，需要先將文本轉(zhuǎn)為向析。目前，常見的文本生成向量的方法(2)數(shù)據(jù)集P本分類領(lǐng)域的相關(guān)數(shù)據(jù)集有根據(jù)新浪新聞RSS訂分類數(shù)據(jù)集、搜狗實驗室開發(fā)的全網(wǎng)新聞數(shù)據(jù)(SogouCA)和搜狐新聞數(shù)據(jù)(SogouCS)、騰訊云消息隊列CKafka上線的數(shù)據(jù)中心接入的服務(wù)模(3)主要方法的情感分類方法大致有五種：通過構(gòu)建帶有向的情感詞典再基于情感詞典進行比較分析的方法、基于“情感詞典+習(xí)”的方法、基于弱標注的方法、基于深度基于傳統(tǒng)機器學(xué)習(xí)的情感分析方法主要有三類：監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)本質(zhì)上是分類，通過已有的訓(xùn)練樣本去訓(xùn)練以獲得一個最優(yōu)模型，再將全部的輸入映射為相應(yīng)的輸出，對輸出進行簡單的判斷從而實現(xiàn)分類目的的方法。常見的監(jiān)督學(xué)習(xí)方法有K最近鄰(K-NearestNeighbor，KNN)、樸素貝葉斯(NaiveBayes)、支(SupportVectorMachine，SVM)等。無監(jiān)督學(xué)習(xí)沒有任何訓(xùn)練樣本，需要直接對數(shù)據(jù)進行建模。常用的無監(jiān)督學(xué)習(xí)方法有K均值聚類算法 半監(jiān)督學(xué)習(xí)的方法是監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。上述方法雖然簡單易懂也具有較高的穩(wěn)定性，在精度不高和依賴人工操作的缺陷。基于深度學(xué)習(xí)的分析方法彌補了這種缺陷。一方面，神絡(luò)的引入使模型的預(yù)測精度得到提高；另一方面，不需要額外構(gòu)建字典，從而降低了工作復(fù)雜對前后文進行連貫性建模、BERT能夠?qū)⑷淖鳛楫斎嗽陂喿x一段文本時，都是基于自己已經(jīng)擁有的對先前所見詞的理解來推斷當前詞的真實含義，也就是說，思想具有持久性。于是，循環(huán)神經(jīng)網(wǎng)絡(luò)最先被應(yīng)用到NLP中，保證了信息的持久化和前后信息的連貫性，其中比較經(jīng)典的RNNGRU)。隨著神經(jīng)網(wǎng)絡(luò)在NLP中的應(yīng)用逐漸深入，發(fā)現(xiàn)組合神經(jīng)網(wǎng)絡(luò)與單一的神經(jīng)網(wǎng)絡(luò)相比往接上捕捉局部特征的CNN，能夠進一步提高精確度。但是，循環(huán)神經(jīng)網(wǎng)絡(luò)也不是完美的，尤其是RNN的機制會存在長程梯度消失的問題，對于較子也很難寄希望于將輸入的序列轉(zhuǎn)化為定長而保存所有的有效信息。為了解決由長序列向量轉(zhuǎn)化而造成的信息損失的問題，注意力歌公司推出的預(yù)訓(xùn)練語言理解模型BERT，通過大注的語言文本進行語言模型的訓(xùn)練，從而得到一套模型參數(shù)，利用這套參數(shù)對模型進行初始根據(jù)具體任務(wù)在現(xiàn)有語言模型的基礎(chǔ)上進行(4)問題和挑戰(zhàn)文本隱含內(nèi)容的提取、非標準化文本的出語言的文本情感分析等。鑒于文本情感分圍的復(fù)雜性，模型的適用范圍往往較為單在多個應(yīng)用場景下均保持良好的表現(xiàn)。此的數(shù)據(jù)集也限制了文本情感分析在多元化進行的。因此，多更符合人對情感的感知，更符合人的情感分析效果更好。根據(jù)見方式，由文本情感分析衍生出兩大。(1)研究背景和發(fā)展現(xiàn)狀傳統(tǒng)的語音處理系統(tǒng)僅僅著眼于語音詞匯傳準確性，隨著語音識別技術(shù)的迅速發(fā)展，如何語音中的情感已成為語音識別領(lǐng)域新興的研究向。如今，“物”與“人”的交互變得更加頻繁和重要，人與人之間最自然的交互——語音交互，語音情感是指語音信號蘊含的說話者的情感，現(xiàn)在兩個部分：一個是語音所包含的語言情，另一個是聲音本身所具有的情感特征，如高低變化等。與語音情感相關(guān)的計算稱為語計算。語音情感計算的研究內(nèi)容包括語音情(2)數(shù)據(jù)集語音情感數(shù)據(jù)集是語音情感計算的重要組成分。目前，數(shù)據(jù)集的主要分類方式有兩種：按照情感語音的生成方式、情感的描述模型進行分類。根據(jù)語音的生成方式分類，語音情感數(shù)據(jù)集可被類，分別是表演型、引導(dǎo)型、自然型；根據(jù)情感的描述模型分類，數(shù)據(jù)集可被分為兩類，分別是離散語音情感數(shù)據(jù)集、維度語音情感數(shù)據(jù)集。如圖2-2所示。(3)主要方法語音情感識別系統(tǒng)對給定語音的潛在情感進行分類的方法包括傳統(tǒng)方法、基于深度學(xué)習(xí)的方法。傳統(tǒng)的分類器有兩類：一類是基于統(tǒng)計的分類器，另一類是基于判別的分類器。基于統(tǒng)計的分類器主要包括隱馬爾可夫模型(HiddenMarkov常用的代表性語音數(shù)據(jù)集常用的代表性語音數(shù)據(jù)集美國南加利福尼亞大學(xué)語音分析和解析實驗室(SAIL)的IEMOCAP(TheInteractiveEmotionalDyadicMotionCaptureDatabase)數(shù)據(jù)集中國科學(xué)院自動化研究所的CASIA(ChineseEmo-tionalSpeechCorpus)數(shù)據(jù)集和FAU-Aibo(FAUAiboEmotionCorpus)自然型數(shù)據(jù)庫德國柏林工業(yè)大學(xué)通信科學(xué)研究所的EmoDB(BerlinEmotionalDatabase)數(shù)據(jù)集德國卡爾斯魯厄理工學(xué)院通信工程實驗室收集的無償數(shù)據(jù)集-VAM(VeraAmMittagDatabase)數(shù)據(jù)集英國貝爾法斯特女王大學(xué)(Queen'sUniversityBelfast)基于英國帝國理工學(xué)院(ImperialCollegeLondon)iBUG小組開發(fā)的Semaine數(shù)據(jù)集決策樹(DecisionTree)和SVM。深度學(xué)習(xí)算法由次的結(jié)構(gòu)和高效的結(jié)果而被廣泛應(yīng)用于語音情感識別領(lǐng)域，主要包括深度玻爾茲曼機(Deep(4)問題和挑戰(zhàn)未達到成熟階段。目前，語音情感計算尚待解決的問題包括缺少被廣泛認可的數(shù)據(jù)集、標注困難、(1)研究背景和發(fā)展現(xiàn)狀各類圖片和視頻如潮水般涌入網(wǎng)絡(luò)，這算研究者提供了海量數(shù)據(jù)，人們嘗試用合目前，視覺情感計算的研究熱點主要包括基部表情的情感識別研究和基于肢體動作的情感研究?；诿娌勘砬榈那楦凶R別研究主要通過計算機視覺以及深度學(xué)習(xí)來理解面部特征和情基于肢體動作的情感識別主要通過人體肢體動獲取人的情感信息。肢體動作與面部相比具有的自由度，這使得它能夠通過更豐富的方式來更復(fù)雜的情緒甚至意圖，也有助于使機器具有更豐富、更細微情感的能力，進而挖掘個體內(nèi)(2)數(shù)據(jù)集視覺情感數(shù)據(jù)集可以分為圖片情感數(shù)據(jù)集 (見圖2-3)和視頻情感數(shù)據(jù)集(見圖2-4)。(3)主要方法視覺情感計算主要研究從視覺信息感知和理情緒，可以通過傳統(tǒng)機器學(xué)習(xí)方法與基于深要有方向梯度直方圖、支持向量機、K最近鄰、隨機森林等。但是，當面對長的視覺內(nèi)容數(shù)據(jù)量時，傳統(tǒng)機器學(xué)習(xí)方法難以快速、準確地處理多媒體內(nèi)容數(shù)據(jù)的伸縮近年來，深度學(xué)習(xí)在許多領(lǐng)域均取得不錯的是在圖片分類、圖片識別、圖片檢索等視覺領(lǐng)域。視覺情感計算的深度學(xué)習(xí)方法與法相比，具有更高的魯棒性與準確性，因此應(yīng)用于基于視覺的情感計算與分析領(lǐng)域。圖計算方法以卷積神經(jīng)網(wǎng)絡(luò)方法為代表，主要度學(xué)習(xí)從大量圖像數(shù)據(jù)中自動學(xué)習(xí)有助于情的有效特征或強特征，以進一步提升圖片情或分類能力。視頻情感計算方法以循環(huán)神經(jīng)主，該深度學(xué)習(xí)方法擅長處理視頻等序列輸tDERFADCE人臉檢DERFADCE人臉檢測基準數(shù)據(jù)集別數(shù)據(jù)集APSArtPhoto在ArtPhoto在IAPS基礎(chǔ)上的擴展注意力國家心理健康中心開發(fā)，旨在為研究情緒和注意力提供一套標準化的主要被廣泛應(yīng)用于理學(xué)研究囊括三種類型的情緒標簽包含負面圖片、正面等照片包含?？寺岢龅牧N基本情緒及一個中性情類除了表情標注以外，對典型的圖片情感數(shù)據(jù)集主流的視頻情感數(shù)據(jù)集主流的視頻情感數(shù)據(jù)集LIRIS-ACCEDE包括61個表現(xiàn)不同基本包括61個表現(xiàn)不同基本緒的成年人和25個對出反應(yīng)的成前被廣感分類個時長為8~12秒)沿著效價軸排序，從最負面的視頻到最積極的視頻，被廣泛用MAHNOBHCI-MAHNOBHCI-據(jù)集組成(4)問題和挑戰(zhàn)視覺情感計算在實際應(yīng)用中面臨不少難題。一是語義鴻溝。語義鴻溝是由于計算機獲取圖片的視覺信息與用戶對圖片理解語義信息的不一致而導(dǎo)致的偏差。二是情感表述的準確性問題和標(1)研究背景和發(fā)展現(xiàn)狀基于生理信號的情感計算快速發(fā)展。廣義而有身體變化都可以視作生理信號。情感計算常用的生理特征是腦電、心率和心率異變以(2)常用生理信號腦電信號與其他生理信號相比，具有直接客量化、特征多元的特點，并且具有直接相關(guān)性，能夠表現(xiàn)出更高的情感識，因此成為基于生理信號的情感識別中應(yīng)用的信號之一。在腦電信號預(yù)處理中最重要的去除偽跡和噪聲，剝離與情感相關(guān)的腦電活動，從而提取多種特征：如事件相關(guān)電位(ERP)、計量、不穩(wěn)定指數(shù)、高階交叉特征、分形維如事件相關(guān)去同步(ERS)、事件相關(guān)同步(ERD)、頻微分熵等時頻域特征；非線性動力學(xué)特征；空域特征。最后，將多種特征帶入分類器進行分類。經(jīng)網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)、深度殘差網(wǎng)絡(luò)等深動在時間和空間上的數(shù)據(jù)。這些數(shù)據(jù)主要時間、注視位置、瞳孔大小、眼電圖信號信號是在眼動信號中應(yīng)用比較廣泛種方式提取特征，并將特征帶入分類器。深度學(xué)習(xí)算法也逐步被應(yīng)用于特征提合、情感分類等多個情感識別過程，以肌電信號主要通過電極檢測肌肉收縮時產(chǎn)生的表面電壓，從而獲取肌電圖數(shù)據(jù)。肌電信號數(shù)和時頻域兩個方面。時域主要提取肌電信號的均準差、最大值、最小值等統(tǒng)計學(xué)的特征。時要是通過小波變換對肌電信號進行分解，提小波系數(shù)的均值、標準差等。肌電信號的預(yù)括濾波、降噪等，通過基于時域、頻域以及結(jié)合等進行特征提取，利用小波變換、獨立成分分析(ICA)算法等進行特征選擇與降維，從征帶入基于傳統(tǒng)方法的分類器或深度學(xué)習(xí)算皮膚電信號是一種常用的情感計算指標，依體的汗腺分泌，電導(dǎo)率隨著汗液離子填充汗腺而變化。皮膚電導(dǎo)可以在身體的任何地方測量，的電極放置位置是在手的中指和食指末梢部重要的情感計算特征。皮膚電信號數(shù)據(jù)集主通過提取統(tǒng)計特征或算法優(yōu)化的方式進行特征提取，最后將特征放入合適的分類器中進行情感計算。心電信號(ECG)是人體心臟搏動時心肌細胞產(chǎn)生的動作電位綜合而成的。心電信號能夠反映心臟的活動，情緒的變化也會直接導(dǎo)致心臟活動的變化，因此心電信號也能運用于情感識別領(lǐng)域。心電特征主要包括PQRST(心電圖的5個波形)、用的是德國奧格斯堡大學(xué)情感生理數(shù)據(jù)集和HR-呼吸是人體重要的一個生理過程，隨著情感波動，呼吸系統(tǒng)的活動在速度和深度上會有。因此，通過對呼吸信號的研究，可以用于體情感狀態(tài)的變化。常用的呼吸信號特征包頻率、平均呼吸水平、連續(xù)呼吸之間的最長時間、深呼吸和淺呼吸、相鄰呼吸波峰的間期、呼氣幅度的一階差分、二階差分等。常用的(3)問題與挑戰(zhàn)基于生理信號的情感識別技術(shù)雖然已經(jīng)擁有諸多成功案例，但是存在許多未解決的科學(xué)問題。信號的采集不便。測量生理信號是建立生理算系統(tǒng)的第一步，而用于檢測信號的傳感器地受限于場地、環(huán)境、可操作性等，也面臨性差和計算能力弱等困擾。其次是生理信號性較低。例如，隨著年齡的變化或某些疾病，生理信號數(shù)據(jù)會產(chǎn)生差異，即使是同一個著體力活動、交談或姿勢的變換，生理信號同。這并不與情感的變化直接相關(guān)。再者是注不精確、數(shù)據(jù)難以窗口化、采樣繁瑣、數(shù)理與計算難度大，以及非情感和情感對生理2.2多模態(tài)情感計算雖然人臉表情、肢體動作、語音等均能獨立理解和表達，但是人的相互交流總是通模態(tài)信息的綜合表現(xiàn)來進行的。多模態(tài)情感以將不同模態(tài)之間的信息進行互補并用于消情感分析更準確，具有更高的魯棒性，也更類的自然表達。這讓多模態(tài)情感計算成為當單模態(tài)的信息量不足且容易受到外界各種因影響，如面部表情容易被遮擋、語音容易受噪擾等。此外，當個體主觀上對情感信號加以掩飾或者單一通道的情感信號受到其他信號影響時，分析性能就會明顯下降。人的情感通常以多種的方式呈現(xiàn)，大腦在整合多感官信息時存在多階段融合的現(xiàn)象。多模態(tài)情感分析能夠有效利用模態(tài)信息的協(xié)同互補來增強情感理解與表達能引入多模態(tài)情感計算是提高模型魯棒性等性能別和理解的方法上。多模態(tài)情感計算的發(fā)展中體現(xiàn)在四個方面：①融合語義信息多尺度進行準確地理解，從多個維度進行多模態(tài)情感分析；②提高在復(fù)雜環(huán)境下情感計算的魯棒性，非協(xié)作開放模式下，面向高維碎片化開源數(shù)目標對象情感狀態(tài)的精準識別；③與預(yù)訓(xùn)練及多任務(wù)聯(lián)合訓(xùn)練等方法結(jié)合，實現(xiàn)在更多場景下的多模態(tài)情感計算；④探索通用的多模態(tài)情感計算模型，通過適配多場景應(yīng)用，實現(xiàn)多模態(tài)應(yīng)用零成本遷移。針對多模態(tài)情感計算的迫切需求，美國卡內(nèi)大學(xué)提出了一個大規(guī)模的多模態(tài)對話情感計文本、用協(xié)同語音分析庫技術(shù)(COVAREP)抽取不僅具有情感標簽，而且對情感的強弱進行了標注，從而可以支撐細粒度的情感分析任務(wù)。目前，生理信號類多模態(tài)情感計算資源主要采用音頻刺激方法誘發(fā)情緒，同步采集多模態(tài)生理進而分析不同情緒下中樞神經(jīng)系統(tǒng)和自主神經(jīng)系統(tǒng)的反應(yīng)，以實現(xiàn)基于多模態(tài)生理信號的情別。典型計算資源包括DEAP、DECAF、HR-EEG4EMO等數(shù)據(jù)集，包含腦電、皮膚電、呼吸、皮膚溫度、心電、肌電、血容量脈沖、眼電等信驗被試者根據(jù)自身感受從喚醒度、效價、偏配度和熟悉度等維度進行評分。由于被試個別、年齡等因素均會對情緒激發(fā)產(chǎn)生重要影慮引入相關(guān)人口統(tǒng)計學(xué)信息并建模是非常必算法創(chuàng)新，以提升情感分類的準確率。在情中，每個模塊所傳達的人類情感的信息量大度不同。在人機交互中，不同的維度還存在不完善的問題，因此情感計算應(yīng)盡可能從多入手，將單一不完善的情感通道補上，最后在模態(tài)融合方面，多模態(tài)情感計算可分為模關(guān)和模型依賴兩種路線。模型無關(guān)包括特征級融合(前期融合)、決策級融合(后期融合)和混融合。特征級融合主要先通過構(gòu)建特征集合或特征空間，再送入分類模型進行分類決策。決融合關(guān)鍵在于找出不同模態(tài)在決策階段的可信，再進行協(xié)調(diào)、聯(lián)合決策。混合式融合包含上種融合。模型依賴的方法為多模態(tài)融合設(shè)計了結(jié)構(gòu)，基于核函數(shù)的融合和基于圖的融合常用層模型，基于神經(jīng)網(wǎng)絡(luò)的融合、基于張量的融合、基于注意力機制的融合等則多用于深層模型。級融合可以將不同模態(tài)特征分別輸入不同模型再進一步提取特征。決策級融合與特征級融合易進行，但關(guān)鍵是要探究各個模態(tài)對情別的重要程度。然而，模型級融合并不需要重探究各模態(tài)的重要程度，而是根據(jù)模態(tài)特性需立合適的模型，聯(lián)合學(xué)習(xí)關(guān)聯(lián)信息?？傊?，模融合相較于決策級融合和特征級融合最大的特于靈活地選擇融合的位置。近年來，有學(xué)者提出了多階段多模態(tài)情感融合，即先訓(xùn)練一個單模態(tài)模型，將其隱含狀態(tài)與另一個模型特征拼接得到雙模態(tài)模型并進行再訓(xùn)練，以此類推，得到多解決多模態(tài)情感計算問題需要更豐富的模態(tài)以及不同模態(tài)之間的細粒度對齊，這無疑對多模態(tài)信息的提煉與整合提出了更高的要求。，受情感信息捕獲技術(shù)的影響，以及標記困難題，建立高質(zhì)量多模態(tài)數(shù)據(jù)集是當下的主要挑一。傳統(tǒng)多模態(tài)學(xué)習(xí)范式對特征之間的關(guān)聯(lián)關(guān)息和特征的高階信息的關(guān)注不夠，而深度多模習(xí)范式則缺乏大規(guī)模的情感數(shù)據(jù)資源，有關(guān)多特征融合的情感理解模型研究還有待深入，如語義信息進行多尺度情感準確理解、提高復(fù)雜下情感計算的魯棒性、探索通用的多模態(tài)情感模型等。這些技術(shù)的完善將進一步推動多模態(tài)間次均不在引文統(tǒng)計范用機器與人工方式協(xié)于機構(gòu)名稱撰寫不規(guī)論文統(tǒng)計的遺漏中國(含港澳臺地區(qū))統(tǒng)計時會說明作者統(tǒng)，主要包括第一作者統(tǒng)計數(shù)數(shù)據(jù)庫的深度分析型研究工具。ESI可以確定在某領(lǐng)域有影響力的國家、機構(gòu)、出版物、論文JCR數(shù)據(jù)庫。該數(shù)據(jù)庫是一個多學(xué)科期刊評價工引證報告提供基于引文數(shù)據(jù)統(tǒng)計信息的期文獻的標引和統(tǒng)計，期刊引證報告可以在期刊層面衡量某項研究的影響力，s發(fā)文量/篇發(fā)文量/篇策略主題關(guān)鍵詞(TS)學(xué)科分類(WC)y3.1情感計算領(lǐng)域研究趨勢情感計算已歷經(jīng)26年的發(fā)展，該領(lǐng)域科研人員產(chǎn)心合集數(shù)據(jù)庫為數(shù)據(jù)基礎(chǔ)，對該領(lǐng)域的論文進行其中，會議論文13836篇，會議論文和期刊論文感計算領(lǐng)域的全球發(fā)文量平穩(wěn)上升，雖然偶有波的崛起推動了情感計算領(lǐng)域的高速發(fā)展，發(fā)文量迅速上升，情感計算研究進入爆發(fā)式增長階度學(xué)習(xí)方法創(chuàng)新進入平臺期，情感計算研究也隨之進入平臺期，研究熱度和上升趨勢有所放35003000250020001500100050003208321930772955240121331940 1596138111087676643484515474743482221320174536537313212522219971999200120032005200720092011201320151997199920012003年份域發(fā)文趨勢 (2022年不完全統(tǒng)計)占總發(fā)文量的百分比/%1997131998201999172000452001362002532003732004132200512520062222007348200845120095472010474201166420127672013201420152016201720182019202020212022緩。2022年，因統(tǒng)計時間窗口未覆蓋全年，數(shù)據(jù)統(tǒng)計，分析情感計算領(lǐng)域的主要研究陣地。如表3-4所示，在情感計算領(lǐng)域全球發(fā)文量前20名的國家中，中國是全部作者和第一作者發(fā)中國、印度、英國和德國位居全部作者和第一陣地。其中，美國在全部作者發(fā)文量上排名第二，但在第一作者發(fā)文量上排名第三，位居印度之后。情感計算領(lǐng)域前20名的全作者發(fā)文國家的歷年發(fā) 123456789坡坡為步長對情感計算領(lǐng)域發(fā)文量前10名國家的發(fā)文如圖3-2所示，在整個發(fā)文期內(nèi)，中美兩國1997—2000年中國發(fā)國的3倍。由此可見，近年來中國在情感計算領(lǐng)域的研究積累較快，研究數(shù)量相比美國有一定的優(yōu)勢。此外，近兩年印度的發(fā)文量首超美 1997—20002001—20042005—20082009—20122013—20162017—20202021—202216231146576717829193國，可見印度逐漸成為情感計算領(lǐng)域的主要研究陣地。本部分以期刊論文為基礎(chǔ)數(shù)據(jù)進行分析，如期刊上，其中發(fā)文最多的是IEEEACCESS，發(fā)文量為650篇。該刊在2021年期刊引證報告電 3.476。1204本期刊中有834本在2021年期刊引子分布如表3-7所示，其中影響因子大于10的期刊共計26種，影響因子最高的5本期刊分別是《美國精神病學(xué)雜志》(AmericanJournalofPsychiatry)(19.242)、《IEEE控制論交易》(IEEE TransactionsonCybernetics)(19.118)、《信息融合》(InformationFusion)(17.564)、《大腦》 (Brain)(15.255)、《美國計算機協(xié)會計算概觀》 ACMComputingSurveys)(14.324)。如圖3-3所示，絕大多數(shù)地球科學(xué)領(lǐng)域期刊的影響因子都分布在2≤IF＜4和4≤IF＜7這兩個區(qū)間內(nèi)。本部分通過對情感計算領(lǐng)域論文的Webof 1IEEEAccess2MultimediaToolsandApplications3FrontiersinPsychology4IEEETransactionsonAffective5sors6ExpertSystemswithApplications7Neurocomputing8AppliedSciences-Basel9InternationalJournalofAdvancedienceandApplicationsPsychiatryResearchKnowledgeBasedSystemsizophreniaResearchNeuropsychologiaJournalofIntelligent&FuzzySystemsNeuralComputing&ApplicationsInformationProcessing&ManagementmputationElectronicsIEEETransactionsonMultimediaInformationSciences IF≥104≤IF＜72≤IF＜4IF2IF≤1圍、作者與編委會的隸屬關(guān)系、提供贈情感計算領(lǐng)域的所有文章共涉及158個Web別如表3-8所示。占比最多的類別為計算機科學(xué)與人工智能，發(fā)文量為10470篇，占總發(fā)文量的號1科學(xué)與人工智能23科學(xué)理論與方法4科學(xué)與信息系統(tǒng)5科學(xué)與跨學(xué)科應(yīng)用67科學(xué)與軟件工程8(續(xù)表)號9學(xué)科學(xué)與控制論和攝影技術(shù)科學(xué)與硬件架構(gòu)學(xué)學(xué)程3.2高水平國際會議本部分結(jié)合了《中國計算機學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》《核心計算機科學(xué)會議排名》 家意見形成情感計算領(lǐng)域高水平國際會議列表。需指出的是，該部分只根據(jù)目前已有的目錄和排名進行整理和歸納，并不能作為學(xué)術(shù)評價的依外，會議的影響力并不直接與發(fā)表在會議上議號CCFRANKCORERANK1A2A3A4IEEE計算機視覺和模會AA(續(xù)表)號CCFRANKCORERANK5IEEE計算機視覺國際議A6算和智能交互國——7IEEE自動人臉和手勢國際會議和研討會CB8IEEE國際聲學(xué)語音和BB注：“CCFRANK”“CORERANK”分別為《中國計算機學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》分類、《核心計算機科學(xué)會議排名》3.2.1ACM多媒體國際會議機學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》中“計媒體”的A類會議。ACMMM視頻和海報演示、輔導(dǎo)、座談會、展覽、研討會、研討會、多媒體挑戰(zhàn)賽等多種方式塑造研究領(lǐng)域的新想法。ACMMM會議專注于推進多媒體的和應(yīng)用，包括但不限于圖像、文本、音頻、語音樂、傳感器、社交數(shù)據(jù)。會議涉及的研究主)。信號”領(lǐng)域的研究內(nèi)容包用戶情感從而開發(fā)更具有吸引力的多媒也是《中國計算機學(xué)會推會議和《核心計算機科學(xué)會議排名》的A+會議。AAAI人工智能會議也設(shè)置了情感計算領(lǐng)域的研討會(Workshop)，如2018年的“情感內(nèi)容分析 點對文本和語言進行情感計算，構(gòu)建情感計算過程中的標準化的基線、數(shù)據(jù)集和評估指標?！吨袊嬎銠C學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》分為A、B、C類。中國計算機學(xué)會(CCF)在制定目錄時規(guī)定，會議論文是Brief、Summary以及作為伴隨會議的研討會(Workshop)等，不計入目錄。信號和推薦和陳述主題3多媒體內(nèi)容理解件多媒體系統(tǒng)言管理與索引通過多媒體吸引用戶主題4主題2體驗言處理領(lǐng)域最高級別的會議，由國際計算語言學(xué)協(xié)辦。國際計算語言學(xué)協(xié)會是主要的國際科學(xué)和專業(yè)協(xié)會，致力于研究涉及人的語言計算問題。該協(xié)會成立于1962年，最初名為機器翻譯和計算語為國際計算語言學(xué)協(xié)會。國際計算語言學(xué)協(xié)會的活動除了每年夏天舉行國際計算語言學(xué)年會之外，還贊助美國麻省理工學(xué)院出版社出版《計算語言學(xué)》 的主要出版物。國際計算語言學(xué)年會為《中國計算機學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》人工智能領(lǐng)域的A類會議和《核心計算機科學(xué)會議排名》的A+會議。該會議的研究主題為各種語言的計算模型，為特定的語言學(xué)或心理語言學(xué)現(xiàn)象提供計算IEEE計算機視覺和模式識別會議(IEEEIEEECVPR)是首屈一指的計算機視覺領(lǐng)域年度會計算機視覺基金會(ComputerVisionFoundation)贊助。使用者可以通過計算機視覺基金會開放獲取會議論文。IEEECVPR是《中國計算機學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》人工智能領(lǐng)域的A類會議和《核心計算機科學(xué)會議排名》的A類3.3高水平期刊學(xué)院文獻情報中心期刊分區(qū)表與期刊引證報表相結(jié)合的方式標定高水平期刊，這兩種分是基于期刊影響因子進行分區(qū)計算的。特別明的是，期刊影響因子是反應(yīng)期刊影響力的常用指標，但并不代表期刊或者期刊文章的質(zhì)量，(1)期刊影響因子期刊影響因子是美國科技信息研究所所長尤EugeneGarfield2年提出的刊的重要指標。該指標是一個相對數(shù)量用以調(diào)整和修正期刊總被引頻次過大的期刊影響因子是指某刊在某年被全部源刊物2年發(fā)表論文在該年的(2)期刊引證報告期刊引證報告包括SCI收錄的12000余種期刊之間的引用和被引用的數(shù)據(jù)，并對這些數(shù)據(jù)進行了統(tǒng)計、運算，針對每種期刊定義了期刊影響因子等指數(shù)。截至報告撰寫日，《期刊引證報告2021》是最新公布的期刊引文報告。期刊引證報告將期刊劃分為21個大類(Groups)、254個小類 (3)中國科學(xué)院期刊引證報告期刊分區(qū)中國科學(xué)院期刊引證報告期刊分區(qū)是中國科獻情報中心的研究成果，中國科