基于視頻數(shù)據(jù)集的情感分析方法研究

基于視頻數(shù)據(jù)集的情感分析方法研究目錄1引言 [31]其優(yōu)秀的設(shè)計(jì)和強(qiáng)大的功能使得wxPython成為PythonGUI開發(fā)領(lǐng)域的佼佼者。Jython是Python的一個(gè)實(shí)現(xiàn)版本，它可以與Java無縫集成。除了標(biāo)準(zhǔn)的Python模塊，Jython還利用Java的模塊來增強(qiáng)其功能。實(shí)際上，Jython幾乎包含了標(biāo)準(zhǔn)Python中所有不依賴于C語言的模塊。在用戶界面方面，Jython可以使用Swing、AWT或SWT等Java的GUI框架。此外，Jython可以動(dòng)態(tài)或靜態(tài)地編譯成Java字節(jié)碼，這使得它在與Java集成和交互方面更具優(yōu)勢(shì)。本節(jié)主要運(yùn)用了Tkinter庫(kù)，它是Python的標(biāo)準(zhǔn)圖形用戶界面（GUI）庫(kù)。借助Tkinter，Python能夠迅速構(gòu)建GUI應(yīng)用程序，由于Tkinter內(nèi)置于Python安裝包中，用戶只需安裝好Python，即可直接導(dǎo)入Tkinter庫(kù)。那么本文是如何來創(chuàng)建一個(gè)基于視頻模態(tài)的情感分析GUI程序的呢？首先導(dǎo)入tkinter模塊創(chuàng)建窗口，接下來創(chuàng)建控件并顯示控件和窗口，將其命名為基于VGG的情感識(shí)別系統(tǒng)。該系統(tǒng)采用的網(wǎng)絡(luò)為VGG網(wǎng)絡(luò)，其中拼接了七個(gè)情感標(biāo)簽：“憤怒”、“恐懼”、“高興”、“厭惡”、“悲傷”、“驚訝”、“正?！?，并顯示出了各自的百分比。該系統(tǒng)的人臉識(shí)別使用的是OpenCV自帶的人臉識(shí)別，并非是人工智能的網(wǎng)絡(luò)識(shí)別。關(guān)于OpenCV的原理與使用，在本文的3.1節(jié)有詳細(xì)說明，將“基于VGG的情感識(shí)別系統(tǒng)”在VScode中運(yùn)行可以發(fā)現(xiàn)本地機(jī)攝像頭呈現(xiàn)開啟狀態(tài)，可以做到實(shí)時(shí)識(shí)別攝像頭前人物表情的情感狀態(tài)，呈現(xiàn)結(jié)果如圖13。圖13基于VGG的情感識(shí)別系統(tǒng)4實(shí)驗(yàn)結(jié)果分析4.1結(jié)果分析為綜合評(píng)估模型的分類性能，本文采用準(zhǔn)確率(Acc)作為評(píng)估指標(biāo)，即：Acc=TP+TNTP+FP+FN+TN（5）在（5）式中：TP，TN為被準(zhǔn)確分類的樣本數(shù)據(jù)；FP，F(xiàn)N為被錯(cuò)誤分類的樣本數(shù)據(jù)。4.1.1基于VGG的情感識(shí)別系統(tǒng)圖13為從動(dòng)態(tài)視頻中截取的一幀效果圖，從中我們可以看到其右側(cè)顯示的情感檢測(cè)結(jié)果為happy（快樂），與左側(cè)肉眼所能直觀看到的表情一致，該情感檢測(cè)結(jié)果由七大情感標(biāo)簽中占比最大的情感產(chǎn)生，存在略微不足的地方。例如,該系統(tǒng)識(shí)別到憤怒情感占比9.82%，悲傷情感占比19.94%，這兩個(gè)與快樂相比的極端情感占比略高，可見該系統(tǒng)對(duì)人像面部表情的情感識(shí)別并非完全準(zhǔn)確。另外經(jīng)過不停的使用該系統(tǒng)測(cè)試面部表情，測(cè)試結(jié)果準(zhǔn)確率如表1所示。表1測(cè)試結(jié)果表情準(zhǔn)確率happy(高興)90%fear(恐懼)40%angry(憤怒)80%sad(悲傷)70%surprise(驚訝)90%disgust(厭惡)normal(正常)30%80%從表1可以看出，該系統(tǒng)對(duì)“高興”、“正?！钡拿娌壳楦凶R(shí)別較為準(zhǔn)確，對(duì)其余情感的識(shí)別略微不準(zhǔn)確，尤其是“恐懼”最難準(zhǔn)確識(shí)別，該系統(tǒng)對(duì)人臉面部表情的情感識(shí)別有所欠缺，還有待改進(jìn)。4.1.2CNN模型在該模型中導(dǎo)入一段錄好的視頻，將調(diào)用本機(jī)攝像頭的命令行用“Ctrl+/”注釋掉，在VScode的終端里面對(duì)該模型進(jìn)行測(cè)試，得到的結(jié)果如圖14所示。aneutralbangry圖14部分效果圖經(jīng)過多次導(dǎo)入視頻以及調(diào)用本機(jī)攝像頭進(jìn)行測(cè)試，發(fā)現(xiàn)該模型對(duì)“happy（高興）”、“neutral（中立正常）”、“angry（憤怒）”的情感識(shí)別較為準(zhǔn)確，具體的準(zhǔn)確率如表2所示。表2測(cè)試結(jié)果表情準(zhǔn)確率happy(高興)90%fear(恐懼)30%angry(憤怒)75%sad(悲傷)70%surprise(驚訝)90%disgust(厭惡)normal(正常)20%80%從上表可以看出，一些臉部動(dòng)作比較大的表情容易被準(zhǔn)確識(shí)別到，悲傷、恐懼這種細(xì)膩的情感較難識(shí)別。4.1.3Resnet模型將同樣的視頻導(dǎo)入該模型進(jìn)行測(cè)試，接著調(diào)動(dòng)本機(jī)攝像頭對(duì)電腦前的人臉進(jìn)行面部情感分析，與前面的模型使用相同的面部表情，其中某幾幀效果圖如圖15所示。圖15效果圖由表3可以看出Resnet模型對(duì)“happy(高興)”的識(shí)別效果最好，對(duì)“disgust(厭惡)”的面部情感識(shí)別效果稍有欠缺。但總體來說比前面兩種模型的情感識(shí)別效果更好一些。表3測(cè)試結(jié)果表情準(zhǔn)確率happy(高興)100%fear(恐懼)50%angry(憤怒)80%sad(悲傷)75%surprise(驚訝)90%disgust(厭惡)normal(正常)30%85%4.1.4三種模型對(duì)比從表4可以直觀的看出三種模型均對(duì)“happy(高興)”有良好的識(shí)別效果，對(duì)“fear(恐懼)”和“disgust(厭惡)”的識(shí)別效果稍有欠缺，還有很大的進(jìn)步空間，可能是由于測(cè)試集相關(guān)表情不足導(dǎo)致，后期將繼續(xù)優(yōu)化。表4三種模型的準(zhǔn)確率對(duì)比HappyFearangrysadsurprisedisgustneutralVGG90%40%80%70%90%30%80%CNN90%30%75%70%90%20%80%Resnet100%50%80%75%90%30%85%從表4可以看出Resnet模型對(duì)面部情感的總體識(shí)別效果優(yōu)于其他兩種模型，相比于VGG與CNN模型，Resnet模型具有更高的人臉表情識(shí)別率及準(zhǔn)確率。4.2總結(jié)與展望人臉表情識(shí)別的應(yīng)用范圍很廣,在多個(gè)領(lǐng)域均展示了它的作用,使人機(jī)交互變得更加智能化、人性化,為人們帶來更多的方便。但人臉表情識(shí)別技術(shù)中仍然有需要攻克的難題,即特征提取,在現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)中,殘差網(wǎng)絡(luò)的性能較為優(yōu)越,本文因此構(gòu)建出其他兩種模型來與Resnet進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了Resnet的優(yōu)越性與準(zhǔn)確性，實(shí)現(xiàn)并完成了本文的相關(guān)研究工作，例如為了滿足人臉表情識(shí)別技術(shù)的發(fā)展趨勢(shì)和課題要求,研究和學(xué)習(xí)人臉表情識(shí)別的理論知識(shí)。首先深入了解深度學(xué)習(xí)的相關(guān)知識(shí),系統(tǒng)學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成以及當(dāng)前常用的殘差網(wǎng)絡(luò)結(jié)構(gòu)。此外,還了解了當(dāng)前部分表情數(shù)據(jù)集,打下了關(guān)于深度學(xué)習(xí)的理論基礎(chǔ)。本文在面部表情的情感分析研究方面取得了一定進(jìn)展，然而仍存在一些不足之處，有待進(jìn)一步改進(jìn)，如下所述：1、由于每類表情的樣本數(shù)量不相同,部分表情樣本數(shù)量較少,導(dǎo)致準(zhǔn)確率相對(duì)較低,后續(xù)將考慮自己搜集表情圖像,生成數(shù)據(jù)集,以提升網(wǎng)絡(luò)測(cè)試效果。2、人類社會(huì)環(huán)境的是復(fù)雜多變的,本文所使用的數(shù)據(jù)集大部分是在宿舍條件下的,光照環(huán)境較單一,后續(xù)將設(shè)計(jì)針對(duì)非受控環(huán)境下的面部表情的情感識(shí)別網(wǎng)絡(luò),以提升其識(shí)別準(zhǔn)確率。參考文獻(xiàn)陳鄭淏,馮翱,何嘉.基于一維卷積混合神經(jīng)網(wǎng)絡(luò)的文本情感分類[J].計(jì)算機(jī)應(yīng)用,2019,39(07):1936-1941.瞿濤.基于深度學(xué)習(xí)的方面級(jí)情感分類方法研究[D].南京信息工程大學(xué),2021.

劉泰廷.基于深度學(xué)習(xí)的人臉面部信息識(shí)別算法研究[D].長(zhǎng)春工業(yè)大學(xué),2020.

李棟.基于多模態(tài)融合的情緒識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].沈陽工業(yè)大學(xué),2023.

陳志韜.基于深度學(xué)習(xí)的圖像目標(biāo)識(shí)別研究[D].哈爾濱工程大學(xué),2018.周俊宇,趙艷明.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類和目標(biāo)檢測(cè)應(yīng)用綜述[J].計(jì)算機(jī)工程與應(yīng)用,2017,53(13):34-41.肖允鴻.基于視覺和文本的標(biāo)注短視頻情感分析研究[D].南京郵電大學(xué),2022.SimonyanK,ZissermanA.VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition[C]//The3rdInternationalConferenceonLearningRepresentations.ICLR,2015.HeK,ZhangX,RenS,etal.DeepResidualLearningforImageRecognition[C]//2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2016.RumelhartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J].Nature,1986,323.CaiY,LandisM,LaidleyDT,etal.Multi-modalvertebraerecognitionusingTransformedDeepConvolutionNetwork[J].ComputerizedMedicalImaging&Graphics,2016,51:11-19.高震宇.基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類方法研究及應(yīng)用[D].中國(guó)科學(xué)技術(shù)大學(xué),2018.肖允鴻.基于視覺和文本的標(biāo)注短視頻情感分析研究[D].南京郵電大學(xué),2022.余福.基于深度學(xué)習(xí)的變電站指針儀表讀數(shù)識(shí)別方法研究[D].東北電力大學(xué),2022.申旺發(fā).基于深度學(xué)習(xí)網(wǎng)絡(luò)的海馬體多圖譜融合算法研究[D].寧夏大學(xué),2019.田程.基于深度學(xué)習(xí)模型的謠言檢測(cè)技術(shù)研究[D].東南大學(xué),2021.卜玉婷.基于雙微陣列的語音命令詞識(shí)別研究[D].桂林電子科技大學(xué),2020.

王學(xué)嘉.基于三維可變形卷積的視頻質(zhì)量增強(qiáng)技術(shù)研究[D].哈爾濱工業(yè)大學(xué),2021.楊偲樂.基于混合域注意力機(jī)制的卷積網(wǎng)絡(luò)和殘差收縮網(wǎng)絡(luò)的軸承故障診斷[D].北京郵電大學(xué),2020.

葉宇光.基于深度殘差網(wǎng)絡(luò)的圖像識(shí)別技術(shù)研究[J].韶關(guān)學(xué)院學(xué)報(bào),2020,41(06):18-22.徐國(guó)豪.毫米波輻射圖像去模糊重建與目標(biāo)檢測(cè)算法的研究[D].華東交通大學(xué),2022.楊齊訓(xùn).配網(wǎng)帶電作業(yè)目標(biāo)實(shí)時(shí)檢測(cè)方法研究[D].山東大學(xué),2022.耿立新.基于圖像去模糊網(wǎng)絡(luò)的目標(biāo)跟蹤系統(tǒng)研究[D].西安電子科技大學(xué),2021.鄧輝.基于卷積神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計(jì)研究[D].貴州大學(xué),2023.賴玉芳.一種基于殘差網(wǎng)絡(luò)技術(shù)的多因子進(jìn)化算法[D].廣東工業(yè)大學(xué),2022.羅柱,龍婧.基于OpenCV圖像識(shí)別技術(shù)的金屬環(huán)熱脹冷縮實(shí)驗(yàn)研究[J].物理通報(bào),2024,(03