論文-基于情感詞典的微博評(píng)論情感分析

基于情感詞典的微博評(píng)論情感分析學(xué)號(hào)：天津財(cái)經(jīng)大學(xué)[摘要]近年來微博的出現(xiàn)，極大豐富了人們的生活。其簡短寫作，便捷發(fā)布，實(shí)時(shí)交互的特點(diǎn)深受大眾歡迎。越來越多的用戶樂于在微博平臺(tái)上分享信息，交流觀點(diǎn)和情感。通過對這些信息展開情感分析，可以實(shí)現(xiàn)微博輿情監(jiān)控等。情感分析主要是判別微博文本的情感傾向性，即屬于正面、負(fù)面、中性。根據(jù)中文微博的自身特點(diǎn)，在傳統(tǒng)文本情感分析的已有基礎(chǔ)上，展開對微博的情感傾向分析。首先，對微博進(jìn)行爬蟲搜集微博評(píng)論數(shù)據(jù)，然后對爬蟲得到的評(píng)論進(jìn)行中文分詞。最后對分詞得到的文檔對照情感詞典進(jìn)行情感定位以及情感聚合，結(jié)果得到對整條微博消息作加權(quán)計(jì)算獲得其情感傾向性，實(shí)現(xiàn)了一個(gè)面向中文微博的情感傾向分類系統(tǒng)。[關(guān)鍵詞]微博爬蟲中文分詞情感詞典情感傾向目錄摘要.....................................................I緒論研究背景..........................................(1)研究意義..........................................(1)國內(nèi)外發(fā)展現(xiàn)狀....................................(2)論文的分工........................................(2)具體內(nèi)容............................................(3)三、情感聚合（一）微博的獨(dú)特性......................................(4)（二）算法分析..........................................(5)四、實(shí)驗(yàn)代碼............................................(6)五、總結(jié)與展望（一）全文總結(jié).........................................(10)（二）進(jìn)一步的研究方向..................................(10)六、遇到的問題（一）我們項(xiàng)目進(jìn)行時(shí)出現(xiàn)的問題..........................(10)（二）老師對我們提出的問題..............................(11)（三）其他小組向我們小組提出的問題......................(11)（四）我們向其他小組提出的問題..........................(12)一、緒論（一）項(xiàng)目背景英國Corpora軟件公司開發(fā)了一套名叫“感情色彩(Sentiment)”的軟件，它能判斷報(bào)紙刊登的文章對一個(gè)政黨的政策是持肯定態(tài)度還是否定態(tài)度、或者網(wǎng)上評(píng)論文章是稱贊還是貶低一種產(chǎn)品，以幫助政府和一些大公司全面了解公眾輿論對他們的看法。長期以來，要了解關(guān)于某個(gè)問題的報(bào)道是正面的還是反面的，是消極的還是中立的，往往需要求助于調(diào)查公司。這些公司的員工仔細(xì)閱讀有關(guān)某個(gè)機(jī)構(gòu)、個(gè)人、事件或問題的所有文字，然后就這些評(píng)論的態(tài)度做出反饋。這不僅耗費(fèi)大量人力和財(cái)力，而且過程相當(dāng)緩慢。同時(shí)近年來，伴隨著Web與4G技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)以其豐富的內(nèi)容，快捷的方式，呈現(xiàn)給我們一個(gè)前所未有的嶄新世界。無數(shù)用戶以及一大批基于互聯(lián)網(wǎng)的社交網(wǎng)絡(luò)平臺(tái)步入了高速發(fā)展期。與此同時(shí)，論壇、博客、微博等得到了更為廣闊的發(fā)展空間，這些都給人們的生活和社會(huì)運(yùn)行方式帶來了深深的影響。從國外的Twitter、Plurk，到中國的飯否、新浪微博等，短時(shí)間里以驚人的速度發(fā)展并擁有了大量用戶。在國內(nèi)，短短幾年時(shí)間里，微博從互聯(lián)網(wǎng)的新秀躍升為互聯(lián)網(wǎng)的基礎(chǔ)應(yīng)用之一，以微變革的力量，打開了一個(gè)大時(shí)代之門。（二）研究意義當(dāng)今世界，信息量巨大，并呈指數(shù)級(jí)增長，從現(xiàn)有表達(dá)方式了解信息，是一件困難的事情。從巨大的信息量中找到人們關(guān)心的信息或者隱含的結(jié)論，在現(xiàn)階段尚是個(gè)難題。龐大的微博信息流攬括了眾多話題，也許這些信息看似瑣碎，而且非常不規(guī)則，可事實(shí)上蘊(yùn)藏著巨大的潛在價(jià)值。微博平臺(tái)上的各種互動(dòng)，往往與用戶的心理有關(guān)，用戶一旦在微博中發(fā)言，便有了立場和傾向，這就可以對其做情感分析。通過情感分析的結(jié)果：名人可做自身形象維護(hù)；企業(yè)可做微博營銷、客戶關(guān)系管理以及品牌宣傳；商家可通過用戶產(chǎn)品體驗(yàn)后的評(píng)價(jià)做產(chǎn)品改進(jìn)，從而提高市場占有率；政府機(jī)構(gòu)可掌握突發(fā)事件后的社會(huì)群體心理，進(jìn)行輿情監(jiān)控；除此之外，還可對特定的高壓力人群做情感分析，從而給他們提供有針對性的心理疏導(dǎo)等等。因此，如何從微博消息中獲取用戶的情感傾向，并服務(wù)于生活是一個(gè)很有價(jià)值的工作。面對海量的微博數(shù)據(jù)，僅僅依靠人工瀏覽來獲取用戶情感將是一件十分繁瑣與困難的事情。遺憾的是，目前極少有針對中文微博做情感傾向方面的相關(guān)研究?；诖?，本文將對如何獲取微博消息中的情感傾向進(jìn)行分析，選取當(dāng)前發(fā)展最為迅速的新浪微博，實(shí)現(xiàn)一個(gè)面向中文微博的情感傾向分類系統(tǒng)。（三）國內(nèi)外發(fā)展現(xiàn)狀通過目前收集到的國內(nèi)外刊物及會(huì)議論文來看，關(guān)于文本情感分析方法的文獻(xiàn)大致分為兩類：使用情感詞典及與其關(guān)聯(lián)信息分析文本情感以及使用機(jī)器學(xué)習(xí)方法分析文本情感，在此我們只研究使用情感詞典及與其關(guān)聯(lián)信息分析文本情感。近年來，提出一種基于語義理解的文本情感分類方法，通過在情感詞識(shí)別中引入情感義原，賦予概念情感語義，對概念的情感相似度重新定義，得到詞語情感語義值。趙妍妍等提出了一種基于句法路徑的情感評(píng)價(jià)單元自動(dòng)識(shí)別方法,該方法自動(dòng)獲取句法路徑來描述評(píng)價(jià)對象及其評(píng)價(jià)詞語之間的修飾關(guān)系，并通過計(jì)算句法路徑編輯距離來改進(jìn)情感評(píng)價(jià)單元抽取的系統(tǒng)性能，在對電子產(chǎn)品領(lǐng)域的應(yīng)用，取得了較好的實(shí)驗(yàn)效果?？傮w來看，使用情感詞典及與其關(guān)聯(lián)信息來分析文本情感，其優(yōu)點(diǎn)是應(yīng)用在詞語特征級(jí)，句子級(jí)，粒度細(xì)，分析精準(zhǔn)。但受到自然語言處理技術(shù)及相關(guān)抽取技術(shù)的限制，該方法容易丟失數(shù)據(jù)集中隱藏著的重要模式，使得未來研究工作中還有很大的提高空間。（四）論文的分工微博情感分析關(guān)鍵是如何判別微博消息的情感傾向性，首要是從微博上爬蟲爬取微博評(píng)論數(shù)據(jù)，其次是對評(píng)論進(jìn)行分詞，接著進(jìn)行情感定位，最后進(jìn)行情感聚合加權(quán)計(jì)算，由權(quán)重結(jié)果判別出微博消息的情感極性。張倩.....爬蟲爬取微博評(píng)論劉思禹.....中文分詞以及去除停用詞李雪.....情感詞定位李一凡.....情感聚合二、具體內(nèi)容網(wǎng)絡(luò)爬蟲是一種按照一定的規(guī)則，自動(dòng)的抓取萬維網(wǎng)信息的程序或者腳本。網(wǎng)絡(luò)爬蟲是一個(gè)自動(dòng)提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。情感傾向可認(rèn)為是主體對某一客體主觀存在的內(nèi)心喜惡，內(nèi)在評(píng)價(jià)的一種傾向。它由兩個(gè)方面來衡量：一個(gè)情感傾向方向，一個(gè)是情感傾向度。情感傾向方向也稱為情感極性。在微博中，可以理解為用戶對某客體表達(dá)自身觀點(diǎn)所持的態(tài)度是支持、反對、中立，即通常所指的正面情感、負(fù)面情感、中性情感。例如“贊美”與“表揚(yáng)”同為褒義詞，表達(dá)正面情感，而“齷齪”與“丑陋”就是貶義詞，表達(dá)負(fù)面情感。情感傾向度是指主體對客體表達(dá)正面情感或負(fù)面情感時(shí)的強(qiáng)弱程度，不同的情感程度往往是通過不同的情感詞或情感語氣等來體現(xiàn)。例如：“敬愛”與“親愛”都是表達(dá)正面情感，同為褒義詞。但是“敬愛”遠(yuǎn)比“親愛”在表達(dá)情感程度上要強(qiáng)烈。通常在情感傾向分析研究中，為了區(qū)分兩者的程度差別，采取給每個(gè)情感詞賦予不同的權(quán)值來體現(xiàn)。文本情感分析的分析粒度可以是詞語、句子也可以是段落或篇章。段落篇章級(jí)情感分析主要是針對某個(gè)主題或事件進(jìn)行傾向性判斷，一般需要構(gòu)建對應(yīng)事件的情感詞典，如電影評(píng)論的分析，需要構(gòu)建電影行業(yè)自己的情感詞典效果會(huì)比通用情感詞典效果更好；也可以通過人工標(biāo)注大量電影評(píng)論來構(gòu)建分類器。句子級(jí)的情感分析大多事通過計(jì)算句子里包含的所有情感詞的平均值來得到。篇章級(jí)的情感分析，也可以通過聚合篇章中所有的句子的情感傾向來計(jì)算得出。因此，針對句子級(jí)的情感傾向分析，既能解決較短文本的情感分析，同時(shí)也可以是篇章級(jí)文本情感分析的基礎(chǔ)。本文正是根據(jù)這一思路，設(shè)計(jì)的情感分析算法。情感聚合（一）微博的獨(dú)特性微博作為一種新興媒體，有它獨(dú)特的文本結(jié)構(gòu)形式。話題型微博指的是圍繞某一話題即標(biāo)簽闡發(fā)意見、進(jìn)行討論的微博形式，因此在觀點(diǎn)句的使用、表達(dá)觀點(diǎn)使用的語言手段以及評(píng)價(jià)對象的隱現(xiàn)上也有與眾不同的特點(diǎn)。我覺得“究竟140個(gè)字能表達(dá)多少情感”這個(gè)問題非常值得討論?？赡茉诖蠖鄶?shù)情況下，對于一個(gè)事件的討論僅僅簡單的敘述就要超過140了，更別提表達(dá)一種深刻的意見。用戶對于事件的評(píng)論更多的是一種調(diào)侃而并非真正的評(píng)論，這就導(dǎo)致了兩方面的問題：第一，在無法全面表達(dá)出用戶對問題的態(tài)度的前提下，用戶發(fā)表的評(píng)論微博能不能反映用戶的真實(shí)情感態(tài)度；第二，由于用戶情感表達(dá)不全面，可能用戶發(fā)表的情感微博反而成為了用戶潛意識(shí)的第一情感，而在這個(gè)階段可能還需要對用戶進(jìn)行心理學(xué)、行為學(xué)上的分析，這也就超出了“微博情感分析”的范圍了。所以，如果要想真正的挖掘出用戶情感的傾向，用戶的心理、性格和習(xí)慣應(yīng)該有很大的影響比例。（1）句子簡短，單句多微博有字?jǐn)?shù)限制，因而往往短小。話題型微博又因?yàn)橛幸粋€(gè)明確的話題，人們是圍繞這個(gè)話題發(fā)表意見，寫微博，只要表達(dá)了心情、態(tài)度，三言兩語也可，只字片語也行，所以與一般文體相比，話題型微博中句子相對簡短，單句居多。（2）觀點(diǎn)負(fù)面傾向多話題型微博的形成是基于一定的社會(huì)話題和社會(huì)事件，而當(dāng)今社會(huì)引起關(guān)注的話題負(fù)面性較多，這就使得話題型微博在表達(dá)觀點(diǎn)時(shí)，以否定傾向居多。（3）表達(dá)情感強(qiáng)烈而理性評(píng)價(jià)淡化由于傳播空間的相對自由和匿名評(píng)論的相對隱秘，因而網(wǎng)友在表達(dá)觀點(diǎn)時(shí)會(huì)采用一些比較極端和激烈的形式，又因微博字?jǐn)?shù)的限制，無法以邏輯鮮明的論述方式進(jìn)行理性表達(dá)，所以在話題型微博中，觀點(diǎn)句的表達(dá)往往感情色彩強(qiáng)烈，而理性評(píng)價(jià)淡化，臟話、粗話等表現(xiàn)力強(qiáng)的不雅語匯大量出現(xiàn)，這也成為話題型微博觀點(diǎn)句在表達(dá)情感和態(tài)度時(shí)一種較廣泛的表達(dá)方式。（4）口語色彩濃重，情感因子顆粒度加大微博雖然用的是書面形式，但交際的實(shí)時(shí)性、互動(dòng)性，使得它具有濃重的口語色彩，人們往往會(huì)使用一些口語化詞語把自己內(nèi)心的真實(shí)感受直接表達(dá)出來，體現(xiàn)句子觀點(diǎn)的情感因子顆粒度加大，往往不再是詞，而是短語。（5）隱晦表達(dá)觀點(diǎn)在話題型微博中，除了用一些很“給力”的詞語明確表達(dá)觀點(diǎn)外，人們還會(huì)采用一種隱晦的、非直接的方式，以言外之意表達(dá)觀點(diǎn)。（6）評(píng)價(jià)對象省略由于話題型微博的話題標(biāo)簽與文本存在著密切的關(guān)聯(lián)，網(wǎng)友在發(fā)布微博時(shí)，往往可以直接對整個(gè)話題或話題的某一部分進(jìn)行評(píng)價(jià)和表達(dá)態(tài)度，因而標(biāo)簽或者標(biāo)簽的一部分甚至標(biāo)簽外事物也就成為了評(píng)價(jià)對象。所以，話題型微博的評(píng)價(jià)對象常在文本中省略，觀點(diǎn)句更加短小精悍，甚至短小到一個(gè)短語、一個(gè)詞，也可以被人理解，不會(huì)造成傳播上的歧義。（7）語言不夠規(guī)范微博中含有大量非規(guī)范性的語言文字，也是話題型微博語言的一個(gè)特點(diǎn)。這種非規(guī)范性可能有幾個(gè)方面的原因：一方面，是非人為的原因造成的輸入失誤或常識(shí)上的漢字書寫錯(cuò)誤；另一方面，微博表達(dá)自由，加之敏感話題在法律上的限制，會(huì)人為地加入一些噪聲、非規(guī)范詞、非規(guī)范符號(hào)和非規(guī)范語言格式。（二）算法分析本文在前面說過，篇章級(jí)情感傾向通過聚合篇章中所有的句子的情感傾向來計(jì)算得出。句子級(jí)由句子中所含情感詞來計(jì)算。通過前兩步的操作，我們完成了句子意群的劃分，同時(shí)也提出了每個(gè)意群里的情感詞、否定詞和程度副詞。有了這些，下面我們先求出意群的情感值：情感群—情感值=否定詞-1*程度詞權(quán)重*情感詞權(quán)重我們在實(shí)際應(yīng)用中又發(fā)現(xiàn)，當(dāng)一個(gè)句子中同時(shí)出現(xiàn)否定詞和程度詞時(shí)，由于否定詞和程度詞相對位置的不同，會(huì)引起情感的不同，比如：“我很不高興”——分詞之后：我很不高興“我不很高興”——分詞之后：我不很高興可以看出，第一句話表達(dá)的是一種很強(qiáng)烈的負(fù)面情感，而第二句話則表達(dá)的是一種較弱的正面情感。因此，如果否定詞在程度詞之前，起到的是減弱的作用；如果否定詞在程度詞之后，則起到的是逆向情感的作用。所以我們對上述算法做了一下調(diào)整：W=1If位置（否定詞）>位置（程度詞）：W=-1意群情感值=W*程度詞權(quán)重*情感詞權(quán)重If位置（否定詞）<位置（程度詞）：W=0.5意群情感值=W*程度詞權(quán)重*情感詞權(quán)重如果意群里出現(xiàn)多個(gè)否定詞，則處理辦法為：ForninnotWord：W=-1*W句子是由意群組成，故句子的情感我們可以簡單記做：句子情感值=sum（意群情感值1，意群情感值2……）段落是由不同的句子組成，但是考慮到段落的長短變化很大，故放棄用求和的方式來計(jì)算情感值，改為求平均值：段落情感值=average（句子1情感值，句子2情感值……）文檔是由不同的段落組成，同理，不同文檔有不同的段落，故我們同樣求平均值：文檔情感值=average（段落1情感值，段落2情感值……）以上是情感值的計(jì)算，至于情感傾向，首先可以通過情感值的符號(hào)來判斷情感傾向是正向還是負(fù)向，若情感傾向不止正、負(fù)、中立這三種情況，還有更細(xì)的劃分，則可以根據(jù)情感正負(fù)的情況，把對應(yīng)的情感傾向進(jìn)行匯總來表述。四、實(shí)驗(yàn)代碼具體代碼如下： publicdoublecomputeSen(Stringdoc,Stringvalue,StringsenPath){ Stringregx1="<(.+?)>"; Patternp=Ppile(regx1);Matcherm1=p.matcher(doc);Matcherm2=p.matcher(value);//建立了m1和m2兩個(gè)列分別存儲(chǔ)詞語和價(jià)值A(chǔ)rrayList<String>doclist=newArrayList<>();ArrayList<String>valuelist=newArrayList<>();while(m2.find()){ valuelist.add(m2.group(1)); } while(m1.find()){ doclist.add(m1.group(1)); } Iterator<String>dociter=doclist.iterator(); Iterator<String>valueiter=valuelist.iterator(); while(dociter.hasNext()){ Stringjuzi=null; System.out.print(juzi=dociter.next()); String[]cpvalue=valueiter.next().split(","); for(inti=0;i<cpvalue.length;i++){ System.out.print(""+cpvalue[i]+""); } //每個(gè)句子被標(biāo)記了NA、DA和PW，根據(jù)標(biāo)記的NADAPW即積極消極 和強(qiáng)烈的屬性用來計(jì)算每個(gè)句子的極性。 if(juzi.equals("PW")){tolSens=Float.parseFloat(cpvalue[0]);} if(juzi.equals("NAPW")){ tolSens=Float.parseFloat(cpvalue[0])*Float.parseFloat(cpvalue[1]); } if(juzi.equals("NANAPW")){ tolSens=Float.parseFloat(cpvalue[2]); } if(juzi.equals("DAPW")){ if(Float.parseFloat(cpvalue[1])>0){ tolSens=Float.parseFloat(cpvalue[1])+(1-Float.parseFloat(cpvalue[1]))*Float.parseFloat(cpvalue[0]); }else{ tolSens=Float.parseFloat(cpvalue[1])+(-1-Float.parseFloat(cpvalue[1]))*Float.parseFloat(cpvalue[0]); } } if(juzi.equals("DADAPW")){ tolSens=Float.parseFloat(cpvalue[2])+ (1-Float.parseFloat(cpvalue[2]))*Float.parseFloat(cpvalue[0])+ (1-Float.parseFloat(cpvalue[2])-(1-Float.parseFloat(cpvalue[2]))*Float.parseFloat(cpvalue[0]))*Float.parseFloat(cpvalue[1]); } if(juzi.equals("NADAPW")){ tolSens=Float.parseFloat(cpvalue[2])+(1-Float.parseFloat(cpvalue[0]))*(Float.parseFloat(cpvalue[1])-2); } if(juzi.equals("DANAPW")){ tolSens=Float.parseFloat(cpvalue[2])*Float.parseFloat(cpvalue[1])+ (-1-Float.parseFloat(cpvalue[2]))*Float.parseFloat(cpvalue[1])*Float.parseFloat(cpvalue[1]); } System.out.print("("+tolSens+")"); //把總的短語極性相加，得到一個(gè)句子總的強(qiáng)度 docSens=tolSens+docSens; } sensTxt=newStringBuffer();//判斷句子的強(qiáng)度，得到句子的情感傾向并輸出 if(docSens>0){ sensTxt.append("pos"+"\r\n"); System.out.println("總情感極值是："+docSens+"判斷為：pos"); }elseif(docSens<0){ sensTxt.append("neg"+"\r\n"); System.out.println("總情感極值是："+docSens+"判斷為：neg"); }else{ sensTxt.append("neutral"+"\r\n"); System.out.println("總情感極值是："+docSens+"判斷為：neutral"); } saveSens(senPath,sensTxt.toString()); tolSens=0; docSens=0; returntolSens; } 由于自身局限性，考慮到句子之間的差異以及不同段落對文檔的重要性，但是算法并沒有完全實(shí)現(xiàn)。五、總結(jié)與展望（一）全文總結(jié)還有很多值得改進(jìn)的地方，比如句子是由詞語根據(jù)一定的語言規(guī)則構(gòu)成的，應(yīng)該把句子中詞語的依存關(guān)系納入到句子情感的計(jì)算過程中去，可根據(jù)句子依存關(guān)系，從句子的根節(jié)點(diǎn)開始對每個(gè)詞進(jìn)行情感傾向計(jì)算，根據(jù)句子依存關(guān)系求出句子的情感傾向和情感值。評(píng)論的情感，也應(yīng)該根據(jù)句子的不同重要程度來計(jì)算，根據(jù)句子對評(píng)論的重要程度賦予不同權(quán)重，調(diào)整其對評(píng)論情感的貢獻(xiàn)程度。確定句子的重要程度，可以根據(jù)句子在評(píng)論中的位置，根據(jù)句子中所含信息量的大小，句子中所含關(guān)鍵詞的多少等等。（二）進(jìn)一步的研究方向由于微博評(píng)論情感的分散和不集中，我們今后工作的重點(diǎn)是針對于微博評(píng)論自身的獨(dú)特性，改良代碼，使其適應(yīng)微博評(píng)論的結(jié)構(gòu)，提高準(zhǔn)確性。六、遇到的問題（一）我們項(xiàng)目進(jìn)行時(shí)出現(xiàn)的問題實(shí)現(xiàn)工具的選擇，開始我們選擇了C++作為實(shí)現(xiàn)平臺(tái)，但是在實(shí)際操作過程中遇到很多解決不了的問題，我們后來又選擇了不太熟悉，但是網(wǎng)絡(luò)上教學(xué)資源相對豐富的java作為實(shí)現(xiàn)平臺(tái)，最終順利實(shí)現(xiàn)了一些功能。文件流寫出的分詞文件亂碼的問題。解決方法：分詞后的文件出現(xiàn)亂碼主要是因?yàn)樵募c分詞保存的文件格式不一樣導(dǎo)致的問題。例如我們原來在微博上爬取得評(píng)論是以ANSI格式保存的，但是分詞文件的存放格式是UTF-8格式。解決方法非常簡單，只要將他們兩的文件的保存格式改為一樣的就不會(huì)出現(xiàn)此問題了。3、評(píng)論文件太大導(dǎo)致報(bào)錯(cuò)。解決方法：打開eclipse存放的文件夾，用記事本打開eclipse.ini文件，將openFile--launcher.XXMaxPermSize下的打開文件大小改成大于你的測試用的txt文件的大小。（二）老師對我們提出的問題關(guān)于系統(tǒng)準(zhǔn)確度和針對微博評(píng)論的效果為了提高我們微博話題情感的分析的準(zhǔn)確度，我們在設(shè)法將字典做成可經(jīng)過測試，動(dòng)態(tài)添加新的情感詞的動(dòng)態(tài)詞典。遇到了一些困難：首先就是我們無法判定一個(gè)新分出來的詞是否是情感詞以及它為情感詞的判斷標(biāo)準(zhǔn)。第二就是我們無法判定它的情感傾向?；谶@個(gè)問題上我們又設(shè)想是否可以建立我們研究的話題的專門的專業(yè)性的字典，如手機(jī)