文本情感分析

文本情感分析教師：亢華愛北京信息職業(yè)技術(shù)學(xué)院目錄Contents文本情感分析概述1PART概述概述又稱為傾向性分析和意見挖掘，是指對(duì)帶有情感色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過(guò)程。比如，從電影評(píng)論中分析用戶對(duì)電影的喜惡，或者從商品評(píng)價(jià)中分析用戶對(duì)商品的“價(jià)格”“易用性”等屬性的情感傾向。文本情感分析情感極性(傾向)分析情感程度分析主客觀分析概述情感分析情感極性分析的目的在于，對(duì)文本進(jìn)行褒義、貶義、中性的判斷，比如對(duì)于“喜愛”和“厭惡”這兩個(gè)詞，就屬于不同的情感傾向。概述常見的情感極性分析方法主要分為兩種主要通過(guò)制定一系列的情感詞典和規(guī)則，對(duì)文本進(jìn)行段落拆解、句法分析，計(jì)算情感值，最后通過(guò)情感值來(lái)作為文本的情感傾向依據(jù)基于情感詞典基于機(jī)器學(xué)習(xí)大多會(huì)把問(wèn)題轉(zhuǎn)換成分類問(wèn)題來(lái)看待，是將目標(biāo)情感分為兩類：正、負(fù)，或者是根據(jù)不同的情感程度劃分為1?5類，然后對(duì)訓(xùn)練文本進(jìn)行人工標(biāo)注，進(jìn)行有監(jiān)督的機(jī)器學(xué)習(xí)過(guò)程。概述最簡(jiǎn)單的情感極性分析的方式就是情感詞典，其實(shí)現(xiàn)的大致思路如下(1)對(duì)文本進(jìn)行分詞操作，從中找出情感詞、否定詞以及程度副詞。(2)判斷每個(gè)情感詞之前是否有否定詞及程度副詞，將它之前的否定詞和程度副詞劃分為一組。如果存在否定詞，則將情感詞的情感權(quán)值乘以-1;如果有程度副詞，就乘以程度副詞的程度值。(3)將所有組的得分加起來(lái)，得分大于0的歸于正向，小于0的歸于負(fù)向。概述有這么一句商品評(píng)價(jià)：“這款藍(lán)牙耳機(jī)的款式比較好看，操作也比較簡(jiǎn)單，不過(guò)音質(zhì)真的太爛了，耳塞也不好用。”只要出現(xiàn)一個(gè)積極詞就加1，岀現(xiàn)一個(gè)消極詞就減1。此時(shí)，這句話的情感分值為：1+1-1+1=2，這表明商品評(píng)價(jià)屬于一條好評(píng)，很明顯這個(gè)分值是不合理的。按照上面的思路，就是要先找出這句話中的情感詞積極的情感詞有：“好看”、“簡(jiǎn)單”、“好用”消極的情感詞有：“爛”概述比如，“太”表達(dá)的情感度更強(qiáng)，可以將情感分值設(shè)為x4，“比較”這個(gè)詞表達(dá)的程度沒(méi)有前面的強(qiáng)，可以將它的情感分值設(shè)為x2。此時(shí)，這句話的情感分值為：(1x2)+(1x2)-(1x4)+l=l。我們來(lái)看看這些情感詞前面有沒(méi)有程度詞進(jìn)行修飾，并且給不同的程度一個(gè)權(quán)值。概述如果岀現(xiàn)的是單數(shù)，則情感分?jǐn)?shù)值就x-1，如果是偶數(shù)，則情感分?jǐn)?shù)值應(yīng)該反轉(zhuǎn)變?yōu)閤1。這句話中在“好用”的前面只有一個(gè)“不”字，所以其情感分值應(yīng)該為x-1。此時(shí)，這句話的情感分值為：(1x2)+(1x2)-(1x4)+(1x-1)=-1，這表明商品評(píng)價(jià)屬于一條差評(píng)。不過(guò)，在“好用''一詞的前面還有一個(gè)“不”字，所以在找到情感詞的時(shí)候，需要往前找否定詞，還需要數(shù)一下這些否定詞出現(xiàn)的次數(shù)。使用情感詞典的方式雖然簡(jiǎn)單粗暴，但是非常實(shí)用，不過(guò)一旦遇到一些新詞或者特殊詞，就無(wú)法識(shí)別出來(lái)，擴(kuò)展性非常不好。概述基于機(jī)器學(xué)習(xí)模型進(jìn)行情感極性分析樸素貝葉斯是經(jīng)典的機(jī)器學(xué)習(xí)算法之一，也是為數(shù)不多的基于概率論的分類算法思想基礎(chǔ)對(duì)于給出的待分類項(xiàng)，求解在此項(xiàng)出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)最大，就認(rèn)為此待分類項(xiàng)屬于哪個(gè)類別概述nltk.classify模塊中提供了用類別標(biāo)簽標(biāo)記的接口，其內(nèi)置的NaiveBayesClassifier類實(shí)現(xiàn)了樸素貝葉斯分類算法，該類中有一個(gè)類方法train()語(yǔ)法格式train(cis，labeled_featuresetsestimator=ELEProbDist)上述方法主要用于根據(jù)訓(xùn)練集來(lái)訓(xùn)練模型，其中l(wèi)abeled_featuresets參數(shù)表示分類的特征集列表。2PART文本情感分析文本情感分析為了能夠讓讀者更好地理解，接下來(lái)，通過(guò)一個(gè)簡(jiǎn)單示例來(lái)演示如何基于NaiveBayesClassifier類實(shí)現(xiàn)文本情感極性分析。假設(shè)，現(xiàn)在有如下一些有關(guān)評(píng)論的英文文本，每個(gè)所表達(dá)感情傾向的程度都不一樣，具體代碼如下。文本情感分析接下來(lái)，導(dǎo)入專門用來(lái)預(yù)處理文本的模塊，并且定義一個(gè)負(fù)責(zé)預(yù)處理文本的函數(shù)pret_text()，以便于處理多個(gè)測(cè)試文本，具體代碼如下。上述函數(shù)中，先將文本按照空格劃分為多個(gè)單詞，然后將這些單詞還原成基本形式，并根據(jù)英文的停用詞表刪除停用詞，最后將剩下的單詞以字典的形式進(jìn)行返回，其中字典的鍵為單詞，字典的值為True，代表著單詞存在于預(yù)處理后的文本中。文本情感分析然后，將上述待訓(xùn)練的文本經(jīng)過(guò)預(yù)處理之后，為其設(shè)定情感分值，即將積極情感詞的分值設(shè)為1，將消極情感詞的分值設(shè)為-1，根據(jù)這些訓(xùn)練數(shù)據(jù)構(gòu)建一個(gè)訓(xùn)練模型，具體代碼如下。文本情感分析在訓(xùn)練文本中，前三個(gè)句子中都有表示積極情感的詞匯，比如“wonderful”“l(fā)ike”“well”，因此分值設(shè)為+1，而后兩個(gè)句子里面包含了一些表示消極情感的詞匯，比如“not”bad”，因此設(shè)分值為-1。根據(jù)這些訓(xùn)練文本構(gòu)建了一個(gè)訓(xùn)練模型，意思是比如某個(gè)句子中岀現(xiàn)了這個(gè)模型中的積極情感詞匯，就將情感分值置為1，否則就把情感分值置為-1文本情感分析為了驗(yàn)證剛剛創(chuàng)建的情感模型是否可行，下面是一些測(cè)試的結(jié)果，具體代碼如下。從輸岀的結(jié)果中可以看出，根據(jù)訓(xùn)練的模型已經(jīng)能夠準(zhǔn)確地辨識(shí)出部分帶有情感色彩的固定單詞，比如，like