基于機器學習的抖音短視頻用戶分析

[鍵入文字]基于機器學習的抖音短視頻用戶分析Useranalysisofdouyinshortvideobasedonmachinelearning內容摘要隨著社會的發(fā)展。抖音短視頻APP的碎片化時間娛樂，進行抖音短視頻APP的用戶數據分析，有利于不同用戶的選擇以及創(chuàng)作者的內容創(chuàng)作。針對短視頻用戶分析是建立在抖音App上的用戶評論數據分析，進行抖音用戶數據的爬蟲，然后進行數據的分析。基于抖音短視頻App的用戶分析，使用機器學習的情感分析算法進行用戶數據的區(qū)分以及分析。在本次研究中，情感分析算法使用貝葉斯模型進行語句的情感分析預測。使用jieba分詞系統(tǒng)用于對視頻內容進行分類區(qū)分。使用機器學習算法中的snownlp庫進行中文語句的判斷預測，snownlp庫可以為中文語句的情緒判斷進行預測。當判斷返回值越接近1的時候，表示為正面情緒，越接近0的時候表示負面情緒。在本研究中，采取了百度AI情感分析以及本研究使用的基于貝葉斯模型的snownlp庫情感分析的對比數據測試，從數據樣本中隨機抽取1000條數據進行準確度測試。經過測試分析，本研究使用的情感分析算法與百度AI得出的情感分析的準確率達到85%。通過數據測試，證明本研究所使用的情感分析算法準確率可以得到有效的保證以及可信度。關鍵詞：數據分析；機器學習算法；數據爬蟲；分詞AbstractWiththedevelopmentofsociety.ThefragmentedtimeentertAInmentofDouyinShortVideoAPP,userdataanalysisofDouyinShortVideoAPPisbeneficialtothechoiceofdifferentusersandthecontentcreationofcreators.TheanalysisofshortvideousersisbasedontheanalysisofusercommentdataontheDouyinApp,crawlingtheuserdataofDouyin,andthenanalyzingthedata.BasedonuseranalysisofDouyinShortVideoApp,machinelearningsentimentanalysisalgorithmisusedtodistinguishandanalyzeuserdata.Inthisstudy,thesentimentanalysisalgorithmusesBayesianmodelstopredictsentimentanalysisofsentences.Usejiebawordsegmentationsystemtoclassifyvideocontent.UsethesnownlplibraryinthemachinelearningalgorithmtojudgeandpredictChinesesentences.ThesnownlplibrarycanpredictthesentimentjudgmentofChinesesentences.Whenitisjudgedthatthereturnvalueiscloserto1,itrepresentspositiveemotions,andthecloseritisto0,itrepresentsnegativeemotions.Inthisstudy,BAIduAIsentimentanalysisandthecomparativedatatestbasedonBayesianmodel-basedsnownlplibrarysentimentanalysiswereused,and1,000datawererandomlyselectedfromthedatasamplesforaccuracytesting.Aftertestingandanalysis,thesentimentanalysisalgorithmusedinthisstudyandBAIduAI'ssentimentanalysisaccuracyratereached85%.Thedatatestprovesthattheaccuracyofthesentimentanalysisalgorithmusedinthisresearchcanbeeffectivelyguaranteedandcredible.Keywords:Dataanalysis；machinelearningalgorithms；datacrawlers；wordsegmentation廣東東軟學院本科畢業(yè)設計（論文）目錄第一章緒論 11.1研究的目的和意義 11.2國內研究現(xiàn)狀 31.3研究的主要內容 4第二章抖音用戶數據爬蟲 52.1爬蟲方法 52.2抖音短視頻用戶數據爬蟲原理 82.3用戶數據爬蟲模塊分析 10第三章用戶數據分析 123.1用戶數據分析方法 123.1.1短視頻內容分類方法 123.1.2用戶評論分析方法 133.2用戶數據分析原理 143.2.1短視頻內容分類原理 143.2.2用戶評論數據情感分析原理 15第四章用戶數據分析研究結果 18第五章總結 24致謝： 25參考文獻： 26第一章緒論1.1研究的目的和意義本研究的目的是因為現(xiàn)在的短視頻可以讓更加多的用戶利用自身的碎片化時間進行碎片化的娛樂，也可以通過短視頻的一些碎片化的知識來豐富自身的一些底蘊知識。目前的很多國家官方平臺，例如央視CCTV，共青團等等的國家官方性組織，也已經進駐了很多的短視頻平臺，抖音短視頻平臺現(xiàn)在已經集合了很多的官方平臺以及很多優(yōu)秀的視頻創(chuàng)作者，但是由于現(xiàn)在的視頻創(chuàng)作者對于現(xiàn)在的大部分的短視頻App用戶更容易接受的視頻內容的定位以及類型，沒有足夠的數據分析以及專業(yè)的平臺進行用戶的數據的收集分析。以至于現(xiàn)在的視頻創(chuàng)作者對于自身的視頻創(chuàng)作受到了很大局限，視頻創(chuàng)者作無法根據現(xiàn)在的大部分用戶對不同類型的視頻的喜歡程度以及接受度進行針對性的創(chuàng)作，也在一定程度上讓短視頻創(chuàng)作這一個行業(yè)，以及自媒體的從業(yè)者，在內容的創(chuàng)作上很容易陷入一定程度的創(chuàng)作困難?，F(xiàn)在的短視頻平臺App因為視頻拍攝簡單。從而也導致很多對于喜歡視頻創(chuàng)作，想通過視頻創(chuàng)作而向著自媒體這一行業(yè)進行轉行的人，但是因為現(xiàn)在并沒有完善的平臺進行短視頻用戶的數據進行分析，無法讓一些新加入的短視頻創(chuàng)作者通過現(xiàn)如今的短視頻App用戶的分析，針對現(xiàn)在的用戶對于視頻的類型的喜歡程度以及接受度比較高，進行一個針對性的創(chuàng)作，可以在轉行做自媒體的視頻創(chuàng)作初期，可以得到一個比較好的發(fā)展以及能夠積累觀眾以及用戶粉絲。而且進行短視頻App的用戶數據分析的研究，也可以讓一些在學習短視頻創(chuàng)作的創(chuàng)作者提供靈感，這樣也可以減少現(xiàn)在短視頻App平臺的一個很重要的短板。那就是現(xiàn)在的短視頻創(chuàng)作內容參差不齊，有一些高質量的內容，有一些比較優(yōu)秀的短視頻創(chuàng)作者由于前期的視頻創(chuàng)作中，沒有切入現(xiàn)今大部分的用戶的接受度高的點，導致用戶粉絲以及關注度不夠高，從而會導致這一部分的高質量的優(yōu)秀的視頻創(chuàng)作者會在創(chuàng)作的過程中，漸漸地失去了對高質量的視頻創(chuàng)作的熱情以及對自身的對視頻創(chuàng)作的質量的下降，這無疑將會是對于自媒體的短視頻創(chuàng)作者的這一行業(yè)有者極大的沖擊，以及也會是對自媒體這一新興行業(yè)的一個打擊。這樣將會不利于一個新興行業(yè)的可持續(xù)發(fā)展，也會降低了很多對于自媒體行業(yè)，短視頻創(chuàng)作者的有著濃厚興趣以及希望加入這一行業(yè)的愛好者的積極度。所以進行本研究的目的就是為了為一些高質量的優(yōu)秀的自媒體工作者以及短視頻的創(chuàng)作者提供有效的，有力的數據分析。支持自媒體行業(yè)以及短視頻創(chuàng)作者的這一新興行業(yè)的可持續(xù)發(fā)展，以及為短視頻App的用戶清除一些不良的視頻內容。本文研究的意義在于可以為現(xiàn)在的自媒體行業(yè)的工作者以及短視頻的創(chuàng)作者提供有效的數據，因為現(xiàn)在的短視頻創(chuàng)作者的質量參差不齊，有一些視頻創(chuàng)作者為了吸取短視頻App用戶的關注，進行不合理的牟利。在前期的視頻創(chuàng)作中不惜加入一些低俗的內容，來吸引用戶的關注。這樣很容易會導致短視頻的創(chuàng)作以及自媒體行業(yè)走向另外一個截然不同的道路。而且現(xiàn)在的短視頻App用戶開始趨向于年齡層偏低的趨勢。根據報告抖音短視頻App的男性、女性用戶的年齡段和城市級別的分布比較相似，19-35歲的用戶占比將近7成，所以其中19-24歲的青年比例占比較高。所以，短視頻的內容創(chuàng)作。對于青少年的影響還是比較廣的。而且根據2019年的抖音短視頻報告，抖音短視頻App的人均使用是10-19次，而且在用戶使用時間為30分鐘以上的市場占比位居第二。所以，根據上面的兩項報告數據而言，研究抖音短視頻App的用戶的數據分析。為短視頻創(chuàng)作者提供有效的數據?？梢栽谝欢ǖ某潭壬希?guī)范短視頻創(chuàng)作的內容，也可以為使用的青少年用戶提供更加高質量以及更加符合現(xiàn)代社會生活的短視頻內容。也可以促進自媒體行業(yè)的發(fā)展以及讓更多的對于希望從事高質量的優(yōu)秀短視頻創(chuàng)作者的有著來自于用戶的數據的支持。這樣可以讓自媒體行業(yè)以及短視頻創(chuàng)作這一新興行業(yè)的蓬勃發(fā)展，也可以讓國家的創(chuàng)新創(chuàng)業(yè)政策得到落實以及支持。所以本研究的意義在于為短視頻創(chuàng)作者提供有力有效的用戶數據分析。讓更加多的高質量的優(yōu)秀的短視頻創(chuàng)作者得到發(fā)展，以及為自媒體行業(yè)和短視頻創(chuàng)作行業(yè)得到健康以及持續(xù)的發(fā)展。在自媒體行業(yè)以及短視頻創(chuàng)作得到健康發(fā)展的前提下，也可以讓青少年在使用短視頻App的情況下可以確保得到良好的價值觀以及世界觀的塑造，也避免了短視頻創(chuàng)作這一行業(yè)變成讓家長需要讓青少年避而趨之的毒藥。也可以讓更多的短視頻App用戶在利用碎片化的時間在得到娛樂的情況下，可以得到更加多的優(yōu)質的，正確的資訊信息以及可以得到更加多的高質量的短視頻內容可以讓用戶在碎片化時間里，也可以在潛移默化之下獲得一些知識，在娛樂的時候也可以吸收更加多的有用的信息。以及根據現(xiàn)在的短視頻App用戶分析報告，目前有比較多的用戶認為目很多前的短視頻App里面的內容同質化較多，這樣更加容易導致用戶的流失，以及會讓優(yōu)質短視頻的創(chuàng)作者喪失很多的機會。所以進行抖音用戶數據分析可以在用戶以及創(chuàng)作者的互相的作用下，讓自媒體行業(yè)和短視頻創(chuàng)作得到足夠的發(fā)展，讓新興行業(yè)可以蓬勃的發(fā)展。1.2國內研究現(xiàn)狀現(xiàn)在國內關于抖音短視頻用戶數據分析主要分為是針對用戶的年齡層分析以及使用時間分析。專門針對抖音短視頻App進行的用戶數據分析暫時還沒有完善的數據分析，以及針對為短視頻創(chuàng)作者進行抖音短視頻App的用戶數據分析后，為短視頻創(chuàng)作者提供有力的用戶數據分析進行創(chuàng)作支持的平臺以及研究。針對于抖音的短視頻用戶認為，抖音短視頻App更突出的人認知是有趣、很酷很潮和年輕，以及根據報告，目前的抖音短視頻App用戶最愛的是有趣的高質量的普通短視頻創(chuàng)作者。根據短視頻用戶分析報告，針對性的用戶數據行為分析報告不全面，目前的研究只是根據用戶的行為粘性進行分析，根據研究報告顯示的是，目前的抖音短視頻用戶更加注重的是看評論，看不同的用戶在評論下面抖機靈。抖音短視頻以創(chuàng)意和趣味內容為主，內容調性更易激發(fā)網友討論，產生優(yōu)質UGC（用戶原創(chuàng)內容）。超過90％的愛看評論的用戶表示，他們在抖音評論區(qū)主要看的是網友抖機靈和搞笑評論。所以，抖音短視頻App的評論區(qū)的評論對于目前進行抖音短視頻App的用戶分析，具有參考價值以及實用性。所以，使用情感分析進行抖音短視頻App的評論進行分析。具有較高的實用性以及研究性。根據情感分析研究文獻[1]表示情感分析是為了挖掘產品的客戶群體對于現(xiàn)在的產品、服務、話題其中的產品屬性中的觀點、情感、情緒、評價以及態(tài)度進行的計算研究?，F(xiàn)有的研究中已經產生了可用于情感分析多項任務的大量技術，其中包括有監(jiān)督方法以及無監(jiān)督方法。在早期的研究中，使用的是監(jiān)督機器學習方法，如：向量機、熵、樸素貝葉斯等和特征組合。其中無監(jiān)督方法包括使用情感詞典、語法分析和句法模式的不同方法。目前文本類型的情感分析的研究有三種研究分類。分別為文檔類型情感分析，語句類型情感分析，以及短語類型情感分析。文檔類型情感分類主要是指觀點型的文檔標記整體的情感傾向。即是用于確定文檔整體上傳達的是積極還是消極的觀點。所以，根據分類的類型來看，文檔類型的情感分析，主要是一個二元分類任務，語句級的情感分析主要是用于標定單句中的情感表達。語句的情感可以用主觀性分類以及極性分類來進行推斷，主觀性分類主要是將句子分為主觀或者客觀，但是后者主要是用于判斷主觀語句表達的情感是積極還是消極的情感?，F(xiàn)有的研究中，語句的情感分析主要是會形成一個聯(lián)合的三個類別的分類，即是預測語句中的情感是為積極、消極或者中立，三個分類的類別。短語類型的情感分析與文檔類型以及語句類型的情感分析不同。短語類型的情感分類其中同時考慮的是情感信息以及主題信息。句子中需要給定一個句子和主題特征。這樣短語類型的情感分析才可以推斷出句子在主題特征的情感分析極性。目前，得益于情感分析算法的研究，天貓商城、百度AI等開放平臺均應用了短語類型的細粒度情感分析，類似于天貓商城等平臺會在熱門品類中使用觀點抽取以及情感正負分類。而在目前，語句級的情感分析粗粒度主要是用于電商、App等。1.3研究的主要內容本文研究的主要內容是關于抖音用戶的數據的分析以及如何針對現(xiàn)在的用戶進行視頻的推薦以及現(xiàn)在的用戶喜歡的視頻內容類型的分析。本文主要進行的研究內容分為三個部分，第一部分是對于抖音短視頻App的用戶數據進行爬取。第二部分是對爬取下來的抖音短視頻App的用戶數據進行算法分析得出分析的數據。第三部分是進行第二部分進行算法分析以及用戶數據分析后進行抖音短視頻的視頻類別的數據研究分析，分析研究結果。第一部分的研究內容是對于抖音短視頻App的用戶數據以及視頻內容的爬取。該部分進行的研究內容是第一步，也是決定本項目進行用戶分析的關鍵所在。數據量的多少也對于我們進行用戶的數據分析能否達到目的的關鍵，如果數據量不夠，則我們得到的用戶分析則不夠準確，以及我們的研究目標達不到要求。所以本文研究第一步就是要將抖音短視頻App的用戶數據進行爬取。爬取的數據量足夠后才能進行分析。第二部分的研究內容，是有關于第一部分進行的抖音短視頻App爬取的用戶數據以及視頻內容的分類以及分析。第二部分，關于視頻內容的分類可以將爬取下來的視頻內容數據進行分類。然后再將分類的視頻的用戶數據，包括用戶對于視頻的點贊數以及用戶對于視頻的評論進行算法的分析。最后得出現(xiàn)在的用戶對于那些種類的視頻比較喜歡，以及哪些視頻的用戶受眾比較多。第二部分的研究內容重點就是如何將視頻的內容進行分類，將不同的視頻，按照視頻的標簽將其分為幾個類別。比喻分為“娛樂類”，“正能量類”等等的不同種類。然后再按照這幾個種類的視頻的用戶數據進行分析。包括將用戶對于視頻的點贊數以及不同用戶對于視頻的內容進行的視頻評論的內容進行的情感分析。情感分析可以將用戶對于視頻的內容是持有正面態(tài)度還是負面態(tài)度進行判斷。得出現(xiàn)在的用戶對于什么類型的視頻持有較為喜歡的態(tài)度以及正面的支持。而我們也可以通過這一部分的研究將我們所想要實現(xiàn)的目標可以得到初步的實現(xiàn)。第二章抖音用戶數據爬蟲2.1爬蟲方法目前進行手機App數據抓包的后進行數據爬蟲的數據抓包方法有使用Tcpdump命令進行抓包，不過需要安卓手機進行root。第二種方法是使用Wireshark進行數據抓包。第三種方法是使用fiddler抓包工具進行數據抓包。本研究使用的方法是使用Fiddler[11]技術進行抖音短視頻App的抓包，因為手機App無法直接通過電腦代碼進行數據的爬取，所以要通過使用Fiddler技術進行抓包數據。因為在進行手機端的抖音短視頻APP數據爬取的時候，因為我們無法獲取抖音短視頻App的接口文檔。無法獲取完整的功能接口、接口請求方式、接口請求URL、接口請求數據、接口返回參數等等。所以在本次研究中，抖音數據的爬取使用Fiddler對APP進行抓包確認，通過在手機上進行抖音短視頻APP的操作，然后再通過Fiddler抓取本研究所需要的相對應的抖音用戶數據，爬取的內容包括‘視頻的內容標題’，‘視頻的點贊數量’，‘用戶的ID’，‘用戶的名稱’以及‘用戶的評論內容等數據?！褂肍iddler進行抓包的方法如下：1、首先需要安裝Fiddler抓包軟件。2、然后需要設置手機上的代理網絡。3、要確保進行抓包的電腦與手機處于同一個網絡下面。4、最后進行抖音短視頻App的訪問就可以進行抖音短視頻App的用戶數據的抓包，進行爬取。圖2-1Fiddler抓包用戶評論頁面第一步下載Fiddler抓包軟件，進行配置。因為Fiddler默認只是抓取http格式的包，所以需要進行參數的配置，允許Fiddler監(jiān)聽到HTTPS。配置Fiddler軟件允許監(jiān)聽到HTTPS格式的，首先需要，打開Fiddler的菜單欄的Tools選項=>選擇Options=>HTTPS,然后需要勾選下圖顯示選中的選項圖2-2Fiddler配置Tool選項然后點擊OK就可以配置完成Fiddler允許監(jiān)聽HTTPS的步驟了。接下來還需要配置Fiddler允許遠程連接。在上一步的窗口中選擇Tools=>Options=>Connections,勾選下圖選中的選選項，allowremotecomputerstoconnect?？梢钥吹侥J的監(jiān)聽端口為8888。圖2-3Fiddler默認監(jiān)聽端口點擊完成后。目前電腦端的Fiddler抓包軟件已經配置完成。接下來我們需要進行移動端的配置。進行手機端的參數配置，首先一定要確保手機端與電腦端處于同一個網絡，然后需要調取電腦端的ip地址。以及需要使用到我們上一步的默認的監(jiān)聽端口8888。首先，當手機和電腦連接同一個網絡的時候，打開手機瀏覽器，輸入http：//網絡ip：8888，然后點擊前往。然后就會跳轉至一個證書下載頁。然后下載安裝證書。完成下載后，安裝證書后需要給證書起一個名字。如下圖所示圖2-4Fiddler手機端證書下載配置最后，需要進行更改手機端的無線網絡代理，進入手機端的設置-無線網絡-點擊WiFi網絡的代理，將代理選擇為手動。主機名為使用Fiddler抓包的電腦的ip地址，端口號為之前的默認監(jiān)聽端口8888。如下圖所示即可完成手機端與電腦端的Fiddler抓包配置。圖2-5手機端無線網絡參數設置最后操作手機，打開抖音短視頻App，電腦上的Fiddler軟件就會顯示出抖音的https信息，這樣已經成功進行手機抓包。抓包顯示正常后，查看抖音短視頻App的數據返回接口，以及查看需要的參數。參數是視頻，視頻的ID以及視頻評論。完成抖音短視頻App的數據抓包之后，開始進行爬蟲代碼的編寫。爬蟲代碼主要使用的方法是：1、設置headers，多個瀏覽器進行代理，偽裝成正常瀏覽器訪問。2、設立需要寫入爬蟲用戶數據后的文檔表頭，分別為‘視頻內容’，‘視頻點贊數’，‘用戶ID’，‘用戶名稱’，‘評論內容’。3、創(chuàng)建一個Excel文件為：‘douyin.xls’。4、調用Appkey獲取抖音短視頻的視頻信息接口。5、循環(huán)訪問抖音數據接口，每次進行10次循環(huán)訪問。6、使用requests技術訪問抖音短視頻App的短視頻URL接口，設置好參數，添加headers，訪問獲取數據。參數為視頻，以及視頻的ID，視頻的評論。7、使用json技術將返回的數據進行提取。8、每個視頻獲取一百條用戶評論以及用戶信息，當爬取的用戶評論達到100后，跳出爬蟲，進行下一個視頻的爬蟲。9、最后就是將數據提取后，利用xlrd把數據寫入Excel中。最后導出Excel文件。2.2抖音短視頻用戶數據爬蟲原理Fiddler是位于客戶端和服務器端之間的HTTP代理，它能夠記錄客戶端和服務器端之間的所有HTTP（S）請求，可以針對特定的HTTP(S)請求，分析網絡傳輸的數據，還可以設置斷點，修改請求的數據和服務器返回的數據。Fiddler在瀏覽器和服務器之間建立一個代理服務器，F(xiàn)iddler工作于七層中的應用層，能夠捕獲通過的HTTP（S）請求。Fiddler啟動后會自動將代理服務器設置成本機，默認端口為8888。Fiddler不僅能記錄PC端上瀏覽器的網絡請求數據，還可以記錄同一網絡中的其他設備的HTTP(S)請求數據。現(xiàn)在的App中的數據傳輸基本上都使用HTTPS傳輸，傳輸的數據都是經過加密的。這增加了分析數據包的難度，但是使用Fiddler除了可以抓取HTTP數據包，還可以抓取HTTPS數據包。所以，使用Fiddler抓包工具比使用其他抓包工具更加具有實用性。HTTPS傳輸需要使用到CA證書，所以抓取HTTPS數據包時需要做一些特殊配置。Fiddler截取HTTPS報文的流程大致為，圖2-2-1所示：圖2-2-1Fiddler抓包流程圖1、客戶端請求建立HTTPS鏈接。

2、FIDdle抓包工具接到客戶端請求后，偽裝客戶端向服務器發(fā)送請求。

3、服務器收到Fiddler抓包工具請求后，篩選合適的加密協(xié)議。返回服務器的CA證書，其中包括公鑰信息。

4、Fiddler收到服務器的響應后，保存服務器證書并自簽名一個CA證書，偽裝成服務器，把該證書下發(fā)給客戶端。

5、客戶端驗證Fiddler下發(fā)的證書合法性。生成對稱秘鑰，上傳至Fiddler抓包工具。

6、Fiddler抓包工具解密對稱密鑰后，通過證書公鑰進行后加密發(fā)送至服務器。

7、Fiddler抓包工具攔截客戶端的請求后，使用私鑰解密報文，獲取對稱秘鑰，并使用服務器證書中公鑰加密后，將稱密鑰發(fā)送至服務器。

8)服務器接收到客戶端發(fā)送的對稱密鑰后使用私鑰解密，并使用對稱密鑰加密測試數據傳至客戶端。

9)Fiddler抓包工具使用已經獲取的對稱密鑰解密報文。

10)客戶端驗證數據無誤后HTTPS連接完成，客戶端開始向服務器發(fā)送使用對稱密鑰加密的數據

11)Fiddler抓包工具使用已經獲取的對稱密鑰解密客戶端發(fā)送的數據，并重新加密后發(fā)給客戶端。Fiddler進行手機App抓包原理為以上的內容。其中，在進行爬蟲抓包工具的研究時，發(fā)現(xiàn)了另外一款的抓包工具：Wireshark抓包工具，但是在進行兩個抓包工具的測試以及抓包時，研究發(fā)現(xiàn)了Wireshark和Fiddler抓包工具不同之處，所以在本次研究中使用的是Fiddler抓包工具。其中，F(xiàn)iddler抓包工具是在Windows系統(tǒng)上面運行的抓包程序，可以用于抓取HTTP、HTTPS。但是Wireshark雖然也可以獲取HTTP以及HTTPS。但是最大不同的點是在于，Wireshark無法解密HTTPS，但是因為我們需要爬取的數據是抖音短視頻APP的數據，目前大部分的App數據傳輸都是使用HTTPS傳輸。所以在本次研究中，使用的是Fiddler抓包工具進行數據的獲取以及爬蟲。爬蟲代碼編寫的原理：1、設置headers表頭，設置多個代理瀏覽器，偽裝為正常的瀏覽器進行訪問。防止被抖音短視頻App察覺，然后進行攔截，無法獲取我們需要的數據。2、發(fā)送一個requests訪問抖音短視頻App的接口，在這一步上，使用Appkey可以更加方便的訪問抖音短視頻的API接口。進行訪問獲取視頻的信息接口。然后再設置好我們需要獲取的抖音短視頻APP的用戶數據參數。然后添加headers表頭，就可以進行訪問獲取我們所需要的數據了。3、然后使用json庫將訪問獲取的數據進行提取為json文件。4、數據提取出來之后，就可以利用workbook庫中的openpyxl類進行將數據寫入Excel表格中，然后生成我們需要的進行下一步用戶數據分析的表格。最后再將表格提取出來。2.3用戶數據爬蟲模塊分析 在本次研究中，抖音短視頻App用戶爬蟲數據，分別進行了3次數據的爬蟲，總共爬取的抖音短視頻App中的視頻用戶數據量接近三萬三千條數據。所有進行爬取的數據都是儲存在一個Excel表格中，方便后續(xù)進行數據的算法分析的提取以及導入，以及方便進行數據爬取后，進行數據的清洗以及空值、缺失值的檢查以及修改。圖2-3-1短視頻爬蟲數據展示圖圖2-3-2短視頻爬蟲數據展示其中爬取的抖音視頻數量是接近300條視頻數據量，每個視頻中的數據量對應的是在該視頻下進行評論的抖音短視頻App用戶，每個視頻對應100位用戶，每個用戶對應的是該用戶進行的評論，一位用戶對應一條評論。每位用戶的ID以及名稱都是單獨對應一條評論內容。 其中在進行抖音短視頻數據爬取后，進行數據的篩選和清洗時，發(fā)現(xiàn)有部分的視頻爬取下來后，缺失了視頻內容的數據，無法進行進行短視頻內容類別的區(qū)分。在進行數據的預處理時，需要將數據的缺失值進行刪除，確保后續(xù)進行數據分類時不會出現(xiàn)錯誤。圖2-3-2短視頻爬蟲數據缺失值 當完成數據之中的空缺值清洗刪除后，需要將視頻內容標題進行提取，通過提取視頻內容標題后進行初步的分類。通過初步分類后，即可以繼續(xù)進行下一步的用戶數據進行分析。第三章用戶數據分析3.1用戶數據分析方法 本研究進行的用戶數據分析方法，主要引用了兩種數據分析方法。第一種方法是引用jieba庫的分詞方法，對爬取的抖音短視頻內容標題進行分詞，用以進行視頻類別的區(qū)分歸類。第二種是使用snownlp庫[12]的情感分析算法進行用戶評論的情感分析得分進行區(qū)分以及合并，結合視頻分類的視頻點贊數即可進行下一步的結果分析。3.1.1短視頻內容分類方法 根據爬取的抖音短視頻數據中，進行數據分析的過程中，可以發(fā)現(xiàn)目前抖音短視頻的內容標題區(qū)分度不足，內容標簽等太過于雜亂，無法進行有效的區(qū)分短視頻類別。本次研究，通過將爬取抖音短視頻App的短視頻用戶數據中的短視頻標題進行文本分詞，根據分詞后得出的切詞信息進行抖音短視頻的視頻內容分類。根據分詞信息，將所爬取得到的抖音短視頻內容分成為四個大類別，分別是搞笑視頻內容，劇情視頻類別，其他視頻類別以及反映社會問題的視頻類別等。一共分為四個類別。圖3-1-1短視頻內容分類類別圖 完成短視頻視頻內容標題分類后，進行標題分類的詞云圖分析，根據詞云圖進行抖音短視頻的內容分類，根據詞云圖的詞語及詞頻進行分析。這樣進行的抖音短視頻內容分類可以達到較好的分類效果，以及分類準確度。完成抖音短視頻App的短視頻內容標題分類后，往下進行抖音短視頻分類的用戶評論數據的情感分析研究。圖3-1-2抖音短視頻分類內容標題詞云圖3.1.2用戶評論分析方法抖音用戶評論數據分析的算法是使用情感分析算法。進行抖音用戶的評論數據進行情感分析，計算抖音短視頻用戶對于不同類型的視頻的評論的情感度進行分析。最后通過情感分析算法預測出來的結果，進行用戶對于什么類型視頻的情感積極度較高。然后進行研究得出結果。數據進行算法分析的代碼流程為以下的代碼流程：1、導入pandas庫，numpy庫，以及導入snownlp模塊。2、整理爬蟲下來的抖音短視頻用戶數據，將數據合并為同一份表格。3、然后將視頻的標題進行提取，將標題提取出來之后，進行四個類型的類型分類。分別為其他類型，搞笑類型，劇情類型，社會問題類型。4、然后引用snownlp庫進行用戶評論數據的情感分析。如果用戶的評論情感得分>0.6歸分為積極，評分<0.4歸分為消極，其他的得分為平和。5、將每個標題劃分出來的視頻類別進行數據的分類以及每個類型的用戶數據的合并。6、根據每個用戶的得分出來之后，進行餅狀圖的劃分。餅狀圖根據每個類型的用戶的情感分析得分情況數量進行畫圖。得出每種類型的用戶的情感分析的積極度，消極度，平和度進行占比的劃分。7、再根據每個類型的餅狀圖，進行現(xiàn)在的抖音短視頻用戶對于什么類型的視頻的接受度以及認可度較高。評論的積極情感占比較高。來對用戶的數據進行分析研究。8、最后導出每個用戶以及每個分類的文檔。可以根據導出的文檔看到不同用戶的評論的情感分析得分的情況，來進行更加深入的研究。使用snownlp庫對抖音短視頻用戶評論數據進行情感分析得分計算后，可以得出目前的用戶對于每種類型的視頻的偏好分析，但是僅僅只是根據目前的用戶的評論數據的情感分析得分進行判斷，數據不夠嚴謹。所以，本研究使用了另外的一種方法，將所爬取得到的抖音短視頻用戶數據中的點贊數。根據上一步進行的視頻內容分類進行了一個柱狀圖集合分析，根據點贊數以及柱狀圖進行集合分析，研究進行的抖音短視頻用戶數據分析結果會較為客觀以及嚴謹。柱狀圖主要分為了四個類別的視頻點贊總數，進行分析。如下圖所示：圖3-1-3抖音短視頻分類點贊總數柱狀圖3.2用戶數據分析原理用戶數據分析原理，本研究主要使用了jieba分詞[2]以及snownlp庫的情感分析方法，jieba分詞的原理主要是基于Trie樹結構實現(xiàn)的詞圖掃描進行分詞。而snownlp庫中的情感分析算法則是基于樸素貝葉斯算法模型完成的。3.2.1短視頻內容分類原理 在本研究中，爬蟲得到的抖音短視頻中的視頻內容標簽分類，主要使用的方法就是使用jieba分詞，jieba分詞的原理主要是使用的是在基于Trie樹結構下實現(xiàn)的高效詞圖掃描，這樣可以生成所需要進行分詞的句子中的漢子所有有可能組成詞語的情況下構成的(DAG)有向無環(huán)圖。其中Trie樹[3]分詞結構圖效果示意圖如下圖所示：圖3-2-1Trie樹分詞結構圖 其中，jieba分詞是基于Trie樹結構進行的分詞劃分，利用Trie樹進行前綴詞典的構造，然后利用該前綴詞典對句子進行分詞切分，得到所有的句子中有可能進行的切分可能后，最后根據切分的位置，構成有向無環(huán)圖。其中構成前綴詞典的是基于jieba庫中的帶有的統(tǒng)計詞典構成的，其中統(tǒng)計詞典一共有三列，第一列是詞語，第二列的詞頻，第三列則是為詞性。 在根據前綴詞典進行語句劃分的時候，可根據上圖的語句劃分示意圖看到，是通過字或詞語進行構建一個以詞語或字的位置為關鍵key，相應劃分的末尾位置的列表為值value的映射。 構建完成（DAG）有向無環(huán)圖后，還需要使用動態(tài)規(guī)劃計算最大概率路徑，用于解決一個句子中存在的多種分詞結果。因為一個句子中進行分詞劃分，從起點到終點期間存在著多條的分路路徑。進行最大概率的路徑計算是通過從句子的最后的一個字（N-1）開始進行倒序遍歷句子中的存在的每一個字，開始計算每個句子中（句子[字 -N-1]）的概率得分。然后將得分最高的情況以元組的方式保存在路線之中。 以上就是使用jieba分詞對抖音短視頻App中的短視頻內容標題分類，所使用的方法jieba分詞原理。3.2.2用戶評論數據情感分析原理本次研究主要是為了研究現(xiàn)在的抖音短視頻App用戶針對哪一種類型的視頻的認可度以及情感分析得出評分分布情況，用以預測現(xiàn)在的抖音短視頻用戶對于哪些類型的短視頻接受度更高。用于為視頻創(chuàng)作者提供更加有利的數據分析，讓更多的短視頻創(chuàng)作者能夠根據用戶的數據進行短視頻的創(chuàng)作。本次研究的用戶數據分析主要是針對用戶的評論進行情感分析，所以使用的是情感分析算法中的snownlp庫進行評論的情感分析。Snownlp是一個python寫的類庫，可以方便的處理中文文本內容，所有的算法都是自己實現(xiàn)的，并且自帶了一些訓練好的字典。所以snownlp是一個中文的自然語言處理的python庫，支持的中文自然語言操作其中就包括了情感分析。其中snownlp庫中的使用的情感分析算法主要是使用了貝葉斯模型[4]進行的情感分析預測。貝葉斯模型是基于樸素貝葉斯算法[5]實現(xiàn)的算法模型，其中樸素貝葉斯算法是基于貝葉斯定理的分類方法。貝葉斯定理[6]是計算概率的公式。貝葉斯定理中的1、條件概率公式是指在在事件B發(fā)生的情況下，事件A發(fā)生的概率，可以使用P（A|B）來表示。2、全概率公式表達式是：，如果A和構成樣本空間的劃分，那么事件B的概率就等于A和的概率分別乘以B對這兩個事件的條件概率之和。上面提到，樸素貝葉斯是基概率論的分類方法。樸素貝葉斯的原理使用條件概率來分類的。首先需要了解一下樸素貝葉斯的定義：樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設的分類方法。對于給定的訓練數據集，基于特征條件獨立假設學習輸入/輸出的聯(lián)合概率分布；然后基于貝葉斯模型，對于給定的輸入x，利用貝葉斯定理求出后驗概率最大的輸出y。接下來，看一下樸素貝葉斯的算法實現(xiàn)過程：首先需要先計算先驗概率：求出樣本中的個數K。對于么一個樣本中的Y=Ck，算出P(Y=Ck)。這是Ck在樣本中集中概率。第二步需要計算條件概率：需要將樣本劃分為K個子樣本，分別對應Ck的子樣本計算。計算出每個特征

Xj=ajl

的概率：

。最后即可以針對樣本，計算出每個類別的Ck的后驗概率：其中概率值最大的類別就是預測樣本中的預測類別其中，在進行情感分析算法的研究時，使用樸素貝葉斯分類做情感分類的時候，將需要進行情感分類的句子中的情感得分分分為兩類：積極態(tài)度為（c1）、消極態(tài)度為（c2）。在一個句子中有特征w1，w2，…,wn,n個特征是相互獨立的。在句子中的每一個單字都分別對應了在情感分類中的特征w1，w2，…,wn。在根據樸素貝葉斯分類器[7]的原理公式中P(c1|w1,w2,…,wn)=(P(w1,w2,…,wn|ci)×P(ci))/(P(w1,w2,…,wn))以及根據全概率公式中的P(B)=P(B|A)P(A)+P(B|A’)P(A’)公式進行轉換可以得到的是貝葉斯模型中進行情感分類的情感得分預測的公式為：

對預測公式進行簡化： 在snownlp庫進行情感分析分類得分中，最重要的除了是使用貝葉斯模型進行情感分類的預測外，還需要有有一個函數方法對輸入貝葉斯模型的中的語句進行分詞以及去停用詞。其中在完成分詞以及去停用詞后，返回分詞結果后，還需要調用貝葉斯模型的進行訓練。貝葉斯模型在訓練過程的實質是統(tǒng)計每個特征出現(xiàn)的頻率次數。通過snownlp庫中的情感分類貝葉斯模型進行預測爬取的抖音短視頻中的每個用戶的評論數據，因為當情感得分越接近1的時候，評論的情感越接近積極，當情感得分越接近0的時候，評論的情感則是越接近消極。所以在本次研究中，將情感得分大于0.6的評論劃為情感偏向積極的評論，將情感得分小于0.4的評論劃分為情感偏向消極的評論。則介于0.4至0.6之間的情感得分的評論則是將劃分為情感偏向平和的評論。 以上就是進行研究抖音短視頻App的短視頻用戶的評論的情感分類得分的主要算法的貝葉斯模型原理以及樸素貝葉斯算法的原理介紹。第四章用戶數據分析研究結果 本研究進行的是目前有關于抖音短視頻App用戶在使用抖音短視頻App的時候，對于劇情創(chuàng)作類、社會問題類、搞笑類以及其他廣告類視頻這四種視頻類別的接受度的研究。通過爬取抖音短視頻App上的短視頻內容以及在該視頻上進行互動點贊以及進行評論留言的用戶數據，進行分析研究。通過點贊數以及使用情感分析算法對用戶數據中用戶評論數據，兩者結合進行研究分析。情感分析算法可以得到不同的用戶對于視頻的內容的看法以及情感分析得分。通過情感分析算法分析用戶在對于視頻的評論的語句中的情感分類，語句中表達的情感往往會體現(xiàn)了用戶對于這種類型的視頻中自己的接受度以及觀感。如果一類視頻中的用戶評論數據中的積極情感得分較低，以及點贊數較低。那么在研究中我們可以通過該類型視頻的用戶評論數據中得到，大部分的用戶在觀看該類視頻中時，接受度以及觀感也是比其他類型的視頻較低的。 本章主要是通過分析本研究中將爬取得到的抖音短視頻用戶數據進行研究分析后得出的數據結果加以研究分析，展示現(xiàn)在的用戶對于劇情創(chuàng)作類、社會問題類、搞笑類以及其他廣告類視頻這是四種類型的視頻的接受度以及用戶對于這四種類型的視頻的偏好研究。 本研究中，用戶評論數據進行情感分析得分，情感分析得分輸出結果大于0.6的，該評論結果將會劃分為積極情感，如果評論數據的情感分析得分輸出結果是小于0.4的評論將會劃分為消極類型的情感評論，而介于0.4-0.6之間的評論情感分析得分輸出結果將會劃分為平和類型的情感評論。在本章中，劇情創(chuàng)作類、社會問題類、搞笑類以及其他廣告類的視頻內容的每個類別的情感分析得分將會以扇形圖進行結果的展示以及分析研究。每個類別的扇形圖將會以用戶評論的情感分析得分中的積極情感得分、消極情感得分、平和情感得分進行每個類別的劃分。展示的該類別的所有視頻的用戶評論數據的情感得分中每個情感分類的占比多少來進行分析研究。最后通過不同類別的視頻的點贊總數以及情感分析得分占比，兩種相結合進行總結性分析。 接下來將會進行四個類別的短視頻用戶評論數據的情感分析得分占比結果的研究分析，以及四個類型的抖音短視頻用戶點贊數的柱狀圖的研究結果分析。第一部分展示的其他廣告類別的結果分析，第二部分展示的是劇情創(chuàng)作類別的結果分析，第三部分是搞笑視頻類別的結果分析，第四部分就是社會問題類別的結果分析。最后進行柱狀圖的研究結果分析。 第一部分進行分析研究的是其他廣告類別的視頻用戶評論數據情感分析得分的研究展示圖：如圖4-1所示 圖4-1其他廣告類別視頻用戶情感得分占比圖根據扇形圖4-1的分析結果，我們可以看到，目前在抖音短視頻App上的用戶對于其他廣告類別的用戶評論的情感分類得分占比中，情感得分傾向積極情感的占比為47.66％，情感得分傾向消極的占比則為33.21％，情感得分傾向平和的占比則為19.13％。從上圖中可以得到的分析結果進行研究分析，目前的抖音短視頻用戶在對于其他廣告類別的短視頻中，評論情感傾向積極的用戶占比不超過50％，這個信息代表著目前的抖音短視頻用戶在其他廣告類別的視頻中的接受度較低，對于其他廣告類別的短視頻的作者以及商家來說，如何將廣告以及其他類型的視頻做的更加吸引用戶，使用戶在刷到本類視頻的時候的抵觸心理以及接受度提高，是目前的作者需要更加注意的。在其他廣告類別的視頻的內容上，可以根據詞云圖中得到一些信息。如圖4-2所示。圖4-2其他廣告視頻內容詞云圖從圖4-2的其他廣告類別的詞語圖信息中可以得到數據分析是，詞頻數量較高的詞語是5G、交友、免費、小說等等詞語。根據圖4-1、圖4-2的數據結果分析，分析研究的結果是，在目前的抖音短視頻用戶中，用戶對于其他廣告類別的短視頻的接受度以及情感偏好中占比較低。用戶暫時還不習慣在抖音短視頻App上接收廣告類型的短視頻，如果商家以及進行短視頻廣告創(chuàng)作的創(chuàng)作者，需要修改視頻的內容創(chuàng)作方式，盡量減少直白的廣告宣傳。應該與其他類型的視頻創(chuàng)作方式相結合。這樣才會讓用戶提高接受度以及情感偏向的積極傾向得到提高。第二部分進行分析研究的是劇情創(chuàng)作類類別的抖音短視頻用戶評論數據情感分析得分的研究展示圖4-3圖4-3劇情創(chuàng)作類視頻用戶情感得分占比圖 從劇情創(chuàng)作類別的情感分析得分的扇形圖4-3中，得到的研究分析數據是目前在抖音短視頻用戶中，對于劇情創(chuàng)作類別的短視頻的情感分析分類得分占比中，情感得分的占比傾向積極情感的用戶占比為50.72%，情感得分占比傾向消極情感的用戶占比為34.21%，情感得分占比傾向平和的用戶占比為15.07%。從上圖的用戶評論數據情感分析進行的研究分析是，目前在觀看劇情創(chuàng)作這類的視頻用戶中，過半數的用戶對于劇情創(chuàng)作類別的短視頻的接受度以及情感偏好還是處于一個較為積極的階段，但是根據數據分析目前有34%的用戶對于劇情創(chuàng)作類的視頻是處于一種接受度以及偏好傾向消極的態(tài)度。下面通過劇情創(chuàng)作類的內容中的詞語圖可以得到分析34%的用戶對于劇情創(chuàng)作類的短視頻情感偏向消極情感的分析研究。如圖4-4所示：圖4-4劇情創(chuàng)作類視頻內容詞云圖 從劇情創(chuàng)作類類別的詞語圖4-4中，可以得到的詞頻數量較高的詞語是：前女友、父親、尷尬、男友、女友、助手等等詞語。劇情創(chuàng)作類短視頻中，創(chuàng)意是吸引目前的用戶對本類視頻進行點贊以及接受的重要因素。根據詞云圖中的高詞頻次數進行分析，得到的分析研究結果是。目前在劇情創(chuàng)作類的短視頻中，創(chuàng)意重疊或者借鑒，視頻主體內容的重復。讓目前的部分抖音短視頻用戶在對于劇情創(chuàng)作類視頻的觀看中因為劇情以及內容主體重復率高的情況下，接受度以及情感偏好偏向消極。根據研究分析，目前的抖音短視頻的劇情創(chuàng)作類別的創(chuàng)作者應該尋求新的創(chuàng)意以及內容，這樣才會提升用戶的接受度以及情感積極度得到提升。 第三部分進行分析研究的是搞笑視頻類別的抖音短視頻用戶評論數據情感分析分類的占比研究展示。如圖4-5所示：圖4-5圖4-5搞笑視頻類別用戶情感得分占比圖 從搞笑視頻類別的情感分析得分占比的扇形圖4-5中，可以得到的研究分析數據是目前在抖音短視頻用戶中，對于搞笑視頻類別的短視頻的情感分析分類得分占比中，情感得分的占比傾向積極情感的用戶占比為46.79%，情感得分占比傾向消極情感的用戶占比為34.69%，情感得分占比傾向平和的用戶占比為18.25%。從上圖的用戶評論數據的情感分析的研究分析中得到分析是，目前觀看搞笑視頻類別的用戶中，情感分析得分傾向積極的用戶占比只有46%，情感得分占比則接近35%，在這種情況下。搞笑視頻類別的短視頻可能會在一段時間后，用戶數據出現(xiàn)下降，用戶對于搞笑類型的短視頻內容開始出現(xiàn)了審美疲勞以及笑點的重復度讓用戶得不到新鮮感，接受度以及情感偏向積極的用戶占比將會呈現(xiàn)下降趨勢。通過搞笑視頻類別的內容標題詞語圖進行分析用戶對于搞笑視頻類別的分析研究，搞笑視頻類別的情感分類積極度與消極度的占比分析。如下圖4-6所示：圖4-6搞笑視頻類別短視頻內容詞云圖 從搞笑視頻類別的詞語圖4-6中，得到的詞頻數量較高的詞語是：搞笑、沙雕、套路、庫里等等詞語。目前的搞笑視頻類別的短視頻中，由于目前的搞笑視頻題材以及笑點內容重復度高，導致目前的抖音短視頻用戶對于搞笑視頻類別的短視頻產生了部分的不滿足心理，笑點以及創(chuàng)意重復讓越來越多的用戶產生了視覺疲勞，所以目前的抖音短視頻用戶對于搞笑視頻類別的短視頻的情感分析分類傾向積極度以及接受度占比少。所以搞笑視頻創(chuàng)作者需要不斷的更新創(chuàng)意笑點。 第四部分進行研究分析的是社會問題視頻類別的抖音短視頻用戶評論數據情感分析分類的占比研究結果。展示圖如圖4-7所示：圖4-7社會問題類別用戶情感得分占比圖 從社會問題類別的情感分析分類研究分析扇形圖4-7中，可以得到的分析數據是，目前抖音短視頻用戶對于社會問題類別短視頻的情感分析分類中，情感得分傾向積極的用戶占比數據為51.15%，情感得分傾向消極的用戶占比數據為33.2%，情感得分傾向平和的用戶占比數據為15.65%。從上圖的用戶評論數據情感分析研究中得到的數據分析是，目前在使用抖音短視頻的用戶中，反映社會問題的抖音短視頻在抖音短視頻用戶中的情感分析分類積極占比已經超過了半數，并且呈現(xiàn)接受度以及情感分析積極占比上升的趨勢。情感分析分類中傾向消極的用戶評論占比也只有33%。標志著現(xiàn)在的抖音短視頻用戶在使用抖音短視頻App進行娛樂性活動時，對于抖音短視頻推送的國家社會問題有了較高的接受度以及情感偏好偏向積極。接下來，通過社會問題類別的內容詞語圖進行進一步的分析研究數據。如圖4-8所示：圖4-8社會問題類別視頻內容詞語圖 從社會問題類別的短視頻內容標題詞語圖4-8中，得到的詞頻數量較高的是疫情、鐘南山、白衣天使、武漢等等詞語。通過詞語圖的詞頻數量我們可以得到的數據分析是，2019年底開始爆發(fā)的新冠狀肺炎疫情牽動了全國人民的心，全國人民在面對新冠肺炎疫情的時的積極態(tài)度以及對于社會問題的關注度不斷地提高，以及對社會問題的短視頻的關注度以及情感偏好開始呈現(xiàn)不斷上升的趨勢。根據研究分析數據，目前的抖音短視頻用戶對于社會問題類型的短視頻的情感分析得分傾向積極度占比是四個類別的視頻中占比最高的。目前的抖音短視頻用戶對抖音短視頻上的社會問題視頻關注度以及積極度正在不斷地提升。 在使用snownlp庫進行情感分析算法對用戶評論數據實現(xiàn)情感