Python數(shù)據(jù)可視化（微課版） 課件 第7章 Python文本數(shù)據(jù)可視化

主講人：AiPPT時(shí)間：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------Python文本數(shù)據(jù)可視化目錄12文本數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用及提取文本內(nèi)容可視化34文本關(guān)系可視化習(xí)題5實(shí)訓(xùn)：用HoloViews構(gòu)建數(shù)據(jù)大屏--------------PowerPointDesign文本數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用及提取01PARTPOWERPOINTDESIGN從人文研究到政府決策，從精準(zhǔn)醫(yī)療到量化金融，從客戶管理到市場(chǎng)營(yíng)銷(xiāo)，文本數(shù)據(jù)作為信息載體，在各領(lǐng)域發(fā)揮重要作用。如互聯(lián)網(wǎng)上的海量用戶生成內(nèi)容，為營(yíng)銷(xiāo)活動(dòng)、政府政策等提供指導(dǎo)。文本信息需求分為三級(jí)：詞匯級(jí)、語(yǔ)法級(jí)和語(yǔ)義級(jí)，對(duì)應(yīng)不同信息挖掘方法。詞匯級(jí)用分詞算法，語(yǔ)法級(jí)用句法分析算法，語(yǔ)義級(jí)用主題提取算法。01文本數(shù)據(jù)的應(yīng)用領(lǐng)域文本數(shù)據(jù)可分為單文本、文檔集合和時(shí)序文本數(shù)據(jù)。對(duì)應(yīng)的文本可視化分為文本內(nèi)容的可視化、文本關(guān)系的可視化、文本多層面信息的可視化。文本內(nèi)容可視化展示關(guān)鍵信息；文本關(guān)系可視化展示單個(gè)或多個(gè)文本間的關(guān)系；文本多特征信息可視化結(jié)合多個(gè)特征全方位展示。02文本數(shù)據(jù)的類(lèi)型與可視化文本數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用網(wǎng)絡(luò)爬蟲(chóng)的重要性社交軟件中用戶生成內(nèi)容蘊(yùn)含大量信息，但數(shù)據(jù)不公開(kāi)，網(wǎng)絡(luò)爬蟲(chóng)技術(shù)重要。爬蟲(chóng)是自動(dòng)化訪問(wèn)網(wǎng)絡(luò)抓取信息的程序，用于大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域。爬蟲(chóng)按邏輯采集頁(yè)面內(nèi)容，處理多頁(yè)面或網(wǎng)站。與單個(gè)靜態(tài)頁(yè)面處理程序不同，爬蟲(chóng)需確定下一頁(yè)鏈接，循環(huán)爬取。需注意抓取頻率，避免影響網(wǎng)站運(yùn)行。網(wǎng)絡(luò)爬蟲(chóng)的實(shí)現(xiàn)大部分編程語(yǔ)言可編寫(xiě)爬蟲(chóng)，Python常用，有Request、urlib、Scrapy等第三方庫(kù)。Scrapy提供完善爬蟲(chóng)框架。爬蟲(chóng)程序面對(duì)任務(wù)是根據(jù)抓取邏輯遍歷頁(yè)面，從“爬取當(dāng)前頁(yè)”到“進(jìn)入下一頁(yè)”循環(huán)，實(shí)現(xiàn)整個(gè)爬取過(guò)程。使用網(wǎng)絡(luò)爬蟲(chóng)提取文本數(shù)據(jù)--------------PowerPointDesign文本內(nèi)容可視化02PARTPOWERPOINTDESIGN制作標(biāo)簽云分兩步：統(tǒng)計(jì)詞語(yǔ)出現(xiàn)頻率、TF-IDF等指標(biāo)衡量重要程度，提取權(quán)重高關(guān)鍵詞；按規(guī)律展示，用顏色透明度、字體大小區(qū)分重要程度。Python中用wordcloud庫(kù)生成標(biāo)簽云，可自動(dòng)分詞、提取標(biāo)簽并生成。示例代碼生成的標(biāo)簽云可直觀展示文本關(guān)鍵詞。詞語(yǔ)在文本中出現(xiàn)頻率高可能是關(guān)鍵詞，需構(gòu)建停用詞表去除常見(jiàn)無(wú)信息詞，用TF-IDF方法計(jì)算詞語(yǔ)重要程度。TF是詞語(yǔ)在文本出現(xiàn)頻率，IDF是逆文件頻率，TF-IDF綜合考慮頻率。標(biāo)簽云是關(guān)鍵詞視覺(jué)化描述，通過(guò)不同大小字體表示單詞重要性或頻率，適合展示文本數(shù)據(jù)關(guān)鍵詞，幫助觀眾快速把握主題和趨勢(shì)。標(biāo)簽云的原理與應(yīng)用標(biāo)簽云的生成方法標(biāo)簽云主題河流的概念與特點(diǎn)主題河流是時(shí)序數(shù)據(jù)可視化方法，反映文本主題強(qiáng)弱變化過(guò)程。包括顏色屬性區(qū)分主題類(lèi)型，寬度屬性表示主題數(shù)量或強(qiáng)度。主題河流圖橫軸表示時(shí)間，不同顏色涌流表示不同主題，涌流流動(dòng)表示主題變化，垂直寬度表示主題強(qiáng)弱。但存在局限性，將主題高度概括為數(shù)值，省略特性。01主題河流的繪制方法為主題河流引入標(biāo)簽云，用關(guān)鍵詞描述主題內(nèi)容。Python中用Holoviews庫(kù)繪制堆疊面積圖實(shí)現(xiàn)主題河流圖效果。示例代碼生成的主題河流圖可展示時(shí)序文本內(nèi)容變化趨勢(shì)。02主題河流--------------PowerPointDesign文本關(guān)系可視化03PARTPOWERPOINTDESIGN詞語(yǔ)樹(shù)的定義與作用詞語(yǔ)樹(shù)用樹(shù)形圖展示詞語(yǔ)在文本中出現(xiàn)情況，呈現(xiàn)一個(gè)詞語(yǔ)和前后詞語(yǔ)關(guān)系。用戶可自定義根關(guān)鍵詞，字號(hào)大小代表頻率。詞語(yǔ)樹(shù)可直觀展示文本中詞語(yǔ)的前后關(guān)系，如圖示例呈現(xiàn)“Child”詞與相連前后所有詞語(yǔ)的關(guān)系。Python中無(wú)常見(jiàn)庫(kù)直接繪制詞語(yǔ)樹(shù)，可用graphviz繪制。示例代碼中，分詞并構(gòu)建詞語(yǔ)路徑，繪制詞語(yǔ)樹(shù)，生成圖片展示詞語(yǔ)關(guān)系。詞語(yǔ)樹(shù)的繪制方法詞語(yǔ)樹(shù)短語(yǔ)網(wǎng)絡(luò)是網(wǎng)絡(luò)圖，將文本中短語(yǔ)作節(jié)點(diǎn)，關(guān)系作邊。分析文本中短語(yǔ)共現(xiàn)關(guān)系、相互作用或語(yǔ)義連接，深入理解文本結(jié)構(gòu)和主題。包括節(jié)點(diǎn)代表詞語(yǔ)或短語(yǔ)，帶箭頭連線表示關(guān)系，連線寬度表示短語(yǔ)出現(xiàn)頻率。如圖示例對(duì)小說(shuō)中“*the*”關(guān)系進(jìn)行可視化。短語(yǔ)網(wǎng)絡(luò)的概念與特點(diǎn)Python中用matplotlib庫(kù)和networkx庫(kù)構(gòu)建可視化的短語(yǔ)網(wǎng)絡(luò)。示例代碼中，設(shè)置中文字體，添加節(jié)點(diǎn)和邊，可視化網(wǎng)絡(luò)，生成圖形展示短語(yǔ)關(guān)系。短語(yǔ)網(wǎng)絡(luò)的構(gòu)建方法0102短語(yǔ)網(wǎng)絡(luò)--------------PowerPointDesign習(xí)題04PARTPOWERPOINTDESIGN0102可視化技術(shù)選擇文本數(shù)據(jù)可視化中，用于展示關(guān)鍵詞頻率的可視化技術(shù)是詞云（B）。網(wǎng)絡(luò)爬蟲(chóng)在數(shù)據(jù)分析中的作用是數(shù)據(jù)采集（B）。主題河流圖主要用于展示時(shí)序文本數(shù)據(jù)（B）。不是文本關(guān)系可視化類(lèi)型的是詞云（A）和標(biāo)簽云（D）。TF-IDF方法用于衡量詞語(yǔ)對(duì)表達(dá)文本信息的重要程度（D）。判斷題分析標(biāo)簽云適用于展示文本數(shù)據(jù)中的關(guān)鍵信息（正確）。網(wǎng)絡(luò)爬蟲(chóng)不僅用于互聯(lián)網(wǎng)搜索引擎開(kāi)發(fā)，還用于大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域（錯(cuò)誤）。主題河流可展示文本主題隨時(shí)間變化趨勢(shì)（錯(cuò)誤）。詞語(yǔ)樹(shù)可展示詞語(yǔ)的前后關(guān)系（正確）。短語(yǔ)網(wǎng)絡(luò)不用于展示文本存儲(chǔ)技術(shù)（錯(cuò)誤）。選擇題專(zhuān)業(yè)術(shù)語(yǔ)填空文本數(shù)據(jù)的關(guān)鍵信息分析后的展示技術(shù)稱(chēng)為文本內(nèi)容可視化。使用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)可以大批量采集目標(biāo)頁(yè)面內(nèi)容。通過(guò)視覺(jué)元素表現(xiàn)文本數(shù)據(jù)的過(guò)程是文本內(nèi)容可視化。詞語(yǔ)樹(shù)使用樹(shù)形圖展示詞語(yǔ)在文本中的出現(xiàn)情況。短語(yǔ)網(wǎng)絡(luò)通過(guò)節(jié)點(diǎn)和邊展示文本中短語(yǔ)的共現(xiàn)關(guān)系。填空題網(wǎng)絡(luò)爬蟲(chóng)基本功能是自動(dòng)化訪問(wèn)網(wǎng)絡(luò)抓取信息，應(yīng)用領(lǐng)域包括搜索引擎、大數(shù)據(jù)分析、內(nèi)容聚合等，可用于采集網(wǎng)頁(yè)數(shù)據(jù)、社交媒體數(shù)據(jù)等，為數(shù)據(jù)分析和研究提供數(shù)據(jù)支持。網(wǎng)絡(luò)爬蟲(chóng)的功能與應(yīng)用主題河流圖是時(shí)序數(shù)據(jù)可視化方法，通過(guò)顏色和寬度展示不同主題隨時(shí)間的變化趨勢(shì)。橫軸表示時(shí)間，不同顏色涌流表示主題，涌流寬度表示主題強(qiáng)弱，適用于分析新聞報(bào)道、社交媒體話題等時(shí)序文本數(shù)據(jù)。主題河流圖的定義與展示TF-IDF計(jì)算公式為T(mén)F-IDF=TF*IDF，TF是詞語(yǔ)在文本出現(xiàn)頻率，IDF是逆文件頻率。作用是衡量詞語(yǔ)對(duì)表達(dá)文本信息的重要程度，幫助識(shí)別文本中的關(guān)鍵詞。TF-IDF計(jì)算公式與作用標(biāo)簽云應(yīng)用于文本數(shù)據(jù)的關(guān)鍵詞展示，優(yōu)勢(shì)在于直觀展示關(guān)鍵詞頻率和重要性，幫助用戶快速把握文本主題和趨勢(shì)，適用于社交媒體分析、新聞報(bào)道分析等場(chǎng)景。標(biāo)簽云的應(yīng)用與優(yōu)勢(shì)詞語(yǔ)樹(shù)適用于展示文本中詞語(yǔ)的前后關(guān)系，幫助理解詞語(yǔ)在句子中的上下文。短語(yǔ)網(wǎng)絡(luò)適用于展示文本中短語(yǔ)的共現(xiàn)關(guān)系和語(yǔ)義連接，分析文本結(jié)構(gòu)和主題，適用于文學(xué)作品分析、學(xué)術(shù)論文分析等場(chǎng)景。詞語(yǔ)樹(shù)與短語(yǔ)網(wǎng)絡(luò)的適用場(chǎng)景問(wèn)答題主題河流圖場(chǎng)景應(yīng)用場(chǎng)景：分析新聞報(bào)道隨時(shí)間變化的主題強(qiáng)度。收集新聞數(shù)據(jù)，提取主題，使用Holoviews庫(kù)繪制主題河流圖，展示不同主題隨時(shí)間的強(qiáng)弱變化，為新聞媒體和研究人員提供可視化分析工具。詞云技術(shù)項(xiàng)目設(shè)計(jì)設(shè)計(jì)項(xiàng)目：分析社交媒體上的熱門(mén)話題。使用Python的wordcloud庫(kù)，收集社交媒體數(shù)據(jù)，統(tǒng)計(jì)關(guān)鍵詞頻率，生成詞云展示熱門(mén)話題，幫助了解用戶關(guān)注點(diǎn)和趨勢(shì)。應(yīng)用題--------------PowerPointDesign實(shí)訓(xùn)：用HoloViews構(gòu)建數(shù)據(jù)大屏05PARTPOWERPOINTDESIGN利用Python環(huán)境和HoloViews庫(kù)創(chuàng)建數(shù)據(jù)大屏，包含動(dòng)態(tài)地圖、折線圖、柱狀圖、熱力圖等交互式圖表。通過(guò)實(shí)踐學(xué)習(xí)HoloViews的基本使用方法，包括數(shù)據(jù)綁定、圖表創(chuàng)建、布局配置和交互式控件集成，增強(qiáng)數(shù)據(jù)視覺(jué)呈現(xiàn)和用戶交互體驗(yàn)。數(shù)據(jù)大屏構(gòu)建目標(biāo)01需求說(shuō)明環(huán)境準(zhǔn)備確保Python環(huán)境已安裝，通過(guò)pip安裝HoloViews及其依賴(lài)庫(kù)。新建項(xiàng)目，導(dǎo)入HoloViews庫(kù)及其他數(shù)據(jù)處理庫(kù)，如Pandas或Numpy。數(shù)據(jù)綁定與圖表創(chuàng)建加載和準(zhǔn)備數(shù)據(jù)集，可以是CSV、JSON或從數(shù)據(jù)庫(kù)讀取。使用HoloViews創(chuàng)建不同類(lèi)型的圖表，理解數(shù)據(jù)綁定到圖表元素上的方法。大屏展示與分享將數(shù)據(jù)大屏渲染為HTML文件或在JupyterNotebook中展示。探索分享和部署數(shù)據(jù)大屏的方法，使其可在Web服務(wù)器上訪問(wèn)并部署到大屏幕上。圖表美化與主題應(yīng)用探索HoloViews的樣式選項(xiàng)，自定義圖表的顏色、字體、標(biāo)記等樣式屬性。應(yīng)用支持的主題，調(diào)整大屏整體視