文本數(shù)據(jù)處理424數(shù)據(jù)可視化課件浙教版高中信息技術(shù)必修1

第四章

數(shù)據(jù)處理與應(yīng)用4.2

大數(shù)據(jù)處理4.2.3文本數(shù)據(jù)處理4.2.4數(shù)據(jù)可視化學習目標了解文本處理應(yīng)用領(lǐng)域及一般處理過程。了解中文分詞常用算法及特征提取方式。能使用常見分詞系統(tǒng)（如：jieba分詞）進行文本數(shù)據(jù)處理。了解數(shù)據(jù)可視化的作用。了解數(shù)據(jù)可視化相關(guān)工具及原理。知識點一：文本數(shù)據(jù)處理新課講授文本數(shù)據(jù)處理是大數(shù)據(jù)處理的重要分支之一，目的是從大規(guī)模的文本數(shù)據(jù)中提取出符合需要的、感興趣的和隱藏的信息。目前，文本數(shù)據(jù)處理主要應(yīng)用在搜索引擎、情報分析、自動摘要、自動校對、論文查重、文本分類、垃圾郵件過濾、機器翻譯、自動應(yīng)答等方面。1.文本數(shù)據(jù)處理的一般過程（1）中文分詞（是中文文本信息處理的基礎(chǔ)）①基于詞典的分詞方法（字符匹配）②基于統(tǒng)計的分詞方法③基于規(guī)則的分詞方法①基于詞典的分詞方法

也稱作基于字符匹配的分詞方法，即在分析句子時與詞典中的詞語進行對比，詞典中出現(xiàn)的就劃分為詞。常見分詞系統(tǒng)有jieba分詞。importjieba#引入jieba分詞模塊text="文本數(shù)據(jù)處理的過程"#定義文本seg_list1=jieba.cut(text,cut_all=True)#全模式分詞print("全模式分詞:"+"/".join(seg_list1))

#文本/本數(shù)/數(shù)據(jù)/數(shù)據(jù)處理/處理/的/過程seg_list2=jieba.cut(text)#默認是精確模式分詞print("默認模式分詞:"+"/".join(seg_list2))#文本/數(shù)據(jù)處理/的/過程join()：用于把序列中的所有元素放入一個字符串，元素是通過指定的分隔符進行分隔的。cut_all=True全模式分詞：把句子中所有可以成詞的詞語都掃描出來，速度非?？欤遣荒芙鉀Q歧義。cut_all=False精確模式分詞：試圖將句子最精確地切開，適合文本分析。②基于統(tǒng)計的分詞方法

依據(jù)上下文中相鄰字出現(xiàn)的頻率統(tǒng)計，同時出現(xiàn)的次數(shù)越高就越可能組成一個詞。一般是將其與基于詞典的分詞方法結(jié)合使用。③基于規(guī)則的分詞方法

通過讓計算機模擬人的理解方式，根據(jù)大量的現(xiàn)有資料和規(guī)則進行學習，達到對文字進行分詞的效果。這種分詞方法目前還處于試驗階段。（2）特征提取特征項：在中文文本分析中可以采用字、詞或短語作為表示文本的特征項。特征詞：相比較而言，詞的切分難度小且更能表達文本的含義。目前，大多數(shù)中文文本分析中都采用詞作為特征項，這種詞稱作特征詞。通?？芍苯佑梅衷~算法和詞頻統(tǒng)計得出的結(jié)果作為特征詞，但對于稍大一些的文本，提取出的特征詞數(shù)量將非常大，其計算處理過程的效率非常低，計算結(jié)果的準確性也很難令人滿意。因此，必須找出最具代表性、最有效的文本特征，通常的辦法是通過特征提取來減少特征詞的數(shù)量，提高文本處理的速度和效率。特征提取的方式：根據(jù)專家的知識挑選有價值的特征；用數(shù)學建模的方法構(gòu)造評估函數(shù)自動選取特征（目前大多基于概率統(tǒng)計設(shè)計）。2.文本數(shù)據(jù)分析與應(yīng)用在取得特征詞后，需要根據(jù)項目的需求，確定解決問題的路徑，選取合適的工具、設(shè)計算法抽取出文本中隱含的價值。（1）標簽云用詞頻表現(xiàn)文本特征，將關(guān)鍵詞按照一定的順序和規(guī)律排列，如頻度遞減、字母順序等，并以文字大小的形式代表詞語的重要性。是文本可視化的一種方式，廣泛應(yīng)用于報紙、雜志等傳統(tǒng)媒體和互聯(lián)網(wǎng)。（2）文本情感分析

通過計算機技術(shù)對文本的主觀性、觀點、情緒、極性進行挖掘和分析，對文本的情感傾向做出分類判斷。根據(jù)分析的粒度不同，分為詞語級、語句級、整篇文章級三類。主要應(yīng)用于網(wǎng)絡(luò)輿情監(jiān)控、用戶評論分析與決策、信息預(yù)測等眾多領(lǐng)域。（2）文本情感分析

通過計算機技術(shù)對文本的主觀性、觀點、情緒、極性進行挖掘和分析，對文本的情感傾向做出分類判斷。主要應(yīng)用于網(wǎng)絡(luò)輿情監(jiān)控、用戶評論分析與決策、信息預(yù)測等眾多領(lǐng)域。知識點二：數(shù)據(jù)可視化將數(shù)據(jù)以圖形圖像等形式表示，直接呈現(xiàn)數(shù)據(jù)中蘊含信息的處理過程。1、可視化的作用(1)快捷觀察與追蹤數(shù)據(jù)利用可視化技術(shù)，可以將處于不斷變化中的數(shù)據(jù)生成實時變化的可視化圖表，幫助人們快捷地發(fā)現(xiàn)各種數(shù)據(jù)的動態(tài)變化過程。如百度地圖提供的實時路況服務(wù)，中國天氣網(wǎng)提供的各地天氣實況。(2)實時分析數(shù)據(jù)利用可視化技術(shù)，可以實時將數(shù)據(jù)轉(zhuǎn)換為圖像呈現(xiàn)給用戶，幫助用戶分析數(shù)據(jù)的內(nèi)涵和特征。如利用百度指數(shù)分析全國某段時間搜索關(guān)鍵詞“數(shù)據(jù)可視化”的情況，通過交互，用戶可以選擇從趨勢研究、需求圖譜、輿情洞察、人群畫像等多個角度進行分析。(3)增強數(shù)據(jù)的解釋力與吸引力利用數(shù)據(jù)圖表，直觀、動態(tài)地呈現(xiàn)新聞、研究報告等內(nèi)容，可以幫助人們在短時間內(nèi)了解內(nèi)容、理解數(shù)據(jù)背后的含義，同時增強數(shù)據(jù)的吸引力，提高人們的閱讀興趣。2、可視化的基本方法分類數(shù)據(jù)間關(guān)系的描述可視化方法案例(1)有關(guān)時間趨勢的可視化時間序列數(shù)據(jù)變化的過程和趨勢折線圖、柱形圖等。天氣、人口遷移、經(jīng)濟發(fā)展(2)有關(guān)比例的可視化各部分的大小及其占總體比例的情況餅圖、環(huán)形圖（面包圈圖）等。衣服面料成分、投票結(jié)果(3)有關(guān)關(guān)系的可視化變量之間的關(guān)聯(lián)性和分布關(guān)系（根據(jù)某一已知指標預(yù)測另一指標）散點圖（2-3）、氣泡圖（3-4）等。身高與體重、用戶滿意度與收貨天數(shù)、(4)有關(guān)差異的可視化多種變量的對象與同類之間的差異和聯(lián)系（異常值）雷達圖等。同學間期中各科成績(5)有關(guān)空間關(guān)系的可視化分析和展示與地理數(shù)據(jù)相關(guān)的數(shù)據(jù)地圖等。騰訊地圖打車3.可視化的工具(1)主要用于數(shù)據(jù)可視化的工具有：大數(shù)據(jù)魔鏡、Gephi、Tableanu（主要用于實時可視化分析）等。(2)使用Python、R等計算機語言編寫程序?qū)崿F(xiàn)數(shù)據(jù)的可視化。(3)可視化工具庫，如基于JavaScript的D3.js、Highcharts、GooleCharts等，基于Python的matplotlib等。4.可視化的典型案例1.文本數(shù)據(jù)處理的主要步驟包括：①數(shù)據(jù)分析②特征提取③分詞