Python數(shù)據(jù)挖掘與機器學習第2版 課件 第 11 章 本文和時序數(shù)據(jù)挖掘

數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第11章文本和時序數(shù)據(jù)挖掘本章內(nèi)容1.文本數(shù)據(jù)挖掘2.時序數(shù)據(jù)挖掘文本和時序數(shù)據(jù)挖掘文本和時序數(shù)據(jù)挖掘目前，數(shù)據(jù)挖掘已經(jīng)取得了顯著進展并被應用到了眾多領(lǐng)域，但同時也出現(xiàn)了大量商品化的數(shù)據(jù)挖掘系統(tǒng)和服務(wù)，如針對時間序列、圖和網(wǎng)絡(luò)、時空數(shù)據(jù)、多媒體數(shù)據(jù)、文本數(shù)據(jù)、Web數(shù)據(jù)等各種類型數(shù)據(jù)的挖掘。2024/11/101.文本數(shù)據(jù)挖掘1.1文本數(shù)據(jù)挖掘概述文本挖掘是指從大量文本數(shù)據(jù)中抽取事先未知的、可理解和最終可用的知識的過程。由于文本數(shù)據(jù)具有的模糊性且非結(jié)構(gòu)化，因此文本挖掘是一項較難的工作，也是一個多學科交融的領(lǐng)域，涵蓋了信息技術(shù)、文本分析、模式識別、統(tǒng)計學、數(shù)據(jù)可視化、機器學習及數(shù)據(jù)挖掘等技術(shù)。文本挖掘是應用驅(qū)動的，它在商業(yè)智能、信息檢索、生物信息處理等方面都有廣泛的應用，如基于內(nèi)容的搜索、文本分類、自動摘要提取、自動問答和機器翻譯等應用。2024/11/101.文本數(shù)據(jù)挖掘1.2文本數(shù)據(jù)挖掘的過程和任務(wù)文本挖掘過程：文本挖掘的主要過程包括文本預處理、文本挖掘和模式評估與表示。（1）文本預處理選取任務(wù)相關(guān)的文本并將其轉(zhuǎn)化成文本挖掘工具可以處理的中間形式。（2）文本挖掘?qū)︻A處理后的文本數(shù)據(jù)，利用機器學習、數(shù)據(jù)挖掘以及模式識別等方法提取面向特定應用目標的知識或模式。（3）模式評估與表示利用已經(jīng)定義好的評估指標對獲取的知識或模式進行評價。2024/11/101.文本數(shù)據(jù)挖掘1.2文本數(shù)據(jù)挖掘的過程和任務(wù)文本挖掘任務(wù)：文本挖掘的主要任務(wù)有文本分類、文本聚類、主題抽取、文本檢索、命名實體識別和情感分析等，其框架如圖所示。2024/11/102.文本分析與挖掘的主要方法2.1詞語分詞通常情況下，文本數(shù)據(jù)是由若干篇文章或若干條語句構(gòu)成。一般認為中文詞語是最小的語義單元，一句話可以由多個詞語組成，而詞語可以由一個或者多個漢字組成。因此，在進行文本分類之前，文本預處理階段首先應該將文本轉(zhuǎn)化為計算機可以處理的數(shù)據(jù)結(jié)構(gòu)，也就是將文本切分為構(gòu)成文本的語義單元，這些語義單元可以是句子、短語、詞語或單個字。和英文文本處理分類相比，中文文本預處理更為重要和關(guān)鍵，并且相對復雜。2024/11/102.文本分析與挖掘的主要方法2.2文本文本分析與挖掘的主要方法2.1詞語分詞通常情況下，文本數(shù)據(jù)是由若干篇文章或若干條語句構(gòu)成。一般認為中文詞語是最小的語義單元。因此，在進行文本分類之前，文本預處理階段首先應該將文本轉(zhuǎn)化為計算機可以處理的數(shù)據(jù)結(jié)構(gòu)，也就是將文本切分為構(gòu)成文本的語義單元，這些語義單元可以是句子、短語、詞語或單個字。目前在句子劃分和分詞部分已經(jīng)有大量成熟算法，如基于規(guī)則的分詞方法、基于語義的分詞方法和基于理解的分詞方法。Python中也提供了分詞的第三方庫或工具包，如jieba分詞、NLTK（NaturalLanguageToolkit）自然語言處理工具包、SnowNLP（SimplifiedChineseTextProcessing）等。2024/11/102.文本分析與挖掘的主要方法2.2文本文本分析與挖掘的主要方法2.1詞語分詞【例11-1】結(jié)巴分詞劃分2024/11/10In[1]importjiebatext='我喜歡學習文本分類。'print(jieba.lcut(text))Out[1]['我','喜歡','學習','文本','分類','。']分詞劃分后還需要進一步去停用詞。停用詞是一類普遍存在又沒有明顯意義的詞，例如“啊”“嗯”和“了”等等。這些詞的用處過于普遍，因此即使剔除這些詞也對最后分類沒有太大影響，相反還可以改善模型的分類效果。2.文本分析與挖掘的主要方法2.2詞性標注與停用詞過濾1.詞性標注詞性標注(Part-of-Speechtagging或POStagging)，又稱詞類標注或者簡稱標注，是指為分詞結(jié)果中的每個單詞標注一個正確的詞性的程序，也即確定每個詞是名詞、動詞、形容詞或其他詞性的過程。常用的詞性標注算法有基于詞匹配的字典查找和基于統(tǒng)計的算法。基于詞匹配的字典查找方法通過從字典中查找每個詞語的詞性進行標注，原理簡單、易于理解，但不能解決一詞多詞性的問題?；诮y(tǒng)計的詞性標注中，使用較為廣泛的是隱馬爾科夫模型。在該模型中，分詞后的語句作為觀測序列，經(jīng)標注的詞性序列作為隱藏序列。通過對語料庫進行統(tǒng)計，得到起始概率、輸出概率和轉(zhuǎn)移概率，最終完成詞性標注。2024/11/102.文本分析與挖掘的主要方法2.2詞性標注與停用詞過濾2.停用詞過濾對文本進行分詞之后，文本被表示為一系列詞集。但是，文本中的詞并不是出現(xiàn)頻率越高代表性就越強。如果一個詞項在文檔中出現(xiàn)過于頻繁卻無助于表達一個主題（如“的”“啊”“唉”），則這些詞項對文檔的區(qū)分是沒有意義的，我們稱之為停用詞（StopWord）。停用詞對文本所表達的內(nèi)容幾乎沒有任何貢獻，因此有必要將停用詞從原始文檔中過濾，該過程稱為停用詞過濾。停用詞過濾通常有兩種方法，一種方法統(tǒng)計每個詞在文檔集中出現(xiàn)的頻率，如果超過文檔總數(shù)量的某個百分比（如80%），則將該詞項作為停用詞過濾；另一種方法是建立一個停用詞表來實現(xiàn)，這個列表中包含了所有的停用詞，如哈工大停用詞詞庫、四川大學機器學習智能實驗室停用詞庫以及百度停用詞表等各種停用詞表。2024/11/102.文本分析與挖掘的主要方法2.3文本表征在文本預處理后，文本由句子變成了詞語，但是計算機還無法直接處理詞語，因此要將這些詞語表示為數(shù)據(jù)挖掘算法可以處理的形式。常用的文本表征方法有詞袋（BagofWord，BoW）模型和詞嵌入（WordEmbedding）模型。2024/11/102.文本分析與挖掘的主要方法1.詞袋模型詞袋（BoW）模型是數(shù)字文本表示的最簡單形式。像單詞本身一樣，我們可以將一個句子表示為一個詞向量包。例如有三個電影評論：評論1：Thismovieisveryscaryandlong評論2：Thismovieisnotscaryandisslow評論3：Thismovieisspookyandgood2024/11/10

Thismovieisveryscaryandlongnotslowspookygood評論111111110000評論211201110100評論311100010011向量中含有大量數(shù)值0，導致矩陣很稀疏，而且向量表示中沒有任何關(guān)于句子語法和文本中單詞順序的信息。2.詞頻-逆文本頻率（TF-IDF）詞頻-逆文本頻率TF-IDF（TermFrequency–InverseDocumentFrequency）是一種用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)。TF(TermFrequency)表示詞條在文本中出現(xiàn)的頻率，IDF(InverseDocumentFrequency)是逆文本頻率指數(shù)，表示如果包含文本特征詞w的文檔越少，則說明w具有很好的類別區(qū)分能力。2024/11/102.文本分析與挖掘的主要方法

TF-IDF(‘this’,Review2)=TF(‘this’,Review2)*IDF(‘this’)=1/8*0=0TF-IDF(‘movie’,Review2)=1/8*0=0TF-IDF(‘is’,Review2)=1/4*0=02.詞頻-逆文本頻率（TF-IDF）TF-IDF的優(yōu)點是簡單快速，易于理解，但是只用詞頻衡量文檔中詞的重要性還是不夠全面，無法體現(xiàn)詞在上下文中的重要性。因此雖然BoW和TF-IDF在各自方面都很受歡迎，但在理解文字背景方面仍然存在空白。因此又出現(xiàn)了Word2Vec、CBOW、Skip-gram等詞嵌入技術(shù)。在scikit-learn中，有兩種方法進行TF-IDF的預處理。第一種方法是在用CountVectorizer類向量化之后再調(diào)用TfidfTransformer類進行預處理。另一種方法則直接用TfidfVectorizer完成向量化與TF-IDF預處理。2024/11/102.文本分析與挖掘的主要方法2.4文本分類文本分類是文本分析中的一項重要工作。給定文檔集合和預先定義的類別集合，文本分類是將文檔劃分到一個或多個類別中。文本分類中最常見的應用場景是垃圾郵件分類以及情感分析。文本分類過程包括文本預處理、特征提取和訓練分類器三個階段。文檔表征為特征向量之后，就可以選擇使用分類算法進行訓練。常用的分類算法有貝葉斯模型、隨機森林、SVM、KNN和神經(jīng)網(wǎng)絡(luò)等。2024/11/102.文本分析與挖掘的主要方法2.4文本分類【例11-3】文本分類示例THUCNews是根據(jù)新浪新聞RSS訂閱頻道2005-2011年間的歷史數(shù)據(jù)篩選過濾生成，包含74萬篇新聞文檔。原始新浪新聞數(shù)據(jù)集整合劃分出14個候選分類類別：財經(jīng)、彩票、房產(chǎn)、股票、家居、教育、科技、社會、時尚、時政、體育、星座、游戲、娛樂。我們隨機從中抽取4456篇文檔進行文本分類訓練，隨后抽取1902篇文檔進行新聞分類預測。采用的模型是傳統(tǒng)的樸素貝葉斯模型和支持向量機模型。2024/11/102.文本分析與挖掘的主要方法2.5文本聚類文本聚類旨在將相似的文檔劃分為簇，使得同一簇中文檔相似性較大，而簇之間的相似性則較小。2024/11/102.文本分析與挖掘的主要方法圖11-4文本聚類的基本流程數(shù)據(jù)挖掘中的聚類算法一般分為基于劃分的聚類算法、基于層次的聚類算法、基于密度的聚類算法及基于模型的聚類算法。在文本聚類中，經(jīng)常用到的是K-means和DBSCAN算法。對于表示成向量的文本數(shù)據(jù)來說，余弦相似性和相關(guān)系數(shù)是經(jīng)常用到的文本距離度量方法。2.6文本可視化文本可視化技術(shù)把用文字符號表示的信息轉(zhuǎn)化為用圖形、圖像或動畫表示的信息，其目的在于讓人直觀地觀察到核心信息和關(guān)鍵數(shù)據(jù)，從而快速發(fā)現(xiàn)其中蘊含的知識。2024/11/102.文本分析與挖掘的主要方法朱自清作品“背影”的詞云隨著云計算和物聯(lián)網(wǎng)等技術(shù)的發(fā)展，時間序列數(shù)據(jù)的數(shù)據(jù)量急劇膨脹。高效分析時間序列數(shù)據(jù)，使之產(chǎn)生業(yè)務(wù)價值成為一個熱門話題。時間序列分析廣泛應用于股票價格、廣告數(shù)據(jù)、氣溫變化、工業(yè)傳感器數(shù)據(jù)、個人健康數(shù)據(jù)、服務(wù)器系統(tǒng)監(jiān)控數(shù)據(jù)和車聯(lián)網(wǎng)等領(lǐng)域中。2024/11/102.時序數(shù)據(jù)挖掘

2024/11/102.時序數(shù)據(jù)挖掘2.時間序列分析時間序列分析是一種動態(tài)數(shù)據(jù)處理的統(tǒng)計方法，該方法基于隨機過程理論和數(shù)理統(tǒng)計學方法，研究隨機數(shù)據(jù)序列所遵從的統(tǒng)計變化規(guī)律，以解決實際問題。通常影響時間序列變化的要素有長期趨勢、季節(jié)變化、循環(huán)波動和隨機因素。（1）長期趨勢（T）：是時間序列在長時期內(nèi)呈現(xiàn)出來的持續(xù)向上或持續(xù)向下的變動。（2）季節(jié)變動（S）：是時間序列在一年內(nèi)重復出現(xiàn)的周期性波動。（3）循環(huán)波動（C）：是時間序列呈現(xiàn)出的非固定長度的周期性變動。（4）隨機因素（I）：是時間序列中除去長期趨勢、季節(jié)變動和循環(huán)波動之后的隨機波動。不規(guī)則波動通?？偸菉A雜在時間序列中，致使時間序列產(chǎn)生一種波浪形或震蕩式的變動。2024/11/102.時序數(shù)據(jù)挖掘2.2時間序列平穩(wěn)性和隨機性判定平穩(wěn)性是時間序列的一個屬性，一個平穩(wěn)的時間序列指的是這個時間序列和時間無關(guān)，也就是說，如果一個時間序列是平穩(wěn)的，那么這個時間序列的統(tǒng)計量均值、方差和自相關(guān)系數(shù)都是一個常數(shù)，和時間無關(guān)。1.時間序列數(shù)據(jù)平穩(wěn)性檢驗在做時間序列分析時，經(jīng)常要對時間序列進行平穩(wěn)性檢驗。用Python來進行平穩(wěn)性檢驗主要有時序圖檢驗、自相關(guān)圖檢驗以及構(gòu)造統(tǒng)計量進行檢驗3種方法。2024/11/102.時序數(shù)據(jù)挖掘（1）時序圖檢驗時序圖就是普通的時間序列圖，即以時間為橫軸，觀察值為縱軸進行檢驗。利用時序圖可以粗略觀察序列的平穩(wěn)性?！纠?1-5】繪圖時序圖觀察序列的平穩(wěn)性2024/11/102.時序數(shù)據(jù)挖掘數(shù)據(jù)走勢沒有明顯趨勢或周期，基本可以視為平穩(wěn)序列，但還需要利用自相關(guān)圖進一步驗證。（2）自相關(guān)圖檢驗自相關(guān)函數(shù)（autocorrelationfunction，ACF）描述的是時間序列觀測值與其過去的觀測值之間的線性相關(guān)性，表達式如式12.2所示。2024/11/102.時序數(shù)據(jù)挖掘

偏自相關(guān)函數(shù)(PartialAutocorrelationFunction，PACF)描述的是在給定中間觀測值的條件下，時間序列觀測值預期過去的觀測值之間的線性相關(guān)性。假設(shè)k=3，那么我們描述的是yt和yt-3之間的相關(guān)性，但是這個相關(guān)性還受到y(tǒng)t-1和yt-2的影響。PACF剔除了這個影響，而ACF包含這個影響。利用ACF和PACF的可視化可以顯示序列的拖尾和截尾現(xiàn)象。拖尾指序列以指數(shù)率單調(diào)遞減或震蕩衰減，而截尾指序列從某個時點變得非常小。平穩(wěn)序列通常具有短期相關(guān)性，即隨著延遲期數(shù)k的增加，平穩(wěn)序列的自相關(guān)系數(shù)會很快地衰減向零，而非平穩(wěn)序列的自相關(guān)系數(shù)的衰減速度會比較慢。畫自相關(guān)圖和偏自相關(guān)圖用到的是statsmodels中的plot_acf和plot_pacf方法。自相關(guān)圖中橫軸表示延遲期數(shù)，縱軸表示自相關(guān)系數(shù)。2024/11/102.時序數(shù)據(jù)挖掘（3）構(gòu)造統(tǒng)計量利用繪圖判斷序列的平穩(wěn)性比較直觀，但不夠精確，ADF（AugmentedDickey-Fuller）法直接通過假設(shè)檢驗的方式來驗證平穩(wěn)性。ADF的原假設(shè)（H0）和備擇假設(shè)（H1）如下：H0：具有單位根，屬于非平穩(wěn)序列；H1：沒有單位根，屬于平穩(wěn)序列。Python中可以使用statsmodels中的adfuller方法進行ADF檢驗，直接輸入數(shù)據(jù)，即可返回7個數(shù)值。其中的第一個返回值adf就是ADF方法的檢驗結(jié)果，這個值理論上越負越能拒絕原假設(shè)；第二個返回值pvalue以常用的判斷標準值0.05作為參考，若其值大于0.05，說明支持原假設(shè)，反之拒絕原假設(shè)，表明該序列是一個平穩(wěn)序列。2024/11/102.時序數(shù)據(jù)挖掘2.時間序列純隨機性檢驗如果時間序列值之間沒有相關(guān)性，即意味著該序列是一個沒有記憶的序列，過去的行為對將來的發(fā)展沒有任何影響，這種序列被稱為純隨機序列。從統(tǒng)計分析的角度，純隨機序列是沒有任何分析價值的序列。因此，為了確定平穩(wěn)序列的分析價值，需要進行純隨機性檢驗。2024/11/102.時序數(shù)據(jù)挖掘

2024/11/102.時序數(shù)據(jù)挖掘

2024/11/102.時序數(shù)據(jù)挖掘2.3自回歸滑動平均ARMA模型一個序列經(jīng)過預處理被識別為平穩(wěn)非白噪聲序列，說明該序列是一個蘊涵相關(guān)信息的平穩(wěn)序列。通常是建立一個線性模型來擬合該序列的發(fā)展，以此提取序列中的有用信息。目前，ARMA(Autoregressivemovingaveragemodel)模型是最常用的平穩(wěn)序列擬合與預測模型，建模流程如圖12-5所示。ARMA模型本質(zhì)上是一個模型族，可以細分為AR模型、MA模型和ARMA模型三大類。2024/11/102.時序數(shù)據(jù)挖掘2.時序數(shù)據(jù)挖掘2024/11/102.時序數(shù)據(jù)挖掘

2024/11/102.時序數(shù)據(jù)挖掘

2024/11/102.時序數(shù)據(jù)挖掘

2024/11/102.時序數(shù)據(jù)挖掘關(guān)于ARMA模型的定階，統(tǒng)計學家曾經(jīng)研究過使用三角格子法進行準確定階，但該方法也不是精確的方法且計算復雜，因此很少使用。自相關(guān)圖和偏自相關(guān)圖的特征可以幫助進行ARMA模型的階數(shù)識別，但主觀性很大。由于ARMA模型的階數(shù)通常都不高，所以實務(wù)中更常用的策略是從最小階數(shù)p=1，q=1開始嘗試，不斷增加p、q的階數(shù)，直到模型精度達到研究要求。2024/11/102.時序數(shù)據(jù)挖掘

2024/11/102.時序數(shù)據(jù)挖掘ARIMA模型結(jié)合了自回歸（AR）和移動平均（MA）模型以及序列的差分預處理步驟。ARIMA模型由AR部分、MA部分和I部分組成。（1）AR部分AR部分表示感興趣的演化變量對其自身的滯后（即先驗）值進行回歸。（2）MA部分MA部分表示回歸誤差實際上是誤差項的線性組合，其值同時發(fā)生在過去的不同時間。（3）I部分I部分表示數(shù)據(jù)值已被替換為其值與先前值之間的差值(并且這個差值過程可能已經(jīng)執(zhí)行了不止一次)。這些特征中的每一個的目的都是使模型盡可能地擬合數(shù)據(jù)。2024/11/102.時序數(shù)據(jù)挖掘2.ARIMA模型分析過程ARIMA模型分析流程如圖12-6所示，主要包括模型識別和定階、參數(shù)估計和模型檢驗三個階段。2024/11/102.時序數(shù)據(jù)挖掘（1）模型識別和定階模型的識別問題和定階問題，主要是確定p，d，q三個參數(shù)，差分的階數(shù)d一般通過觀察圖示，1階或2階即可。對例12-8中的自行車數(shù)據(jù)，下面代碼顯示了1階和2階的圖形，可以看出序列本身是平穩(wěn)序列，因此d設(shè)置為0。【例11-9】繪圖時序圖觀察序列的平穩(wěn)性2024/11/102.時序數(shù)據(jù)挖掘為了平衡預測誤差和參數(shù)個數(shù)，可以根據(jù)信息準則函數(shù)法來確定模型的階數(shù)。預測誤差通常用平方誤差即殘差平方和來表示。常用的信息準則函數(shù)法主要有AIC準則和BIC準則。①AIC準則AIC全稱是最小化信息量準則（AkaikeInformationCriterion），計算公式如式11.10所示。AIC=2k?2ln(L)（11.10）其中,k是參數(shù)的數(shù)量，L是似然函數(shù)。2024/11/102.時序數(shù)據(jù)挖掘②BIC準則AIC準則存在一定的不足之處。當樣本容量很大時，在AIC準則中擬合誤差提供的信息就要受到樣本容量的放大，而參數(shù)個數(shù)的懲罰因子卻和樣本容量沒關(guān)系，因此當樣本容量很大時，使用AIC準則選擇的模型不收斂于真實模型，它通常比真實模型所含的未知參數(shù)個數(shù)要多。貝葉斯信息準則（BayesianInformationCriterion,BIC）彌補了AIC的不足，計算公式如式12.11所示。BIC=ln(n)k–2ln(L)（11.11）其中，k為模型參數(shù)個數(shù)n為樣本數(shù)量L為似然函數(shù)。【例11-10】時序數(shù)據(jù)的AIC和BIC計算2024/11/102.時序數(shù)據(jù)挖掘2.模型的建立及預測通過定階確定了ARMA模型的階數(shù)為（3,1），因此可以用ARIMA（3,0,1）進行模型的建立和預測工作。將原數(shù)據(jù)分為訓練集和測試集，選擇最后10個數(shù)據(jù)用于預測。2024/11/102.時序數(shù)據(jù)挖掘2.5季節(jié)性差分自回歸移動平均模型SA