理學(xué)廈門大學(xué)數(shù)據(jù)挖掘課件之?dāng)?shù)據(jù)挖掘概述

數(shù)據(jù)挖掘中的統(tǒng)計

方法及其實踐朱建平廈門大學(xué)經(jīng)濟學(xué)院打算統(tǒng)計系11/19/2022TheStatisticalMethodforDataMiningandItsApplicationZhuJianpingXiamenUniversity11/19/2022教學(xué)目的數(shù)據(jù)挖掘(DataMining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和學(xué)問的過程。它是涉及機器學(xué)習(xí)、模式識別、統(tǒng)計學(xué)、人工智能、數(shù)據(jù)庫治理及數(shù)據(jù)可視化等學(xué)科的邊緣學(xué)科。用統(tǒng)計的觀點看，它可以看成是通過計算機對大量的簡單數(shù)據(jù)集的自動探究性分析。作為一種獨立于應(yīng)用的技術(shù)，一經(jīng)消失馬上受到廣泛的關(guān)注。本課程從統(tǒng)計學(xué)的角度介紹該領(lǐng)域的全面狀況，講授好玩的數(shù)據(jù)挖掘技術(shù)和方法，并爭論應(yīng)用和爭論方向。其目的是針對海量數(shù)據(jù)，讓我們把握利用計算機分析數(shù)據(jù)、理解數(shù)據(jù)，并具有基于豐富的數(shù)據(jù)做出決策的力量。11/19/2022講授的根本內(nèi)容隨著計算機技術(shù)和電子數(shù)據(jù)獵取方面的不斷進展以及Internet和各種局域網(wǎng)的廣泛普及，人們獲得的數(shù)據(jù)正以前所未有的速度急劇增加，最近幾十年產(chǎn)生了很多超大型數(shù)據(jù)庫，普及超級市場銷售、銀行存款、天文學(xué)、粒子物理、化學(xué)、醫(yī)學(xué)以及政府統(tǒng)計等領(lǐng)域。那么，如何從這些大型數(shù)據(jù)庫中覺察有用的信息、模式和學(xué)問？如何開發(fā)有效的挖掘方法？已成為眾多科技工作者共同關(guān)注的焦點。在過去幾年，一個稱為“數(shù)據(jù)挖掘”(DataMining)的新領(lǐng)域得到了快速進展，已在經(jīng)濟、商業(yè)、金融、天文等行業(yè)得到了成功的應(yīng)用,在國際上掀起了一股空前的爭論熱潮。11/19/2022本課程從統(tǒng)計學(xué)的觀點動身，立足理論，著眼應(yīng)用，在明確了數(shù)據(jù)挖掘定義和對象的根底上，從七個方面對數(shù)據(jù)挖掘的理論及統(tǒng)計方法和應(yīng)用進展較為具體的介紹。第一章介紹數(shù)據(jù)挖掘概況。講授數(shù)據(jù)挖掘的定義，并以技術(shù)和商業(yè)的角度給出了數(shù)據(jù)挖掘的定義。在此根底上，澄清數(shù)據(jù)挖掘與學(xué)問覺察的關(guān)系，明確數(shù)據(jù)挖掘的對象。最終對數(shù)據(jù)分析提出一些思考。其次章數(shù)據(jù)挖掘與統(tǒng)計學(xué)的關(guān)系。以數(shù)據(jù)挖掘的進展歷史為線索，講授數(shù)據(jù)挖掘領(lǐng)域爭論所取得成果，解釋數(shù)據(jù)挖掘自身的特點，從中領(lǐng)悟到了數(shù)據(jù)挖掘與統(tǒng)計學(xué)的關(guān)系。以現(xiàn)代統(tǒng)計方法的根本思想，讓學(xué)生生疏到統(tǒng)計學(xué)在數(shù)據(jù)挖掘中所做的奉獻，即統(tǒng)計方法在數(shù)據(jù)挖掘中強有力的作用。11/19/2022第三章介紹數(shù)據(jù)預(yù)備。在這一章將分析原始大型數(shù)據(jù)庫的根本表述和特征，了解數(shù)據(jù)預(yù)備的不同技術(shù)，比較去除喪失值的不同方法，構(gòu)造時間相關(guān)數(shù)據(jù)的統(tǒng)一表述方法，實現(xiàn)一些數(shù)據(jù)預(yù)處理技術(shù)。第四章介紹Rough集的根本模型及有關(guān)概念。這一章講授學(xué)問的分類觀點和概念的邊界觀點，學(xué)問的約簡和決策表的約簡。以統(tǒng)計思想與Rough集理論相結(jié)合，介紹對事務(wù)性數(shù)據(jù)庫的統(tǒng)計描述，對事務(wù)性數(shù)據(jù)庫事務(wù)項及屬性項壓縮的方法，構(gòu)建事務(wù)性數(shù)據(jù)庫列聯(lián)表示的模型的思想。并利用所介紹的方法進展實證分析。第五章重點介紹數(shù)據(jù)挖掘中的聚類問題。講授數(shù)據(jù)的排序與有向聚類問題。介紹聚類分析數(shù)據(jù)類型衍生的思想，并對聚類分析方法進展了比較和檢驗。讓學(xué)生在實際應(yīng)用中生疏到其方法的牢靠性與穩(wěn)定性。11/19/2022第六章介紹挖掘大型數(shù)據(jù)庫中的關(guān)聯(lián)規(guī)章。講授關(guān)聯(lián)規(guī)章的意義和量度，維布爾關(guān)聯(lián)規(guī)章，多層關(guān)聯(lián)規(guī)章，由關(guān)聯(lián)規(guī)章到相關(guān)分析。另外，引入相應(yīng)分析作為數(shù)據(jù)挖掘中關(guān)聯(lián)規(guī)章的提升，介紹相應(yīng)分析適應(yīng)性檢驗的根本思想及方法，及相應(yīng)分析適應(yīng)性的分層量度方法。利用可視化方法對所多度相應(yīng)分析方法進展了驗證。第七章理解一些其它的數(shù)據(jù)挖掘技術(shù)。模糊聚類、神經(jīng)網(wǎng)絡(luò)、時序稠密數(shù)據(jù)集的挖掘技術(shù)等。為了滿足實際的需要，我們將利用所講授的方法，對某地區(qū)中國移動通訊用戶消費數(shù)據(jù)庫、某大學(xué)大學(xué)生隱形教育調(diào)查資料和上證指數(shù)收盤價信息進展剖析，以便讓學(xué)生充分地領(lǐng)悟到數(shù)據(jù)挖掘的理論和實際價值。11/19/2022參考文獻Cios,K.J.,Pedrycz,W.andSwiniarskiFriedman,J.H.,DataMiningandStatistics:What’sTheConnection?TechnicalReport,StanfordUniversityGlymour,C.,etc.StatisticalThemesandLessonsforDataMining,DataMiningandKnowledgeDiscovery1,11-28(1997)Han,J.W.andKamber,M.DataMining:ConceptsandTechniques,HigherEducationPress,(2023)Theresa,B.,Frederick,E.P.andGurdial,A.,Information-TheoreticMeasuresofUncertaintyforRoughSetsandRoughRelationalDatabases,JournalofInformationSciences109(1998),pp185-195Nelson,D.E.,HighRangeResolutionRadarTargetClassification:ARoughSetApproach，PaperofPhD11/19/2022張堯庭，謝邦昌，朱世武，數(shù)據(jù)采掘入門及應(yīng)用——從統(tǒng)計技術(shù)看數(shù)據(jù)采掘，中國統(tǒng)計出版社，北京，(2023.6)史忠植著，學(xué)問覺察，清華大學(xué)出版社，北京，(2023.1)劉同明等編著，《數(shù)據(jù)挖掘技術(shù)及其應(yīng)用》，國防工業(yè)出版社，(2023.9)數(shù)據(jù)挖掘爭論組，數(shù)據(jù)挖掘的爭論歷史和現(xiàn)狀，閃四清等譯(MehmedKantardzic)，數(shù)據(jù)挖掘——概念、模型、方法和算法，清華大學(xué)出版社，(2023.8)張銀奎等譯(Hand,D)，數(shù)據(jù)挖掘原理，機械工業(yè)出版社，(2023.4)范明等譯，統(tǒng)計學(xué)習(xí)根底——數(shù)據(jù)挖掘、推理與猜測，電子工業(yè)出版社，(2023.1)11/19/2022第一章數(shù)據(jù)挖掘概述§1.1數(shù)據(jù)挖掘的定義§1.2數(shù)據(jù)挖掘與學(xué)問覺察§1.3數(shù)據(jù)挖掘?qū)ο蟆?.4數(shù)據(jù)分析的一些思考11/19/2022WhatarethesenumberstryingtoTellme???MatrixCodes９９：８１７９，７９５４，舅舅：不要吃酒，吃酒誤事，

７６２６９，８４０６，９４０５，吃了二兩酒，不是動怒，就是動武，

７９１８９３４，１.９１８１７。吃酒要被酒殺死，一點酒也不要吃。11/19/2022WhatAreTheseNumbersTryingtoTellUs?11/19/2022WhatAreTheseNumbersTryingtoTellUs?7÷22≦x≦340÷6二四六八00001×1=110002=100×100×1007/8

不三不四接二連三陸續(xù)不斷無獨有偶掛萬漏一一成不變千方百計七上八下11/19/2022§1.1數(shù)據(jù)挖掘的技術(shù)定義與商業(yè)定義什么是數(shù)據(jù)挖掘(DataMining)？關(guān)于定義取決于定義者的觀點和背景，各人的說法不一.Friedman,J.H.在技術(shù)報告DataMiningandStatistics:What”sTheConnection?中總結(jié)出了多家關(guān)于數(shù)據(jù)挖掘的定義(也有對學(xué)問覺察而言的)：Fayyad提出數(shù)據(jù)挖掘是一個確定數(shù)據(jù)中有效的、新穎的、潛在有用的，以及最終可理解的模式的非平凡過程.11/19/2022Zekulin的說法是數(shù)據(jù)挖掘是一個從大型數(shù)據(jù)庫中提取以前未知的、可理解的、可執(zhí)行的信息，并用它來進展關(guān)鍵的商業(yè)決策的過程.Ferruzza給出數(shù)據(jù)挖掘是用在學(xué)問覺察過程，來辯識存在于數(shù)據(jù)中的未知關(guān)系和模式的一些方法.Jonn提到數(shù)據(jù)挖掘是覺察數(shù)據(jù)中有益模式的過程.Parsaye定義數(shù)據(jù)挖掘是我們?yōu)槟切┪粗男畔⒛Ｊ蕉鵂幷摯笮蛿?shù)據(jù)集的一個決策支持過程.這些表達方式雖然不同，但從各自的角度描述出了對數(shù)據(jù)挖掘的理解.這里我們主要從技術(shù)和商業(yè)的角度給出數(shù)據(jù)挖掘的定義.11/19/2022§1.1.1數(shù)據(jù)挖掘的技術(shù)定義從技術(shù)角度，數(shù)據(jù)挖掘(DataMining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和學(xué)問的過程.它是涉及機器學(xué)習(xí)、模式識別、統(tǒng)計學(xué)、人工智能、數(shù)據(jù)庫治理及數(shù)據(jù)可視化等學(xué)科的邊緣學(xué)科.11/19/2022這個定義包括好幾層含義：數(shù)據(jù)源必需是真實的、大量的、含噪聲的；覺察的是用戶感興趣的學(xué)問；覺察的學(xué)問要可承受、可理解、可運用；這些學(xué)問是相對的，是有特定前提和約束條件的，在特定領(lǐng)域中具有實際應(yīng)用價值.11/19/2022什么是學(xué)問呢?從廣義上理解，數(shù)據(jù)、信息是學(xué)問的表現(xiàn)形式，但是人們更把概念、規(guī)章、模式、規(guī)律和約束等看作學(xué)問.人們把數(shù)據(jù)看作是形成學(xué)問的源泉，似乎從礦石中采礦或淘金一樣.原始數(shù)據(jù)可以是構(gòu)造化的，如關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)；也可以是半構(gòu)造化的，如文本、圖形和圖像數(shù)據(jù)；甚至是分布在網(wǎng)絡(luò)上的異構(gòu)型數(shù)據(jù).覺察學(xué)問的方法可以是數(shù)學(xué)的，也可以是非數(shù)學(xué)的；可以是演繹的，也可以是歸納的.覺察的學(xué)問可以被用于信息治理、查詢優(yōu)化、決策支持和過程掌握等，還可以用于數(shù)據(jù)自身的維護.11/19/2022§1.1.2數(shù)據(jù)挖掘的商業(yè)定義從商業(yè)應(yīng)用角度看，數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù).其主要特點是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進展抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取幫助商業(yè)決策的關(guān)鍵性學(xué)問，即從一個數(shù)據(jù)庫中自動覺察相關(guān)商業(yè)模式.實際上多年來，統(tǒng)計學(xué)家就開頭手工挖掘數(shù)據(jù)庫，從數(shù)據(jù)庫中查找符合統(tǒng)計學(xué)規(guī)律的有意義的模式.這也是統(tǒng)計學(xué)類型的數(shù)據(jù)挖掘技術(shù)，是目前數(shù)據(jù)挖掘技術(shù)中最為成熟的重要緣由之一.11/19/2022數(shù)據(jù)挖掘也可以描述為：按企業(yè)既定業(yè)務(wù)目標(biāo)，對大量的企業(yè)數(shù)據(jù)進展探究和分析，提醒隱蔽的、未知的或驗證的規(guī)律性，且進一步將其模型化的數(shù)據(jù)處理方法.11/19/2022§1.2數(shù)據(jù)挖掘與學(xué)問覺察

〔DM&KDD〕§1.2.1學(xué)問覺察(KnowledgeDiscoveryinDatabase)過程學(xué)問覺察過程可以粗略的理解為三部曲：數(shù)據(jù)預(yù)備(datapreparation)數(shù)據(jù)挖掘(datamining)結(jié)果的解釋評估(interpretationandevaluation)11/19/2022學(xué)問覺察過程示意圖

11/19/2022數(shù)據(jù)預(yù)備又可分為三個子步驟：數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換.數(shù)據(jù)選取的目的是確定覺察任務(wù)的操作對象，即目標(biāo)數(shù)據(jù).數(shù)據(jù)預(yù)處理一般可能包括消退噪聲、推導(dǎo)計算缺值數(shù)據(jù)、消退重復(fù)記錄、完成數(shù)據(jù)類型轉(zhuǎn)換等.數(shù)據(jù)變換的主要目的是消減數(shù)據(jù)維數(shù)或降維，即從初始特征中找出真正有用的特征以削減數(shù)據(jù)開采時要考慮的特征或變量數(shù).11/19/2022數(shù)據(jù)挖掘階段主要是確定開采的任務(wù)，如數(shù)據(jù)總結(jié)、分類、聚類、關(guān)聯(lián)規(guī)章覺察或序列模式覺察等.確定了開采任務(wù)后，就要打算使用什么樣的開采算法.選擇實現(xiàn)算法有兩個需要考慮的因素：一是不同的數(shù)據(jù)有不同的特點，需要用與之相應(yīng)的算法來開采；二是依據(jù)用戶或?qū)嶋H運行系統(tǒng)的要求來開采.11/19/2022結(jié)果解釋和評價主要是數(shù)據(jù)挖掘階段覺察出的模式，經(jīng)過用戶和機器的評價，可能存在冗余或無關(guān)的模式，這時需要將其剔除.假設(shè)有的模式不滿足用戶要求，需要將整個覺察過程退回到覺察階段之前.最終結(jié)果是要面對用戶，有時要對覺察的模式進展可視化，或著將結(jié)果轉(zhuǎn)化為用戶易懂的另一種形式.11/19/2022§1.2.2數(shù)據(jù)挖掘的地位KDD是一種學(xué)問覺察的一連串程序，數(shù)據(jù)挖掘只是KDD的一個重要程序.數(shù)據(jù)挖掘主要是利用某些特定的學(xué)問覺察算法，在肯定的運算效率的限制內(nèi)，從數(shù)據(jù)中覺察有關(guān)的學(xué)問，即隱蔽的模式.數(shù)據(jù)挖掘是KDD中最重要的一步，在KDD的全過程中起到了至關(guān)重要的作用.因此，人們往往不加區(qū)分地使用數(shù)據(jù)挖掘和KDD.11/19/2022§1.3數(shù)據(jù)挖掘?qū)ο髷?shù)據(jù)挖掘的范圍特別廣泛，可以是社會科學(xué)、經(jīng)濟學(xué)、商業(yè)數(shù)據(jù)、科學(xué)處理產(chǎn)生的數(shù)據(jù)和衛(wèi)星觀測得到的數(shù)據(jù).它們的數(shù)據(jù)構(gòu)造也各不一樣，可以是層次的、網(wǎng)狀的、關(guān)系的和面對對象的數(shù)據(jù).11/19/2022§1.3.1關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫是表的集合，每個表都賜予一個唯一的名字.每個表包含一組屬性(列或字段)，并通常存放大量元組(記錄或行).關(guān)系中的每個元組代表一個被唯一的關(guān)鍵字標(biāo)識的對象，并被一組屬性值描述.當(dāng)數(shù)據(jù)挖掘用于關(guān)系數(shù)據(jù)庫時，可以進一步搜尋趨勢或數(shù)據(jù)模式.數(shù)據(jù)挖掘系統(tǒng)也可以檢測偏差，如在商業(yè)營運中，與以前的年份相比，哪種商品的銷售出人預(yù)料.這種偏差可以進一步考察，例如包裝是否有變化，或價格是否大幅度提高.11/19/2022§1.3.2數(shù)據(jù)倉庫在數(shù)據(jù)倉庫的進展過程中，很多人對此做出了奉獻.其中，Devilin和Murphy在1998年發(fā)表了一篇關(guān)于數(shù)據(jù)倉庫論述的最早文章.而Inmon,W.H.在1993年所寫的論著BuildingtheDataWarehouse則首先系統(tǒng)性地闡述了關(guān)于數(shù)據(jù)倉庫的思想、理論(Inmon,W.H.(1996))，為數(shù)據(jù)倉庫的進展奠定了歷史基石.在BuildingtheDataWarehouse中，他將數(shù)據(jù)倉庫定義為“一個面對主題的、集成的隨時間變化的非易失性數(shù)據(jù)的集合，用于支持治理層的決策過程”.11/19/2022通常，數(shù)據(jù)倉庫用多維數(shù)據(jù)庫構(gòu)造建模.其中，每一維對應(yīng)于模式中的一個或一組屬性，每個單元存放某個聚攏度量值.數(shù)據(jù)倉庫的實際物理構(gòu)造可以是關(guān)系數(shù)據(jù)存儲或多維數(shù)據(jù)立方體(datacube).它供給數(shù)據(jù)的多維視圖，并允許估計算和快速訪問匯總的數(shù)據(jù).數(shù)據(jù)倉庫工具對于支持數(shù)據(jù)分析是有幫助的，但是仍需要更多的數(shù)據(jù)挖掘工具，以便進展更深入的自動分析.11/19/2022§1.3.3高級數(shù)據(jù)庫系統(tǒng)隨著數(shù)據(jù)庫技術(shù)的進展，各種高級數(shù)據(jù)庫系統(tǒng)已經(jīng)消失并在開發(fā)中，以適應(yīng)新的數(shù)據(jù)庫應(yīng)用需要.新的數(shù)據(jù)庫應(yīng)用包括處理空間數(shù)據(jù)(如地圖)、工程設(shè)計數(shù)據(jù)、超文本和多媒體數(shù)據(jù)、時間相關(guān)的數(shù)據(jù)(如歷史數(shù)據(jù)或股票交易數(shù)據(jù))和Web為響應(yīng)這些需求，開發(fā)了高級數(shù)據(jù)庫系統(tǒng)和面對特殊應(yīng)用的數(shù)據(jù)庫系統(tǒng).這些包括面對對象和對象-關(guān)系數(shù)據(jù)庫系統(tǒng)(Han,J.W.andKamber,M.(2023)12-16)、空間數(shù)據(jù)庫系統(tǒng)(史忠植,(2023)13-16)、時間和時間序列數(shù)據(jù)庫系統(tǒng)、文本(Hahn,U.etal.(1997))和多媒體數(shù)據(jù)庫系統(tǒng)、異種和遺產(chǎn)數(shù)據(jù)庫系統(tǒng)、基于Web的全球信息系統(tǒng)(Bern,S.(1998)).11/19/2022§1.3.4事務(wù)性數(shù)據(jù)庫事務(wù)數(shù)據(jù)庫由一個文件組成，其中每個記錄代表一個事務(wù).通常，一個事務(wù)包含一個唯一的事務(wù)標(biāo)識號，和一個組成事務(wù)的項的列表(如，在商店購置的商品)(史忠植著,(2023)13-16).事務(wù)數(shù)據(jù)庫可能有一些與之相關(guān)聯(lián)的附加表，包含關(guān)于銷售的其他信息，如事務(wù)的日期、顧客的ID號、銷售者的ID號、銷售分店等等.11/19/2022§1.4數(shù)據(jù)分析的一些思考我們不能這樣簡潔的理解統(tǒng)計親愛的齊： 我們的感情，在組織的親切關(guān)懷下、在領(lǐng)導(dǎo)的過問下，一年來正沿著安康的道路蓬勃發(fā)展。這主要表現(xiàn)在：〔一〕我們共通信121封，平均3.01天一封。其中你給我的信51封，占42.1%﹔我給你的信70封，占57.9%。每封信平均1502字，最長的達5215字，最短的也有624字。11/19/2022〔二〕約會共98次，平均3.7天一次。其中你主動約我38次，占38.7%﹔我主動約你60次，占61.3%。每次約會平均3.8小時，最長達6.4小時，最短的也有1.6小時。

〔三〕我到你家探望你父母38次，平均每9.4天一次，你到我家探望我父母36次，平均10天一次。以上充分証明一年來的交往我們已形成了戀愛的共識，我們愛情的主流是相互了解、相互關(guān)心、相互幫助，是公平互利的。11/19/2022當(dāng)然，任何事物都是一分為二的，缺點的存在是不行避開的。我們二人雖然都是積極的，但從以上的數(shù)據(jù)看，發(fā)展還不太平衡，積極性還存在肯定的差距，這是前進中的缺點。信任在新的一年里，我們肯定會發(fā)揚成績、抑制缺點、攜手前進，開創(chuàng)我們愛情的新局面。11/19/2022因此，我提出三點意見供你參考：〔一〕要圍繞一個愛字，〔二〕要狠抓一個親字，〔三〕要落實一個合字。讓我們弘揚團結(jié)拼搏的精神，共同振興我們的愛情，爭取達到一個新高度，登上一個新臺階。本著我們的婚事我們辦，辦好婚事為我們的精神，

共創(chuàng)輝煌！你的小惠11/19/202211/19/2022

Given72581116Whatisthemean?Whatisthemedian?Whatisthefirstquartile?Whatisthethirdquartile?IntroductoryStatistics11/19/2022Mean

Putinorder12567811↑↑↑

Q1

Median

Q311/19/2022

Given

x1,x2,x3,…,xnWhatisthemean?Whatisthemedian?Whatisthefirstquartile?Whatisthethirdquartile?11/19/2022Mean

Putinorder

x(1)x(2)…x()…x(n-1)x(n)↑Median11/19/2022

Given

x1,x2,x3,…,xnwheren=300,000,000.Whatisthemean?Whatisthemedian?Whatisthefirstquartile?Whatisthethirdquartile?Database,DataStructure11/19/2022本章參考文獻[1]Friedman,J