醫(yī)學(xué)科研數(shù)據(jù)挖掘概述

醫(yī)學(xué)科研數(shù)據(jù)挖掘流行病學(xué)與衛(wèi)生統(tǒng)計(jì)學(xué)系陳大方

聯(lián)系方式：公衛(wèi)樓520房間電話：82802644(O)

郵箱：dafangchen@尿布和啤酒

——發(fā)生在沃爾瑪?shù)墓适聰?shù)據(jù)挖掘應(yīng)用案例之一

關(guān)聯(lián)規(guī)則挖掘關(guān)聯(lián)規(guī)則挖掘過(guò)程主要包含兩個(gè)階段，第一階段從原始資料集合中，找出所有高頻項(xiàng)目組。高頻的意思是指某一項(xiàng)目組出現(xiàn)的頻率相對(duì)于所有記錄而言，必須達(dá)到某一水平。第二階段是從高頻項(xiàng)目組產(chǎn)生關(guān)聯(lián)規(guī)則，即找出最小支持度和最小置信度的關(guān)聯(lián)規(guī)則。ID項(xiàng)集1面包、尿布、牛奶、雞蛋2面包、尿布、啤酒、雞蛋3牛奶、尿布、啤酒、可樂(lè)4面包、牛奶、尿布、啤酒5面包、牛奶、尿布、可樂(lè)6面包、尿布、啤酒、可樂(lè)在所有的交易紀(jì)錄資料中，至少有5%的交易呈現(xiàn)尿布與啤酒這兩項(xiàng)商品被同時(shí)購(gòu)買的交易行為。在所有包含尿布的交易紀(jì)錄資料中，至少有70%的交易會(huì)同時(shí)購(gòu)買啤酒。課程內(nèi)容安排數(shù)據(jù)挖掘概述（1）數(shù)據(jù)挖掘方法（3）數(shù)據(jù)挖掘?qū)嵗?）文章思路分析（1）數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘產(chǎn)生背景數(shù)據(jù)挖掘應(yīng)用領(lǐng)域數(shù)據(jù)挖掘的定義和特點(diǎn)數(shù)據(jù)挖掘基本過(guò)程數(shù)據(jù)挖掘任務(wù)數(shù)據(jù)挖掘方法數(shù)據(jù)挖掘所發(fā)現(xiàn)的知識(shí)分類數(shù)據(jù)挖掘在醫(yī)學(xué)領(lǐng)域的應(yīng)用數(shù)據(jù)挖掘未來(lái)研究熱點(diǎn)一、數(shù)據(jù)挖掘產(chǎn)生背景

在1989年8月舉行的第一屆KnowledgeDiscoveryinDatabase(KDD)國(guó)際學(xué)術(shù)會(huì)議上提出?，F(xiàn)實(shí)需求許多領(lǐng)域搜集積累了大量的數(shù)據(jù)，數(shù)據(jù)背后隱藏了許多具有決策意義的信息，為更好的利用這些數(shù)據(jù)，需要對(duì)其進(jìn)行更高層次的分析?；A(chǔ)技術(shù)條件

(1)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)時(shí)代（強(qiáng)大的多處理器計(jì)算機(jī)）。

(2)超大規(guī)模數(shù)據(jù)庫(kù)的出現(xiàn)（海量數(shù)據(jù)搜集）。

(3)數(shù)據(jù)挖掘算法

。二、數(shù)據(jù)挖掘應(yīng)用領(lǐng)域Banking(金融方面)13%(1)Bioinformatics/Biotech(生物信息)10%(2)DirectMarketing/Fundraising(直銷市場(chǎng))10%(2)eCommerce/Web(電子商務(wù))5%Entertainment/News(零售業(yè)/市場(chǎng)營(yíng)銷)1%FraudDetection(過(guò)程控制/質(zhì)量監(jiān)督)9%(3)Insurance(保險(xiǎn))8%(4)Investment/Stocks(投資)3%Manufacturing(制造行業(yè))2%Medical/Pharma(醫(yī)藥)6%(5)Retail(零售)6%(5)Scientificdata(科學(xué)數(shù)據(jù))9%(3)Security(軍事方面安全)2%SupplyChainAnalysis(物流)1%Telecommunications(遠(yuǎn)程通信)8%(4)Travel(運(yùn)輸)2%Other(其它)5%

三、數(shù)據(jù)挖掘的定義和特點(diǎn)

定義

從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的、實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。它是在沒(méi)有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識(shí)。沒(méi)有假設(shè)≠盲目特點(diǎn)

是一個(gè)利用各種分析工具在海量數(shù)據(jù)中發(fā)現(xiàn)模型和數(shù)據(jù)間關(guān)系的過(guò)程。數(shù)據(jù)挖掘的過(guò)程是一個(gè)“發(fā)現(xiàn)”的過(guò)程,而不是“發(fā)明”的過(guò)程。。四、數(shù)據(jù)挖掘基本過(guò)程數(shù)據(jù)的選擇：搜索所有與業(yè)務(wù)對(duì)象有關(guān)的內(nèi)部和外部數(shù)據(jù)信息，并從中選擇出適用于數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)。數(shù)據(jù)的預(yù)處理：研究數(shù)據(jù)的質(zhì)量，為進(jìn)一步分析作準(zhǔn)備。并確定將要進(jìn)行的挖掘操作的類型。數(shù)據(jù)的轉(zhuǎn)換：將數(shù)據(jù)轉(zhuǎn)換成一個(gè)分析模型。這個(gè)分析模型是針對(duì)挖掘算法建立的。建立一個(gè)真正適合挖掘算法的分析模型是數(shù)據(jù)挖掘成功的關(guān)鍵。數(shù)據(jù)挖掘：對(duì)所得到的經(jīng)過(guò)轉(zhuǎn)換的數(shù)據(jù)進(jìn)行挖掘。結(jié)果分析：解釋并評(píng)估結(jié)果。其使用的分析方法一般應(yīng)作數(shù)據(jù)挖掘操作而定。知識(shí)的同化：將分析所得到的知識(shí)集成到業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中去。為什么要預(yù)處理數(shù)據(jù)？存在不完整的、含噪聲的和不一致的數(shù)據(jù)。預(yù)處理數(shù)據(jù)可以改進(jìn)數(shù)據(jù)的質(zhì)量，從而有助于提高其后的挖掘過(guò)程的精度和性能。不完整數(shù)據(jù)的出現(xiàn)可能有多種原因。有些感興趣的屬性，如銷售事務(wù)數(shù)據(jù)中顧客的信息，并非總是可用的。其他數(shù)據(jù)沒(méi)有包含在內(nèi)只是因?yàn)檩斎霑r(shí)認(rèn)為是不重要的。相關(guān)數(shù)據(jù)沒(méi)有記錄可能是由于理解錯(cuò)誤，或者因?yàn)樵O(shè)備故障。與其他記錄不一致的數(shù)據(jù)可能已經(jīng)刪除。此外，記錄歷史或修改的數(shù)據(jù)可能被忽略。缺失的數(shù)據(jù)，特別是某些屬性上缺少值的元組可能需要推導(dǎo)出來(lái)。數(shù)據(jù)含噪聲（具有不正確的屬性值）可能有多種原因。收集數(shù)據(jù)的設(shè)備可能出故障；人或計(jì)算機(jī)的錯(cuò)誤可能在數(shù)據(jù)輸入時(shí)出現(xiàn)；數(shù)據(jù)傳輸中的錯(cuò)誤也可能出現(xiàn)。不一致的數(shù)據(jù)可能是由命名約定或所用的數(shù)據(jù)代碼不一致，或輸入字段（如日期）的格式不一致而導(dǎo)致的。數(shù)據(jù)的預(yù)處理主要包括數(shù)據(jù)描述、數(shù)據(jù)清理、數(shù)據(jù)集成和變換、數(shù)據(jù)歸約四個(gè)步驟。數(shù)據(jù)描述：對(duì)于獲得數(shù)據(jù)的總體印象至關(guān)重要。描述性數(shù)據(jù)匯總技術(shù)可以用來(lái)識(shí)別數(shù)據(jù)的典型性質(zhì)，突顯哪些數(shù)據(jù)值應(yīng)當(dāng)視為噪聲或離群點(diǎn)。度量數(shù)據(jù)的中心趨勢(shì)和度量數(shù)據(jù)的離散程度。數(shù)據(jù)清理：是指填充缺失值，光滑噪聲并識(shí)別離群點(diǎn)，糾正數(shù)據(jù)中的不一致。數(shù)據(jù)集成：是指合并來(lái)自多個(gè)數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)和可能需要轉(zhuǎn)換成適于挖掘的形式。數(shù)據(jù)歸約：數(shù)據(jù)歸約技術(shù)可以用來(lái)得到數(shù)據(jù)集的歸約表示，它接近于保持?jǐn)?shù)據(jù)的完整性，但數(shù)據(jù)量比原數(shù)據(jù)小得多。與非歸約數(shù)據(jù)相比，在歸約的數(shù)據(jù)上進(jìn)行挖掘，所需的時(shí)間和內(nèi)存資源更少，挖掘更有效，并產(chǎn)生相同或幾乎相同的分析結(jié)果。五、數(shù)據(jù)挖掘任務(wù)

數(shù)據(jù)挖掘的任務(wù)主要是關(guān)聯(lián)分析、聚類分析、分類、預(yù)測(cè)、時(shí)序模式和偏差分析等。關(guān)聯(lián)分析(associationanalysis)關(guān)聯(lián)規(guī)則挖掘是由rakeshapwal等人首先提出。兩個(gè)或兩個(gè)以上變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類重要的、可被發(fā)現(xiàn)的知識(shí)。關(guān)聯(lián)分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個(gè)閥值來(lái)度量關(guān)聯(lián)規(guī)則的相關(guān)性，還不斷引入興趣度、相關(guān)性等參數(shù)，使得所挖掘的規(guī)則更符合需求。聚類分析(clustering)聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關(guān)系。分類(classification)分類就是找出一個(gè)類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，并用這種描述來(lái)構(gòu)造模型，一般用規(guī)則或決策樹(shù)模式表示。分類是利用訓(xùn)練數(shù)據(jù)集通過(guò)一定的算法而求得分類規(guī)則。分類可被用于規(guī)則描述和預(yù)測(cè)。預(yù)測(cè)(predication)預(yù)測(cè)是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型對(duì)未來(lái)數(shù)據(jù)的種類及特征進(jìn)行預(yù)測(cè)。預(yù)測(cè)關(guān)心的是精度和不確定性，通常用預(yù)測(cè)方差來(lái)度量。時(shí)間序列模式(time-seriespattern)時(shí)間序列模式是指從研究系統(tǒng)的指標(biāo)特征數(shù)據(jù)中統(tǒng)計(jì)出的某種經(jīng)常發(fā)生的時(shí)間序列。挖掘的目的是才時(shí)間序列數(shù)據(jù)庫(kù)中找出頻繁出現(xiàn)的子序列。時(shí)間序列周期分析是指對(duì)周期模式的挖掘，即在時(shí)序數(shù)據(jù)庫(kù)中找出重復(fù)出現(xiàn)的模式。偏差分析(deviation)在偏差中包括很多有用的知識(shí)，數(shù)據(jù)庫(kù)中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫(kù)中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗(yàn)的基本方法就是尋找觀察結(jié)果與參照之間的差別。

關(guān)聯(lián)分析法決策樹(shù)人工神經(jīng)網(wǎng)絡(luò)遺傳算法聚類分析序列模式分析

六、挖掘方法關(guān)聯(lián)分析法

從關(guān)系數(shù)據(jù)庫(kù)中提取關(guān)聯(lián)規(guī)則是幾種主要的數(shù)據(jù)挖掘方法之一。挖掘關(guān)聯(lián)是通過(guò)搜索系統(tǒng)中的所有事物，并從中找到出現(xiàn)條件概率較高的模式。關(guān)聯(lián)實(shí)際上就是數(shù)據(jù)對(duì)象之間相關(guān)性的確定，用關(guān)聯(lián)找出所有能夠?qū)⒁唤M數(shù)據(jù)項(xiàng)相聯(lián)系的規(guī)則，這種規(guī)則的建立并不是確定的關(guān)系，而是一個(gè)具有一定置信度的可能值，即事件發(fā)生的概率。人工神經(jīng)網(wǎng)絡(luò)（Artificialneuralnetwork,

ANN）

神經(jīng)元網(wǎng)絡(luò)的數(shù)據(jù)挖掘方法是通過(guò)模仿人的神經(jīng)系統(tǒng)來(lái)反復(fù)訓(xùn)練學(xué)習(xí)數(shù)據(jù)集,從待分析的數(shù)據(jù)集中發(fā)現(xiàn)用于預(yù)測(cè)和分類的模式。神經(jīng)元網(wǎng)絡(luò)對(duì)于復(fù)雜情況仍能得到精確的預(yù)測(cè)結(jié)果,而且可以處理類別和連續(xù)變量,但神經(jīng)元網(wǎng)絡(luò)不適合處理高維變量,其最大的缺點(diǎn)是不透明,因?yàn)槠錈o(wú)法解釋結(jié)果是如何產(chǎn)生的以及在推理過(guò)程中所用的規(guī)則。神經(jīng)元網(wǎng)絡(luò)適合結(jié)果比可理解性更重要的分類和預(yù)測(cè)的復(fù)雜情況,可用于聚類、分類和序列模式。決策樹(shù)（DecisionTree,DT）根據(jù)訓(xùn)練數(shù)據(jù)、集中數(shù)據(jù)的不同取值建立樹(shù)的分支,形成決策樹(shù)。與神經(jīng)元網(wǎng)絡(luò)最大的不同在于其決策制定的過(guò)程是可見(jiàn)的,可以解釋結(jié)果是如何產(chǎn)生的。決策樹(shù)一般產(chǎn)生直觀、易理解的規(guī)則,而且分類不需太多計(jì)算時(shí)間,適合對(duì)記錄分類或結(jié)果的預(yù)測(cè),尤其適合于當(dāng)目標(biāo)是生成易理解、可翻譯成SQL或自然語(yǔ)言的規(guī)則時(shí)。決策樹(shù)也可用于聚類、分類及序列模式,其應(yīng)用的典型例子是CART(回歸決策樹(shù))方法。遺傳算法（Geneticalgorithm,GA）其基本觀點(diǎn)是適者生存原理,用于數(shù)據(jù)挖掘中則常把任務(wù)表示為一種搜索問(wèn)題,利用遺傳算法強(qiáng)大的搜索能力找到最優(yōu)解。實(shí)際上遺傳算法是模仿生物進(jìn)化的過(guò)程,反復(fù)進(jìn)行選擇、交叉和突變等遺傳操作,直至滿足最優(yōu)解。遺傳算法可處理許多數(shù)據(jù)類型,同時(shí)可并行處理各種數(shù)據(jù),常用于優(yōu)化神經(jīng)元網(wǎng)絡(luò),解決其他技術(shù)難以解決的問(wèn)題,但需要的參數(shù)太多,對(duì)許多問(wèn)題編碼困難,一般計(jì)算量大。聚集分析（Clusteranalysis，CA）聚集是把整個(gè)數(shù)據(jù)庫(kù)分成不同的群組。它的目的是要群與群之間差別很明顯,而同一個(gè)群之間的數(shù)據(jù)盡量相似。此外聚類分析可以作為其他算法(如特征和分類等)的預(yù)處理步驟,之后這些算法再在生成的簇上進(jìn)行處理。與分類不同,在開(kāi)始聚集之前不知道要把數(shù)據(jù)分成幾組,也不知道怎么分(依照哪幾個(gè)變量)。因此在聚集之后要有一個(gè)對(duì)業(yè)務(wù)很熟悉的人來(lái)解釋這樣分群的意義。很多情況下一次聚集得到的分群對(duì)某個(gè)業(yè)務(wù)來(lái)說(shuō)可能并不好,這時(shí)就需要?jiǎng)h除或