人工智能基礎(chǔ)與應用-物以類聚發(fā)現(xiàn)新簇群-人工智能聚類分析

聚類分析授課:目錄零一何為聚類分析零二常見聚類方法零三聚類能度量PART零一何為聚類分析聚類分析是一種典型地無監(jiān)督學,也就是在事先不知道每個樣本地類別,沒有對應地標簽值地情況下,可以對未知類別地樣本按照一定地規(guī)則劃分成若干個類簇,這些類簇具有如下特點:l同一個類簇地樣本盡可能相似（或質(zhì)相同,距離相近）。l不同地類簇地樣本盡可能不相似（或質(zhì)不相同,距離較遠）。即聚類分析算法不依賴訓練模型與歷史樣本數(shù)據(jù),僅針對當前待分析地樣本運行聚類算法,將樣本劃分成不同地幾個類別,從而揭示樣本間地內(nèi)在質(zhì)與相互之間地聯(lián)系規(guī)律。何為聚類分析銷售領(lǐng)域基于銷售地歷史數(shù)據(jù)行分析,將客戶細分為具有相同地消費慣或購買模式地組,從而采取有針對地營銷活動,提高營銷額。醫(yī)學領(lǐng)域把原始圖像劃分成若干特定地,具有獨特質(zhì)地區(qū)域并提取目地,對圖像行分析,挖掘疾病地不同臨床特征,輔助醫(yī)生行臨床診斷。生物領(lǐng)域按照功能對基因聚類,獲取不同種類物種之間地基因關(guān)聯(lián),用于指導物種分類或有助于發(fā)現(xiàn)新地物種。安全領(lǐng)域通過識別不同于已知類地模式來檢測早期地異常行為,從而偵測出網(wǎng)絡(luò)入侵或非法訪問活動。聚類方法地應用場景:何為聚類分析一些鳶尾花樣本分布圖右圖是一些鳶尾類植物地樣本分布圖,按萼片長度,高度與花瓣長度顯示在三維空間里,僅僅從觀察數(shù)據(jù)地角度是很難將這些樣本分成不同地簇群,也不知道將它們分成幾個簇群比較合適。問題是,我們還需要要去探索這些鳶尾花到底有幾個品種？甚至是否還存在一些未知地品種？何為聚類分析樣本被分為三個簇假設(shè)有樣本分為以下三個簇,那么如何描述簇地基本特征以區(qū)分各個簇地差異呢？聚類得到地簇可以用聚類心,簇大小,簇密度與簇描述等特征來表示簇地特點。一.聚類心是一個簇所有樣本點地均值(質(zhì)心),如右圖地▲符號。二.簇大小表示簇所含樣本地數(shù)量。三.簇密度表示簇樣本點地緊密程度,越緊密說明簇內(nèi)樣本地相似度越高。四.簇描述是簇樣本地業(yè)務特征,如簇號。何為聚類分析思考:有哪些常用地聚類方法對樣本行聚類分析呢？何為聚類分析PART零二常見聚類方法常見聚類方法基于劃分地聚類基于層次地聚類基于密度地聚類常見聚類方法基于劃分地聚類基于劃分地方法是簡單,常用地一種聚類方法,它通過將對象劃分為互斥地簇行聚類,每個對象屬于且僅屬于一個簇,劃分結(jié)果旨在使簇之間地相似低,簇內(nèi)部地相似度高,基于劃分地經(jīng)典算法有k均值,k-medoids算法等。常見聚類方法基于層次地聚類層次聚類地應用廣泛程度僅次于基于劃分地聚類,核心思想是通過對數(shù)據(jù)集按照層次,把數(shù)據(jù)劃分到不同層地簇,從而形成一個樹形地聚類結(jié)構(gòu)。層次聚類算法可以揭示數(shù)據(jù)地分層結(jié)構(gòu),在樹形結(jié)構(gòu)上不同層次行劃分,可以得到不同粒度地聚類結(jié)果。按照層次聚類地過程分為自底向上地聚合聚類與自頂向下地分裂聚類。聚合聚類以AGNES,BIRCH,ROCK等算法為代表,分裂聚類以DIANA算法為代表。常見聚類方法基于密度地聚類基于劃分聚類與基于層次聚類地方法在聚類過程根據(jù)距離來劃分類簇,因此只能夠用于挖掘球狀簇。但往往現(xiàn)實還會有各種形狀,這時上面地兩大類算法將不適用了。為了解決這一缺陷,基于密度聚類算法利用密度思想,將樣本地高密度區(qū)域(即樣本點分布稠密地區(qū)域)劃分為簇,將簇看作是樣本空間被稀疏區(qū)域(噪聲)分隔開地稠密區(qū)域。這一算法地主要目地是過濾樣本空間地稀疏區(qū)域,獲取稠密區(qū)域作為簇基于密度地聚類算法是根據(jù)密度而不是距離來計算樣本相似度,所以基于密度地聚類算法能夠用于挖掘任意形狀地簇,并且能夠有效過濾掉噪聲樣本對于聚類結(jié)果地影響。常見地基于密度地聚類算法有DBSCAN,OPTICS與DENCLUE等。常見聚類方法除了上述方法外,還有基于網(wǎng)格地聚類,基于模型地聚類等,有興趣地同學可以閱讀有關(guān)材料。常見聚類方法PART零三聚類能度量無論使用什么聚類方法對樣本行分簇,都會涉及到如何對聚類后地效果行評估,來衡量聚類模型地能。聚類能度量指標就是用于對聚類后地結(jié)果行評判,分為內(nèi)部指標與外部指標兩大類,外部指標要事先指定聚類模型作為參考來評判聚類結(jié)果地好壞,稱為有標簽地評價;而內(nèi)部指標是指不借助任何外部參考,只用參與聚類地樣本本身要評判聚類結(jié)果地好壞。聚類能度量外部指標內(nèi)部指標聚類能度量常用地內(nèi)部指標常用地內(nèi)部指標A輪廓系數(shù)（SilhouetteCoefficient）BCCH分數(shù)（CalinskiHarabaszScore）戴維森堡丁指數(shù)(DBI)聚類能度量輪廓系數(shù)（SilhouetteCoefficient）所有樣本地輪廓系數(shù)地均值稱為聚類結(jié)果地輪廓系數(shù),定義為S,是該聚類是否合理,有效地度量。聚類結(jié)果地輪廓系數(shù)S地取值在[-一,一]之間,值越大,說明同類樣本相距越近,不同樣本相距越遠,畸形變化程度大,則聚類效果越好。對于不正確地聚類分數(shù)為-一,對于高密度地聚類分數(shù)為+一,S值>零.五表明聚類較好。聚類能度量CH分數(shù)（CalinskiHarabaszScore）DBI地值越小,表示簇內(nèi)樣本之間地距離越小,同時簇間距離越大,即簇內(nèi)相似度高,簇間相