金融數(shù)據(jù)挖掘

1、金融數(shù)據(jù)挖掘論文院系： 理學(xué)院 專業(yè)班級(jí)： 信息與計(jì)算科學(xué)132班學(xué)號(hào)： 201311010213姓名： 施秋梅 日期： 2016年6月24日摘要 本文主要講述金融數(shù)據(jù)挖掘中的聚類分析，主要介紹聚類分析的幾種聚類的方法系統(tǒng)層次聚類法，k-均值算法，BIRCH算法和基于密度的聚類算法。然后通過幾個(gè)實(shí)例來深度了解這幾種算法，最后是聚類分析在生活中的應(yīng)用。12目 錄摘要11. 前言32. 相關(guān)算法分析32.1系統(tǒng)層次聚類法32.2 k-均值算法42.3 BIRCH算法62.4 基于密度的聚類算法73. 實(shí)例分析83.1 R語(yǔ)言的一個(gè)實(shí)例84. 應(yīng)用105. 總結(jié)111、前言聚類分析也稱無教師學(xué)習(xí)或無

2、指導(dǎo)學(xué)習(xí)，與分類學(xué)習(xí)相比，聚類的樣本一般事先不做標(biāo)記，需要由聚類學(xué)習(xí)算法自動(dòng)確定。聚類分析是在沒有訓(xùn)練目標(biāo)的情況下將樣本劃分為若干簇的方法。聚類分析是數(shù)據(jù)挖掘中重要的分析方法，由于數(shù)據(jù)和問題的復(fù)雜性，數(shù)據(jù)挖掘?qū)垲惙椒ㄓ幸恍┨厥獾男枰?，這些需要表現(xiàn)為：大規(guī)模數(shù)據(jù)中塊特征的認(rèn)識(shí)需要，能夠處理不同屬性數(shù)據(jù)的聚組，適應(yīng)不同形狀的聚類方法，具備抗強(qiáng)噪聲的能力和較好的解釋性，不受輸入數(shù)據(jù)的順序的影響，高維聚類以及能夠和具體的約束兼容等，以上需要造就了豐富的聚類分析方法，也使得聚類分析廣泛的應(yīng)用于客戶分析、文本歸類、結(jié)構(gòu)分組和行為跟蹤等問題中，成為數(shù)據(jù)挖掘中發(fā)展很快而且靈活變化豐富的一個(gè)分支。聚類分析是一

3、種探索數(shù)據(jù)分組的統(tǒng)計(jì)方法，其目的是建立一種歸類的方法，將一批樣本或變量，按照它們?cè)谔卣魃系乃潭冗M(jìn)行分類，使得組內(nèi)樣品的相似度達(dá)到最大，而組間的差距達(dá)到最大。即簇內(nèi)部的人藝兩個(gè)樣本之間具有較高的相似度，而屬于不同簇的兩個(gè)樣本之間具有較高的相異度。相異度通常用樣本間的距離刻畫。在實(shí)際應(yīng)用中，經(jīng)常將一個(gè)簇中的數(shù)據(jù)樣本作為同質(zhì)的整體看待，有簡(jiǎn)化問題和過濾冗余信息的作用。聚類分析的目標(biāo)就是在相似的基礎(chǔ)上收集數(shù)據(jù)來分類。聚類源于很多領(lǐng)域，包括數(shù)學(xué)，計(jì)算機(jī)科學(xué)，統(tǒng)計(jì)學(xué)，生物學(xué)和經(jīng)濟(jì)學(xué)。在不同的應(yīng)用領(lǐng)域，很多聚類技術(shù)都得到了發(fā)展，這些技術(shù)方法被用作描述數(shù)據(jù)，衡量不同數(shù)據(jù)源間的相似性，以及把數(shù)據(jù)源分類到不同的

4、簇中。2、相關(guān)算法分析2.1系統(tǒng)層次聚類法距離分層的典型方法是層次聚類算法。層次聚類法也稱為系統(tǒng)層次聚類法，其想法是首先將所有的樣品都單獨(dú)作為一類，然后計(jì)算任意兩個(gè)類之間的距離，將其中距離最近的兩個(gè)類合并為一類，同時(shí)聚類的數(shù)量減一。不斷重復(fù)這個(gè)過程，直到最后只剩下最大的類別。層次聚類算法的步驟可以概括如下：（1）根據(jù)適當(dāng)?shù)木嚯x定義準(zhǔn)則，計(jì)算現(xiàn)有的N個(gè)類別兩兩之間的距離，找到其中最近的兩個(gè)類(不妨記為P和Q)；（2）將P，Q合并，作為一個(gè)新類PQ，加上剩下的N-2個(gè)類，此時(shí)共有N-1個(gè)類；（3）重復(fù)步驟（1）（2），直到聚類數(shù)縮減為1停止。系統(tǒng)聚類的算法復(fù)雜度是O(n2)，上述聚類的結(jié)果可以用一

5、個(gè)樹狀圖展示，如圖2.1所示，其中樹的最低端表示所有的樣品單獨(dú)成類，最頂端表示所有的樣品歸為一類，而在此之間，聚類數(shù)從N-1變動(dòng)到2。在任何一個(gè)給定的高度上，都可以判斷哪些樣品被分在樹的同一枝，而聚類數(shù)的確定，需要通過實(shí)際情況進(jìn)行判斷。圖2.12.2 k-均值算法k-均值算法是另一種應(yīng)用范圍非常廣的聚類方法，它是一種典型的劃分聚類的方法。其思想是在給定聚類數(shù)K時(shí)，通過最小化組內(nèi)誤差平方和來得到每一個(gè)樣本點(diǎn)的分類。k-均值算法的過程大致如下：（1）從N個(gè)樣本點(diǎn)在中任意選擇（一般是隨機(jī)分配）K個(gè)作為初始聚類中心；（2）對(duì)于剩下的其他樣本點(diǎn)，根據(jù)他們與樣本中心的距離，分別將他們分派給與其最相似的中心

6、所在的類別；（3）計(jì)算每個(gè)新類的聚類中心；（4）不斷重復(fù)（2），（3），直到所有的樣本點(diǎn)的分類不再改變或類中心不再改變。具體如下：輸入：k, datan;（1） 選擇k個(gè)初始中心點(diǎn)，例如c0=data0,ck-1=datak-1；（2） 對(duì)于data0.datan，分別與c0ck-1比較，假定與ci差值最少，就標(biāo)記為i；（3） 對(duì)于所有標(biāo)記為i點(diǎn)，重新計(jì)算ci= 所有標(biāo)記為i的dataj之和/標(biāo)記為i的個(gè)數(shù)；（4） 重復(fù)(2)(3)，直到所有ci值的變化小于給定閾值。K-均值算法的第二個(gè)人問題是容易受到初始點(diǎn)選擇的影響，在分類數(shù)據(jù)上分辨力不強(qiáng)，不適用于非凸問題，受異常數(shù)據(jù)影響，受到不同類別的密

7、度方差大小的影響。解決的方法是采用二分K-均值過程。其主要思想是：假設(shè)要將樣本數(shù)據(jù)分為K個(gè)簇，先用基本K-均值算法將所有的數(shù)據(jù)分為兩個(gè)簇，從所得結(jié)果中選擇一個(gè)較大的簇，繼續(xù)使用K-均值算法進(jìn)行分裂操作，直到得到K個(gè)簇，算法終止。二分K-均值算法步驟如下：輸入：訓(xùn)練數(shù)據(jù)集D，二分次數(shù)m，目標(biāo)簇?cái)?shù)k。輸出：簇集N=N1，N2,Nk。（1）初始化簇集S，它只含一個(gè)包含所有樣本的簇N，將簇?cái)?shù)K初始化為1；（2）從S中取出一個(gè)最大的簇Ni；（3）使用K-均值聚類算法對(duì)簇Ni進(jìn)行m次二分聚類操作；（4）分別計(jì)算這m對(duì)子簇的總SSE的大小，將具有最小總SSE的一對(duì)子簇添加到S中，執(zhí)行K+操作；（5）如果K=

8、K，算法結(jié)束。否則重復(fù)（2）到（5）步驟。算法使用誤差平方和SSE最為聚類的評(píng)價(jià)函數(shù)，對(duì)于二分K-均值聚類算法是各個(gè)步驟都是只有2個(gè)簇中心，因此相對(duì)于基本K-均值算法而言，更不易受到簇中心初始化問題的影響。二分K-均值算法中各步找出SSE之和最小的一對(duì)子簇N1和N2：J=xiN1xi-m1*2+xiN2xi-m2*2 在二分K-均值算法中，使用誤差平方和和度量聚類的質(zhì)量的好壞，具體的操作是對(duì)各個(gè)樣本點(diǎn)的誤差采取歐幾里德距離進(jìn)行計(jì)算，然后計(jì)算誤差平方和。二分K-均值算法沒有初始化的問題，每一步操作實(shí)際上就是從m對(duì)子簇中找到誤差平方和最小的一對(duì)子簇，然后再進(jìn)行基本的K-均值操作。2.3 BIRCH

9、算法Zhang 等人提出了Birch（Blanced Iterative Reducing and Clustering）1 算法來對(duì)大規(guī) 模數(shù)據(jù)集進(jìn)行聚類。Birch 算法是一種非常有效的、傳統(tǒng)的層次聚類算法，該算法能夠用一 遍掃描有效地進(jìn)行聚類，并能夠有效地處理離群點(diǎn)。Birch 算法是基于距離的層次聚類，綜 合了層次凝聚和迭代的重定位方法，首先用自底向上的層次算法，然后用迭代的重定位來改 進(jìn)結(jié)果。2層次凝聚是采用自底向上策略，首先將每個(gè)對(duì)象作為一個(gè)原子簇，然后合并這些 原子簇形成更大的簇，減少簇的數(shù)目，直到所有的對(duì)象都在一個(gè)簇中，或某個(gè)終結(jié)條件被滿足。Birch 算法的主要思想是：通過掃

10、描數(shù)據(jù)庫(kù)，建立一個(gè)初始存放于內(nèi)存中的聚類特征樹， 然后對(duì)聚類特征樹的葉結(jié)點(diǎn)進(jìn)行聚類。它的核心是聚類特征（CF）和聚類特征樹（CF Tree）。CF 是指三元組CF=（N，LS，SS），用來概括子簇信息，而不是存儲(chǔ)所有的數(shù)據(jù)點(diǎn)。 其中：N：簇中d 維點(diǎn)的數(shù)目； LS：N 個(gè)點(diǎn)的線性和；SS：N 個(gè)點(diǎn)的平方和。比如給定一個(gè)由二維點(diǎn)組成的集合(3,4),(2,6),(4,5)，那么CF 結(jié)構(gòu)概括了簇的基本信息，并且是高度壓縮的，它存儲(chǔ)了小于實(shí)際數(shù)據(jù)點(diǎn)的聚類信息。同時(shí)CF 的三元結(jié)構(gòu)設(shè)置使得計(jì)算簇的半徑、簇的直徑、簇與簇之間的距離等非常容易。Birch 算法主要分為以下兩個(gè)階段：(1) 掃描數(shù)據(jù)庫(kù)，動(dòng)

11、態(tài)的建立一棵存放在內(nèi)存的CF 樹。若內(nèi)存不夠，則增大閾值，在 原樹基礎(chǔ)上構(gòu)造一棵較小的樹。(2) 對(duì)葉節(jié)點(diǎn)進(jìn)一步利用一個(gè)全局性的聚類算法，改進(jìn)聚類質(zhì)量。 由于 CF 樹的葉節(jié)點(diǎn)代表的聚類可能不是自然的聚類結(jié)果，原因是給定的閾值限制了簇 的大小，并且數(shù)據(jù)的輸入順序也會(huì)影響到聚類結(jié)果。因此，需要對(duì)葉節(jié)點(diǎn)進(jìn)一步利用一個(gè)全 局性的聚類算法，改進(jìn)聚類質(zhì)量。2.4 基于密度的聚類算法DBSCAN（Density-based Spatial Clustering of Applications with Noise）是一種基于高密度聯(lián)通區(qū)域的聚類算法，它將類簇定義為高密度相連點(diǎn)的最大集合。它本身對(duì)噪聲不敏感

12、，并且能發(fā)現(xiàn)任意形狀的類簇。DBSCAN中的的幾個(gè)定義：領(lǐng)域：給定對(duì)象半徑為內(nèi)的區(qū)域稱為該對(duì)象的領(lǐng)域核心對(duì)象：如果給定對(duì)象領(lǐng)域內(nèi)的樣本點(diǎn)數(shù)大于等于MinPts，則稱該對(duì)象為核心對(duì)象。直接密度可達(dá)：對(duì)于樣本集合D，如果樣本點(diǎn)q在p的領(lǐng)域內(nèi)，并且p為核心對(duì)象，那么對(duì)象q從對(duì)象p直接密度可達(dá)。密度可達(dá)：對(duì)于樣本集合D，給定一串樣本點(diǎn)p1,p2.pn，p= p1,q= pn,假如對(duì)象pi從pi-1直接密度可達(dá)，那么對(duì)象q從對(duì)象p密度可達(dá)。密度相連：對(duì)于樣本集合D中的任意一點(diǎn)O，如果存在對(duì)象p到對(duì)象o密度可達(dá)，并且對(duì)象q到對(duì)象o密度可達(dá)，那么對(duì)象q到對(duì)象p密度相連?？梢园l(fā)現(xiàn)，密度可達(dá)是直接密度可達(dá)的傳遞

13、閉包，并且這種關(guān)系是非對(duì)稱的。密度相連是對(duì)稱關(guān)系。DBSCAN目的是找到密度相連對(duì)象的最大集合。Eg: 假設(shè)半徑=3，MinPts=3，點(diǎn)p的E領(lǐng)域中有點(diǎn)m,p,p1,p2,o, 點(diǎn)m的E領(lǐng)域中有點(diǎn)m,q,p,m1,m2,點(diǎn)q的E領(lǐng)域中有點(diǎn)q,m,點(diǎn)o的E領(lǐng)域中有點(diǎn)o,p,s,點(diǎn)s的E領(lǐng)域中有點(diǎn)o,s,s1.那么核心對(duì)象有p,m,o,s(q不是核心對(duì)象，因?yàn)樗鼘?duì)應(yīng)的E領(lǐng)域中點(diǎn)數(shù)量等于2，小于MinPts=3)；點(diǎn)m從點(diǎn)p直接密度可達(dá)，因?yàn)閙在p的E領(lǐng)域內(nèi)，并且p為核心對(duì)象；點(diǎn)q從點(diǎn)p密度可達(dá)，因?yàn)辄c(diǎn)q從點(diǎn)m直接密度可達(dá)，并且點(diǎn)m從點(diǎn)p直接密度可達(dá)；點(diǎn)q到點(diǎn)s密度相連，因?yàn)辄c(diǎn)q從點(diǎn)p密度可達(dá)，并

14、且s從點(diǎn)p密度可達(dá)。算法DBSCAN步驟：輸入：E 半徑 MinPts 給定點(diǎn)在E領(lǐng)域內(nèi)成為核心對(duì)象的最小領(lǐng)域點(diǎn)數(shù) D 集合輸出：目標(biāo)類簇集合方法：repeat（1）判斷輸入點(diǎn)是否為核心對(duì)象（2） 找出核心對(duì)象的E領(lǐng)域中的所有直接密度可達(dá)點(diǎn) util 所有輸入點(diǎn)都判斷完畢 repeat 針對(duì)所有核心對(duì)象的E領(lǐng)域所有直接密度可達(dá)點(diǎn)找到最大密度相連對(duì)象集合， 中間涉及到一些密度可達(dá)對(duì)象的合并。 Util 所有核心對(duì)象的E領(lǐng)域都遍歷完畢3、實(shí)例分析一個(gè)用R語(yǔ)言的聚類分析，數(shù)據(jù)集用的是iris 第一步：對(duì)數(shù)據(jù)集進(jìn)行初步統(tǒng)計(jì)分析 #檢查數(shù)據(jù)的維度 > dim(iris) 1 150 5 >

15、names(iris) #顯示數(shù)據(jù)集中的列名1 “Sepal.Length” “Sepal.Width” “Petal.Length” “Petal.Width” “Species” > str(iris) #顯示數(shù)據(jù)集的內(nèi)部結(jié)構(gòu) data.frame: 150 obs. of 5 variables: $ Sepal.Length: num 5.1 4.9 4.7 4.6 5 5.4 4.6 5 4.4 4.9 $ Sepal.Width : num 3.5 3 3.2 3.1 3.6 3.9 3.4 3.4 2.9 3.1 $ Petal.Length: num 1.4 1.4 1.

16、3 1.5 1.4 1.7 1.4 1.5 1.4 1.5 $ Petal.Width : num 0.2 0.2 0.2 0.2 0.2 0.4 0.3 0.2 0.2 0.1 $ Species : Factor w/ 3 levels “setosa”,”versicolor”,.: 1 1 1 1 1 1 1 1 1 1 > attributes(iris) #顯示數(shù)據(jù)集的屬性 $names #就是數(shù)據(jù)集的列名 1 “Sepal.Length” “Sepal.Width” “Petal.Length” “Petal.Width” “Species” $s #個(gè)人理

17、解就是每行數(shù)據(jù)的標(biāo)號(hào) 1 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95

18、 96 97 98 99 100 101 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 141 142 143 144 145 146 147 148 149 150 $class #表示類別 1 “data.frame” > iris1:5, #查看數(shù)據(jù)集的前五項(xiàng)數(shù)據(jù)情況Sepal.Length Se

19、pal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa > iris1:10, "Sepal.Length"#查看數(shù)據(jù)集中屬性Sepal.Length前10行數(shù)據(jù) 1 5.1 4.9 4.7 4.6 5.0 5.4 4.6 5.0 4.4 4.9> iris$Sepal.Length1:

20、10 # 同上1 5.1 4.9 4.7 4.6 5.0 5.4 4.6 5.0 4.4 4.9 > summary(iris) #顯示數(shù)據(jù)集中每個(gè)變量的分布情況Sepal.Length Sepal.Width Petal.Length Petal.Width Species Min. :4.300 Min. :2.000 Min. :1.000 Min. :0.100 setosa :50 1st Qu.:5.100 1st Qu.:2.800 1st Qu.:1.600 1st Qu.:0.300 versicolor:50 Median :5.800 Median :3.000 M

21、edian :4.350 Median :1.300 virginica :50 Mean :5.843 Mean :3.057 Mean :3.758 Mean :1.199 3rd Qu.:6.400 3rd Qu.:3.300 3rd Qu.:5.100 3rd Qu.:1.800 Max. :7.900 Max. :4.400 Max. :6.900 Max. :2.500 3> table(iris$Species) setosa versicolor virginica 50 50 50 #顯示iris數(shù)據(jù)集列Species中各個(gè)值出現(xiàn)頻次> pie(table(iri

22、s$Species) #根據(jù)列Species畫出餅圖> var(iris$Sepal.Length) #算出列Sepal.Length的所有值的方差1 0.6856935 > cov(iris$Sepal.Length, iris$Petal.Length) # 算出列iris$Sepal.Length和iris$Petal.Length的協(xié)方差1 1.2743154、應(yīng)用聚類分析師數(shù)據(jù)挖掘中一種常用的技術(shù)，在實(shí)踐中可以多角度應(yīng)用于市場(chǎng)分析，為市場(chǎng)營(yíng)銷戰(zhàn)略和策略的制定提供科學(xué)合理的參考。主要介紹其在市場(chǎng)分析中的應(yīng)用，并且我們從客戶細(xì)分、實(shí)驗(yàn)市場(chǎng)選擇、抽樣方案設(shè)計(jì)、銷售篇區(qū)確定、市場(chǎng)

23、機(jī)會(huì)研究五個(gè)方面探討聚類分析在市場(chǎng)分析中的具體應(yīng)用。 （1）在客戶細(xì)分中的應(yīng)用： 消費(fèi)同一種類的商品或服務(wù)時(shí)，不同的客戶有不同的消費(fèi)特點(diǎn)，通過研究這些特點(diǎn)，企業(yè)可以制定出不同的營(yíng)銷組合，從而獲取最大的消費(fèi)者剩余，這就是客戶細(xì)分的主要目的。常用的客戶分類方法主要有三類：經(jīng)驗(yàn)描述法，由決策者根據(jù)經(jīng)驗(yàn)對(duì)客戶進(jìn)行類別劃分；傳統(tǒng)統(tǒng)計(jì)法，根據(jù)客戶屬性特征的簡(jiǎn)單統(tǒng)計(jì)來劃分客戶類別；非傳統(tǒng)統(tǒng)計(jì)方法，即基于人工智能技術(shù)的非數(shù)值方法。聚類分析法兼有后兩類方法的特點(diǎn)，能夠有效完成客戶細(xì)分的過程。 （2）在實(shí)驗(yàn)市場(chǎng)選擇中的應(yīng)用： 實(shí)驗(yàn)調(diào)查法最常用的領(lǐng)域有：市場(chǎng)飽和度測(cè)試。市場(chǎng)飽和度反映市場(chǎng)的潛在購(gòu)買力，是市場(chǎng)營(yíng)銷戰(zhàn)略

24、和策略決策的重要參考指標(biāo)。企業(yè)通常通過將消費(fèi)者購(gòu)買產(chǎn)品或服務(wù)的各種決定因素（如價(jià)格等）降到最低限度的方法來測(cè)試市場(chǎng)飽和度?；蛘咴诔霈F(xiàn)滯銷時(shí)，企業(yè)投放類似的新產(chǎn)品或服務(wù)到特定的市場(chǎng)，以測(cè)試市場(chǎng)是否真正達(dá)到飽和，是否具有潛在的購(gòu)買力。前述兩種措施由于利益和風(fēng)險(xiǎn)的原因，不可能在企業(yè)覆蓋的所有市場(chǎng)中實(shí)施，只能選擇合適的實(shí)驗(yàn)市場(chǎng)和對(duì)照市場(chǎng)加以測(cè)試，得到近似的市場(chǎng)飽和度；產(chǎn)品的價(jià)格實(shí)驗(yàn)。這種實(shí)驗(yàn)往往將新定價(jià)的產(chǎn)品投放市場(chǎng)，對(duì)顧客的態(tài)度和反應(yīng)進(jìn)行測(cè)試，了解顧客對(duì)這種價(jià)格的是否接受或接受程度；新產(chǎn)品上市實(shí)驗(yàn)。（3）在銷售片區(qū)確定中的應(yīng)用 銷售片區(qū)的確定和片區(qū)經(jīng)理的任命在企業(yè)的市場(chǎng)營(yíng)銷中發(fā)揮著重要的作用。只有合理地將企業(yè)所擁有的子市場(chǎng)歸成幾個(gè)大的片區(qū)，才能有效地制定符合片區(qū)特點(diǎn)的市場(chǎng)營(yíng)銷戰(zhàn)略和策略，并任命合適的片區(qū)經(jīng)