如何在面對龐大的資料.ppt

1、Data Mining 簡介,Present by : 許志瑋,Introduce,如何在面對龐大的資料，能有效且快速的從中淬取有用的資訊，以供做為作業(yè)或決策上有用的知識，是當(dāng)前一項重要的課題 資料挖掘（data mining）本身是一種自動化的方式，用來尋找或推論被埋藏資料裡的模式或知識，這些模式是無法透過一般的觀察就能看出的,Data mining 技術(shù)(1/2),Data mining VS Statistic Statistic:對使用者所提出的假設(shè)性問題做驗證 Data mining :逐步比對發(fā)覺rule Data mining新興技術(shù),Data mining 技術(shù)(2/2),Da

2、ta mining 與 Statistic的差異性比較,Data mining 新興技術(shù),AI技術(shù)之應(yīng)用 Decision tree Neural network Clustering Genetic Algorithm Rule Induction,Clustering(1/2),自動化從所輸入之資料中，依照使用者決定之屬性狀態(tài)，區(qū)分出各個不同的群別,Clustering(2/2),clustering and categorization,Rule Induction(1/2),從巨量的資料中尋找到屬性間的關(guān)係 表示方式 A = B 此rule表示了事件 A 的發(fā)生，將會連帶地使得事件 B

3、也將隨之發(fā)生,Rule Induction(2/2),1. 目標(biāo)放在假設(shè):若有一個rule表示假如買鐵釘及螺絲釘及螺絲帽，則會買高價的鐵鎚，企業(yè)可以了解是否當(dāng)?shù)蛢r的鐵釘、螺絲釘及螺絲帽不銷售時，可能鐵鎚的銷售也會受影響。 2. 目標(biāo)放在結(jié)果:若有很多rule的結(jié)果都有買咖啡，企業(yè)就可以找出所有會與咖啡同時購買的物品，將它們放置在一起，可以增加物品的銷售量。 3. 目標(biāo)放在accuracy:如上面的例子，正確性雖高卻很少發(fā)生，但一旦發(fā)生獲利率卻相當(dāng)高，這樣的rule可以提供某些企業(yè)做參考。 4. 目標(biāo)放在coverage:這是最普遍存在，一般人想發(fā)掘的rule，因為含蓋率高，表示發(fā)生的機率高，是

4、一般企業(yè)想找的規(guī)則。,Case Study(1/4),Mining Process,Case Study (2/4),Case 1:美國第二大電話公司MCI MCI將總數(shù)達到1億4千萬之多的客戶，依其收入、生活型態(tài)、打電話的習(xí)慣及方式，分門別類，整理出大約1萬種的屬性 從事無數(shù)次的排列組合，而得到22種詳盡及高度機密的資料統(tǒng)計大綱,Case Study (3/4),Case 2:系所開課狀態(tài)之研究 輸入資料 : 過去五年內(nèi)畢業(yè)生選修資料 方法 : Rule Induction 工具 : Intelligent miner (IBM) 結(jié)果 : 數(shù)個support和accuracy值最高的rule幾乎都包含”會計”這個科目 每個rule的support值都很平均，而且其中的科目沒有強烈的差異性,Case Study (4/4),Discuss: “必選修” 學(xué)生可能沒有依照領(lǐng)域差別修課的習(xí)慣。 第二個原因有可能