數(shù)據(jù)挖掘知識點

簡答題（第一章）數(shù)據(jù)庫與數(shù)據(jù)倉庫的不同：數(shù)據(jù)庫用于事物處理，數(shù)據(jù)倉庫用于決策分析；數(shù)據(jù)庫保持事物處理的當前狀態(tài)，數(shù)據(jù)倉庫既保存過去的數(shù)據(jù)也保存當前的數(shù)據(jù)；數(shù)據(jù)倉庫的數(shù)據(jù)是大量數(shù)據(jù)庫的集成；對數(shù)據(jù)庫的操作比較明確，操作數(shù)量少。（第三章）廣義OLAP功能如何提高多維數(shù)據(jù)分析能力：絕對模型（靜態(tài)數(shù)據(jù)分析，通過比較歷史數(shù)據(jù)值或行為來描述過去發(fā)生的事實）該模型查詢比較簡單，綜合路徑是預先定義好的，用戶交互少；解釋模型（屬于靜態(tài)數(shù)據(jù)分析，分析人員利用系統(tǒng)已有的多層次的綜合路徑層層細化（進行向下鉆取操作），找出事實發(fā)生的原因）；思考模型（屬于動態(tài)數(shù)據(jù)分析，旨在說明在一維或多維上引入一組具體變量或參數(shù)后將會發(fā)生什么。）分析人員在引入確定的變量或公式關系時，須創(chuàng)建大量的綜合路徑；公式模型（它的動態(tài)分析能力更強，該模型表示在多個維上，需要引入那些變量或參數(shù)，以及引入后所產(chǎn)生的后果。）（第四章）概念模型的特點：能真實反映現(xiàn)實世界，能滿足用戶對數(shù)據(jù)的分析，達到?jīng)Q策支持的要求，它是現(xiàn)實世界的一個真實模型；易于理解，有利于和用戶交換意見，在用戶的參與下，能有效地完成數(shù)據(jù)倉庫的成功設計；易于更改，當用戶要求發(fā)生變化時，容易對概念模型進行修改和擴充；易于向數(shù)據(jù)倉庫的數(shù)據(jù)模型轉(zhuǎn)換。（第五章）數(shù)據(jù)倉庫增長的原因：數(shù)據(jù)倉庫收集歷史數(shù)據(jù)；數(shù)據(jù)倉庫包含滿足未知需求的數(shù)據(jù)收集；數(shù)據(jù)倉庫不僅有詳細數(shù)據(jù)，還有占數(shù)據(jù)存儲比例很大的匯總數(shù)據(jù)；數(shù)據(jù)倉庫包括外部數(shù)據(jù)，用來支持多種可預測的數(shù)據(jù)挖掘任務其他題型：（第一章）數(shù)據(jù)倉庫的定義與特點（選擇或判斷）數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、不同時間的數(shù)據(jù)集合，用于支持經(jīng)營管理中決策制定過程。特點：是面向主題的，集成的，穩(wěn)定的，是隨時間變化的，數(shù)據(jù)倉庫的數(shù)據(jù)量很大，數(shù)據(jù)倉庫軟硬件要求較高（需要一個巨大的硬件平臺，需要一個并行的數(shù)據(jù)庫系統(tǒng)）。（一章）OLAP與OLTP的區(qū)別：OLAP專門用于支持復雜的分析操作，側(cè)重對分析員和高層管理人員的決策支持，（基本思想是從決策者的多方面多角度以多維的形式還觀察企業(yè)的狀態(tài)和了解企業(yè)的變化）OLTP（是事務處理從單機到網(wǎng)絡環(huán)境的發(fā)展新階段。主要應用于銀行，航空，郵件訂單，超級市場和制造業(yè)的輸入數(shù)據(jù)和取回交易數(shù)據(jù)。）在于事務處理量大，應用要求多個并行處理，事務處理內(nèi)容比較簡單且重復率高。（第二章）數(shù)據(jù)倉庫結構的了解（圖）：數(shù)據(jù)倉庫是在原有關系型數(shù)據(jù)庫基礎上發(fā)展形成的但由于不同于數(shù)據(jù)庫系統(tǒng)的組織形式，它從原有的大量業(yè)務數(shù)據(jù)中獲得的數(shù)據(jù)，經(jīng)過轉(zhuǎn)換后形成當前基本數(shù)據(jù)層，它經(jīng)綜合后形成輕度綜合數(shù)據(jù)層，輕度綜合數(shù)據(jù)在經(jīng)過綜合形成高度綜合數(shù)據(jù)層，數(shù)據(jù)倉庫結構包括前基本數(shù)據(jù)，歷史基本數(shù)據(jù)，輕度綜合數(shù)據(jù)，高度綜合數(shù)據(jù)和元數(shù)據(jù)當前基本數(shù)據(jù)是最近時期的業(yè)務數(shù)據(jù)，是數(shù)據(jù)倉庫用戶最感興趣的部分，數(shù)據(jù)量大。當前基本數(shù)據(jù)隨著時間的推移，由數(shù)據(jù)倉庫的時間控制機制轉(zhuǎn)為歷史基本數(shù)據(jù)，一般被轉(zhuǎn)存于介質(zhì)中，如磁盤。輕度綜合數(shù)據(jù)是從當前基本數(shù)據(jù)中提取出來的，設計這層數(shù)據(jù)結構時會遇到綜合處理數(shù)據(jù)的時間段選取，綜合數(shù)據(jù)包含哪些數(shù)據(jù)屬性和內(nèi)容等問題。最高一層是綜合數(shù)據(jù)層，該層數(shù)據(jù)十分精煉，是一種準決策數(shù)據(jù)。粒度（選擇或判斷）：（粒子度與綜合）指數(shù)據(jù)倉庫的數(shù)據(jù)單元中保存數(shù)據(jù)的細化活綜合程度的級別，細化程度越詳細，粒度級就越低。粒度大綜合級別高，粒度小詳細級別高。在低粒度級上，紀錄詳細。高粒度級只需要少得多的字節(jié)存放數(shù)據(jù)，且只需要較少的索引項。數(shù)據(jù)存儲效率高。當提高數(shù)據(jù)力度時，數(shù)據(jù)所能回答查詢的能力降低。且小粒度的數(shù)據(jù)可以回答任何問題，但高粒度數(shù)據(jù)回答的問題具有宏觀性。

商希赭數(shù)據(jù)量差距糧大*例如，在慵粒度級（詳細數(shù)據(jù)，上,每狀電姑祁許綠之欽茶記錄.您共需要10000個字節(jié)*在高粒度敬綜含也#露3囂駕饋#"要莪少的索引呢隹"數(shù)據(jù)七囂：庫**嵩丈#*霽野郭好財依霹IX巖"疝岬能力將會圈之降低?而秘限度的鷺?測■至壽綜合婭八數(shù)據(jù)g產(chǎn)…*L一必*地項以回答的咐具有宏醐性。?粒度?數(shù)據(jù)綜合程度高低的一個度量?粒度越小，越細節(jié)，綜合程度越低，回答查詢種類越多，數(shù)據(jù)量大I性能低舞昏程度俺

閨春生前嘲親多

謚倨噌我

糧錐偶粽金程表為

國參戔詢辯圭步

瓠據(jù)唾小舞昏程度俺

閨春生前嘲親多

謚倨噌我

糧錐偶粽金程表為

國參戔詢辯圭步

瓠據(jù)唾小折打出的長金電j話平為次致？—KX淬的折打出的長金電j話平為次致？—KX淬的士職麥打電訝J糠&或第月1個記親，20。個字節(jié)每A200今記豪,40D00個字惦當提高數(shù)據(jù)粒度級時，數(shù)據(jù)所能回答查詢的能力就會隨之降低。換句話說,在一個很低的粒度級上，實際可以回答任何問題，但在高粒度級上,數(shù)據(jù)所能處理的問題的數(shù)量是有限的。元數(shù)據(jù)（選擇判斷，綜合分析）：在數(shù)據(jù)倉庫建設過程中產(chǎn)生的有關數(shù)據(jù)源定義、目標定義、轉(zhuǎn)換規(guī)則等關鍵數(shù)據(jù)，是定義數(shù)據(jù)倉庫對象的數(shù)據(jù)。包含的信息有：數(shù)據(jù)倉庫的目錄信息、數(shù)據(jù)從業(yè)務環(huán)境向數(shù)據(jù)倉庫環(huán)境轉(zhuǎn)換時的目錄內(nèi)容、指導從當前基本數(shù)據(jù)到輕度綜合數(shù)據(jù)的算法選擇、輕度綜合數(shù)據(jù)到高度綜合數(shù)據(jù)的綜合算法的選擇。（第三章）OLAP基本概念：變量：變量是數(shù)據(jù)的實際意義，即描述數(shù)據(jù)“是什么”。例如：銷售量、銷售額，……而具體數(shù)據(jù)（如“10000”）是變量的一個值維：維是人們觀察數(shù)據(jù)的特定角度。如產(chǎn)品維、顧客維、時間維，地理位維等。維的層次：數(shù)據(jù)的細節(jié)不同程度為維的層次。特定角度的不同細節(jié)程度，通常稱這描述的多個方面叫維的層次，一個微往往具有很多個層次，例如，描述時間維時，日期，季度，年，就是時間維的層次。城市，地區(qū)國家就地理維的層次。維成員：維的一個取值（稱為該維的一個成員）或不同維層次的取值的集合（對多層次情況）?例如：時間維：三個層次，日、月、年維成員：1999年5月20日?可以在某些層次上不取值，如1999年5月；5月20日；1999年?維成員是數(shù)據(jù)在該維上的位置描述例如：1999年5月20日銷售額表示銷售額數(shù)據(jù)在時間維上的位置（相當于時間軸上的某一點或某一區(qū)間）多維數(shù)組：一個多維數(shù)組可以表示為：（維1，維2， ，維n，變量）一個4維的結構，即（產(chǎn)品，地區(qū)，時間，銷售渠道，銷售額）。數(shù)據(jù)單元（單元格）：多維數(shù)組的取值。如：4維數(shù)據(jù)單元（牙膏，上海，1998年12月，批發(fā)，銷售額為100000）多維數(shù)據(jù)分析的基本操作（判斷選擇）01入?的目的是為決策管理人員通過一種靈活的多維數(shù)據(jù)分析手段，提供輔助決策信息?；镜亩嗑S數(shù)據(jù)分析操作包括切片、切塊、旋轉(zhuǎn)、鉆取等。（1）切片（slice）選定多維數(shù)組的一個二維子集的操作叫切片，即選定多維數(shù)組（維1，維2,…，維n，變量）中的兩個維，設為維i和維j，在這兩個維上取某一區(qū)間或任意維成員，而將其余的維都取定一個維成員，得到的就是多維數(shù)據(jù)在維i和維j上的一個二維子集，稱為多維數(shù)據(jù)在維i和維j上的一個切片，表示為（維i，維j，變量）。切片就是在某兩個維上取一定區(qū)間的維成員或全部成員，而在其余的維上選定一個維成員的操作。

分析動作之切片斗在村向尊入iljt*或I-1997JF1M-樗N峙間嬉上的切岸（詢區(qū)，"1997^114"-> ?<?；（2）切塊切塊有兩種情況：?在多維數(shù)組的某一個維上選定某一區(qū)間的維成員的操作。切塊可以看成是在切片的基礎上，確定某一個維成員的區(qū)間得到的片段，也即由多個切片疊合起來。?選定多維數(shù)組的一個三維子集的操作。在多維數(shù)組（維1，維2,……，維n，變量）中，選定3個維，維i、維j、維k，在這3個維上分別取一個區(qū)間或任意維成員，而其它維都取定一個維成員。

（下面2圖了解）?切塊,在給定數(shù)據(jù)立方體的兩個或多個維上執(zhí)行選擇,定義子方的操作稱為切塊操作。,例；涉及三個^的切塊.條件為：（地點=“南京”QR“北京M）AND｛時間=（1Qr,0R"Q2H）AND（類型蝦家庭娛樂”O(jiān)R“計算機”）（3）鉆?。╠rill）鉆取有向下鉆取（drilldown）和向上鉆?。╠rillup）操作。向下鉆取是使用戶在多層數(shù)據(jù)中能通過導航信息而獲得更多的細節(jié)性數(shù)據(jù)。向上鉆取獲取概括性的數(shù)據(jù)。（下面圖了解）?上卷通過一個雄的概念分層向上攀升或者通過維歸約，在數(shù)據(jù)立方體上進行聚集，稱為上卷操作，斜在地區(qū)維層次向上攀升.在中心數(shù)據(jù)立方體執(zhí)行上卷操作.（這個分層被定義為全序：縣〈城市〈州或省〈國家）?下鉆下鉆是上卷的逆操作，它由不太洋細的數(shù)據(jù)到更詳細的數(shù)據(jù).下鉆可以通過沿維的概念分層向下或引入新的維來實現(xiàn)。例；沿著天〈月〈季〈年定義的時間維的概念分層向下’在中心數(shù)據(jù)立方體執(zhí)行下鉆操作的結果中

（4）旋轉(zhuǎn)（pivot）通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。旋轉(zhuǎn)操作相當于平面數(shù)據(jù)將坐標軸旋轉(zhuǎn)。例如，旋轉(zhuǎn)可能包含了交換行和列，或是把某一個行維移到列維中去；或是把頁面顯示中的一個維和頁面外的維進行交換（令其成為新的行或列中的一個）改變一個頁面顯示的維方向的操作稱為旋轉(zhuǎn)（或轉(zhuǎn)軸）。

索引位圖索引非聚集索引rm位圖索引非聚集索引rm_1_"I1 -wk聚集索引?葉綃點是數(shù)據(jù)本身?在毒引上碼足唯?的，如果聚集索引不是唯-的索

引，系統(tǒng)坊添加在內(nèi)部生成的值以使直復的篋唯txti?葉結點包含

,?索引碼?到ftistr

的林筑?標識可以是?RID(File#,PageSlot#).哦的聚集It引碼?針對一些特殊的列建立索引?列中的每一個值對應一個向劇中的一位?向量的長度對應與記錄的條數(shù)?不適合列中值的個數(shù)太多的情況?查詢？SelectcustFromBaseTableWhereRegion=4Asia*andType='Dealer'：BltMapforRegion(Asia):10100BitMapforType(Dealer):01101?查詢結果：向量與操作：00100 位片索引(Bit-slicedIndex);?位片索引是將屬性列的域值按照某種方式進行垂宜分割，然后以一進制位圖的形式存儲SalesinbinaryfoiwSaie& inb)mQ,(onn Kbit4bir2bitlb)r投影索引(ProjectIndex) 。?按“列，，為單位存儲數(shù)據(jù)IM，MewMiuCUu iwt?ow (.Im*?投影索引在存儲數(shù)據(jù)的方式上與傳統(tǒng)的IRDBMS寤全不同.它不是以”記錄行”而是按計列為單位來存儲數(shù)據(jù)，即所謂的"對數(shù)據(jù)進行垂直分割，?--般的DSS查詢往往僅涉及大魅數(shù)據(jù)記錄中的少數(shù)列，因而不需訪問原始數(shù)據(jù)就能快速獲得查詢結果。顯然，利用這些不同取值也就能快速地進行數(shù)據(jù)聚集、分組、求最大值、最小仇及平均值等.數(shù)據(jù)分析模型分為四類：絕對模型(categoricalmodel)屬于靜態(tài)數(shù)據(jù)分析，通過比較歷史數(shù)據(jù)值或行為來描述過去發(fā)生的事實。解釋模型(exegeticalmodel)屬于靜態(tài)數(shù)據(jù)分析，利用系統(tǒng)已有的多層次的綜合路徑層層細化，找出事實發(fā)生的原因。思考模型(contemplativemodel)屬于動態(tài)數(shù)據(jù)分析，說明在一維或多維上引入一組具體變量或參數(shù)后將會發(fā)生什么。公式模型(formulaicmodel)公式模型的動態(tài)數(shù)據(jù)分析能力很高，它表示在多個維上，需要引入哪些變量或參數(shù)，以及引入后所產(chǎn)生的結果。休眠數(shù)據(jù)：休眠數(shù)據(jù)是那些存在于數(shù)據(jù)倉庫中當前不使用，將來也很少使用或不使用的數(shù)據(jù)。限數(shù)據(jù)倉庫的數(shù)據(jù)量為口數(shù)據(jù)處理次數(shù)為m平均每次處理數(shù)據(jù)的字節(jié)數(shù)為M則一年中數(shù)據(jù)處理的總數(shù)據(jù)量為；nxd,在各次數(shù)據(jù)處理禎程中，可能會出現(xiàn)數(shù)據(jù)的重I復使用，我們用系數(shù)日表示為；'1：群宇逢旺逮硝雇籟冷u=.0＞史果平赤沃藐簇涕韭-翼&、登9:野妃錢牡否僵福-眺貝mo曜a耘為:pI】=匚-廿：■=乃：■=冬*偷曝據(jù)腳倉庫頓據(jù)的比例稼卻樨婚R，用割耘為:氐二二j壬」隨著時間的推移，數(shù)據(jù)傾向于兩種狀態(tài)之一，頻繁被使用的活動數(shù)據(jù)（每個月2?3次）和很少被使用的休眠數(shù)據(jù)（每年不到0.5次）（第六章）知識發(fā)現(xiàn)（KDD）是從數(shù)據(jù)中發(fā)現(xiàn)有用知識的整個過程。它是從大量數(shù)據(jù)中提取出可信的、新穎的、有用的并能被人理解的模式的高級處理過程。KDD過程可