數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘

1、-、數(shù)據(jù)倉(cāng)庫(kù)的特征：(1)面向主題性主題：是一個(gè)抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類(lèi)并進(jìn)行分析利用的抽象。在邏輯上，它對(duì)應(yīng)于企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對(duì)象。面向主題的數(shù)據(jù)組織方式可在較高層次上對(duì)分析對(duì)象的數(shù)據(jù)給出完整、一致的描述,能完整、統(tǒng)一的刻畫(huà)各個(gè)分析對(duì)象所涉及的企業(yè)的各項(xiàng)數(shù)據(jù)以及數(shù)據(jù)之間的聯(lián)系，從而適應(yīng)企業(yè)各個(gè)部門(mén)的業(yè)務(wù)活動(dòng)特點(diǎn)和企業(yè)數(shù)據(jù)的動(dòng)態(tài)特征，從根本上實(shí)現(xiàn)數(shù)據(jù)與應(yīng)用的分離。(2)集成性數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是從原有分散的源數(shù)據(jù)庫(kù)中提取出來(lái)的，其每一個(gè)主題所對(duì)應(yīng)的源數(shù)據(jù)在原有的數(shù)據(jù)庫(kù)中有許多冗余和不一致，且與不同的應(yīng)用邏輯相關(guān)。為了創(chuàng)建一個(gè)有效的主題域，必須將

2、這些來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)集成起來(lái)，使之遵循統(tǒng)一的編碼規(guī)則。因此，數(shù)據(jù)倉(cāng)庫(kù)在提取數(shù)據(jù)時(shí)必須經(jīng)過(guò)數(shù)據(jù)集成，消除源數(shù)據(jù)中的矛盾，并進(jìn)行數(shù)據(jù)綜合和計(jì)算。經(jīng)過(guò)數(shù)據(jù)集成后，數(shù)據(jù)倉(cāng)庫(kù)所提供的信息比數(shù)據(jù)庫(kù)提供的信息更概括、更本質(zhì)。(3)時(shí)變性時(shí)變性：許多商業(yè)分析要求對(duì)發(fā)展趨勢(shì)做出預(yù)測(cè)，對(duì)發(fā)展趨勢(shì)的分析需要訪問(wèn)歷史數(shù)據(jù)。因此數(shù)據(jù)倉(cāng)庫(kù)必須不斷捕捉OLTP數(shù)據(jù)庫(kù)中變化的數(shù)據(jù)，生成數(shù)據(jù)庫(kù)的快照，經(jīng)集成后增加到數(shù)據(jù)倉(cāng)庫(kù)中去；另外數(shù)據(jù)倉(cāng)庫(kù)還需要隨時(shí)間的變化刪去過(guò)期的、對(duì)分析沒(méi)有幫助的數(shù)據(jù)，并且還需要按規(guī)定的時(shí)間段增加綜合數(shù)據(jù)。(4)非易失性數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)反映的是一段時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容，是不同時(shí)點(diǎn)的數(shù)據(jù)庫(kù)快照的集合，以

3、及基于撰寫(xiě)快照進(jìn)行統(tǒng)計(jì)、綜合和重組的導(dǎo)出數(shù)據(jù)，而不是聯(lián)機(jī)處理的數(shù)據(jù)。主要供企業(yè)高層決策分析之用，所涉及的數(shù)據(jù)操作主要是查詢(xún)，一般情況下并不進(jìn)行修改操作，即數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是不可實(shí)時(shí)更新的，僅當(dāng)超過(guò)規(guī)定的存儲(chǔ)期限，才將其從數(shù)據(jù)倉(cāng)庫(kù)中刪除，提取新的數(shù)據(jù)經(jīng)集成后輸入數(shù)據(jù)倉(cāng)庫(kù)(5)集合性數(shù)據(jù)倉(cāng)庫(kù)的集合性意味著數(shù)據(jù)倉(cāng)庫(kù)以某種數(shù)據(jù)集合的形式存儲(chǔ)起來(lái)。二、KDD過(guò)程中的數(shù)據(jù)準(zhǔn)備中的三個(gè)子步驟：(1)數(shù)據(jù)集成將多文件或多數(shù)據(jù)庫(kù)運(yùn)行環(huán)境中的數(shù)據(jù)進(jìn)行合并處理，解決語(yǔ)義模糊性、處理數(shù)據(jù)中的遺漏和清洗臟數(shù)據(jù)等。(2)數(shù)據(jù)選擇數(shù)據(jù)選取的目的是確定目標(biāo)數(shù)據(jù)，根據(jù)用戶(hù)的需要從原始數(shù)據(jù)庫(kù)中選取相關(guān)數(shù)據(jù)或樣本。在此過(guò)程中，將利

4、用一些數(shù)據(jù)庫(kù)操作對(duì)數(shù)據(jù)庫(kù)進(jìn)行相關(guān)處理。(3)數(shù)據(jù)預(yù)處理對(duì)步驟2中選出的數(shù)據(jù)進(jìn)行再處理，檢查數(shù)據(jù)的完整性及一致性，消除噪聲及與數(shù)據(jù)挖掘無(wú)關(guān)的冗余數(shù)據(jù)，根據(jù)時(shí)間序列和已知的變化情況，利用統(tǒng)計(jì)等方法填充丟失的數(shù)據(jù)。三、KDD過(guò)程中的“結(jié)果的解釋和評(píng)估”步驟說(shuō)明：對(duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式(知識(shí))進(jìn)行解釋。通過(guò)機(jī)器評(píng)估剔除冗余或無(wú)關(guān)模式，若模式不滿(mǎn)足，再返回到前面某些處理步驟中反復(fù)提取。將發(fā)現(xiàn)的知識(shí)以用戶(hù)能了解的方式呈現(xiàn)給用戶(hù)。其中也包括對(duì)知識(shí)一致性的檢查，以確信本次發(fā)現(xiàn)的知識(shí)不會(huì)與以前發(fā)現(xiàn)的知識(shí)相抵觸四、數(shù)據(jù)挖掘的任務(wù)之一“關(guān)聯(lián)分析”相關(guān)內(nèi)容？關(guān)聯(lián)規(guī)則反映一個(gè)事物與其它事物之間的相互依存性和關(guān)聯(lián)性

5、，如果兩個(gè)事物或者多個(gè)事物之間存在一定的關(guān)聯(lián)關(guān)系，那么其中一個(gè)事物就能夠通過(guò)其他事物預(yù)測(cè)到。人們希望在海量的商業(yè)交易記錄中發(fā)現(xiàn)感興趣的數(shù)據(jù)關(guān)聯(lián)關(guān)系，用以幫助商家作出決策。例如：面包2%牛奶1.5%（占超市交易總數(shù)）2%和1.5%表明這兩種商品在超市經(jīng)營(yíng)中的重要程度，稱(chēng)為支持度。商家關(guān)注高支持度的產(chǎn)品。面包=>牛奶60%在購(gòu)買(mǎi)面包的交易中，有60%的交易既買(mǎi)了面包又買(mǎi)了牛奶，成60%為規(guī)則面包=牛奶”的信任度。信任度反映了商品間的關(guān)聯(lián)程度五、數(shù)據(jù)挖掘的任務(wù)之一“聚類(lèi)”相關(guān)內(nèi)容？聚類(lèi)是對(duì)物理的或抽象的對(duì)象集合分組的過(guò)程。聚類(lèi)生成的組為簇，簇是數(shù)據(jù)對(duì)象的集合。簇內(nèi)部任意兩個(gè)對(duì)象之間具有較高的相

6、似度，而屬于不同簇的兩個(gè)對(duì)象間具有較高的相異度。相異度可以根據(jù)描述對(duì)象的屬性值計(jì)算，對(duì)象間的距離是最常采用的度量指標(biāo)。在實(shí)際應(yīng)用中，經(jīng)常將一個(gè)簇中的數(shù)據(jù)對(duì)象作為一個(gè)整體看待。用聚類(lèi)生成的簇來(lái)表達(dá)數(shù)據(jù)集不可避免地會(huì)損失一些信息，但卻可以使問(wèn)題得到必要的簡(jiǎn)化。主要的數(shù)據(jù)挖掘聚類(lèi)方法有：劃分的方法、層次的方法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法六、數(shù)據(jù)挖掘的任務(wù)之一“分類(lèi)”相關(guān)內(nèi)容？分類(lèi)的目的是提出一個(gè)分類(lèi)函數(shù)或分類(lèi)模型（即分類(lèi)器）通過(guò)分類(lèi)器將數(shù)據(jù)對(duì)象映射到某一個(gè)給定的類(lèi)別中。數(shù)據(jù)分類(lèi)可以分為兩步進(jìn)行。第一步建立模型，用于描述給定的數(shù)據(jù)集合。通過(guò)分析由屬性描述的數(shù)據(jù)集合來(lái)建立反映數(shù)據(jù)集合

7、特性的模型。第二步是用模型對(duì)數(shù)據(jù)對(duì)象進(jìn)行分類(lèi)。七、數(shù)據(jù)挖掘中的歸納學(xué)習(xí)方法中的“遺傳算法”相關(guān)內(nèi)容遺傳算法遺傳算法是進(jìn)化計(jì)算的一種，體現(xiàn)生物進(jìn)化的四個(gè)要素：繁殖、變異、競(jìng)爭(zhēng)和自然選擇遺傳算法的聚類(lèi)思想：數(shù)據(jù)空間、編碼、個(gè)體（染色體）、適應(yīng)值函數(shù)、交叉、變異、選擇（自然選擇）。重復(fù)以上步驟，直到種群不再進(jìn)化或找到目標(biāo)為止。八、數(shù)據(jù)挖掘中的公式發(fā)現(xiàn)中的“BACON系統(tǒng)”相關(guān)內(nèi)容（1） BACON系統(tǒng)的基本思想BACON系統(tǒng)是運(yùn)用人工智能技術(shù)從試驗(yàn)數(shù)據(jù)中尋找規(guī)律性比較成功的一個(gè)系統(tǒng)，其思想是讓程序反復(fù)地考察數(shù)據(jù)并使用精煉算子創(chuàng)造新項(xiàng)，直到創(chuàng)造的這些項(xiàng)中有一個(gè)是常數(shù)時(shí)為止。該系統(tǒng)運(yùn)用的是數(shù)據(jù)驅(qū)動(dòng)方法，

8、這種方法使用的規(guī)則空間與假設(shè)空間是分開(kāi)的。這類(lèi)學(xué)習(xí)方法的大致步驟為：步驟1:手集某些訓(xùn)練例。步驟2:對(duì)訓(xùn)練例進(jìn)行分析，決定應(yīng)該使用的精煉算子。步驟3:使用選出的算子修改當(dāng)前的假設(shè)空間。重復(fù)執(zhí)行步驟1到步驟3直到取得滿(mǎn)意的假設(shè)為止。BACON系統(tǒng)中所采用的主要精煉算子如下：A.發(fā)現(xiàn)常數(shù)B.具體化C.斜率和截距的產(chǎn)生D.積的產(chǎn)生E.商的產(chǎn)生F指In的項(xiàng)的產(chǎn)生（2） BACON系統(tǒng)的功能和應(yīng)用BACON系統(tǒng)是用產(chǎn)生式語(yǔ)言O(shè)PS實(shí)現(xiàn)的。這個(gè)任務(wù)產(chǎn)生式系統(tǒng)的優(yōu)點(diǎn)是它允許人們寫(xiě)一套小型的一般規(guī)律發(fā)現(xiàn)程序。這些程序在收集的數(shù)據(jù)上進(jìn)行搜索，同時(shí)，這些數(shù)據(jù)仍存放在工作存儲(chǔ)器中。如果數(shù)據(jù)中出現(xiàn)所說(shuō)的一種規(guī)律性，它

9、就會(huì)觸發(fā)某個(gè)算子，執(zhí)行適當(dāng)?shù)膭?dòng)作：Casel如果規(guī)律性保持不變，就在有關(guān)范圍內(nèi)(時(shí)間、物體)進(jìn)行一般化并檢驗(yàn)。Case2如果在某時(shí)間間隔上屬性值一致地增加或減少，則構(gòu)造一個(gè)新屬性，該屬性是借助隨時(shí)間變化的舊屬性而定義的(例如加速度是由速度構(gòu)造的)，并且進(jìn)一步研究這個(gè)新屬性。Case3如果一個(gè)屬性值隨著另一個(gè)上升，則要考慮新屬性為它們的乘積。最后，構(gòu)造和發(fā)現(xiàn)一個(gè)這樣的高級(jí)屬性，它用到程序員在自定義規(guī)律中提到的新屬性，并以它的值為常數(shù)，這是BAXIN系統(tǒng)的變體九、數(shù)據(jù)挖掘中的公式發(fā)現(xiàn)中的“FDD系統(tǒng)”相關(guān)內(nèi)容FDD系統(tǒng)是一個(gè)基于實(shí)驗(yàn)數(shù)據(jù)庫(kù)的經(jīng)驗(yàn)公式發(fā)現(xiàn)系統(tǒng)。FDD系統(tǒng)運(yùn)用了人工智能中的啟發(fā)式方法和數(shù)據(jù)處理中的曲線擬合技術(shù)，通過(guò)對(duì)所提供原型之間的線性組合和一定程度的復(fù)合不斷逼近實(shí)驗(yàn)數(shù)據(jù)，最終得到蘊(yùn)藏在大量實(shí)驗(yàn)數(shù)據(jù)中的經(jīng)驗(yàn)公式。其基本思路是：步驟1:固定變量X2,對(duì)X1進(jìn)行學(xué)習(xí)，即在現(xiàn)有原型基礎(chǔ)上，依次對(duì)所提配，用最小二乘法求出a,b系數(shù)，若某一原型經(jīng)線性組合后與實(shí)驗(yàn)數(shù)據(jù)的相對(duì)誤差小于一給定或值，則學(xué)習(xí)成功，否則轉(zhuǎn)步驟2。步驟2:在