知識發(fā)現(xiàn)與數(shù)據(jù)挖掘

處京理xxf知識發(fā)現(xiàn)理論與應用研究知識發(fā)現(xiàn)理論與應用研究摘要:知識發(fā)現(xiàn)方法極方便了用戶從海量數(shù)據(jù)中提取出有用的知識。本文首先介紹了知識發(fā)現(xiàn)模型處理數(shù)據(jù)的過程。其次，數(shù)據(jù)挖掘是知識發(fā)現(xiàn)的關鍵步驟，對分類技術、關聯(lián)分析技術和聚類技術三類數(shù)據(jù)挖掘技術進展了詳細概述。最后，結合作者目前研究方向，以個性化知識效勞技術和設計理性模型知識挖掘過程為例，對涉與到的知識發(fā)現(xiàn)技術進展了分析。關鍵詞：知識發(fā)現(xiàn)數(shù)據(jù)挖掘分類關聯(lián)分析聚類ResearchofTheoryandApplicationofKnowledge

DiscoveryAbstract:Ithasbeenmucheasierforuserstoextractusefulknowledgefromthemassivedatawithknowledgediscoverymethods.First,theknowledgediscoverymodeldataprocessisintroducedinthispaper.Second,dataminingisakeystepinknowledgediscovery.Theclassificationtechniques,associationanalysistechniquesandclusteringtechniquesaresummarizedindetail.Atlast,basedonthecurrentresearchdirection,thepersonalizedknowledgeservicetechnologyanddesignrationalknowledgemodelminingprocessaretakenasexamplestoanalyzetherelatedknowledgediscoverytechniques.Keywords:Knowledgediscovery;Datamining;Classification;Associationanalysis;Clustering1前言隨著云計算、云制造、物聯(lián)網(wǎng)、大數(shù)據(jù)等信息技術的迅速開展以與企業(yè)信息化建立的不斷推進，企業(yè)在全生命周期業(yè)務活動中產(chǎn)生的數(shù)據(jù)增長迅速，種類繁多、數(shù)量巨大［1］。例如，記錄企業(yè)銷售和運轉的詳細情況的數(shù)據(jù)［2］，地球軌道衛(wèi)星發(fā)送回地球的高分辨率圖像和遙感數(shù)據(jù)［3］，以與基因組實驗對越來越多的有機體產(chǎn)生的序列、結構和技能數(shù)據(jù)等［4］。未來學家約翰?奈比斯特指出：“人類正被數(shù)據(jù)淹沒，卻饑渴于信息〃。從浩瀚無際的數(shù)據(jù)海洋中發(fā)現(xiàn)潛在的、有價值的知識，是這個大數(shù)據(jù)時代的一個標志性工作［5］。然而，雖然各行業(yè)擁有大量的數(shù)據(jù)，但仍缺乏有用的知識。由于這些海量數(shù)據(jù)十分復雜，且具有不完整、高維、異種、模糊和隨機等非傳統(tǒng)特點［6］，無法使用傳統(tǒng)的數(shù)據(jù)分析工具和技術進展處理。為了解決這個問題，F(xiàn)ayyad于1989年首次提出知識發(fā)現(xiàn)〔KnowledgeDiscoveryinData,KDD〕的概念［7］,它是指從數(shù)據(jù)集中提取可信的、新穎的、具有潛在使用價值的能夠被人類所理解的模式的非繁瑣的處理過程。本文介紹了知識發(fā)現(xiàn)模型對數(shù)據(jù)的處理過程，并對知識發(fā)現(xiàn)的關鍵步驟——數(shù)據(jù)挖掘技術進展了詳細概述。在以上理論的根底上，結合實際研究，以個性化知識效勞技術和設計理性模型知識挖掘過程為例，對涉與到的知識發(fā)現(xiàn)的關鍵技術進展了分析。知識發(fā)現(xiàn)經(jīng)典KDD處理模型又稱階梯處理模型，是Fayyad等人提出的具有九個步驟的階梯遞進的KDD處理模型，如圖1所示，這九個步驟分別如下⑻?！?〕數(shù)據(jù)準備：了解應用領域的相關情況，熟悉相關背景知識，確定用戶的需求?！?〕數(shù)據(jù)選擇：根據(jù)用戶的要求從數(shù)據(jù)庫中提取出與KDD相關的數(shù)據(jù)，KDD將主要從這些數(shù)據(jù)中進展知識提取，在此過程中，會利用一些數(shù)據(jù)庫操作對數(shù)據(jù)進展處理。〔3〕數(shù)據(jù)預處理：對從數(shù)據(jù)庫中提取的數(shù)據(jù)進展清洗，檢查數(shù)據(jù)的完整性與數(shù)據(jù)的一致性，對其中的噪聲數(shù)據(jù)、缺失數(shù)據(jù)進展處理。對噪聲數(shù)據(jù)通常要解決的問題包括如何發(fā)現(xiàn)和處理重復記錄和錯誤的屬性值，對數(shù)據(jù)采取什么樣的數(shù)據(jù)平滑工作，以與如何發(fā)現(xiàn)和處理孤立點?！?〕數(shù)據(jù)縮減：經(jīng)過預處理的數(shù)據(jù)，根據(jù)知識發(fā)現(xiàn)的任務對數(shù)據(jù)進展再處理，主要通過投影或數(shù)據(jù)庫中的其他操作減少數(shù)據(jù)量?！?〕確定KDD的目標：根據(jù)用戶的要求，確定KDD是發(fā)現(xiàn)何種類型的知識，因為對KDD的不同要求會在具體的知識發(fā)現(xiàn)過程中采用不同的知識發(fā)現(xiàn)算法?！?〕確定知識發(fā)現(xiàn)算法：在確定KDD目標后，根據(jù)這個目標選擇適宜的知識發(fā)現(xiàn)算法，包括選擇適宜的模型和參數(shù)，并使得知識發(fā)現(xiàn)算法與整個KDD的評價標準相一致。〔7〕數(shù)據(jù)挖掘：運用選定的知識發(fā)現(xiàn)算法，從數(shù)據(jù)中提取出用戶所需要的知識，這些知識可以用一種特定的方式表示或使用一些常用的表示方法，如決策樹、產(chǎn)生式規(guī)那么或回歸方程等?！?〕模式解釋：對發(fā)現(xiàn)的模式進展解釋。在此過程中，為了取得更為有效的知識，可能會返回到前面的處理步驟中反復進展前面的KDD過程，從而提取出更有效的知識?！?〕知識評價：將發(fā)現(xiàn)的知識以用戶能理解的方式呈現(xiàn)給用戶，同時對所發(fā)現(xiàn)的知識進展檢驗和評估。KDD是一個交互的、迭代的、多步驟處理過程。一次KDD并不定得到理想結果，因此KDD是一個目標和數(shù)據(jù)不斷優(yōu)化的過程?？梢栽诋斍斑x擇的知識算法不變的情況下，對學習參數(shù)進展調整，并重新訓練和評價，直到到達滿意的結構為止。也可以選擇其他知識發(fā)現(xiàn)算法，對同一個數(shù)據(jù)集進展實驗，比照實驗經(jīng)過，找到最適宜的知識表示方法和挖掘算法。在以上過程中，還可以強調專家和用戶的作用，提供應他們參與和支持KDD過程的時機。數(shù)據(jù)挖掘數(shù)據(jù)挖掘是知識發(fā)現(xiàn)過程中最關鍵的步驟，也是技術難點所在。數(shù)據(jù)挖掘是人工智能的一個應用領域，是利用一種或多種計算機學習技術，從數(shù)據(jù)中自動分析并提取信息的處理過程。研究知識發(fā)現(xiàn)的人員局部都在研究數(shù)據(jù)挖掘技術，采用較多的技術有決策樹、分類、聚類、粗糙集、關聯(lián)規(guī)那么、神經(jīng)網(wǎng)絡、遺傳算法等。數(shù)據(jù)挖掘根據(jù)知識發(fā)現(xiàn)的目標，選取相應算法的參數(shù)，分析數(shù)據(jù)，得到可能形成知識的模式模型。數(shù)據(jù)挖掘是知識發(fā)現(xiàn)最核心的局部，是采用機器學習、統(tǒng)計等方法進展知識學習的階段。數(shù)據(jù)挖掘算法的好壞將直接影響到所發(fā)現(xiàn)知識的好壞。目前大多數(shù)的研究都集中在數(shù)據(jù)挖掘算法和應用上。人們往往不嚴格區(qū)分數(shù)據(jù)挖掘和數(shù)據(jù)庫中的知識發(fā)現(xiàn)，把兩者混淆使用。一般在科研領域中稱為KDD,而在工程領域那么稱為數(shù)據(jù)挖掘。通過對文獻研究總結發(fā)現(xiàn)，數(shù)據(jù)挖掘任務可以劃分為三個大類，包括有指導的分類技術，關聯(lián)分析和無指導的聚類分析技術［9］。分類技術分類是指是通過有指導的學習訓練建立分類模型，使用模型對未知分類的實例進展分類。分類技術主要有：〔1〕決策樹分類：決策樹是數(shù)據(jù)挖掘中最常用的一種分類和預測技術，使用其可建立分類和預測模型。決策樹模型是一個樹狀結構，樹中每個節(jié)點表示分析對象的某個屬性，每個分支表示這個屬性的某個可能的取值，每個葉節(jié)點表示經(jīng)歷從根節(jié)點到該葉節(jié)點這條路徑上的對象的值。模型通過樹中的各個分支對對象進展分裂，葉節(jié)點表示的對象值表達了決策樹分類的結果。決策樹僅有一個輸出，假設需要多個輸出，可以建立多棵獨立的決策樹以處理不同輸出?！?〕基于規(guī)那么的分類：基于規(guī)那么的分類使用一組if…then規(guī)那么來分類記錄的技術。算法思想：先從訓練集生成規(guī)那么集合，規(guī)那么是使用合取條件表示的，如規(guī)那么R：〔條件i〕->yi,其中R是如下形式：R：〔胎生=否〕"〔飛行動物=是〕-〉鳥類；其中左邊稱為規(guī)那么前件或前提；規(guī)那么右邊稱為規(guī)那么后件。如果規(guī)那么R的前件和記錄x的屬性匹配，那么稱R覆蓋x。當R覆蓋給定的記錄時，稱R被激發(fā)或被觸發(fā)。建立規(guī)那么集合后，就進展分類。對每個待分類的記錄和規(guī)那么集合中的每條規(guī)那么進展比擬，如果某條規(guī)那么被觸發(fā)，該記錄就被分類了?！?〕最近鄰(kNN,k-NearestNeighbor):所謂K最近鄰，就是k個最近的鄰居的意思，說的是每個樣本都可以用它最接近的k個鄰居來代表。kNN算法的核心思想是如果一個樣本在特征空間中的k個最相鄰的樣本中的大多數(shù)屬于某一個類別，那么該樣本也屬于這個類別，并具有這個類別上樣本的特性。該方法在確定分類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。kNN方法在類別決策時，只與極少量的相鄰樣本有關。由于kNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的穿插或重疊較多的待分樣本集來說，kNN方法較其他方法更為適合?！?〕貝葉斯分類：貝葉斯分類器的分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。也就是說，貝葉斯分類器是最小錯誤率意義上的優(yōu)化?！?〕人工神經(jīng)網(wǎng)絡：神經(jīng)網(wǎng)絡領域最早是由心理學家和神經(jīng)學家開創(chuàng)的，旨在開發(fā)和測試神經(jīng)的計算機模擬。粗略地說，神經(jīng)網(wǎng)絡是一組連接的輸入/輸出單元，其中每個連接都與一個權重相關聯(lián)。在學習階段，通過調整這些權重，能夠預測輸入元組的正確類標號。由于單元之間的連接，神經(jīng)網(wǎng)絡學習又稱連接者學習〔ConnectionistLearning〕。神經(jīng)網(wǎng)絡需要很長的訓練時間，對于有足夠長訓練時間的應用更為適宜。需要大量的參數(shù)，通常主要靠經(jīng)歷確定，如網(wǎng)絡拓撲結構。神經(jīng)網(wǎng)絡常常因為可解釋性差而受到批評。例如，人們很難解釋網(wǎng)絡中學習的權重和“隱含單元〞的符號意義。然而，神經(jīng)網(wǎng)絡的優(yōu)點包括其對噪聲數(shù)據(jù)的高承受能力，以與對未經(jīng)訓練的數(shù)據(jù)模式分類能力。在缺乏屬性和類之間的聯(lián)系的知識時可以使用它們。不像大局部決策樹算法，它們非常適合連續(xù)值的輸入和輸出。神經(jīng)網(wǎng)絡算法是固有并行的，可以使用并行技術來加快計算過程?！?〕支持向量機：它可以很好的應用于高維數(shù)據(jù)，防止了高維災難問題，它使用訓練實例的一個子集來表示決策邊界，該子集稱作支持向量oSVM尋找具有最大邊緣的超平面〔比那些較小的決策邊界具有更好的泛化誤差〕，因此也經(jīng)常稱為最大邊緣分類器。分類思想：〔1〕在線性可分的情況下就是要學習〔找〕到這個最大邊緣的決策邊界〔通過線性規(guī)劃或拉格朗日乘子來求得〕，當然也允許有一定的誤差〔可以有少量的結點分在了它不該在的類，但只要在能夠容忍的圍就行〕，然后利用這個最大邊緣的決策邊界來分類，結果落在一邊的為一類，在另一邊的為另一類；〔2〕在線性不可分的情況下，將原來的數(shù)據(jù)從原先的坐標空間X轉換到一個新的坐標空間中，從而可以在變換后的坐標空間中使用一個線性的決策邊界來劃分樣本的類標號〔主要技術包括：非線性變換、核技術和Mercer定理〕3.2關聯(lián)分析技術關聯(lián)分析是指發(fā)現(xiàn)實物之間關聯(lián)關系的分類過程，其典型應用就是購物籃分析。關聯(lián)分析是一種關聯(lián)規(guī)那么挖掘技術，用于發(fā)現(xiàn)數(shù)據(jù)中屬性之間的有價值的聯(lián)系。現(xiàn)實中，這樣的例子很多。例如超級市場利用前端收款機收集存儲了大量的售貨數(shù)據(jù)，這些數(shù)據(jù)是一條條的購置事務記錄，每條記錄存儲了事務處理時間，顧客購置的物品、物品的數(shù)量與金額等。這些數(shù)據(jù)中常常隱含形式如下的關聯(lián)規(guī)那么：在購置鐵錘的顧客當中，有70％的人同時購置了鐵釘。這些關聯(lián)規(guī)那么很有價值，商場管理人員可以根據(jù)這些關聯(lián)規(guī)那么更好地規(guī)劃商場，如把鐵錘和鐵釘這樣的商品擺放在一起，能夠促進銷售。關聯(lián)分析主要采用Aprioro技術。Apriori算法是一種最有影響的挖掘布爾關聯(lián)規(guī)那么頻繁項集的算法。其核心是基于兩階段頻集思想的遞推算法。該關聯(lián)規(guī)那么在分類上屬于單維、單層、布爾關聯(lián)規(guī)那么。在這里，所有支持度大于最小支持度的項集稱為頻繁項集，簡稱頻集。該算法的根本思想是：首先找出所有的頻集，這些項集出現(xiàn)的頻繁性至少和預定義的最小支持度一樣。然后由頻集產(chǎn)生強關聯(lián)規(guī)那么，這些規(guī)那么必須滿足最小支持度和最小可信度。然后使用第1步找到的頻集產(chǎn)生期望的規(guī)那么，產(chǎn)生只包含集合的項的所有規(guī)那么，其中每一條規(guī)那么的右部只有一項，這里采用的是中規(guī)那么的定義。一旦這些規(guī)那么被生成，那么只有那些大于用戶給定的最小可信度的規(guī)那么才被留下來。為了生成所有頻集，使用了遞推的方法。3.3聚類技術聚類是一種無指導的學習，在學習訓練前，沒有預先定義好的分類，數(shù)據(jù)實例是按照某種相似性度量方法，計算實例之間的相似程度，將最為相似的實例聚類在一個組——簇中，在解釋和理解每個簇的含義，從而發(fā)現(xiàn)聚類的意義。聚類技術主要有：〔1〕K-means算法：隨機選擇一個K值，用以確定簇的總數(shù)；在數(shù)據(jù)集中任意選擇K個實例，將它們作為初始的簇中心；計算這K個簇中心與其他剩余實例的簡單歐氏距離，用這個距離作為實例之間相似度的測量，將與某個簇相似度高的實例劃分到該簇中，成為其成員之一；使用每個簇中的實例來計算該簇新的簇中心；如果計算得到新的簇中心等于上次迭代的簇中心，終止算法過程，否那么，用新的簇中心作為簇中心并重復步驟3-5?！?〕凝聚聚類：開場時，將每個數(shù)據(jù)實例放在不同的分類中；直到所有的實例都成為某個簇的一局部；確定兩個最相似簇；將上一步選中的簇合并為一個簇；選擇一個由步驟2迭代形成的簇作為最后結果?！?〕Cobweb算法：建立一個簇，使用第一個實例作為它唯一的成員；對于每個剩余案例，用一個評價函數(shù)決定選擇一以下兩個動作之一執(zhí)行：將新實例放到一個已存在的簇中；創(chuàng)立一個只具有這個新實例的新概念簇。實例分析為了更好地理解從大量數(shù)據(jù)中進展知識發(fā)現(xiàn)的過程，結合作者研究，以個性化知識效勞技術和設計理性模型知識挖掘過程為例，分析其中涉與到的知識發(fā)現(xiàn)思想和技術。基于用戶行為感知的個性化知識效勞[10]基于用戶行為感知的個性化知識效勞技術實際上是從大量數(shù)據(jù)中推送有用的知識給用戶。目前，云制造技術的推廣應用已經(jīng)取得了一定進展，但是，對個性化效勞模式的研究較

少，平臺用戶在海量數(shù)據(jù)中難以獲取所需資源，效勞提供者缺乏對效勞需求者的了解，難以有針對性地提供效勞，平臺運營商難以了解用戶的隱形需求，從而導致資源利用率不高?！?〕用戶行為分類：為了全面獲取用戶的知識需求，通過用戶根本信息、用戶行為信息、用戶效勞信息三個層次建立系統(tǒng)用戶模型。用戶模型信息中的用戶根本信息和用戶效勞信息存儲在數(shù)據(jù)庫表中，可以通過直接讀取相關數(shù)據(jù)庫表獲取相應的知識需求概念術語，例如效勞的關鍵詞、功能描述、用戶的專業(yè)、部門等信息，可以通過本體查找和語義擴展來獲取用戶知識需求?！?〕用戶行為評價：為了給用戶提供自身迫切需要且高質量的知識資源，本文提出知識需求度的概念，用以描述用戶對知識資源的需求程度。知識需求度包括知識關注度和知識價值度。知識關注度從用戶對知識的操作行為的角度描述，通過統(tǒng)計分析用戶對知識的評分、評論、收藏、訂閱和問答等隱性行為，反映了用戶對知識資源的關注程度。知識價值度通過用戶主觀評價知識資源的價值來反映知識質量的上下，從知識資源的有效性、相關性、創(chuàng)新性和可讀性四個方面進展評分。基于本體的個性化知識效勞流程如圖2：輸入：用戶個性化需求；輸出：知識效勞資源。算法處理步驟如下：步驟1：判斷是否是主動效勞，如果是那么轉步驟2,否那么根據(jù)用戶的輸入需求，進圖2基于本體的個性化知識效勞流程步驟2：在用戶模型中進展信息行為過濾，并對過濾后的詞集進展語義擴展。步驟3：基于擴展詞集進展知識資源檢索，并計算每個知識資源的用戶需求度。步驟4：判斷知識資源是否大于設定閾值，如果是那么對知識資源進展排序，并進展下一步，否那么完畢程序，不輸出知識資源。步驟5：輸出前N個知識資源，完畢。設計理性知識挖掘[11]北航繼紅教師團隊研究了設計理性知識挖掘理論與方法。設計理性〔DesignRationale〕是設計過程知識系統(tǒng)化的顯性表達，它包括設計過程中的所有背景知識和信息，包括設計過程中的問題，設計者針對問題的思考、分析、決策以與分析、決策的依據(jù)等。典型的設計理性模型如圖3所示，包括設計意圖、設計選項、設計決策、決策支持以與設計操作5種設計元素和分解關系、滿足關系、決策關系、依據(jù)關系、實現(xiàn)關系、觸發(fā)關系、返回關系以與演進關系8種元素語義關系。由于設計理性模型的構建極大的依賴于設計者的專業(yè)知識、業(yè)務水平和設計習慣，使得單一的設計理性模型實例的準確性和通用性難以保障，阻礙了設計理性的高效重用?？谠O計意圖I)設計選項O)匚「依據(jù)(E)/標準(C)/權衡(T)設計決策D)設計操作(Op)圖3設計理性模型首先文章提出了面向知識挖掘的設計理性模型預處理方法。結合設計認知的研究成果和細粒度設計理性模型的結構特征，將設計迭代歸納為四類：重復迭代〔repeatediteration〕、意圖重定義迭代〔Intentredefinitioniteration〕、方案刺激迭代〔schemestimulationiteration〕、決策變更迭代〔decisionalterationiteration〕。提出了針對四種設計迭代的識別和歸并算法。提出了基于語義的設計理性模型節(jié)點相似度計算方法，該方法基于設計詞典實現(xiàn)節(jié)點屬性描述的分詞，基于本體計算概念語義相似度，基于動詞空間和名詞空間計算短文本的語義相似度。各設計節(jié)點進展相似度計算的前提都是其特征屬性，直接通過關鍵詞匹配即可識別各屬性的描述是否一樣。設計節(jié)點的相似度計算的難點集中于對其TextDescription屬性的語義判斷。依據(jù)細粒度設計理性模型對于TextDescription屬性的定義，可知TextDescription屬性的描述是一段設計者使用自然語言描述的短文本，大多數(shù)情況下甚至只是一個簡短的句子。本文首先通過基于詞典的分詞技術對設計節(jié)點的TextDescription屬性進展分詞處理，將其轉化為一個詞集，并將詞集分為名詞詞集和動詞詞集，然后基于領域本體計算兩個詞集中概念與概念的語義相似度，分別構建名詞向量空間和動詞向量空間，構建出兩個待判斷的TextDescription屬性的特征向量，通過計算特征向量的余弦值得出兩個模型節(jié)點的相似度。考慮到產(chǎn)品設計描述的復雜性，為提高關鍵詞切分的準確率，本文采用結合正向最大匹配法與逆向最大匹配法的雙向匹配最大詞長分詞法。提出基于頻繁模式挖掘的設計知識發(fā)現(xiàn)方法，其根本思想是認為在大量設計理性模型實例中準確性和通用性較差的設計知識或模型機構是小概率事件，反之頻繁出現(xiàn)的設計知識或模型結構的準確性和通用性較高。頻繁子圖挖掘是一種關聯(lián)分析技術，其任務是在圖的集合中發(fā)現(xiàn)一組公共子結構，使其支持度滿足需求。該方法使用圖挖掘領域的相關技術發(fā)現(xiàn)設計理性模型中的頻繁結構，將細粒度設計理性模型轉化為標號圖，通過基于DFS〔Depth-First-Search〕編碼的增長式頻繁子圖挖掘算法發(fā)現(xiàn)頻繁子圖，并將其轉化為可擴展標記語言XML〔ExtensibleMarkupLanguage〕格式的設計理性模型頻繁結構。完畢語雖然各行業(yè)擁有大量的數(shù)據(jù)，但仍缺乏有用的知識。知識發(fā)現(xiàn)方法可以有效地解決這個問題。數(shù)據(jù)挖掘是知識發(fā)現(xiàn)的關鍵步驟，主要包括分類技術、關聯(lián)分析技術和聚類技術三類技術。每類技術的思想可以為知識發(fā)現(xiàn)研究提供很好的指導?；谝陨侠碚撗芯浚Y合作者目前研究方向，以個性化知識效勞技術和設計