數(shù)據(jù)挖掘集成工具課件

2023/6/9史忠植高級(jí)人工智能1高級(jí)人工智能第十四章

知識(shí)發(fā)現(xiàn)

（二）

史忠植

中國(guó)科學(xué)院計(jì)算技術(shù)研究所2023/6/9史忠植高級(jí)人工智能2主要內(nèi)容研究背景WekaMSMiner體系結(jié)構(gòu)元數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)數(shù)據(jù)采掘集成工具2023/6/9史忠植高級(jí)人工智能3典型的知識(shí)發(fā)現(xiàn)系統(tǒng)SAS公司的SASEnterpriseMinerIBM公司的IntelligentMinerSolution公司的Clementine加拿大SimonFraserUniv.的DBMiner中科院計(jì)算技術(shù)研究所的MSMiner等2023/6/9史忠植高級(jí)人工智能4

知識(shí)發(fā)現(xiàn)工具SASSAS公司的SASEnterpriseMiner是一種通用的數(shù)據(jù)挖掘工具。通過(guò)收集分析各種統(tǒng)計(jì)資料和客戶購(gòu)買模式，SASEnterpriseMiner可以幫助您發(fā)現(xiàn)業(yè)務(wù)的趨勢(shì)，解釋已知的事實(shí)，預(yù)測(cè)未來(lái)的結(jié)果，并識(shí)別出完成任務(wù)所需的關(guān)鍵因素，以實(shí)現(xiàn)增加收入、降低成本。2023/6/9史忠植高級(jí)人工智能5

知識(shí)發(fā)現(xiàn)工具SASSASEnterpriseMiner提供"抽樣-探索-轉(zhuǎn)換-建模-評(píng)估"(SEMMA)的處理流程。數(shù)據(jù)挖掘算法有：

·聚類分析，SOM/KOHONEN神經(jīng)網(wǎng)絡(luò)分類算法

·關(guān)聯(lián)模式/序列模式分析

·多元回歸模型

·決策樹(shù)模型(C45,CHAID,CART)

·神經(jīng)網(wǎng)絡(luò)模型(MLP,RBF)

·SAS/STAT，SAS/ETS等模塊提供的統(tǒng)計(jì)分析模型和時(shí)間序列分析模型也可嵌入其中。2023/6/9史忠植高級(jí)人工智能6

知識(shí)發(fā)現(xiàn)工具IntelligentMiner

IBM公司的IntelligentMiner具有典型數(shù)據(jù)集自動(dòng)生成、關(guān)聯(lián)發(fā)現(xiàn)、序列規(guī)律發(fā)現(xiàn)、概念性分類和可視化顯示等功能。它可以自動(dòng)實(shí)現(xiàn)數(shù)據(jù)選擇、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)掘和結(jié)果顯示。若有必要，對(duì)結(jié)果數(shù)據(jù)集還可以重復(fù)這一過(guò)程，直至得到滿意結(jié)果為止。2023/6/9史忠植高級(jí)人工智能7

知識(shí)發(fā)現(xiàn)工具ClementineSolution公司的Clementine提供了一個(gè)可視化的快速建立模型的環(huán)境。它由數(shù)據(jù)獲取（DataAccess）、探查（Investigate）、整理（Manipulation）、建模（Modeling）和報(bào)告（Reporting）等部分組成。都使用一些有效、易用的按鈕表示，用戶只需用鼠標(biāo)將這些組件連接起來(lái)建立一個(gè)數(shù)據(jù)流，可視化的界面使得數(shù)據(jù)挖掘更加直觀交互，從而可以將用戶的商業(yè)知識(shí)在每一步中更好的利用。2023/6/9史忠植高級(jí)人工智能8數(shù)據(jù)挖掘工具:公用系統(tǒng)

MLC++MatlabWeka6/9/2023UniversityofWaikato9作者:IanH.Witten/EibeFrank

副標(biāo)題:PracticalMachineLearningToolsandTechniques,SecondEdition(MorganKaufmannSeriesinDataManagementSystems)

頁(yè)數(shù):525

出版社:MorganKaufmann

出版年:2005-06-08

Weka關(guān)于WEKA的簡(jiǎn)介WEKA的全名是懷卡托智能分析環(huán)境（WaikatoEnvironmentforKnowledgeAnalysis），是一款免費(fèi)的，非商業(yè)化（與之對(duì)應(yīng)的是SPSS公司商業(yè)數(shù)據(jù)挖掘產(chǎn)品--Clementine）的，基于JAVA環(huán)境下開(kāi)源的機(jī)器學(xué)習(xí)（machinelearning）以及數(shù)據(jù)挖掘（dataminining）軟件。它和它的源代碼可在其官方網(wǎng)站下載。非常有趣的是，該軟件的縮寫(xiě)WEKA也是NewZealand獨(dú)有的一種鳥(niǎo)名，而Weka的主要開(kāi)發(fā)者同時(shí)恰好來(lái)自NewZealand的theUniversityofWaikato。6/9/2023UniversityofWaikato106/9/2023UniversityofWaikato11WEKA:thebird（譯：秧雞）Copyright:MartinKramer(mkramer@wxs.nl)關(guān)于WEKA的簡(jiǎn)介WEKA作為一個(gè)公開(kāi)的數(shù)據(jù)挖掘工作平臺(tái)，集合了大量能承擔(dān)數(shù)據(jù)挖掘任務(wù)的機(jī)器學(xué)習(xí)算法，包括對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，分類，回歸、聚類、關(guān)聯(lián)規(guī)則以及在新的交互式界面上的可視化。而開(kāi)發(fā)者則可使用Java語(yǔ)言，利用WEKA的架構(gòu)上開(kāi)發(fā)出更多的數(shù)據(jù)挖掘算法。用戶如果想自己實(shí)現(xiàn)數(shù)據(jù)挖掘算法的話，可以查看WEKA的接口文檔。在WEKA中集成自己的算法甚至借鑒它的方法自己實(shí)現(xiàn)可視化工具并不是件很困難的事情。6/9/2023UniversityofWaikato12WEKA開(kāi)發(fā)歷史的介紹WEKA自1993年由位于NewZealand的theUniversityofWaikato進(jìn)行開(kāi)發(fā)，最初的軟件基于C語(yǔ)言實(shí)現(xiàn)。1997年，開(kāi)發(fā)小組用JAVA語(yǔ)言重新編寫(xiě)了該軟件，并且對(duì)相關(guān)的數(shù)據(jù)挖掘算法進(jìn)行了大量的改進(jìn)。2005年8月，在第11屆ACMSIGKDD國(guó)際會(huì)議上，theUniversityofWaikato的Weka小組榮獲了數(shù)據(jù)挖掘和知識(shí)探索領(lǐng)域的最高服務(wù)獎(jiǎng)，Weka系統(tǒng)得到了廣泛的認(rèn)可，被譽(yù)為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)歷史上的里程碑，是現(xiàn)今最完備的數(shù)據(jù)挖掘工具之一.6/9/2023UniversityofWaikato136/9/2023UniversityofWaikato14WEKA:versionsThereareseveralversionsofWEKA:WEKA3.4:“bookversion”compatiblewithdescriptionindataminingbookWEKA3.6:“GUIversion”addsgraphicaluserinterfacesWEKA3.7:“developmentversion”withlotsofimprovementsThistalkisbasedonthesnapshotofWEKA3.3WEKA：FormatoftheData使用這個(gè)系統(tǒng)前，首先需要將用戶的數(shù)據(jù)轉(zhuǎn)變成為WEKA所需要的數(shù)據(jù)格式（ARFF格式）。大多數(shù)ARFF數(shù)據(jù)文件是一個(gè)包括所有事例的列表，還有每個(gè)事例的屬性值，這些屬性值用逗號(hào)分開(kāi)。當(dāng)事例存在EXCEL或數(shù)據(jù)庫(kù)中的時(shí)候，只需要將他們提出，轉(zhuǎn)成數(shù)據(jù)間用逗號(hào)分割的形式，然后加上數(shù)據(jù)集的名字@relation，屬性信息@attribute，值@data，然后再將該文件保存成ARFF格式即可。需要注意的是WEKA中的分類方案缺省假定ARFF文件中的最后一個(gè)屬性是分類屬性。6/9/2023UniversityofWaikato156/9/2023UniversityofWaikato16@relationheart-disease-simplified@attributeagenumeric@attributesex{female,male}@attributechest_pain_type{typ_angina,asympt,non_anginal,atyp_angina}@attributecholesterolnumeric@attributeexercise_induced_angina{no,yes}@attributeclass{present,not_present}@data63,male,typ_angina,233,no,not_present67,male,asympt,286,yes,present67,male,asympt,229,yes,present38,female,non_anginal,?,no,not_present...WEKAonlydealswith“flat”filesFlatfileinARFFformat6/9/2023UniversityofWaikato17@relationheart-disease-simplified@attributeagenumeric@attributesex{female,male}@attributechest_pain_type{typ_angina,asympt,non_anginal,atyp_angina}@attributecholesterolnumeric@attributeexercise_induced_angina{no,yes}@attributeclass{present,not_present}@data63,male,typ_angina,233,no,not_present67,male,asympt,286,yes,present67,male,asympt,229,yes,present38,female,non_anginal,?,no,not_present...WEKAonlydealswith“flat”filesnumericattributenominalattribute6/9/2023UniversityofWaikato186/9/2023UniversityofWaikato196/9/2023UniversityofWaikato206/9/2023UniversityofWaikato21Explorer:pre-processingthedataDatacanbeimportedfromafileinvariousformats:ARFF,CSV,C4.5,binaryDatacanalsobereadfromaURLorfromanSQLdatabase(usingJDBC)Pre-processingtoolsinWEKAarecalled“filters”WEKAcontainsfiltersfor:Discretization,normalization,resampling,attributeselection,transformingandcombiningattributes,…6/9/2023UniversityofWaikato226/9/2023UniversityofWaikato236/9/2023UniversityofWaikato246/9/2023UniversityofWaikato256/9/2023UniversityofWaikato266/9/2023UniversityofWaikato276/9/2023UniversityofWaikato282023/6/9史忠植高級(jí)人工智能29

知識(shí)發(fā)現(xiàn)工具M(jìn)SMiner

中科院計(jì)算技術(shù)研究所智能信息處理開(kāi)放實(shí)驗(yàn)室開(kāi)發(fā)的MSMiner是一種多策略知識(shí)發(fā)現(xiàn)平臺(tái)，能夠提供快捷有效的數(shù)據(jù)挖掘解決方案，提供多種知識(shí)發(fā)現(xiàn)方法。MSMiner具有下列特點(diǎn)：

.基于數(shù)據(jù)倉(cāng)庫(kù)和新型的元數(shù)據(jù)管理按照主題創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)，并通過(guò)元數(shù)據(jù)進(jìn)行管理和維護(hù)。

.數(shù)據(jù)的抽取、轉(zhuǎn)換、裝載等預(yù)處理方便，支持OLAP查詢。

2023/6/9史忠植高級(jí)人工智能30MSMiner的特點(diǎn)提供決策樹(shù)、支持向量機(jī)、粗糙集、模糊聚類、基于范例推理、統(tǒng)計(jì)方法、神經(jīng)計(jì)算等多種數(shù)據(jù)挖掘算法，支持特征抽取、分類、聚類、預(yù)測(cè)、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、統(tǒng)計(jì)分析等數(shù)據(jù)挖掘功能，并支持高層次的決策分析功能。實(shí)現(xiàn)了可視化的任務(wù)編輯環(huán)境，以及功能強(qiáng)大的任務(wù)處理引擎，能夠快捷有效地實(shí)現(xiàn)各種數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)挖掘任務(wù)。

可擴(kuò)展性好。轉(zhuǎn)換規(guī)則和挖掘算法是封裝的、模塊化的，系統(tǒng)提供了一個(gè)開(kāi)放的、靈活通用的接口，使用戶能夠加入新的規(guī)則和算法。

容易進(jìn)行二次開(kāi)發(fā)。

2023/6/9史忠植高級(jí)人工智能31數(shù)據(jù)倉(cāng)庫(kù):特征面向主題集成性穩(wěn)定性隨時(shí)間變化2023/6/9史忠植高級(jí)人工智能32數(shù)據(jù)倉(cāng)庫(kù):OLAPROLAP:RelationalOLAPMOLAP:MultidimensionalOLAPHOLAP:HybridOLAP2023/6/9史忠植高級(jí)人工智能33數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)的結(jié)合數(shù)據(jù)倉(cāng)庫(kù)為數(shù)據(jù)挖掘提供經(jīng)良好處理的數(shù)據(jù)源數(shù)據(jù)挖掘?yàn)閿?shù)據(jù)倉(cāng)庫(kù)提供深層數(shù)據(jù)分析手段2023/6/9史忠植高級(jí)人工智能34MSMiner體系結(jié)構(gòu)設(shè)計(jì)目標(biāo)：

提供快捷有效的數(shù)據(jù)挖掘解決方案。設(shè)計(jì)要求：開(kāi)放性可擴(kuò)展性效率易用性2023/6/9史忠植高級(jí)人工智能35MSMiner體系結(jié)構(gòu)MSMiner體系結(jié)構(gòu)示意圖客戶端服務(wù)器端元數(shù)據(jù)模塊執(zhí)行數(shù)據(jù)挖掘任務(wù)編輯數(shù)據(jù)挖掘任務(wù)數(shù)據(jù)采掘集成工具數(shù)據(jù)抽取和集成主題組織OLAP可視化數(shù)據(jù)倉(cāng)庫(kù)管理器數(shù)據(jù)倉(cāng)庫(kù)OLEDBforODBC2023/6/9史忠植高級(jí)人工智能36元數(shù)據(jù)的內(nèi)容關(guān)于外部數(shù)據(jù)源的關(guān)于內(nèi)部數(shù)據(jù)的（包括數(shù)據(jù)庫(kù)、表、字段的信息）關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的（包括事實(shí)表、維表、立方以及其它的中間表）關(guān)于用戶信息的數(shù)據(jù)采掘算法（包括算法的參數(shù)信息）關(guān)于采掘任務(wù)的（包括采掘步驟、每個(gè)步驟的所用的參數(shù)）2023/6/9史忠植高級(jí)人工智能37元數(shù)據(jù)：元數(shù)據(jù)庫(kù)2023/6/9史忠植高級(jí)人工智能38元數(shù)據(jù)：元數(shù)據(jù)對(duì)象模型設(shè)計(jì)思路一致性完備性易維護(hù)性2023/6/9史忠植高級(jí)人工智能39元數(shù)據(jù)是層次的嵌套的封裝的互相聯(lián)系的采用面向?qū)ο蟮姆椒ü灿?0多個(gè)類元數(shù)據(jù)的結(jié)構(gòu)2023/6/9史忠植高級(jí)人工智能40數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)：結(jié)構(gòu)MSMiner數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)示意圖外部數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)數(shù)據(jù)抽取、清洗、聚集、轉(zhuǎn)換主題2主題1主題nOLAP及可視化工具數(shù)據(jù)采掘集成工具...2023/6/9史忠植高級(jí)人工智能41數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)：數(shù)據(jù)抽取和集成數(shù)據(jù)的簡(jiǎn)單抽取和集成數(shù)據(jù)的復(fù)雜處理面向數(shù)據(jù)挖掘的數(shù)據(jù)預(yù)處理2023/6/9史忠植高級(jí)人工智能42數(shù)據(jù)抽取和集成:MSETL

MSETL系統(tǒng)作為MSMiner數(shù)據(jù)挖掘平臺(tái)的一個(gè)重要組成部分，主要完成從業(yè)務(wù)數(shù)據(jù)源到分析數(shù)據(jù)源的轉(zhuǎn)換功能。具體包括從異質(zhì)業(yè)務(wù)數(shù)據(jù)源中抽取需要的數(shù)據(jù)，對(duì)這些數(shù)據(jù)進(jìn)行多種預(yù)處理，把經(jīng)過(guò)處理后的數(shù)據(jù)裝載入指定數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)庫(kù)2023/6/9史忠植高級(jí)人工智能43數(shù)據(jù)抽取和集成:MSETL

用戶界面（ETL轉(zhuǎn)換函數(shù)和ETL任務(wù)）邏輯處理元數(shù)據(jù)管理數(shù)據(jù)庫(kù)服務(wù)器2023/6/9史忠植高級(jí)人工智能44數(shù)據(jù)抽取和集成:MSETL支持多種數(shù)據(jù)源和目的數(shù)據(jù)庫(kù)良好的可擴(kuò)充性高效率的調(diào)度執(zhí)行功能增量更新功能2023/6/9史忠植高級(jí)人工智能45數(shù)據(jù)抽取和集成:MSETL2023/6/9史忠植高級(jí)人工智能46數(shù)據(jù)抽取和集成:MSETL2023/6/9史忠植高級(jí)人工智能47數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)：數(shù)據(jù)倉(cāng)庫(kù)建模產(chǎn)品號(hào)產(chǎn)品名稱產(chǎn)品目錄產(chǎn)品維表訂單號(hào)訂貨日期訂貨維表客戶號(hào)客戶名稱客戶地址客戶維表產(chǎn)品號(hào)客戶號(hào)訂單號(hào)時(shí)間標(biāo)識(shí)地區(qū)名稱產(chǎn)品數(shù)量總價(jià)事實(shí)表時(shí)間標(biāo)識(shí)月季度年時(shí)間維表地區(qū)名稱省別地區(qū)維表星型模型2023/6/9史忠植高級(jí)人工智能48OLAPMOLAP,ROLAP,HOLAPOLAP的操作Slice（切片）Dice（切塊）Rollup（上卷）Drilldown（下鉆）Pivot（旋轉(zhuǎn)）OLAP方案

采用了自主開(kāi)發(fā)的OLAPServer2023/6/9史忠植高級(jí)人工智能49數(shù)據(jù)立方體2023/6/9史忠植高級(jí)人工智能50數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)：OLAP的實(shí)現(xiàn)2023/6/9史忠植高級(jí)人工智能51數(shù)據(jù)挖掘集成工具：結(jié)構(gòu)數(shù)據(jù)挖掘集成工具結(jié)構(gòu)示意圖數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)任務(wù)編輯任務(wù)規(guī)劃和執(zhí)行算法庫(kù)算法管理元數(shù)據(jù)任務(wù)模型庫(kù)、算法描述2023/6/9史忠植高級(jí)人工智能52數(shù)據(jù)挖掘集成工具：數(shù)據(jù)挖掘任務(wù)模型Step1Step2Step4Step3Step5DMTask=(V,R)V={x|x∈StepObjects}R={<x,y>|P(x,y)∧x,y∈V}2023/6/9史忠植高級(jí)人工智能53數(shù)據(jù)挖掘集成工具：數(shù)據(jù)挖掘任務(wù)模型步驟對(duì)象BNF語(yǔ)法定義：<StepObject>::=<Attribute_List>;<Method_List><Attribute_List>::= [<Attribute>|<Attribute>;<Attribute_List>]<Attribute>::=<Name>,<Value><Method_List>::=[<Method>|<Method>;<Method_List>]<Method>::=<Name>,<Script><Name>::=[<char>|<string>]<Value>::=[<char>|<string>|<integer>|<float>]<Script>::=<DML_Sentence>*2023/6/9史忠植高級(jí)人工智能54數(shù)據(jù)挖掘集成工具：編輯任務(wù)模型任務(wù)向?qū)?023/6/9史忠植高級(jí)人工智能55數(shù)據(jù)挖掘集成工具：編輯任務(wù)模型任務(wù)編輯圖板2023/6/9史忠植高級(jí)人工智能56數(shù)據(jù)挖掘集成工具：處理任務(wù)模型人機(jī)界面主控模塊規(guī)劃器解釋器緩存函數(shù)庫(kù)黑板任務(wù)模型庫(kù)數(shù)據(jù)采掘任務(wù)處理引擎的結(jié)構(gòu)2023/6/9史忠植高級(jí)人工智能57數(shù)據(jù)挖掘集成工具：處理任務(wù)模型任務(wù)規(guī)劃和解釋執(zhí)行S1S3S2S4S5S1-S2-S3-S4-S52023/6/9史忠植高級(jí)人工智能58數(shù)據(jù)挖掘集成工具：DML語(yǔ)言DML函數(shù)人機(jī)交互和控制臺(tái)輸入/輸出數(shù)值計(jì)算字符串處理圖形、圖表展示文件操作數(shù)據(jù)庫(kù)訪問(wèn)網(wǎng)絡(luò)通訊對(duì)象訪問(wèn)消息處理和流程控制黑板操作外部功能調(diào)用其它輔助功能2023/6/9史忠植高級(jí)人工智能59數(shù)據(jù)挖掘集成工具：內(nèi)嵌決策樹(shù)SOM神經(jīng)網(wǎng)絡(luò)粗糙集關(guān)聯(lián)規(guī)則

2023/6/9史忠植高級(jí)人工智能60決策樹(shù)2023/6/9史忠植高級(jí)人工智能61知識(shí)約簡(jiǎn)知識(shí)約簡(jiǎn)——在保持知識(shí)庫(kù)的分類或決策能力不變的條件下，刪除其中不相關(guān)或不重要知識(shí)冗余知識(shí)——資源的浪費(fèi)；干擾人們作出正確而簡(jiǎn)潔的決策RoughSet——把那些無(wú)法確認(rèn)的個(gè)體都?xì)w屬于邊界線區(qū)域，而這種邊界線區(qū)域被定義為上近似集和下近似集之差集（Z.Pawlak）

知識(shí)約簡(jiǎn)是粗糙集的核心內(nèi)容之一

2023/6/9史忠植高級(jí)人工智能62RoughSet約簡(jiǎn)2023/6/9史忠植高級(jí)人工智能63數(shù)據(jù)挖掘集成工具：外聯(lián)BP神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)分析模糊聚類超曲面分類SVM貝葉斯網(wǎng)絡(luò)基于范例推理(CBR)隱馬爾科夫模型(HMM)2023/6/9史忠植高級(jí)人工智能64BP用于預(yù)測(cè)2023/6/9史忠植高級(jí)人工智能65統(tǒng)計(jì)工具線性回歸模型

——一元線性回歸、多元線性回歸、逐步回歸

非線性回歸模型——二次曲線、三次曲線、指數(shù)曲線、冪指數(shù)曲線、生產(chǎn)函數(shù)等模型

確定型時(shí)間序列模型——指數(shù)平滑法、趨勢(shì)移動(dòng)平均法（水平趨勢(shì)、線性趨勢(shì)和二次曲線趨勢(shì)）、成長(zhǎng)曲線模型（Compertz曲線、Logistic曲線和修正指數(shù)曲線）、季節(jié)指數(shù)法隨機(jī)型時(shí)間序列模型（自回歸－移動(dòng)平均模型ARMA）相關(guān)分析

2023/6/9史忠植高級(jí)人工智能66自回歸移動(dòng)平均(ARMA)2023/6/9史忠植高級(jí)人工智能67模糊聚類基于傳遞閉包的模糊聚類

——計(jì)算模糊相似矩陣的傳遞閉包，

從而獲得傳遞閉包法的模糊聚類基于攝動(dòng)的模糊聚類

——參數(shù)系

相似矩陣的最優(yōu)模糊等價(jià)陣及其等價(jià)標(biāo)準(zhǔn)型獲得失真最小的模糊聚類2023/6/9史忠植高級(jí)人工智能68數(shù)據(jù)挖掘集成工具：可擴(kuò)展算法庫(kù)算法注冊(cè)2023/6/9史忠植高級(jí)人工智能69MSMiner的應(yīng)用：計(jì)算機(jī)選案決策樹(shù)選案執(zhí)行選案選案結(jié)果分析定義樣本模板訓(xùn)練樣本數(shù)據(jù)選案規(guī)則樣本數(shù)據(jù)表數(shù)據(jù)匯總表稅務(wù)稽查計(jì)算機(jī)選案系統(tǒng)功能結(jié)構(gòu)2023/6/9史忠植高級(jí)人工智能70MSMiner的應(yīng)用：計(jì)算機(jī)選案挖掘結(jié)果：云計(jì)算時(shí)代的分布并行編程技術(shù)分布并行數(shù)據(jù)處理技術(shù)GoogleMap/ReduceHadoopMap/Reduce

分布式文件系統(tǒng)GoogleFileSystemHadoop

DistributedFileSystem分布式數(shù)據(jù)庫(kù)Google

BigTableHadoopHBase云計(jì)算時(shí)代的分布并行編程技術(shù)分布并行數(shù)據(jù)處理72軟件工程國(guó)家重點(diǎn)實(shí)驗(yàn)室Map/Reduce用于大規(guī)模數(shù)據(jù)并行處理數(shù)據(jù)量大（超過(guò)1TB）在成百上千個(gè)CPU上并行處理用戶只需實(shí)現(xiàn)下面接口 map(in_key,in_value)-> (out_key,intermediate_value)list reduce(out_key,intermediate_valuelist)-> out_valuelist分布并行數(shù)據(jù)處理73軟件工程國(guó)家重點(diǎn)實(shí)驗(yàn)室Map/Reduce架構(gòu)分布并行數(shù)據(jù)處理MapReduce實(shí)現(xiàn)原理分布式文件系統(tǒng)75GoogleFileSystem（GFS）需求：在廉價(jià)、相對(duì)不可靠的計(jì)算機(jī)上對(duì)巨量數(shù)據(jù)進(jìn)行冗余存儲(chǔ)。為什么不用現(xiàn)有的文件系統(tǒng)？--Google面對(duì)特殊的挑戰(zhàn)文件較大，每個(gè)都在100M以上，通常為幾個(gè)GB文件通常需要頻繁的追加用流方式讀取