神通BI產品介紹課件

神通商業(yè)智能匯報匯報人：黃瑞神通商業(yè)智能匯報匯報人：黃瑞神通全系產品2神通數據庫（標準版|

企業(yè)版|

安全版）BI套件行業(yè)定制版本核心平臺KSTORE|

嵌入式數據庫|

軍用數據庫神通xCluster集群件K-Miner（數據挖掘系統(tǒng)）K-Cuber（OLAP系統(tǒng)）K-Front（智能報表系統(tǒng)）K-Fusion（ETL系統(tǒng)）集群套件神通全系產品2神通數據庫BI套件行業(yè)定制版本核心平臺KSTO神通BI與企業(yè)數據分析3知識可視化數據倉庫分析模型業(yè)務展現平面文件關系數據庫應用系統(tǒng)數據集市儀表盤多維報表數據挖掘模型OLAP模型基礎數據數據倉庫標準報表zzK-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BI神通BI與企業(yè)數據分析3知識可視化數據倉庫分析模型業(yè)務展現平K-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BIK-MinerK-CuberK-FrontK-Fusion神神通K-Fusion5可視化流程定義50多種數據源，支持關系數據庫、文本數據、分布式文件系統(tǒng)等30多種數據轉換節(jié)點全表比對、時間戳、自增字段、數據庫日志、觸發(fā)器等增量抽取策略分布式部署支持用戶自定義節(jié)點執(zhí)行過程可視化監(jiān)控ETL元數據管理功能神通K-Fusion5可視化流程定義神通K-Fusion：面向多種數據源抽取和加載通用型數據庫平面文件定長文件數據倉庫數據源K-Fusion抽取、轉換數據倉庫神通K-Fusion：面向多種數據源抽取和加載通用型數據庫平神通K-Fusion：ETL流程Demo7神通K-Fusion：ETL流程Demo7神通K-Fusion：ETL流程Demo8查找表數據：修改前：修改后：條件：性別ISNOTNULL神通K-Fusion：ETL流程Demo8查找表數據：修改前神通K-Fusion：增量ETL91北京30002上海40001北京350023南京6500全表比對時間戳序列觸發(fā)器DB日志分析數據庫（T0）數據倉庫1北京3000初始2010-5-300:00:00.0002上海4000初始2010-5-300:00:00.0001北京3200更新2010-5-817:50:23.0002上海4000刪除2010-5-817:50:23.0003南京6500新增2010-5-817:50:32.000數據庫（T1）神通K-Fusion：增量ETL91北京30002上海400神通K-Fusion：所見即所得的流程設計10順序分支循環(huán)（邏輯）神通K-Fusion：所見即所得的流程設計10順序分支循環(huán)（神通K-Fusion：ETL流程的執(zhí)行(調度)11神通K-Fusion：ETL流程的執(zhí)行(調度)11神通K-Fusion：ETL流程的執(zhí)行(監(jiān)控)12神通K-Fusion：ETL流程的執(zhí)行(監(jiān)控)12神通K-Fusion：可擴展的ETL能力(節(jié)點層面)13神通K-Fusion：可擴展的ETL能力(節(jié)點層面)13神通K-Fusion：豐富的性能提升機制14性能提升機制數據庫批量加載（OCI等原生驅動加載）節(jié)點間并行處理數據分片11’1’’12341324神通K-Fusion：豐富的性能提升機制14性能數據庫批量加K-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BIK-MinerK-CuberK-FrontK-Fusion神神通K-Cuber16快速建模工具和專家建模工具鉆取、行列互轉、預警等多維操作自動聚合技術分塊緩存策略多維元數據管理數據權限管理神通K-Cuber16快速建模工具和專家建模工具神通K-Cuber：多維建模工具17快速建模工具QuickDesigner可實現5步建模；專家建模工具ExpertDesigner可滿足高級用戶建立復雜OLAP模型；支持星型和雪花型模型。將ER關系模型轉為OLAP模型多維元數據管理神通K-Cuber：多維建模工具17快速建模工具Quick神通K-Cuber：立方體和多維分析18切塊切片建模時間1季度2季度3季度品類地區(qū)華南華北東北家電食品衣物時間1季度2季度3季度品類地區(qū)華南華北東北家電食品衣物時間1季度2季度3季度品類地區(qū)華南華北東北家電食品衣物6月廣西水果5月4月飲料肉類廣東海南神通K-Cuber：立方體和多維分析18切塊切片建模時間1季神通K-Cuber：數據分析流程應用場景：某企業(yè)訂單分析

19序號維度1品類2價格帶3地區(qū)4時間5職業(yè)6年齡7年收入8性別9學歷……序號度量1總訂單數量2有效訂單數量3訂單有效率4有效訂單金額5凈訂單金額6凈訂單數量7換貨單金額8換貨單數量9拒收訂單金額……神通K-Cuber：數據分析流程應用場景：某企業(yè)訂單分析19神通K-Cuber：選取維度20神通K-Cuber：選取維度20神通K-Cuber：選取指標21神通K-Cuber：選取指標21神通K-Cuber：有效性分析22指標維度神通K-Cuber：有效性分析22指標維度神通K-Cuber：多維分析(品類)23神通K-Cuber：多維分析(品類)23神通K-Cuber：縮小分析范圍24神通K-Cuber：縮小分析范圍24神通K-Cuber：多角度細化分析25神通K-Cuber：多角度細化分析25神通K-Cuber：選擇分析數據范圍26神通K-Cuber：選擇分析數據范圍26神通K-Cuber：縮小數據范圍27神通K-Cuber：縮小數據范圍27神通K-Cuber：圖表分析(省級)28神通K-Cuber：圖表分析(省級)28神通K-Cuber：圖形細化分析粒度29神通K-Cuber：圖形細化分析粒度29神通K-Cuber：圖表分析(市級)30神通K-Cuber：圖表分析(市級)30神通K-Cuber：月環(huán)比分析312010年4月和5月環(huán)比總訂單金額環(huán)比增長率神通K-Cuber：月環(huán)比分析312010年4月和5月環(huán)比總神通K-Cuber：日同比分析322009年2月8日和3月8日同比總訂單金額的同比增長率神通K-Cuber：日同比分析322009年2月8日和3月8神通K-Cuber：原子數據列表33神通K-Cuber：原子數據列表33神通K-Cuber：圖形分析34鉆取貴州省，并選擇畢節(jié)地區(qū)鉆取廚房用品神通K-Cuber：圖形分析34鉆取貴州省，鉆取廚房用品神通K-Cuber：圖形分析35鉆取貴州省，并選擇畢節(jié)地區(qū)鉆取廚房用品神通K-Cuber：圖形分析35鉆取貴州省，鉆取廚房用品K-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BIK-MinerK-CuberK-FrontK-Fusion神神通K-Miner3740種算法MPP+SMP并行計算架構算法性能高效靈活的任務調度模型生命周期管理B/S架構挖掘元數據管理神通K-Miner3740種算法神通K-Miner：并行計算架構(1)38全節(jié)點采用MPP架構，實現多任務的并行和部分算法單任務粗粒度并行；單節(jié)點采用SMP架構，實現所有算法的細粒度并行，并確保內存的節(jié)約。K-Miner為唯一一款所有算法實現并行的數據挖掘軟件。神通K-Miner：并行計算架構(1)38全節(jié)點采用MPP基于E-As（調度引擎-挖掘代理）的分布式挖掘架構Master-Slaver(s)算子模式的并行挖掘算法節(jié)點內并行和跨節(jié)點并行相結合基于數據分布的負載均衡數據就近挖掘策略對HDFS、神通數據庫集群等數據源的支持及擴展神通K-Miner：并行計算架構(2)基于E-As（調度引擎-挖掘代理）的分布式挖掘架構神通K-M基礎數據層數據倉庫/數據集市調度引擎消息服務單節(jié)點并行調度認證服務集群日志負載均衡挖掘代理建模分析服務實時響應服務數據轉換服務資料庫元數據管理服務管理模型管理開發(fā)接口層本地應用APIWebService接口圖形API網絡協(xié)議接口應用層應用程序基于數據挖掘的報表引擎監(jiān)管與監(jiān)控第三方應用數據挖掘核心日志管理數據挖掘算法統(tǒng)計分析算法模型監(jiān)控預警多節(jié)點并行調度神通K-Miner：架構基礎數據層數據倉庫/數據集市調度引擎消息單節(jié)點認證集群負K-Miner分布式挖掘拓撲圖K-Miner分布式挖掘拓撲圖數據挖掘屬性篩選分類預測回歸預測聚類分析關聯(lián)分析時間序列屬性篩選屬性重要性打分基于信息增益的屬性打分主成分分析決策樹分類回歸樹神經網絡分類支撐向量機分類分類組合模型多元線性回歸神經網絡回歸支撐向量機回歸回歸組合模型K均值聚類分布估計聚類基于K均值的層次聚類購物籃分析屬性關聯(lián)分析序列模式分析ARX時間序列ARMA時間序列基于卡方檢驗的屬性篩選樸素貝葉斯貝葉斯網絡邏輯回歸廣義線性回歸兩階段聚類統(tǒng)計分析描述性統(tǒng)計數據探測異常檢測層次聚類方差分析歸納分析列聯(lián)表相關分析分布估計函數擬合因子分析單因子方差分析雙因子方差分析樣本層次聚類屬性層次聚類K-sigma異常檢測線箱圖異常檢測離散化K-Miner算法神通K-Miner：算法列表共計40個數據屬性篩選分類預測回歸預測聚類分析關聯(lián)分析時間序列屬性篩選神通K-Miner：海量數據處理能力神通K-Miner：海量數據處理能力神通K-Miner：高效的執(zhí)行速度44大部分算法執(zhí)行速度遠快于國外相同算法神通K-Miner：高效的執(zhí)行速度44大部分算法執(zhí)行速度遠快45分類算法準確率對比，準確率越高越好?；貧w算法準確率對比，相關系數越高越好。算法準確度和SPSSModeler相當，有的K-Miner略好，有的Modeler略好神通K-Miner：和領袖廠商相當的算法準確度45分類算法準確率對比，回歸算法準確率對比，算法準確度和SP46神通K-Miner：靈活的任務監(jiān)管和調度策略46神通K-Miner：靈活的任務監(jiān)管和調度策略47神通K-Miner：模型快速發(fā)布、預警及更新機制47神通K-Miner：模型快速發(fā)布、預警及更新機制48元數據管理48元數據管理主流數據挖掘工具對比項大類對比項神通K-Miner5.0SASEM5.3（SAS9.2的）SPSSModeler14算法算法數量27+13=401429執(zhí)行速度高中中預測精度高高高其他功能數據源主流數據庫、TXT、CSV、Excel等主流數據庫、TXT、CSV、Excel等主流數據庫、TXT、CSV、Excel等任務調度支持，且強大××模型管理模型庫×CRISP-DM擴展性并行計算√××架構B/SC/SC/S調用接口API、WebServiceAPIAPI第三方系統(tǒng)整合√××易用性可視化好中好建模方式向導式工作流工作流建模難度容易略復雜容易幫助文檔可讀性較好差好服務與價格價格中高，租賃模式高，每增加一個用戶還需購買一個客戶端原廠技術服務√××定制開發(fā)支持√××主流數據挖掘工具對比項大類對比項神通K-Miner5.0SA對比測試-測試環(huán)境CPU:英特爾E74502.4GHz6核心*4內存：64G節(jié)點數：1硬件環(huán)境操作系統(tǒng)環(huán)境：Windows2003Server64bit集群并行數據庫環(huán)境：

神通xCluster3.5*1神通KSTORE3.5*2實例數據挖掘對比產品：神通K-Miner5.0IBM旗下SPSSModeler15軟件環(huán)境分類測試：電信客戶流失(103萬行)稅務稽查選案（20萬行）中彩客戶分析（678萬行）UCI運動檢測（230萬行）回歸測試：增值稅預測（72萬行）聚類測試：中彩客戶分群（220萬行）數據環(huán)境對比測試-測試環(huán)境CPU:英特爾E74502.4GHz6對比測試-測試結果151測試算法分類回歸樹測試數據中彩在線客戶行為變更分析數據電信小靈通客戶流失分析數據稅務偷漏稅分析數據物理活動檢測數據用例編號6.66.76.96.106.116.126.136.14對比項ModelerK-Miner串行ModelerK-Miner串行ModelerK-Miner8線程ModelerK-Miner8線程速度數據加載時間(s)340234.48467.489.21816634.62516547.875建?？倳r間(s)2442.782415.6481568.751385.6255512.73304.3916146.53447.25總時間(s)2782.782650.1321636.151476.5945678.73340.8446311.53497.485速度倍數1.051.116.712.7精度分類準確率95.38%95.41%95.00%95.09%100%100%98.27%98.74%測試算法K均值測試數據中彩在線客戶分群數據用例編號6.16.2對比項Modeler串行K-Miner串行數據加載時間（s）87.752.157建?？倳r間(s)482.28172.25總時間(s)569.98225.797對比測試-測試結果151測試算法分類回歸樹測試數據中彩在線客對比測試-測試結果252測試算法線性回歸

測試數據稅務增值稅預測數據

用例編號6.156.16

對比項ModelerK-Miner串行速度數據加載時間(s)2430.296建?？倳r間(s)97.7214.031總時間(s)121.7245.766速度倍數2.66精度

最大誤差29171.31428812.9129絕對平均誤差1603.0221611.153945標準差3556.6493540.277038線性相關0.9990.99886.96倍對比測試-測試結果252測試算法線性回歸測試數據稅務增值稅對比測試-SMP并行測試53測試算法K均值測試數據中彩在線客戶分群數據用例編號6.26.3

對比項K-Miner串行K-Miner8線程SMP相對加速比絕對加速比數據加載時間(s)52.15712.1090.5384115124.307292097建?？倳r間(s)172.2531.610.6811531165.449224929總時間(s)225.79745.1720.6248256664.998605331對比測試-SMP并行測試53測試算法K均值測試數據中彩在線客K-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BIK-MinerK-CuberK-FrontK-Fusion神神通K-Front55可視化報表設計器支持中國式報表和各種復雜報表支持30多種圖形和地圖支持多維分析模型和數據挖掘模型支持領導儀表盤制作神通K-Front55可視化報表設計器神通K-Front：主要功能所見即所得的設計風格，拖拽式報表布局加快開發(fā)進度支持生成Html、Word、Excel、PPT、PDF等格式支持多樣的可視化報表元素，包括網格、表、圖片、圖表和交叉表等支持設計各種復雜型報表內置豐富的數據處理函數，滿足制作報表的需求支持關系型數據、多維數據、數據挖掘模型等數據源支持樣式模版、資源庫的可重用的報表部件，加快報表開發(fā)效率56神通K-Front：主要功能所見即所得的設計風格，拖拽式報表神通K-Front：圖表式報表圖表式報表表格圖形柱形圖、餅圖、折線圖、面積圖、條形圖、散列圖等雷達圖、儀表盤等神通K-Front：圖表式報表圖表式報表神通K-Front：主從報表58主從報表可基于單元格鉆取可基于圖元素鉆取任意深度鉆取神通K-Front：主從報表58主從報表神通K-Front：主從報表59主從報表可基于單元格鉆取可基于圖元素鉆取任意深度鉆取神通K-Front：主從報表59主從報表神通K-Front：交叉報表交叉報表斜線表格橫向擴展、縱向擴展60斜線表頭神通K-Front：交叉報表交叉報表60斜線表頭61神通K-Front：圖標預警61神通K-Front：圖標預警神通K-Front：對多維數據源支持神通K-Front可以利用神通K-Cuber建立多維數據模型設計、生成報表。62多維模型發(fā)布K-Front注冊多維數據源K-Cuber創(chuàng)建多維數據源運行結果運行設計報表神通K-Front：對多維數據源支持神通K-Front可以利神通K-Front:對挖掘模型支持63如：電信業(yè)務中的客戶流失預測中，根據客戶的歷史數據信息建立客戶流失預測模型，利用預測模型對在網客戶作出流失預測，對面臨流失風險的客戶制定相應的方案加以挽留。調用數據挖掘模型注冊數據挖掘模型使用模型設計報表報表運行結果運行發(fā)布K-Miner創(chuàng)建挖掘模型神通K-Front:對挖掘模型支持63如：電信業(yè)務中的客戶流謝謝！謝謝！神通商業(yè)智能匯報匯報人：黃瑞神通商業(yè)智能匯報匯報人：黃瑞神通全系產品66神通數據庫（標準版|

企業(yè)版|

安全版）BI套件行業(yè)定制版本核心平臺KSTORE|

嵌入式數據庫|

軍用數據庫神通xCluster集群件K-Miner（數據挖掘系統(tǒng)）K-Cuber（OLAP系統(tǒng)）K-Front（智能報表系統(tǒng)）K-Fusion（ETL系統(tǒng)）集群套件神通全系產品2神通數據庫BI套件行業(yè)定制版本核心平臺KSTO神通BI與企業(yè)數據分析67知識可視化數據倉庫分析模型業(yè)務展現平面文件關系數據庫應用系統(tǒng)數據集市儀表盤多維報表數據挖掘模型OLAP模型基礎數據數據倉庫標準報表zzK-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BI神通BI與企業(yè)數據分析3知識可視化數據倉庫分析模型業(yè)務展現平K-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BIK-MinerK-CuberK-FrontK-Fusion神神通K-Fusion69可視化流程定義50多種數據源，支持關系數據庫、文本數據、分布式文件系統(tǒng)等30多種數據轉換節(jié)點全表比對、時間戳、自增字段、數據庫日志、觸發(fā)器等增量抽取策略分布式部署支持用戶自定義節(jié)點執(zhí)行過程可視化監(jiān)控ETL元數據管理功能神通K-Fusion5可視化流程定義神通K-Fusion：面向多種數據源抽取和加載通用型數據庫平面文件定長文件數據倉庫數據源K-Fusion抽取、轉換數據倉庫神通K-Fusion：面向多種數據源抽取和加載通用型數據庫平神通K-Fusion：ETL流程Demo71神通K-Fusion：ETL流程Demo7神通K-Fusion：ETL流程Demo72查找表數據：修改前：修改后：條件：性別ISNOTNULL神通K-Fusion：ETL流程Demo8查找表數據：修改前神通K-Fusion：增量ETL731北京30002上海40001北京350023南京6500全表比對時間戳序列觸發(fā)器DB日志分析數據庫（T0）數據倉庫1北京3000初始2010-5-300:00:00.0002上海4000初始2010-5-300:00:00.0001北京3200更新2010-5-817:50:23.0002上海4000刪除2010-5-817:50:23.0003南京6500新增2010-5-817:50:32.000數據庫（T1）神通K-Fusion：增量ETL91北京30002上海400神通K-Fusion：所見即所得的流程設計74順序分支循環(huán)（邏輯）神通K-Fusion：所見即所得的流程設計10順序分支循環(huán)（神通K-Fusion：ETL流程的執(zhí)行(調度)75神通K-Fusion：ETL流程的執(zhí)行(調度)11神通K-Fusion：ETL流程的執(zhí)行(監(jiān)控)76神通K-Fusion：ETL流程的執(zhí)行(監(jiān)控)12神通K-Fusion：可擴展的ETL能力(節(jié)點層面)77神通K-Fusion：可擴展的ETL能力(節(jié)點層面)13神通K-Fusion：豐富的性能提升機制78性能提升機制數據庫批量加載（OCI等原生驅動加載）節(jié)點間并行處理數據分片11’1’’12341324神通K-Fusion：豐富的性能提升機制14性能數據庫批量加K-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BIK-MinerK-CuberK-FrontK-Fusion神神通K-Cuber80快速建模工具和專家建模工具鉆取、行列互轉、預警等多維操作自動聚合技術分塊緩存策略多維元數據管理數據權限管理神通K-Cuber16快速建模工具和專家建模工具神通K-Cuber：多維建模工具81快速建模工具QuickDesigner可實現5步建模；專家建模工具ExpertDesigner可滿足高級用戶建立復雜OLAP模型；支持星型和雪花型模型。將ER關系模型轉為OLAP模型多維元數據管理神通K-Cuber：多維建模工具17快速建模工具Quick神通K-Cuber：立方體和多維分析82切塊切片建模時間1季度2季度3季度品類地區(qū)華南華北東北家電食品衣物時間1季度2季度3季度品類地區(qū)華南華北東北家電食品衣物時間1季度2季度3季度品類地區(qū)華南華北東北家電食品衣物6月廣西水果5月4月飲料肉類廣東海南神通K-Cuber：立方體和多維分析18切塊切片建模時間1季神通K-Cuber：數據分析流程應用場景：某企業(yè)訂單分析

83序號維度1品類2價格帶3地區(qū)4時間5職業(yè)6年齡7年收入8性別9學歷……序號度量1總訂單數量2有效訂單數量3訂單有效率4有效訂單金額5凈訂單金額6凈訂單數量7換貨單金額8換貨單數量9拒收訂單金額……神通K-Cuber：數據分析流程應用場景：某企業(yè)訂單分析19神通K-Cuber：選取維度84神通K-Cuber：選取維度20神通K-Cuber：選取指標85神通K-Cuber：選取指標21神通K-Cuber：有效性分析86指標維度神通K-Cuber：有效性分析22指標維度神通K-Cuber：多維分析(品類)87神通K-Cuber：多維分析(品類)23神通K-Cuber：縮小分析范圍88神通K-Cuber：縮小分析范圍24神通K-Cuber：多角度細化分析89神通K-Cuber：多角度細化分析25神通K-Cuber：選擇分析數據范圍90神通K-Cuber：選擇分析數據范圍26神通K-Cuber：縮小數據范圍91神通K-Cuber：縮小數據范圍27神通K-Cuber：圖表分析(省級)92神通K-Cuber：圖表分析(省級)28神通K-Cuber：圖形細化分析粒度93神通K-Cuber：圖形細化分析粒度29神通K-Cuber：圖表分析(市級)94神通K-Cuber：圖表分析(市級)30神通K-Cuber：月環(huán)比分析952010年4月和5月環(huán)比總訂單金額環(huán)比增長率神通K-Cuber：月環(huán)比分析312010年4月和5月環(huán)比總神通K-Cuber：日同比分析962009年2月8日和3月8日同比總訂單金額的同比增長率神通K-Cuber：日同比分析322009年2月8日和3月8神通K-Cuber：原子數據列表97神通K-Cuber：原子數據列表33神通K-Cuber：圖形分析98鉆取貴州省，并選擇畢節(jié)地區(qū)鉆取廚房用品神通K-Cuber：圖形分析34鉆取貴州省，鉆取廚房用品神通K-Cuber：圖形分析99鉆取貴州省，并選擇畢節(jié)地區(qū)鉆取廚房用品神通K-Cuber：圖形分析35鉆取貴州省，鉆取廚房用品K-Miner分類、預測、聚類、關聯(lián)K-Cuber切片切塊、上鉆下鉆、同比環(huán)比、指標預警K-Front報表的設計、生成、展現、打印K-Fusion抽取、轉換、加載神通BIK-MinerK-CuberK-FrontK-Fusion神神通K-Miner10140種算法MPP+SMP并行計算架構算法性能高效靈活的任務調度模型生命周期管理B/S架構挖掘元數據管理神通K-Miner3740種算法神通K-Miner：并行計算架構(1)102全節(jié)點采用MPP架構，實現多任務的并行和部分算法單任務粗粒度并行；單節(jié)點采用SMP架構，實現所有算法的細粒度并行，并確保內存的節(jié)約。K-Miner為唯一一款所有算法實現并行的數據挖掘軟件。神通K-Miner：并行計算架構(1)38全節(jié)點采用MPP基于E-As（調度引擎-挖掘代理）的分布式挖掘架構Master-Slaver(s)算子模式的并行挖掘算法節(jié)點內并行和跨節(jié)點并行相結合基于數據分布的負載均衡數據就近挖掘策略對HDFS、神通數據庫集群等數據源的支持及擴展神通K-Miner：并行計算架構(2)基于E-As（調度引擎-挖掘代理）的分布式挖掘架構神通K-M基礎數據層數據倉庫/數據集市調度引擎消息服務單節(jié)點并行調度認證服務集群日志負載均衡挖掘代理建模分析服務實時響應服務數據轉換服務資料庫元數據管理服務管理模型管理開發(fā)接口層本地應用APIWebService接口圖形API網絡協(xié)議接口應用層應用程序基于數據挖掘的報表引擎監(jiān)管與監(jiān)控第三方應用數據挖掘核心日志管理數據挖掘算法統(tǒng)計分析算法模型監(jiān)控預警多節(jié)點并行調度神通K-Miner：架構基礎數據層數據倉庫/數據集市調度引擎消息單節(jié)點認證集群負K-Miner分布式挖掘拓撲圖K-Miner分布式挖掘拓撲圖數據挖掘屬性篩選分類預測回歸預測聚類分析關聯(lián)分析時間序列屬性篩選屬性重要性打分基于信息增益的屬性打分主成分分析決策樹分類回歸樹神經網絡分類支撐向量機分類分類組合模型多元線性回歸神經網絡回歸支撐向量機回歸回歸組合模型K均值聚類分布估計聚類基于K均值的層次聚類購物籃分析屬性關聯(lián)分析序列模式分析ARX時間序列ARMA時間序列基于卡方檢驗的屬性篩選樸素貝葉斯貝葉斯網絡邏輯回歸廣義線性回歸兩階段聚類統(tǒng)計分析描述性統(tǒng)計數據探測異常檢測層次聚類方差分析歸納分析列聯(lián)表相關分析分布估計函數擬合因子分析單因子方差分析雙因子方差分析樣本層次聚類屬性層次聚類K-sigma異常檢測線箱圖異常檢測離散化K-Miner算法神通K-Miner：算法列表共計40個數據屬性篩選分類預測回歸預測聚類分析關聯(lián)分析時間序列屬性篩選神通K-Miner：海量數據處理能力神通K-Miner：海量數據處理能力神通K-Miner：高效的執(zhí)行速度108大部分算法執(zhí)行速度遠快于國外相同算法神通K-Miner：高效的執(zhí)行速度44大部分算法執(zhí)行速度遠快109分類算法準確率對比，準確率越高越好?；貧w算法準確率對比，相關系數越高越好。算法準確度和SPSSModeler相當，有的K-Miner略好，有的Modeler略好神通K-Miner：和領袖廠商相當的算法準確度45分類算法準確率對比，回歸算法準確率對比，算法準確度和SP110神通K-Miner：靈活的任務監(jiān)管和調度策略46神通K-Miner：靈活的任務監(jiān)管和調度策略111神通K-Miner：模型快速發(fā)布、預警及更新機制47神通K-Miner：模型快速發(fā)布、預警及更新機制112元數據管理48元數據管理主流數據挖掘工具對比項大類對比項神通K-Miner5.0SASEM5.3（SAS9.2的）SPSSModeler14算法算法數量27+13=401429執(zhí)行速度高中中預測精度高高高其他功能數據源主流數據庫、TXT、CSV、Excel等主流數據庫、TXT、CSV、Excel等主流數據庫、TXT、CSV、Excel等任務調度支持，且強大××模型管理模型庫×CRISP-DM擴展性并行計算√××架構B/SC/SC/S調用接口API、WebServiceAPIAPI第三方系統(tǒng)整合√××易用性可視化好中好建模方式向導式工作流工作流建模難度容易略復雜容易幫助文檔可讀性較好差好服務與價格價格中高，租賃模式高，每增加一個用戶還需購買一個客戶端原廠技術服務√××定制開發(fā)支持√××主流數據挖掘工具對比項大類對比項神通K-Miner5.0SA對比測試-測試環(huán)境CPU:英特爾E74502.4GHz6核心*4內存：64G節(jié)點數：1硬件環(huán)境操作系統(tǒng)環(huán)境：Windows2003Server64bit集群并行數據庫環(huán)境：

神通xCluster3.5*1神通KSTORE3.5*2實例數據挖掘對比產品：神通K-Miner5.0IBM旗下SPSSModeler15軟件環(huán)境分類測試：電信客戶流失(103萬行)稅務稽查選案（20萬行）中彩客戶分析（678萬行）UCI運動檢測（230萬行）回歸測試：增值稅預測（72萬行）聚類測試：中彩客戶分群（220萬行）數據環(huán)境對比測試-測試環(huán)境CPU:英特爾E74502.4GHz6對比測試-測試結果1115測試算法分類回歸樹測試數據中彩在線客戶行為變更分析數據電信小靈通客戶流失分析數據稅務偷漏稅分析數據物理活動檢測數據用例編號6.66.76.96.106.116.126.136.14對比項ModelerK-Miner串行ModelerK-Miner串行ModelerK-Miner8線程ModelerK-Miner8線程速度數據加載時間(s)340234.48467.489.21816634.62516547.875建?？倳r間(s)2442.782415.6481568.751385.6255512.73304.3916146.53447.25總時間(s)2782.782650.1321636.151476.5945678.73340.8446311.53497.485速度倍數1.051.116.712.7精度分類準確率95.38%95.41%95.00%95.09%100%100%98.27%98.74%測試算法K均值測試數據中彩在線客戶分群數據用例編號6.16.2對比項Modeler串行K-Miner串行數據加載時間（s）87.752.157建?？倳r間(s)482.28172.25總時間(s)569.98225.797對比測試-測試結果151測試算法分類回歸樹測試數據中彩在線客對比測試-測試結果2116測試算法線性回歸

測試數據稅務增值稅預測數據

用例編號6.156.16

對比項ModelerK-Miner