商務(wù)智能入門培訓(xùn)課件

1、商務(wù)智能入門培訓(xùn)Business Intelligence 一、概念篇實(shí)例：沃爾瑪?shù)匿N售部在總結(jié)歷史銷售記錄的時(shí)候發(fā)現(xiàn)，每到周末的時(shí)候，啤酒和尿布的銷量都比平時(shí)要高很多，這是一個(gè)巧合還是這個(gè)現(xiàn)象的背后隱藏著一定的必然因素？銷售人員展開了調(diào)查，結(jié)果發(fā)現(xiàn)：每到周末，有孩子的家庭主婦就會(huì)讓他們的丈夫去超市給孩子買足一周用的尿布，這些丈夫們必然會(huì)選擇一些自己愛喝的啤酒，以便周末在欣賞橄欖球賽和籃球賽的時(shí)候可以和朋友們一起慶祝。原因找到了之后，銷售部采取了措施，每到周末將超市的啤酒和尿布捆綁銷售，這樣，啤酒和尿布的銷量又同時(shí)增加了一成。什么是商務(wù)智能？二、市場分析篇商務(wù)智能的應(yīng)用分為縱向商務(wù)智能和橫向商

2、務(wù)智能?？v向商務(wù)智能是指企業(yè)分別實(shí)施多個(gè)信息化系統(tǒng)，比如財(cái)務(wù)系統(tǒng)中的管理會(huì)計(jì)就是商務(wù)智能的一部分，從以前只關(guān)注運(yùn)營報(bào)表，到關(guān)注整個(gè)財(cái)務(wù)的運(yùn)作情況，像現(xiàn)金流、資產(chǎn)負(fù)債等。而人力資源系統(tǒng)可以稱為智能人力資源，關(guān)注員工的流失率，分析從什么途徑招聘的員工流失率最高，分析公司人才結(jié)構(gòu)、人才培養(yǎng)方向等。總而言之，企業(yè)有了核心業(yè)務(wù)系統(tǒng)、管理信息系統(tǒng)，在這些系統(tǒng)之上做智能的分析，而這些分析得到的信息完全是來自單獨(dú)的系統(tǒng)。那么橫向商務(wù)智能指的是什么呢？舉例來說，比如汽車制造廠生產(chǎn)多款不同的車型，公司老總會(huì)問，生產(chǎn)哪一款車型、生產(chǎn)多少，企業(yè)的效率能夠達(dá)到最高？這樣的問題，不能通過分析單獨(dú)的系統(tǒng)得到，因?yàn)樾б孀罡呷?/p>

3、決于生產(chǎn)成本、人力資源成本、市場的需求、競爭對手、市場定價(jià)等多方面的信息。而這些信息則分散在財(cái)務(wù)系統(tǒng)、人力資源系統(tǒng)、采購系統(tǒng)中，這就需要系統(tǒng)和信息有效的整合才能解決這個(gè)問題，所以稱為橫向商務(wù)智能。商業(yè)智能應(yīng)用領(lǐng)域？商業(yè)智能是一種整體化的解決方案，他可以幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策，而依據(jù)則是企業(yè)內(nèi)部的各種數(shù)據(jù)，例如訂單、庫存、交易賬目、客戶和供應(yīng)商資料、行業(yè)數(shù)據(jù)和競爭對手信息等等。商業(yè)智能其實(shí)是一種將企業(yè)信息數(shù)據(jù)轉(zhuǎn)化為決策的重要工具。商業(yè)智能的應(yīng)用是需要一定的基礎(chǔ)的。實(shí)施商業(yè)智能的企業(yè)至少應(yīng)該具備以下幾個(gè)條件：用戶的數(shù)據(jù)已達(dá)到一定的規(guī)模；用戶面臨激烈的市場競爭：用戶在IT方面的資金能得到保障

4、。滿足以上幾點(diǎn)的行業(yè)集中在重要的政府機(jī)構(gòu)（如財(cái)務(wù)、稅務(wù)、審計(jì)、工商、海關(guān)等）、零售業(yè)（連鎖店、網(wǎng)上零售等）、大型現(xiàn)代化的制造業(yè)（如寶鋼、上汽集團(tuán)等）、金融（包括銀行、證券、保險(xiǎn)等）、電信業(yè)（如中國電信、中國網(wǎng)通、中國移動(dòng)等）、能源業(yè)（電力）、運(yùn)輸?shù)龋@也是目前國內(nèi)急需要數(shù)據(jù)倉庫和商業(yè)智能技術(shù)來提升企業(yè)競爭力的主要行業(yè)。金融、電信行業(yè)是BI應(yīng)用最集中的行業(yè)，約占40%的市場分額，保險(xiǎn)、能源、煙草、政務(wù)行業(yè)約占30%的市場份額，制造、零售行業(yè)約占30%的市場份額，是BI應(yīng)用最具潛力的行業(yè)。金融：隨著國內(nèi)五大商業(yè)銀行的信息化不斷發(fā)展，在BI 領(lǐng)域投資穩(wěn)步增長，每年均有大量的BI 需求，其中BI 已經(jīng)

5、不僅局限于高層管理者的決策，操作型BI 應(yīng)用越來越廣泛，尤其是信貸評審領(lǐng)域。中小型銀行BI需求也不斷涌現(xiàn)，未來將是金融行業(yè)BI市場的主要增長點(diǎn)。電信：電信行業(yè)信息化程度很高，對信息化依賴很強(qiáng)，積累了大量的數(shù)據(jù)，具有實(shí)施商業(yè)智能項(xiàng)目的基礎(chǔ)條件和資金實(shí)力。電信行業(yè)對于BI 深入應(yīng)用是最渴望的，在話費(fèi)套餐設(shè)置、客戶潛力分析等都需要數(shù)據(jù)挖掘技術(shù)來提供決策依據(jù)。行業(yè)現(xiàn)狀？行業(yè)市場規(guī)模？發(fā)展趨勢？發(fā)展趨勢及預(yù)測移動(dòng)商業(yè)智能商業(yè)智能系統(tǒng)會(huì)把大量數(shù)據(jù)轉(zhuǎn)變成可視化形式（如圖形和表格），以便使用者詳細(xì)深入地分析潛在商業(yè)趨勢。因此如果為這種分析賦予移動(dòng)性通常利用功能強(qiáng)大的智能終端，許多公司就能與客戶和商業(yè)合作伙伴進(jìn)

6、行實(shí)時(shí)互動(dòng)，從而改善服務(wù)、提高工作效率。SaaS BI將得到快速發(fā)展SaaS是基于互聯(lián)網(wǎng)提供軟件服務(wù)的軟件應(yīng)用模式，企業(yè)根據(jù)實(shí)際需要，從SaaS提供商租賃軟件服務(wù)。SaaS 模式在CRM 領(lǐng)域獲得了成功，不論是國外還是國內(nèi)具有成熟的產(chǎn)品，并取得了不錯(cuò)的收益。SAAS 在BI領(lǐng)域的應(yīng)用的挑戰(zhàn)是應(yīng)用于互聯(lián)網(wǎng)上的SAAS軟件無法處理BI所需的海量數(shù)據(jù)。商業(yè)智能日漸與業(yè)務(wù)融合業(yè)務(wù)分析作為商業(yè)智能領(lǐng)域中最貼近業(yè)務(wù)的層面，在2010年成為業(yè)界關(guān)注的重點(diǎn)，不管是SAP還是IBM，都將業(yè)務(wù)分析作為今年的業(yè)務(wù)發(fā)展重點(diǎn)。企業(yè)希望由BI系統(tǒng)帶來的透明度和洞察力能夠幫助企業(yè)降低成本，提高生產(chǎn)率和業(yè)務(wù)敏捷性。通過商業(yè)智

7、能，企業(yè)能更清晰更深刻的了解包括公司管理、利潤分析、市場競爭、財(cái)務(wù)狀況等信息，而未來商業(yè)智能的這種特性還將繼續(xù)加強(qiáng)。操作型BI應(yīng)用得到發(fā)展目前商業(yè)智能技術(shù)不僅僅應(yīng)用于企業(yè)高層管理者的決策分析，越來越多的商業(yè)智能分析結(jié)果正被用于普通員工的日常工作流程中，直接推動(dòng)業(yè)務(wù)的執(zhí)行。例如：在家樂福購物時(shí)，收銀員已經(jīng)可以根據(jù)顧客的購物籃進(jìn)行產(chǎn)品推薦。發(fā)展趨勢？數(shù)據(jù)集成應(yīng)用得到重視在一些大型企業(yè)中往往有幾十個(gè)甚至幾百個(gè)信息系統(tǒng)，將這些數(shù)據(jù)整合到數(shù)據(jù)倉庫中，一般采取ETL 工具抽取多個(gè)廠商數(shù)據(jù)庫的數(shù)據(jù)，有些甚至還包含非結(jié)構(gòu)化數(shù)據(jù),例如XML、EXCEL、文本等。這些數(shù)據(jù)往往需要加工和整理放入ODS（中間庫），最

8、后以規(guī)范、標(biāo)準(zhǔn)的格式存儲到數(shù)據(jù)倉庫。在這個(gè)數(shù)據(jù)集成的過程中，要做到系統(tǒng)兼容性好、開發(fā)效率高、處理性能好，而且能夠捕捉數(shù)據(jù)的變化處理增量數(shù)據(jù)。數(shù)據(jù)集成是建立實(shí)用的數(shù)據(jù)倉庫的關(guān)鍵，而且數(shù)據(jù)集成的過程占商業(yè)智能應(yīng)用中一半以上的工作量，因此越是大型企業(yè)越是重視數(shù)據(jù)集成。 中小企業(yè)BI應(yīng)用逐漸擴(kuò)大市場份額中國中小企業(yè)逐漸呈現(xiàn)對管理軟件旺盛的需求態(tài)勢，很多廠商發(fā)布了專門針對中小企業(yè)的BI套件，例如Cognos Express等。中小企業(yè)在實(shí)施ERP、CRM產(chǎn)品后，必將應(yīng)用商業(yè)智能，中小企業(yè)市場是BI應(yīng)用非常重要的組成部分。BI企業(yè)將在壟斷中不斷新生中國商業(yè)智能市場兩極競爭趨勢日益加劇。在高端市場，由國際廠

9、商壟斷與競爭的局面是2010 年的主流，其中IBM、Oracle、SAP、Microsoft 擁有完整的BI 產(chǎn)品線，將占據(jù)70%以上的市場份額。剩余的30%市場將由其他外資企業(yè)和國內(nèi)企業(yè)分享。隨著國內(nèi)企業(yè)的成長與并購，國內(nèi)廠商的實(shí)力不斷壯大，但是主要集中于中低端市場，在2010年優(yōu)秀的國產(chǎn)BI產(chǎn)品將開始不斷向四大國際廠商發(fā)起挑戰(zhàn)，但是競爭的過程將是極其漫長的。1） 國際BI廠商，如BO公司（SAP）、Hyperion公司(Oracle)、微軟公司、SAS公司等。這些國際廠商的品牌與規(guī)模優(yōu)勢非常突出，是國內(nèi)大部分BI廠商難以與之匹敵的。2） 起步比較早的國內(nèi)BI 廠商，如菲奈特(成立于1995

10、 年10 月，從1997 年開始進(jìn)入BI領(lǐng)域)、先進(jìn)數(shù)通公司(成立于2000 年)、吉貝克公司(成立于2002 年)等。這些國內(nèi)BI廠商憑借本土化的優(yōu)勢以及對國內(nèi)BI 用戶所需要的應(yīng)用的獨(dú)特見解，也在國內(nèi)的BI市場上占有超過30的市場份額。3） 非專業(yè)BI 廠商，主要有以下幾類：一、從事某些行業(yè)核心業(yè)務(wù)系統(tǒng)建設(shè)的公司；二、從事系統(tǒng)集成的公司；三、從事專業(yè)財(cái)務(wù)系統(tǒng)及個(gè)別ERP 廠商。商務(wù)智能主要廠商有哪些？廠商產(chǎn)品及簡介IBMDB2 以及Cognos、SPSS、DataStage，覆蓋BI全部領(lǐng)域。數(shù)據(jù)倉庫產(chǎn)品結(jié)合了DB2數(shù)據(jù)服務(wù)器的長處和IBM的商業(yè)智能基礎(chǔ)設(shè)施，集成了用于倉庫管理、數(shù)據(jù)轉(zhuǎn)換、

11、數(shù)據(jù)挖掘以及OLAP分析和報(bào)告的核心組件，提供了一套基于可視數(shù)據(jù)倉庫的商業(yè)智能解決方案。OracleOracle、Hyperion，覆蓋BI全部領(lǐng)域，數(shù)據(jù)挖掘領(lǐng)域有待加強(qiáng)。數(shù)據(jù)倉庫解決方案包含了業(yè)界領(lǐng)先的數(shù)據(jù)庫平臺、開發(fā)工具和應(yīng)用系統(tǒng)，能夠提供一系列的數(shù)據(jù)倉庫工具集和服務(wù)，具有多用戶數(shù)據(jù)倉庫管理能力，多種分區(qū)方式，較強(qiáng)的與OLAP工具的交互能力及快速和便捷的數(shù)據(jù)移動(dòng)機(jī)制等特性。SAPBusiness Objects、Crystal Reports，主要是OLAP和報(bào)表領(lǐng)域。Sybase（SAP）提供了稱為Warehouse Studio的一整套覆蓋整個(gè)數(shù)據(jù)倉庫建立周期的產(chǎn)品包，包括數(shù)據(jù)倉庫的建

12、模、數(shù)據(jù)集成和轉(zhuǎn)換、數(shù)據(jù)存儲和管理、元數(shù)據(jù)管理和數(shù)據(jù)可視化分析等產(chǎn)品。Business Objects（SAP）是集查詢、報(bào)表和OLAP技術(shù)為一身的智能決策支持系統(tǒng)，具有較好的查詢和報(bào)表功能，提供多維分析技術(shù)，支持多種數(shù)據(jù)庫，同時(shí)它還支持基于Web瀏覽器的查詢、報(bào)表和分析決策。MicrosoftSQL Server ，覆蓋BI全部領(lǐng)域，適合中小型企業(yè)，性價(jià)比高。它提供了三大服務(wù)和一個(gè)工具來實(shí)現(xiàn)數(shù)據(jù)倉庫系統(tǒng)的整合，為用戶提供了可用于構(gòu)建典型和創(chuàng)新的分析應(yīng)用程序所需的各種特性、工具和功能，可以實(shí)現(xiàn)建模、ETL、建立查詢分析或圖表、定制KPI、建立報(bào)表和構(gòu)造數(shù)據(jù)挖掘應(yīng)用及發(fā)布等功能。Teradata

13、Teradata，主要是數(shù)據(jù)倉庫領(lǐng)域。它提出了可擴(kuò)展數(shù)據(jù)倉庫基本架構(gòu)，包括數(shù)據(jù)裝載、數(shù)據(jù)管理和信息訪問幾個(gè)部分，是高端數(shù)據(jù)倉庫市場最有力競爭者，主要運(yùn)行在基于Unix操作系統(tǒng)平臺的NCR硬件設(shè)備上。SASSAS，數(shù)據(jù)挖掘領(lǐng)域領(lǐng)先。SAS公司的數(shù)據(jù)倉庫解決方案是一個(gè)由30多個(gè)專用模塊構(gòu)成的架構(gòu)體系，適應(yīng)于對企業(yè)級的數(shù)據(jù)進(jìn)行重新整合，支持多維、快速查詢，提供服務(wù)于OLAP操作和決策支持的數(shù)據(jù)采集、管理、處理和展現(xiàn)功能。國內(nèi)其他菲奈特（BI office）、和勤（Hinge）、奧威智動(dòng)（Power-BI）、科加諾（QlikView）、尚南（BlueQuery），潤乾、探智（Trinity）。目前活躍

14、在國內(nèi)BI市場上的廠商大致可分為以下三類：商務(wù)智能主要廠商產(chǎn)品鏈介紹？廠商數(shù)據(jù)庫數(shù)據(jù)倉庫設(shè)計(jì)、管理ETLOLAP數(shù)據(jù)挖掘報(bào)表IBMDB2IBM DWE Design StudioIBM Webshpere Datastage、DecisionStream（Cognos）IBM DB2 OLAP ServerIBM Intelligent Miner、SPSSIBM Cognos ReportOracleOracleOracle Warehouse BuilderOracle Warehouse BuilderOracle Express/DiscovererOracle DataMinerOr

15、acle ReportsSAP-Business Objects Rapid MartsBusiness Objects Data Integratoin Business Objects OLAP Intelligence-Business Objects Crystal ReportMicrosoftSQL ServerSQL Server Management StudioSQL Server Integration ServicesSQL Server Analysis ServicesSQL Server DataMinerSQL Server Reporting ServicesT

16、eradataTeradataTeradata RDBMS/Teradata MetaData ServicesTeradata ETLAutomation-Teradata Warehouse MinerBTEQSybaseSybase IQPowerDesinger/Warehouse Control CenterData Integratoin SuitePower Dimension-InfoMakerSAS-SAS Warehouse AdministratorSAS ETL StudioSAS OLAP ServerSAS EnterpriseMinerSAS Report Stu

17、dio三、技術(shù)篇商務(wù)智能總體解決方案財(cái)務(wù)信息“ETL”Extract Transform - Load數(shù)據(jù)倉庫/數(shù)據(jù)集市/ODS商務(wù)智能平臺信息展現(xiàn)*決策者分析員管理者業(yè)務(wù)員數(shù)據(jù)查詢報(bào)表分析多維分析數(shù)據(jù)挖掘分析門戶數(shù)據(jù)整合*OracleDB2SQL ServerSybaseTeraData銷售信息庫存信息Data IntegrationRapid Mart商務(wù)智能核心技術(shù)有哪些？三. ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉庫技術(shù)四. 在線聯(lián)機(jī)分析處理技術(shù)（OLAP）五.數(shù)據(jù)挖掘技術(shù) 數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合，支持管理部門的決策過程。面向主題的（subject-

18、oriented）：數(shù)據(jù)倉庫圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品和銷售組織。數(shù)據(jù)倉庫關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。因此，數(shù)據(jù)倉庫排除對決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。集成的（integrated）：通常，構(gòu)造數(shù)據(jù)倉庫是將多個(gè)異種數(shù)據(jù)源，如關(guān)系數(shù)據(jù)庫、一般文件和聯(lián)機(jī)事務(wù)處理記錄集成在一起。使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)，確保命名約定、編碼結(jié)構(gòu)和屬性度量等指標(biāo)的一致性。時(shí)變的（time-variant）：數(shù)據(jù)存儲從歷史的角度提供信息。數(shù)據(jù)倉庫中的關(guān)鍵結(jié)構(gòu)，隱式或顯式地包含時(shí)間元素。非易失的（nonvolatile）：數(shù)據(jù)倉庫的數(shù)據(jù)是有歷史保存意義的，數(shù)據(jù)倉

19、庫的數(shù)據(jù)也只使用添加的方式，進(jìn)入了數(shù)據(jù)倉庫的數(shù)據(jù)一般情況下是不需要更新的，這樣就保證了數(shù)據(jù)的穩(wěn)定性。通常，它只需要三種數(shù)據(jù)訪問：數(shù)據(jù)的初始化裝入、數(shù)據(jù)的添加和數(shù)據(jù)查詢訪問。數(shù)據(jù)倉庫定義事實(shí)表是用來記錄具體事件的，包含了每個(gè)事件的具體要素，以及具體發(fā)生的事情；維度表是對事實(shí)表中事件的要素的描述信息；數(shù)據(jù)倉庫相關(guān)概念 一個(gè)事實(shí)表和多個(gè)維度表構(gòu)成一個(gè)立方體（主題），一個(gè)或者多個(gè)相關(guān)主題構(gòu)成一個(gè)數(shù)據(jù)集市，一個(gè)或者多個(gè)數(shù)據(jù)集市構(gòu)成了數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫的架構(gòu)模型包括了星型架構(gòu)與雪花型架構(gòu)兩種模式。 星型架構(gòu)的中間為事實(shí)表，四周為維度表，類似星星； 雪花型架構(gòu)的中間為事實(shí)表，兩邊的維度表可以再有其關(guān)聯(lián)子表

20、，從而表達(dá)了清晰的維度層次關(guān)系。步驟一：確定主題即確定數(shù)據(jù)分析或前端展現(xiàn)的主題。例如：我們希望分析某年某月某一地區(qū)的啤酒銷售情況，這就是一個(gè)主題。主題要體現(xiàn)出某一方面的各分析角度(維度)和統(tǒng)計(jì)數(shù)據(jù)(量度)之間的關(guān)系，確定主題時(shí)要綜合考慮。我們可以形象的將一個(gè)主題想象為一顆星星：統(tǒng)計(jì)數(shù)據(jù)(量度)存在于星星中間的事實(shí)表；分析角度(維度)是星星的各個(gè)角；我們將通過維度的組合，來考察量度。那么，“某年某月某一地區(qū)的啤酒銷售情況”這樣一個(gè)主題，就要求我們通過時(shí)間和地區(qū)兩個(gè)維度的組合，來考察銷售情況這個(gè)量度。步驟二：確定量度在確定了主題以后，我們將考慮要分析的技術(shù)指標(biāo)，諸如年銷售額之類。它們一般為數(shù)值，稱

21、為量度。量度是統(tǒng)計(jì)的指標(biāo)，必須事先選擇恰當(dāng)，基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)的設(shè)計(jì)和計(jì)算。數(shù)據(jù)倉庫構(gòu)建步驟步驟二：確定量度在確定了主題以后，我們將考慮要分析的技術(shù)指標(biāo)，諸如年銷售額之類。它們一般為數(shù)值，稱為量度。量度是統(tǒng)計(jì)的指標(biāo)，必須事先選擇恰當(dāng)，基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)的設(shè)計(jì)和計(jì)算。步驟三：確定事實(shí)數(shù)據(jù)粒度在確定了量度之后，我們要考慮到該量度的匯總情況和不同維度下量度的聚合情況?？紤]到量度的聚合程度不同，或采用“最小粒度原則”，即將量度的粒度設(shè)置到最小。數(shù)據(jù)倉庫構(gòu)建步驟步驟四：確定維度維度是指分析的各個(gè)角度。例如我們希望按照時(shí)間，或者按照地區(qū)，或者按照

22、產(chǎn)品進(jìn)行分析，那么這里的時(shí)間、地區(qū)、產(chǎn)品就是相應(yīng)的維度?；诓煌木S度，我們可以看到各量度的匯總情況，也可以基于所有的維度進(jìn)行交叉分析。步驟五： 創(chuàng)建事實(shí)表在確定好事實(shí)數(shù)據(jù)和維度后，我們將考慮加載事實(shí)表。在公司的大量數(shù)據(jù)堆積如山時(shí)，我們想看看里面究竟是什么，結(jié)果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄，一筆筆交易記錄 那么這些記錄是我們將要建立的事實(shí)表的原始數(shù)據(jù)，即關(guān)于某一主題的事實(shí)記錄表。事實(shí)表是數(shù)據(jù)倉庫的核心。數(shù)據(jù)倉庫構(gòu)建步驟商務(wù)智能核心技術(shù)有哪些？三. ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉庫技術(shù)四. 在線聯(lián)機(jī)分析處理技術(shù)（OLAP）五.數(shù)據(jù)挖掘技術(shù)元數(shù)據(jù)通常定義 “關(guān)于數(shù)據(jù)的數(shù)據(jù)（例如視圖，查詢SQL

23、，事務(wù)，存儲過程）”，是描述和管理數(shù)據(jù)倉庫自身內(nèi)容對象、用來表示數(shù)據(jù)項(xiàng)的意義及其在系統(tǒng)各組成部件之間的關(guān)系的數(shù)據(jù)。元數(shù)據(jù)作用于數(shù)據(jù)倉庫的創(chuàng)建，維護(hù)，管理和使用的各個(gè)方面。是從廣義上來講，用元數(shù)據(jù)來描述數(shù)據(jù)倉庫對象的任何東西無論是一個(gè)表、一個(gè)列、一個(gè)查詢、一個(gè)商業(yè)規(guī)則，或者是數(shù)據(jù)倉庫內(nèi)部的數(shù)據(jù)轉(zhuǎn)移。它在數(shù)據(jù)源的抽取、數(shù)據(jù)加工、訪問與使用等過程中都會(huì)存在。實(shí)現(xiàn)元數(shù)據(jù)管理的主要目標(biāo)就是使企業(yè)內(nèi)部元數(shù)據(jù)的定義標(biāo)準(zhǔn)化。數(shù)據(jù)倉庫的維護(hù)工具可以根據(jù)元數(shù)據(jù)完成數(shù)據(jù)的抽取、清洗和轉(zhuǎn)換，并做適度的匯總。數(shù)據(jù)倉庫的元數(shù)據(jù)包括：（1）數(shù)據(jù)資源：包括各個(gè)數(shù)據(jù)源的模型，描述源數(shù)據(jù)表字段屬性及業(yè)務(wù)含義，源數(shù)據(jù)到數(shù)據(jù)倉庫的映

24、射關(guān)系；（2）數(shù)據(jù)組織：數(shù)據(jù)倉庫、數(shù)據(jù)集市表的結(jié)構(gòu)、屬性及業(yè)務(wù)含義，多維結(jié)構(gòu)等等；（3）數(shù)據(jù)應(yīng)用：查詢與報(bào)表輸出格式描述、OLAP、數(shù)據(jù)挖掘等的數(shù)據(jù)模型的信息展現(xiàn)；（4）數(shù)據(jù)管理：這里包括數(shù)據(jù)倉庫過程以及數(shù)據(jù)倉庫操作結(jié)果的模型，包括描述數(shù)據(jù)抽取和清洗規(guī)則、數(shù)據(jù)加載控制、臨時(shí)表結(jié)構(gòu)、用途和使用情況、數(shù)據(jù)匯總控制。元數(shù)據(jù)分析用戶數(shù)據(jù)庫、數(shù)據(jù)倉庫我想知道今年、做得最好的5個(gè)產(chǎn)品數(shù)據(jù)倉庫中有80張數(shù)據(jù)表無語義層的工作模式無語義層的工作模式以往的兩種主要的解決數(shù)據(jù)訪問問題的方法:The Bureau Approach:業(yè)務(wù)人員技術(shù)人員SQLThe SQL Education Approach:業(yè)務(wù)人員技

25、術(shù)人員SQL透過語義層訪問數(shù)據(jù)設(shè)計(jì)語義層Universe設(shè)計(jì)數(shù)據(jù)庫和數(shù)據(jù)安全機(jī)制企業(yè)數(shù)據(jù)庫業(yè)務(wù)人員的要求業(yè)務(wù)人員可以基于語義層進(jìn)行數(shù)據(jù)查詢和分析不需要了解數(shù)據(jù)庫內(nèi)部結(jié)構(gòu)不需要學(xué)習(xí)SQL語句股票財(cái)經(jīng)銷售IT人員的要求專注于數(shù)據(jù)庫維護(hù)專注于語義層開發(fā)有語義層的工作模式商務(wù)智能核心技術(shù)有哪些？三. ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉庫技術(shù)四. 在線聯(lián)機(jī)分析處理技術(shù)（OLAP）五.數(shù)據(jù)挖掘技術(shù)商業(yè)智能的核心內(nèi)容是從許多來自企業(yè)不同的業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)（分布的、異構(gòu)的源數(shù)據(jù)）中，提取出有用的數(shù)據(jù)，進(jìn)行清理以保證數(shù)據(jù)的正確性，然后經(jīng)過抽?。‥xtraction）、轉(zhuǎn)換（Transformation）和

26、裝載（Load），即ETL過程（本質(zhì)上是樣本提取的過程），整合到一個(gè)企業(yè)級的數(shù)據(jù)倉庫里，從而得到企業(yè)信息的一個(gè)全局視圖，在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具等對數(shù)據(jù)倉庫里的數(shù)據(jù)進(jìn)行分析和處理，形成信息，甚至進(jìn)一步把信息提煉出輔助決策的知識，最后把知識呈現(xiàn)給管理者，為管理者的決策過程提供支持。ETL概念ETL 特征：以串行/并行方式，從不同異構(gòu)數(shù)據(jù)源流向統(tǒng)一的目標(biāo)數(shù)據(jù)，核心在于轉(zhuǎn)換過程（關(guān)聯(lián)，聚集），而抽取和裝載一般可以作為轉(zhuǎn)換的輸入和輸出。ETL 元數(shù)據(jù)主要包括每次轉(zhuǎn)換前后的數(shù)據(jù)結(jié)構(gòu)和轉(zhuǎn)換的規(guī)則。數(shù)據(jù)同步，數(shù)據(jù)ETL是經(jīng)常性的活動(dòng)，按照固定周期運(yùn)行，甚至實(shí)時(shí)運(yùn)行。流程控制和數(shù)據(jù)驗(yàn)證

27、機(jī)制。字段映射；映射的自動(dòng)匹配；字段的拆分；多字段的混合運(yùn)算；跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián)；自定義函數(shù)；多數(shù)據(jù)類型支持；復(fù)雜條件過濾；支持臟讀；數(shù)據(jù)的批量裝載；時(shí)間類型的轉(zhuǎn)換；對各種碼表的支持；環(huán)境變量是否可以動(dòng)態(tài)修改；去重復(fù)記錄；抽取斷點(diǎn)；記錄間合并或計(jì)算；記錄拆分；抽取的字段是否可以動(dòng)態(tài)修改；行、列變換；排序；統(tǒng)計(jì)；度量衡等常用的轉(zhuǎn)換函數(shù)；代理主鍵的生成；調(diào)試功能；抽取遠(yuǎn)程數(shù)據(jù)；增量抽取的處理方式；制造樣品數(shù)據(jù)；在轉(zhuǎn)換過程中是否支持?jǐn)?shù)據(jù)比較的功能；數(shù)據(jù)預(yù)覽；性能監(jiān)控；數(shù)據(jù)清洗及標(biāo)準(zhǔn)化；按行、按列的分組聚合等ETL技術(shù)功能清單增量數(shù)據(jù)ETL解決方案比較技術(shù)路線相關(guān)產(chǎn)品適用場合優(yōu)點(diǎn)缺點(diǎn)觸發(fā)器（Trigg

28、er）客戶自己非常熟悉自己開發(fā)的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲邏輯，而且數(shù)據(jù)的實(shí)時(shí)性要求非常高，整表數(shù)據(jù)量大于100萬的情況獲取增量數(shù)據(jù)實(shí)時(shí)性好；性能好；實(shí)現(xiàn)容易容易導(dǎo)致原業(yè)務(wù)系統(tǒng)不能正常工作；觸發(fā)器狀態(tài)不易監(jiān)控和管理；觸發(fā)器失效容易造成監(jiān)控期間的增量數(shù)據(jù)丟失時(shí)間戳客戶自己對業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲邏輯不是很熟，業(yè)務(wù)系統(tǒng)安全性要求很高，對增量數(shù)據(jù)的實(shí)時(shí)性要求不是很高，整表的數(shù)據(jù)量不大于100萬的情況不需要對原系統(tǒng)進(jìn)行任何修改；實(shí)現(xiàn)容易增量數(shù)據(jù)的獲取和更新機(jī)制對目的數(shù)據(jù)庫和源數(shù)據(jù)庫都存在較大性能影響。數(shù)據(jù)庫日志CDC(IBM)在不適合觸發(fā)器、時(shí)間戳的情況下，通過數(shù)據(jù)庫日志的方式通過第三方監(jiān)聽工具實(shí)現(xiàn)增量數(shù)據(jù)的同步不

29、用對業(yè)務(wù)系統(tǒng)表結(jié)構(gòu)進(jìn)行直接修改；對數(shù)據(jù)ETL過程進(jìn)行監(jiān)控，有利于后續(xù)日常管理需要源數(shù)據(jù)庫支持日志功能，并且修改源數(shù)據(jù)庫的日志監(jiān)控選項(xiàng)；啟動(dòng)日志監(jiān)控會(huì)適當(dāng)?shù)赜绊懺磾?shù)據(jù)庫的性能；購買專業(yè)的數(shù)據(jù)庫監(jiān)控軟件增加項(xiàng)目的成本。ETL技術(shù)與數(shù)據(jù)庫復(fù)制技術(shù)比較序號項(xiàng)目ETL數(shù)據(jù)庫復(fù)制1適用場合適合于數(shù)據(jù)倉庫系統(tǒng)，尤其適合于數(shù)據(jù)抽取中需要進(jìn)行數(shù)據(jù)清晰、轉(zhuǎn)換和運(yùn)算的情況適合數(shù)據(jù)庫的數(shù)據(jù)復(fù)制，可用于數(shù)據(jù)庫系統(tǒng)的備份、數(shù)據(jù)容災(zāi)、以及備份數(shù)據(jù)的再利用，在備份系統(tǒng)上開發(fā)新的業(yè)務(wù)模塊。2性能性能比較低非常高（高兩個(gè)數(shù)量級）3相關(guān)產(chǎn)品SSIS,CDC，Datastage等DSG Realsync，QUEST Shareple

30、x以及ORACLE DataGuard、High Volume Replicator等7、商務(wù)智能核心技術(shù)有哪些？三. ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉庫技術(shù)四. 在線聯(lián)機(jī)分析處理技術(shù)（OLAP）五.數(shù)據(jù)挖掘技術(shù)聯(lián)機(jī)分析處理（OLAP）是對立方體中的數(shù)據(jù)進(jìn)行在線的分析，可以包括切片、切塊、鉆取、旋轉(zhuǎn)、鉆透等分析方法；根據(jù)數(shù)據(jù)的存儲模式不同OLAP可劃分為:MOLAP、ROLAP、HOLAP三種OLAP概念主流的OLAP 產(chǎn)品有Oracle Express/Discoverer、SQL Server Analysis Services、DB2 OLAP Server、SAS OLAP Se

31、rver等，這些產(chǎn)品都可以生成多維數(shù)據(jù)立方體，提供多維數(shù)據(jù)的快速分析，支持所有主流關(guān)系型數(shù)據(jù)庫如DB2，Oracle，SQL Server，Sybase 等，同時(shí)可讀取關(guān)系數(shù)據(jù)庫中細(xì)節(jié)數(shù)據(jù)，實(shí)現(xiàn)混合在線分析(HOLAP)或關(guān)系型在線分析(ROLAP)商務(wù)智能核心技術(shù)-OLAP旋轉(zhuǎn)、切片、鉆取、鉆透分析聯(lián)動(dòng)分析模型預(yù)測分析7、商務(wù)智能核心技術(shù)有哪些？三. ETL技術(shù)二.元數(shù)據(jù)管理技術(shù)一.數(shù)據(jù)倉庫技術(shù)四. 在線聯(lián)機(jī)分析處理技術(shù)（OLAP）五.數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘（Data Mining）是采用數(shù)學(xué)的、統(tǒng)計(jì)的、人工智能和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的科學(xué)方法，從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對決策有潛在價(jià)值

32、的關(guān)系、模式和趨勢，并用這些知識和規(guī)則建立用于決策支持的模型，為商業(yè)智能系統(tǒng)服務(wù)的各業(yè)務(wù)領(lǐng)域提供預(yù)測性決策支持的方法、工具和過程。數(shù)據(jù)挖掘前身是知識發(fā)現(xiàn)（KDD，Knowledge Discovery in Databases），屬于機(jī)器學(xué)習(xí)的范疇，所用技術(shù)和工具主要有統(tǒng)計(jì)分析（或數(shù)據(jù)分析）和知識發(fā)現(xiàn)。知識發(fā)現(xiàn)與數(shù)據(jù)挖掘是人工智能、機(jī)器學(xué)習(xí)與數(shù)據(jù)庫技術(shù)相結(jié)合的產(chǎn)物，是從數(shù)據(jù)中發(fā)現(xiàn)有用知識的整個(gè)過程。數(shù)據(jù)挖掘概念1數(shù)據(jù)選擇數(shù)據(jù)選擇過程是根據(jù)用戶的挖掘目標(biāo)，交互式地完成對源數(shù)據(jù)的裁減，使生成的目標(biāo)數(shù)據(jù)只集中在與挖掘目標(biāo)相一致的數(shù)據(jù)上。目標(biāo)數(shù)據(jù)應(yīng)該以適合于挖掘的形式進(jìn)行組織，常用的是關(guān)系數(shù)據(jù)庫或多維

33、數(shù)據(jù)立方體等形式。2模型建立數(shù)據(jù)特征探索、分析和預(yù)處理，消除數(shù)據(jù)中的噪聲，然后建立挖掘模型并實(shí)施對應(yīng)的算法。3模型驗(yàn)證不論是自己建立挖掘模型還是選取或改進(jìn)已有模型都必須要進(jìn)行驗(yàn)證。這種驗(yàn)證最常用的方法是樣本學(xué)習(xí)。先用一部分?jǐn)?shù)據(jù)建立模型，然后再用剩下的數(shù)據(jù)來測試和驗(yàn)證這個(gè)模型。數(shù)據(jù)挖掘是一個(gè)反復(fù)的過程。通過反復(fù)的交互式執(zhí)行和驗(yàn)證才能找到解決問題的最好途徑。通過不斷地產(chǎn)生、篩選和驗(yàn)證， 才能把有意義的知識集成到企業(yè)的知識庫或商業(yè)智能系統(tǒng)中去。數(shù)據(jù)挖掘三個(gè)步驟分類：樣本分析貝葉斯分類貝葉斯分類是利用貝葉斯公式，通過計(jì)算每個(gè)特征下分類的條件概率，來計(jì)算某個(gè)特征組合實(shí)例的分類概率，選取最大概率的分類作為

34、分類結(jié)果，樸素貝葉斯分類要求各特征間是相互獨(dú)立的，對異常的反應(yīng)敏感。常見的貝葉斯分類器有Naive Bayes, TAN, BAN, GBN等方法。KNN法KNN（K-Nearest Neighbor）法即K最近鄰法，最初由Cover和Hart于1968年提出的，是一個(gè)理論上比較成熟的方法。該方法的思路非常簡單直觀：如果一個(gè)樣本在特征空間中的K個(gè)最相似（即特征空間中最鄰近）的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。該方法在定類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來決定待分樣本所屬的類別。該方法的不足之處是計(jì)算量較大。SVM法SVM法即支持向量機(jī)（Support Vector

35、 Machine）法，由Vapnik等人于1995年提出，具有相對優(yōu)良的性能指標(biāo)。該方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。通過學(xué)習(xí)算法，SVM可以自動(dòng)尋找出那些對分類有較好區(qū)分能力的支持向量，由此構(gòu)造出的分類器可以最大化類與類的間隔，因而有較好的適應(yīng)能力和較高的分準(zhǔn)率。該方法只需要由各類域的邊界樣本的類別來決定最后的分類結(jié)果。數(shù)據(jù)挖掘方法聚類分析：馬氏距離，K距離 聚類分析（Cluster）根據(jù)已知數(shù)據(jù)，計(jì)算各觀察個(gè)體或變量之間親疏關(guān)系的統(tǒng)計(jì)量（距離或相關(guān)系數(shù)）。根據(jù)某種準(zhǔn)則（最短距離法、最長距離法、中間距離法、重心法等），使同一類內(nèi)的差別較小，而類與類之間的差別較大，最終將觀察個(gè)體或

36、變量分為若干類。 聚類分析主要用在客戶和市場細(xì)分方面。以客戶關(guān)系管理為例，利用聚類分析，根據(jù)客戶在不同特征如性別、年齡、收入水平、交易歷史、教育狀況、家庭情況等方面的相似程度，對客戶進(jìn)行分類。通過聚類分析，企業(yè)往往可以發(fā)現(xiàn)客戶的喜好或行為模式，了解客戶的共性，從而提供有針對性的客戶服務(wù)，提高企業(yè)服務(wù)成功率，如提供針對性的產(chǎn)品組合等等。關(guān)聯(lián)分析：發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，事件序列，相似性時(shí)間序列 關(guān)聯(lián)分析（Association）反映一個(gè)事件和其它事件之間的依賴或關(guān)聯(lián)。數(shù)據(jù)庫中的數(shù)據(jù)關(guān)聯(lián)是現(xiàn)實(shí)世界中事物聯(lián)系的表現(xiàn)。關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時(shí)序（Time Series）關(guān)聯(lián)、因果關(guān)聯(lián)、數(shù)量關(guān)聯(lián)等。這些關(guān)聯(lián)并不總是

37、事先知道的， 而是通過數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)分析獲得的，因而對商業(yè)決策具有新價(jià)值。 關(guān)聯(lián)分析常被用于市場購物籃分析、交叉銷售，促銷計(jì)劃等。例如，在尋求諸如當(dāng)購買油漆時(shí)是否購買刷子一類的模式過程中，人們發(fā)現(xiàn)，如果顧客購買了油漆，有20%的可能性也會(huì)購買刷子。統(tǒng)計(jì)分析方法 非線性回歸分析（Nonlinear regression）、邏輯回歸分析、單變量分析、多變量分析、時(shí)間序列分析、最近鄰算法。數(shù)據(jù)挖掘方法T檢驗(yàn)假設(shè)檢驗(yàn)方法，主要用來比較兩個(gè)總體均值的差異是否顯著。方差分析（Analysis of Variance，ANOVA）超過兩個(gè)總體的均值檢驗(yàn)，也經(jīng)常用于實(shí)驗(yàn)設(shè)計(jì)后的檢驗(yàn)問題。主成分分析和因子分

38、析主成分分析（Principle Analysis）和因子分析（Factor Analysis）目標(biāo)是找出多個(gè)潛藏的變量之間的關(guān)系，主要用在消費(fèi)者行為態(tài)度等研究、價(jià)值觀態(tài)度語句的分析、市場細(xì)分之前的因子聚類等，問卷的信度和效度檢驗(yàn)等，因子分析也可算是數(shù)據(jù)的預(yù)處理技術(shù)。主成分分析與因子分析是兩種方法，要能夠區(qū)分。主成分分析可以消減變量，權(quán)重等，主成分還可以用作構(gòu)建綜合排名統(tǒng)計(jì)分析方法。時(shí)間序列分析時(shí)間序列分析（Time Sequence）用于識別具體具有先后次序的不同時(shí)間之間的關(guān)聯(lián)性。比如，客戶一月購買了飯盒和帳篷，二月購買了旅行背包和錄像帶，三月購買了睡袋。時(shí)間序列分析查看所有記錄并返回如下規(guī)

39、則：如果一月的購買目標(biāo)中包括飯盒，則三月購買睡袋的機(jī)率是30%。關(guān)聯(lián)分析可發(fā)現(xiàn)時(shí)間相關(guān)性?；貧w分析回歸分析（Regression Analysis）是重要的認(rèn)識多變量分析的基礎(chǔ)方法，只有掌握了回歸我們才能進(jìn)入多變量分析，其它很多方法都是變種。主要用在影響研究、滿意度研究等，當(dāng)然市場研究基本上是解釋性回歸分析，也就是不注重預(yù)測而關(guān)注解釋自變量對因變量的影響。主要把握R 平方、逐步回歸、標(biāo)準(zhǔn)化回歸系數(shù)（當(dāng)作權(quán)重或重要性）等；回歸也是預(yù)處理技術(shù)，缺省值處理等。數(shù)據(jù)挖掘方法Logistics回歸技術(shù)分類技術(shù)，主要針對因變量是0-1情況下的判別，該技術(shù)是我們認(rèn)識非線性關(guān)系的重要基礎(chǔ)，很多情況下，我們需要

40、作出是與否的判斷，基礎(chǔ)模型就是它了，像客戶離網(wǎng)分析、客戶價(jià)值分析、客戶信用等都用這個(gè)模型；方差分析（Analysis of Variance，ANOVA）。決策樹（Decision trees）：主要用于分類和細(xì)分，分析事件分支及概率分布。決策樹是將特征的判別序列形成一顆樹，從樹根到葉子節(jié)點(diǎn)進(jìn)行每個(gè)節(jié)點(diǎn)的判斷，葉子節(jié)點(diǎn)處對應(yīng)某個(gè)類別標(biāo)號，就是最終的分類結(jié)果。決策樹分類的關(guān)鍵是樹的構(gòu)造，由每個(gè)節(jié)點(diǎn)引申每個(gè)屬性的判別分支。如何選擇特征屬性的判別順序？一種方法是利用每個(gè)特征對最終分類結(jié)果的區(qū)分度（訓(xùn)練集中），常用的區(qū)分標(biāo)準(zhǔn)有卡方，信息增益，信息增益率。主要的決策樹算法有ID3,C4.5,CHAID,

41、CART,Quest和C5.0。神經(jīng)網(wǎng)絡(luò)方法：正向傳播和反向傳播神經(jīng)網(wǎng)絡(luò)（Neural networks）方法的目標(biāo)是捕獲市場巴素（如廣告等促銷手段）與總的銷售額間的復(fù)雜關(guān)系，找出輸人量變化引起的輸出量波動(dòng)之間的映射關(guān)系，通過神經(jīng)網(wǎng)絡(luò)的預(yù)報(bào)模型和敏感性分析可能找出重要的影響因子，此模型能夠在給定的短期預(yù)報(bào)中取得良好的性能。反向傳播神經(jīng)網(wǎng)絡(luò)適合于每日或每周數(shù)據(jù)預(yù)報(bào).與反向傳播相比，正向傳播神經(jīng)網(wǎng)絡(luò)在速度方面更具優(yōu)勢。遺傳算法（人工生命）博弈算法數(shù)據(jù)挖掘方法三、實(shí)施篇Copyright 2005 Business Objects S.A. All rights reserved.商務(wù)智能一個(gè)成功商

42、務(wù)智能案例需要做些什么？商務(wù)智能實(shí)施三. 商務(wù)智能實(shí)施方法二. 商務(wù)智能實(shí)施經(jīng)驗(yàn)一. 商務(wù)智能實(shí)施層次一、商務(wù)智能實(shí)施層次 實(shí)施商務(wù)智能一定是業(yè)務(wù)驅(qū)動(dòng)，目標(biāo)導(dǎo)向。與ERP等系統(tǒng)最大的區(qū)別是，ERP是企業(yè)的運(yùn)營系統(tǒng)，管理企業(yè)的日常流程，以流程為導(dǎo)向。而商務(wù)智能是目標(biāo)導(dǎo)向，那么要做好商務(wù)智能，企業(yè)要明確解決什么問題。當(dāng)企業(yè)明確了要解決的問題后，再分析為了解決這些問題要采取哪些方式。 企業(yè)級商業(yè)智能的構(gòu)建是一個(gè)系統(tǒng)工程，它有三個(gè)層次，需要一步一步建設(shè)。 第一個(gè)層次Business Information-Mode是整個(gè)BI工程的基礎(chǔ)； 第二個(gè)層次Business Integration 是整個(gè)BI工程的技術(shù)實(shí)現(xiàn)基礎(chǔ)； 第三個(gè)層次Business Intelligence才是真正意義上的商業(yè)智能的軟件實(shí)現(xiàn)。4、商務(wù)智能實(shí)施三. 商務(wù)智能實(shí)施方法一. 商務(wù)智能實(shí)施層次二. 商務(wù)智