資料倉儲與資料探勘

1、資料倉儲與資料探勘資料倉儲之介紹3 資料倉儲的目的是希望藉由整合公司內(nèi)部的資料並綜資料倉儲的目的是希望藉由整合公司內(nèi)部的資料並綜合各種外部資料，進而對公司重要決策者提供一個整合各種外部資料，進而對公司重要決策者提供一個整體的、廣泛的訊息認知、以供完成一策略性的決策體的、廣泛的訊息認知、以供完成一策略性的決策3 根據(jù)根據(jù)Meta GroupMeta Group在在19931993年的調(diào)查，僅有年的調(diào)查，僅有5%5%的公司對資料的公司對資料倉儲有興趣。到了倉儲有興趣。到了19941994年已上升至年已上升至90%90%，可見未來幾年，可見未來幾年資料倉儲是一極為重要的成長領(lǐng)域資料倉儲是一極為重要的

2、成長領(lǐng)域資料倉儲之介紹(續(xù))3 根據(jù)根據(jù)Meta GroupMeta Group的調(diào)查，資料倉儲的軟體硬體服務(wù)與市的調(diào)查，資料倉儲的軟體硬體服務(wù)與市場規(guī)模將由場規(guī)模將由19961996年的年的2020億美金成長到億美金成長到20002000年的年的120120億美億美金，使得如金，使得如IBMIBM、OracleOracle等知名大廠紛紛投入此一領(lǐng)域等知名大廠紛紛投入此一領(lǐng)域3 根據(jù)根據(jù)IDCIDC在在19961996年對年對6262家公司所作的研究顯示，資料倉家公司所作的研究顯示，資料倉儲的儲的投資報酬率最高可達到投資報酬率最高可達到600%600%，且有一半財務(wù)利益，且有一半財務(wù)利益來自於

3、來自於決策的制定決策的制定，顯示資料倉儲確實可以支援組織，顯示資料倉儲確實可以支援組織的決策之制定的決策之制定資料倉儲之定義3資料倉儲之父資料倉儲之父Bill InmonBill Inmon認為資料倉儲為認為資料倉儲為決策支援系統(tǒng)的核心決策支援系統(tǒng)的核心3Bill InmonBill Inmon和和Chuck KelleyChuck Kelley認為資料倉儲不僅為資料庫、且具有下列特認為資料倉儲不僅為資料庫、且具有下列特性：性：整合性：包含應(yīng)用程式、資料庫、電腦系統(tǒng)整合性：包含應(yīng)用程式、資料庫、電腦系統(tǒng)主題導(dǎo)向：回答組織特定問題主題導(dǎo)向：回答組織特定問題時間變數(shù)：隨時間變化的動態(tài)資料時間變數(shù)：

4、隨時間變化的動態(tài)資料非變動性：非變動性：資料倉儲之定義(續(xù))3 John van den HovenJohn van den Hoven認為資料倉儲是經(jīng)改良過的決策支援認為資料倉儲是經(jīng)改良過的決策支援系統(tǒng)，可產(chǎn)生高階的系統(tǒng)，可產(chǎn)生高階的(high-level)(high-level)、整合的、整合的(Integrated)(Integrated)、系統(tǒng)化的系統(tǒng)化的(organized)(organized)、結(jié)構(gòu)化的、結(jié)構(gòu)化的(structured)(structured)資料以應(yīng)用於資料以應(yīng)用於協(xié)助商業(yè)決策協(xié)助商業(yè)決策3 綜上所述，資料倉儲是經(jīng)由建立集合式的資料倉庫，綜上所述，資料倉儲是經(jīng)由

5、建立集合式的資料倉庫，從多個分散的資料來源中蒐集資料，配合分析工具，從多個分散的資料來源中蒐集資料，配合分析工具，支援決策者的決策制定支援決策者的決策制定資料倉儲之特性3 傳統(tǒng)資料庫著重於單一時間之單一資料處理傳統(tǒng)資料庫著重於單一時間之單一資料處理(one record (one record at a time)at a time)、偏重於擷取詳細之資料以供參考、注意資料、偏重於擷取詳細之資料以供參考、注意資料檔的構(gòu)成及資料正規(guī)化檔的構(gòu)成及資料正規(guī)化(normalization)(normalization)，且使用者多為中，且使用者多為中階經(jīng)理人員階經(jīng)理人員3 資料倉儲注重某一段時間內(nèi)之資

6、料倉儲注重某一段時間內(nèi)之綜合資料綜合資料(summary data on (summary data on a given time period)a given time period)、注重、注重大批資料提供之走向趨勢大批資料提供之走向趨勢、注、注重重資料本身所內(nèi)涵之意義及訊息資料本身所內(nèi)涵之意義及訊息，且使用者為決策支，且使用者為決策支援系統(tǒng)和高階主管資訊系統(tǒng)的使用者援系統(tǒng)和高階主管資訊系統(tǒng)的使用者資料倉儲之技術(shù)3資料儲存資料儲存(Data Store)(Data Store)現(xiàn)在資料倉儲中之資料儲存可稱為作業(yè)型資料儲存現(xiàn)在資料倉儲中之資料儲存可稱為作業(yè)型資料儲存(Operational

7、 (Operational Data Store) Data Store) ，一種一種儲存儲存機制機制依資料時效性區(qū)分，可將資料區(qū)分為即時的依資料時效性區(qū)分，可將資料區(qū)分為即時的(Real-time)(Real-time)、接近、接近即時的即時的(Near Real-time)(Near Real-time)、與某時點、與某時點(Point-in-time)(Point-in-time)的資料的資料一般一般資料倉儲儲存都是歷史資料資料倉儲儲存都是歷史資料，可稱為時點性的資料，可稱為時點性的資料(Point-(Point-in-time data)in-time data)，其應(yīng)用範圍包括簡單的

8、查詢到複雜的資料提煉，其應(yīng)用範圍包括簡單的查詢到複雜的資料提煉等等資料倉儲之技術(shù)(續(xù))3 資料提煉資料提煉(Data Mining)(Data Mining)資料提煉是屬於發(fā)現(xiàn)導(dǎo)向資料提煉是屬於發(fā)現(xiàn)導(dǎo)向(discovery-based approach)(discovery-based approach)方式，方式，從不從不同資料來源同資料來源蒐集大量資料，經(jīng)過詳確的分析後，提供有價值蒐集大量資料，經(jīng)過詳確的分析後，提供有價值的資訊的資訊給使用者給使用者，一般用於行銷決策上。，一般用於行銷決策上。資料提煉常可發(fā)掘出超越歸納範圍的關(guān)係，與傳統(tǒng)資料提煉?？砂l(fā)掘出超越歸納範圍的關(guān)係，與傳統(tǒng)OLAP(

9、On-OLAP(On-Line Analytical Processing)Line Analytical Processing)大不相同，可用於個人化行銷大不相同，可用於個人化行銷。資料倉儲之優(yōu)缺點3優(yōu)點優(yōu)點有形的優(yōu)點有形的優(yōu)點可整合企業(yè)各部門的資料及減少作業(yè)成本可整合企業(yè)各部門的資料及減少作業(yè)成本企業(yè)內(nèi)部文件趨向單一規(guī)格化，便於儲存與查閱。此一企企業(yè)內(nèi)部文件趨向單一規(guī)格化，便於儲存與查閱。此一企業(yè)內(nèi)文件規(guī)格之整合乃是一極大優(yōu)勢業(yè)內(nèi)文件規(guī)格之整合乃是一極大優(yōu)勢資料倉儲之優(yōu)缺點(續(xù)) 無形的優(yōu)點無形的優(yōu)點 資料來源可由各部門取得，充分運用組織資源資料來源可由各部門取得，充分運用組織資源 確保日

10、常作業(yè)不受干擾確保日常作業(yè)不受干擾 提升企業(yè)的效率與生產(chǎn)力提升企業(yè)的效率與生產(chǎn)力 可充分運用組織所掌控的資訊來獲競爭優(yōu)勢可充分運用組織所掌控的資訊來獲競爭優(yōu)勢資料倉儲之優(yōu)缺點(續(xù)) 提供更快的資訊以增強加速決策的品質(zhì)提供更快的資訊以增強加速決策的品質(zhì) 提供即時有效的資訊提供即時有效的資訊 資料可信賴度高資料可信賴度高 使用者可經(jīng)由單一查詢介面獲得所需資訊使用者可經(jīng)由單一查詢介面獲得所需資訊 可從倉儲的歷史資料中預(yù)測未來趨勢與結(jié)果可從倉儲的歷史資料中預(yù)測未來趨勢與結(jié)果資料倉儲之優(yōu)缺點(續(xù))3 缺點缺點資料倉儲的開發(fā)往往為一資料倉儲的開發(fā)往往為一極大的投資，風(fēng)險性高極大的投資，風(fēng)險性高資料倉儲的開

11、發(fā)資料倉儲的開發(fā)相當費時相當費時若是軟硬體規(guī)格不一，將會有無法若是軟硬體規(guī)格不一，將會有無法跨平臺存取資料的問題跨平臺存取資料的問題倉儲中龐大的歷史資料的管理問題倉儲中龐大的歷史資料的管理問題- - 需用彙總資料需用彙總資料(metadata)(metadata)技技術(shù)加以管理術(shù)加以管理資料更新的問題資料更新的問題- - 可採非同步方式更新可採非同步方式更新資料倉儲之發(fā)展架構(gòu)3由於資料倉儲為一高投資、高風(fēng)險、需求不定且開發(fā)費時的一項工程，由於資料倉儲為一高投資、高風(fēng)險、需求不定且開發(fā)費時的一項工程，所以需要做長期的規(guī)劃，應(yīng)採雛型法所以需要做長期的規(guī)劃，應(yīng)採雛型法(Prototyping) (P

12、rototyping) 開發(fā)。開發(fā)。3開發(fā)過程主要分為四個階段，分別是：開發(fā)過程主要分為四個階段，分別是：資料收集資料收集系統(tǒng)分析系統(tǒng)分析系統(tǒng)設(shè)計系統(tǒng)設(shè)計系統(tǒng)維護系統(tǒng)維護資料倉儲之發(fā)展架構(gòu)-資料收集3 資料收集資料收集資料收集的主要目的在於資料收集的主要目的在於定義企業(yè)需求定義企業(yè)需求。必須先成立工作小。必須先成立工作小組或指導(dǎo)委員會組或指導(dǎo)委員會(steering committee)(steering committee)，系統(tǒng)開發(fā)的工作交由工，系統(tǒng)開發(fā)的工作交由工作小組負責(zé)，而指導(dǎo)委員會扮演監(jiān)督、控制與管理的角色。作小組負責(zé)，而指導(dǎo)委員會扮演監(jiān)督、控制與管理的角色。企業(yè)目標訂定，並研擬達

13、成這些目標所需的決策過程及所需企業(yè)目標訂定，並研擬達成這些目標所需的決策過程及所需資料。資料。此階段另一重要的工作為了解此階段另一重要的工作為了解使用者的需求使用者的需求，需產(chǎn)出需求定，需產(chǎn)出需求定義規(guī)格書，內(nèi)容詳細記錄使用者的需求。義規(guī)格書，內(nèi)容詳細記錄使用者的需求。資料倉儲之發(fā)展架構(gòu)-系統(tǒng)分析3 系統(tǒng)分析系統(tǒng)分析此階段的參與者以負責(zé)開發(fā)系統(tǒng)的工作小組為主，此階段的參與者以負責(zé)開發(fā)系統(tǒng)的工作小組為主，根據(jù)前一階段所產(chǎn)生的根據(jù)前一階段所產(chǎn)生的需求定義規(guī)格書需求定義規(guī)格書，並進一步，並進一步分析規(guī)格書內(nèi)所紀錄的使用者需求。分析規(guī)格書內(nèi)所紀錄的使用者需求。資料倉儲之發(fā)展架構(gòu)-系統(tǒng)分析 在此階段中，

14、可評估系統(tǒng)的五個可行性：在此階段中，可評估系統(tǒng)的五個可行性： 技術(shù)可行性技術(shù)可行性(technical feasibility)(technical feasibility) 經(jīng)濟可行性經(jīng)濟可行性(economic feasibility)(economic feasibility) 法律可行性法律可行性(legal feasibility)(legal feasibility) 操作可行性操作可行性(operational feasibility)(operational feasibility) 時程可行性時程可行性(scheduling feasibility)(scheduling f

15、easibility)資料倉儲之發(fā)展架構(gòu)-系統(tǒng)分析技術(shù)可行性分析技術(shù)可行性分析系統(tǒng)軟硬體可行性評估系統(tǒng)軟硬體可行性評估資料庫架構(gòu)的可行性，包括使用關(guān)聯(lián)式或非關(guān)資料庫架構(gòu)的可行性，包括使用關(guān)聯(lián)式或非關(guān)聯(lián)式資料庫聯(lián)式資料庫系統(tǒng)存取時間及回應(yīng)時間的評估系統(tǒng)存取時間及回應(yīng)時間的評估資料來源整合的可行性資料來源整合的可行性資料倉儲之發(fā)展架構(gòu)-系統(tǒng)分析經(jīng)濟可行性分析經(jīng)濟可行性分析分析資料倉儲明確的分析資料倉儲明確的效益效益分析開發(fā)資料倉儲的分析開發(fā)資料倉儲的投資報酬率投資報酬率分析開發(fā)資料倉儲的分析開發(fā)資料倉儲的風(fēng)險風(fēng)險評估有形、無形成本與利益評估有形、無形成本與利益系統(tǒng)效益的評估系統(tǒng)效益的評估 ( (作

16、業(yè)成本作業(yè)成本、服務(wù)品質(zhì)服務(wù)品質(zhì)) )資料倉儲之發(fā)展架構(gòu)-系統(tǒng)分析法律可行性分析法律可行性分析資料所有權(quán)與資料所有權(quán)與資料隱私資料隱私的問題的問題企業(yè)外部資料來源的合法性企業(yè)外部資料來源的合法性系統(tǒng)軟硬體的合法性系統(tǒng)軟硬體的合法性操作可行性分析操作可行性分析分析使用者是否熟悉資料倉儲的作業(yè)分析使用者是否熟悉資料倉儲的作業(yè)是否對使用者或資料庫管理者進行是否對使用者或資料庫管理者進行教育訓(xùn)練教育訓(xùn)練資料倉儲之發(fā)展架構(gòu)-系統(tǒng)分析時間可行性分析時間可行性分析系統(tǒng)開發(fā)的系統(tǒng)開發(fā)的時間時間需要多久需要多久分析系統(tǒng)開發(fā)的分析系統(tǒng)開發(fā)的進度進度分析不同時間點的分析不同時間點的資源需求資源需求未來資料成長率的預(yù)

17、期與評估未來資料成長率的預(yù)期與評估進行可行性分析之後，可產(chǎn)生可行性分析規(guī)格書。進行可行性分析之後，可產(chǎn)生可行性分析規(guī)格書。資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計3 系統(tǒng)設(shè)計系統(tǒng)設(shè)計企業(yè)層面企業(yè)層面企業(yè)政策企業(yè)政策企業(yè)需求與目標的確定企業(yè)需求與目標的確定評估資料倉儲對企業(yè)的衝擊評估資料倉儲對企業(yè)的衝擊分析是否引進資料倉儲分析是否引進資料倉儲資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 企業(yè)政策企業(yè)政策 選擇系統(tǒng)開發(fā)方式選擇系統(tǒng)開發(fā)方式 是否與倉儲供應(yīng)商策略性合作是否與倉儲供應(yīng)商策略性合作 妥善評估需要建制資料倉儲或是資料超市妥善評估需要建制資料倉儲或是資料超市資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計人員人員清楚明確的權(quán)責(zé)劃分清楚明確

18、的權(quán)責(zé)劃分開發(fā)小組組成開發(fā)小組組成 ( (包含熟悉各部門事務(wù)專業(yè)人包含熟悉各部門事務(wù)專業(yè)人士士) )考慮是否聘請專業(yè)顧問考慮是否聘請專業(yè)顧問資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 召開經(jīng)常性會議以掌握進度召開經(jīng)常性會議以掌握進度 倉儲開發(fā)成功的關(guān)鍵在於倉儲開發(fā)成功的關(guān)鍵在於參與計畫的人員皆能持參與計畫的人員皆能持 續(xù)專注的涉入續(xù)專注的涉入 對於開發(fā)人員進行教育訓(xùn)練對於開發(fā)人員進行教育訓(xùn)練 企業(yè)應(yīng)有緊急應(yīng)邊措施計畫企業(yè)應(yīng)有緊急應(yīng)邊措施計畫資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 使用者使用者 使用者須與系統(tǒng)開發(fā)者保持良好的互動及合作關(guān)使用者須與系統(tǒng)開發(fā)者保持良好的互動及合作關(guān)係係 使用者的訓(xùn)練不容忽視，特別是查詢工具

19、使用的使用者的訓(xùn)練不容忽視，特別是查詢工具使用的訓(xùn)練訓(xùn)練 評估設(shè)計出的系統(tǒng)是否會引起使用者的抗拒，而評估設(shè)計出的系統(tǒng)是否會引起使用者的抗拒，而拒絕使用拒絕使用資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 技術(shù)層面技術(shù)層面 硬體硬體 考慮使用平行處理技術(shù)考慮使用平行處理技術(shù) 因為資料因為資料成長速度極快成長速度極快，因此對資料的，因此對資料的儲存空間儲存空間 不可輕忽不可輕忽 設(shè)計硬體規(guī)格時，需注意未來的設(shè)計硬體規(guī)格時，需注意未來的擴充性及整合擴充性及整合 性性。資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 軟體軟體 在資料庫管理系統(tǒng)方面，資料倉儲的資料庫系統(tǒng)通在資料庫管理系統(tǒng)方面，資料倉儲的資料庫系統(tǒng)通常是關(guān)連式資料庫，包括

20、常是關(guān)連式資料庫，包括DB2DB2、OracleOracle、SybaseSybase等。等。而用戶端的查詢工具軟體通常為微軟的而用戶端的查詢工具軟體通常為微軟的AccessAccess、或、或是多維度資料庫的是多維度資料庫的RedBrickRedBrick。 在作業(yè)系統(tǒng)方面，大型主機使用在作業(yè)系統(tǒng)方面，大型主機使用MVSMVS，伺服器使用，伺服器使用UNIXUNIX、OS/2OS/2或或NTNT，而客戶端工作站使用，而客戶端工作站使用NTNT、Win95Win95、或或OS/2OS/2資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 軟體軟體 評估資料庫管理系統(tǒng)應(yīng)採關(guān)聯(lián)式資料庫評估資料庫管理系統(tǒng)應(yīng)採關(guān)聯(lián)式資料庫

21、(Relational (Relational DBMS) DBMS)、物件導(dǎo)向資料庫、或是多維度資料庫系、物件導(dǎo)向資料庫、或是多維度資料庫系 統(tǒng)統(tǒng)(Multidimensional DBMS)(Multidimensional DBMS) 注意軟硬體的整合注意軟硬體的整合資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 標準標準 需建構(gòu)統(tǒng)一的標準及規(guī)格需建構(gòu)統(tǒng)一的標準及規(guī)格 應(yīng)選擇應(yīng)選擇SNASNA或或TCP/IPTCP/IP的網(wǎng)路通訊協(xié)定，以利整合速度的網(wǎng)路通訊協(xié)定，以利整合速度 資料通訊資料通訊 以何種方式達成資料通訊的目的以何種方式達成資料通訊的目的 (Internet, WAN, LAN)(Intern

22、et, WAN, LAN) 網(wǎng)路的架構(gòu)應(yīng)使用主從式、分散式、或集中式網(wǎng)路的架構(gòu)應(yīng)使用主從式、分散式、或集中式 是否須將企業(yè)內(nèi)部資料公開是否須將企業(yè)內(nèi)部資料公開資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 相容性相容性 需注意各工具的整合性及不同平臺上異質(zhì)資料庫需注意各工具的整合性及不同平臺上異質(zhì)資料庫之存檔功能之存檔功能 應(yīng)做到應(yīng)做到跨平臺存取跨平臺存取與多個資料庫系統(tǒng)之整合與多個資料庫系統(tǒng)之整合資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 安全性安全性 評估並做好重要資料的存取控制評估並做好重要資料的存取控制 做好存取資料做好存取資料權(quán)限權(quán)限的控制管理的控制管理資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 資料層面資料層面 資料品質(zhì)資料品

23、質(zhì) 掌握資料的一致性及普遍性掌握資料的一致性及普遍性 ( (資料來源整合資料來源整合) ) 資料萃取資料萃取(extraction)(extraction)、傳播、傳播(propagation)(propagation)、和轉(zhuǎn)換、和轉(zhuǎn)換 (transformation)(transformation)的品質(zhì)的品質(zhì) 評估資料的正確性評估資料的正確性 更新時保持資料的更新時保持資料的同步性及一致性同步性及一致性、更新頻率更新頻率 歷史資料的時間性歷史資料的時間性資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 彙總資料管理彙總資料管理 彙總資料之分析處理該如何建構(gòu)彙總資料之分析處理該如何建構(gòu) 彙總資料的元素彙總資料的

24、元素(data element)(data element)應(yīng)該包括哪些內(nèi)容應(yīng)該包括哪些內(nèi)容 資料庫管理資料庫管理 目前系統(tǒng)能否因應(yīng)未來成長需求目前系統(tǒng)能否因應(yīng)未來成長需求 資料權(quán)限控制資料權(quán)限控制資料倉儲之發(fā)展架構(gòu)-系統(tǒng)設(shè)計 資料查詢資料查詢 需提供一友善的前端查詢介面需提供一友善的前端查詢介面 應(yīng)完善評估查詢工具應(yīng)完善評估查詢工具 ( (工具與軟硬體相容性工具與軟硬體相容性、直直接接 存取或存取或ODBC)ODBC) 查詢工具挖掘查詢工具挖掘(drill-down)(drill-down)能力的評估能力的評估 評估資料查詢的評估資料查詢的反應(yīng)時間、即時性與穩(wěn)定性反應(yīng)時間、即時性與穩(wěn)定性資料

25、倉儲之發(fā)展架構(gòu)-系統(tǒng)維護 系統(tǒng)維護系統(tǒng)維護此階段須工作小組與使用者相互配合。以下從系統(tǒng)、資料、使用此階段須工作小組與使用者相互配合。以下從系統(tǒng)、資料、使用者三方面討論此階段的工作項目者三方面討論此階段的工作項目系統(tǒng)方面系統(tǒng)方面系統(tǒng)的資料存系統(tǒng)的資料存儲量必須容納未來的成長儲量必須容納未來的成長安全性是維護的重點安全性是維護的重點再新增設(shè)備時須考慮系統(tǒng)整合性再新增設(shè)備時須考慮系統(tǒng)整合性系統(tǒng)效能的管理系統(tǒng)效能的管理 ( (反應(yīng)時間反應(yīng)時間、搜尋速度搜尋速度) )資料倉儲之發(fā)展架構(gòu)-系統(tǒng)維護資料方面資料方面需按時程更新，並將更新情形告知使用者需按時程更新，並將更新情形告知使用者彙總資料的管理是一項重點彙總資料的管理是一項重點管理資料量的成長是重要工作之一管理資料量的成長是重要工作之一使用者方面使用者方面使用者的教育訓(xùn)練是此階段重要的工作使用者的教育訓(xùn)練是此階段重要的工作系統(tǒng)正式上線後，需讓使用者有緩衝時間適應(yīng)