《數(shù)據(jù)資源處理技術(shù)》課件

第七章數(shù)據(jù)資源管理技術(shù)

數(shù)據(jù)處理方式

文件組織

數(shù)據(jù)庫數(shù)據(jù)倉庫和數(shù)據(jù)1精選ppt第七章數(shù)據(jù)資源管理技術(shù)數(shù)據(jù)處理方式1精選ppt7.1企業(yè)數(shù)據(jù)處理方式1、聯(lián)機事務(wù)處理形式處理信息OLTP：即聯(lián)機事務(wù)處理（OnLineTransactionProcessing），以事務(wù)處理的形式來處理信息，涉及到對要輸入的信息的收集和處理，再對收集和處理的信息加以利用，去更新已有的信息。OLTP是事件驅(qū)動，面向應(yīng)用的，基本特點：

支持日常的業(yè)務(wù)

事務(wù)驅(qū)動

面向應(yīng)用

數(shù)據(jù)是當前的并在不斷變化

存儲詳細數(shù)據(jù)(每一個事件或事務(wù))

支持辦事人員或行政人員

對應(yīng)業(yè)務(wù)的變更頻繁的存取

利用業(yè)務(wù)數(shù)據(jù)庫和數(shù)據(jù)庫管理系統(tǒng)提供支持2精選ppt7.1企業(yè)數(shù)據(jù)處理方式1、聯(lián)機事務(wù)處理形式處理信息7.1企業(yè)數(shù)據(jù)處理方式2、聯(lián)機分析處理形式處理信息，并利用信息進行決策OLAP：即聯(lián)機分析處理（OnLineAnalyticalProcessing）是一種為支持決策而進行的信息處理方式，是跨部門的，面向主題的，基本特點：

支持長遠的業(yè)務(wù)戰(zhàn)略決策

分析驅(qū)動

面向主題

數(shù)據(jù)是歷史的

數(shù)據(jù)反映某個時間點或一段時間

數(shù)據(jù)是靜態(tài)的，除數(shù)據(jù)刷新外

數(shù)據(jù)是匯總的

優(yōu)化是針對查詢而不是更新

支持管理人員和執(zhí)行主管人員

利用數(shù)據(jù)倉庫提供支持P170-圖7-13精選ppt7.1企業(yè)數(shù)據(jù)處理方式2、聯(lián)機分析處理形式處理信息，并利OLAP和OLTP的區(qū)別：

聯(lián)機分析處理和傳統(tǒng)的聯(lián)機事務(wù)處理(OnLineTransactionProcessing,OLTP)是兩種性質(zhì)不同的數(shù)據(jù)處理方式。OLTP主要用來完成基礎(chǔ)業(yè)務(wù)數(shù)據(jù)的增、刪、改等操作，如民航訂票系統(tǒng)、銀行儲蓄系統(tǒng)等等，對響應(yīng)時間要求比較高，強調(diào)的是密集數(shù)據(jù)更新處理的性能和系統(tǒng)的可靠性及效率。OLAP應(yīng)用是對用戶當前及歷史數(shù)據(jù)進行分析、輔助領(lǐng)導(dǎo)決策，主要通過多維數(shù)據(jù)的查詢、旋轉(zhuǎn)、鉆取和切片等關(guān)鍵技術(shù)對數(shù)據(jù)進行分析和報表。4精選pptOLAP和OLTP的區(qū)別：聯(lián)機分析處理和傳統(tǒng)的聯(lián)機事務(wù)處7.1企業(yè)數(shù)據(jù)處理方式3、在信息應(yīng)用過程中管理信息企業(yè)在管理信息時應(yīng)考慮：考慮適當?shù)募夹g(shù)組織信息，以便信息處理使用者能邏輯的使用信息，而不必了解信息的物理組織形式字段—記錄---文件---數(shù)據(jù)庫----數(shù)據(jù)倉庫考慮使用權(quán)限：更新、使用權(quán)限等考慮信息的更新與維護：信息備份、信息的保存時間、信息的存儲技術(shù)、更新技術(shù)等5精選ppt7.1企業(yè)數(shù)據(jù)處理方式3、在信息應(yīng)用過程中管理信息企業(yè)在7.2文件組織7.2.2數(shù)據(jù)的物理組織和邏輯組織（1）文件存儲介質(zhì)順序存取設(shè)備，隨即存取設(shè)備（2）數(shù)據(jù)的邏輯組織與物理組織人機對話面外存內(nèi)存

文件分類：存儲介質(zhì)分6精選ppt7.2文件組織7.2.2數(shù)據(jù)的物理組織和邏輯組織（1（3）數(shù)據(jù)傳送外存內(nèi)存數(shù)據(jù)緩沖區(qū)物理塊物理記錄（數(shù)據(jù)塊）的傳送7精選ppt（3）數(shù)據(jù)傳送外存內(nèi)存數(shù)據(jù)緩沖區(qū)物理塊物理記錄（數(shù)據(jù)塊）的7.2.3幾種文件組織方式1、數(shù)據(jù)組織的層次數(shù)據(jù)庫文件1文件2文件n-1文件n…….記錄1記錄2記錄n-1記錄n………數(shù)據(jù)項1數(shù)據(jù)項2數(shù)據(jù)項n-1數(shù)據(jù)項n…….8精選ppt7.2.3幾種文件組織方式1、數(shù)據(jù)組織的層次數(shù)據(jù)庫文邏輯數(shù)據(jù)元素之間的關(guān)系學生數(shù)據(jù)庫學生情況文件學生成績文件學生1學生n學號姓名性別學號姓名性別96001章男96004女王……..……..……..記錄數(shù)據(jù)項9精選ppt邏輯數(shù)據(jù)元素之間的關(guān)系學生數(shù)據(jù)庫學生情況文件學生成績文件學生（1）順序文件組織外存設(shè)備記錄1記錄2記錄3記錄4記錄5………..10精選ppt（1）順序文件組織外存設(shè)備記錄1記錄2記錄3記錄4記錄5（2）索引文件索引非順序文件學號姓名數(shù)學物理計算機96019604960396029605記錄地址ABCDE學號記錄地址9601A9602D9603C9604B9605E索引11精選ppt（2）索引文件索引非順序文件學號姓名數(shù)學物理計算機960（3）鏈表文件職工號姓名部門編號工作年限特資額1111SDSSDT202323DSDNW404545HGGDT706545HJGGDT5406767HHGNW601232HHHNW404321UYYEA304543TUDT501234IUYYDT50記錄地址ABCDEFGHI12精選ppt（3）鏈表文件職工號姓名部門編號工作年限特資額1111S7.3數(shù)據(jù)庫系統(tǒng)7.3.1數(shù)據(jù)庫處理與數(shù)據(jù)庫類型數(shù)據(jù)庫處理的三個基本活動：更新維護共享數(shù)據(jù)庫使用能共享數(shù)據(jù)庫數(shù)據(jù)的應(yīng)用程序通過數(shù)據(jù)庫管理系統(tǒng)提供查詢/響應(yīng)及報告功能，使用戶能直接快速地訪問數(shù)據(jù)庫13精選ppt7.3數(shù)據(jù)庫系統(tǒng)7.3.1數(shù)據(jù)庫處理與數(shù)據(jù)庫類型數(shù)（2）數(shù)據(jù)庫處理系統(tǒng)銀行文件處理系統(tǒng)客戶交易帳戶核對處理文件修改核對帳戶核對程序客戶財務(wù)報表存款處理存款文件修改存款程序客戶票據(jù)貸款分析報告分期貸款處理分期貸款文件修改分期貸款程序14精選ppt（2）數(shù)據(jù)庫處理系統(tǒng)銀行文件處理系統(tǒng)客戶交易帳戶核對文件核對帳戶程序存款賬目程序分期貸款程序客戶交易程序數(shù)據(jù)庫管理系統(tǒng)客戶數(shù)據(jù)庫查詢銀行數(shù)據(jù)庫處理系統(tǒng)15精選ppt核對帳戶存款賬目分期貸款客戶交易程序數(shù)據(jù)庫管理系統(tǒng)客戶數(shù)據(jù)庫2、數(shù)據(jù)庫類型操作數(shù)據(jù)庫（業(yè)務(wù)數(shù)據(jù)庫）管理數(shù)據(jù)庫：經(jīng)匯總處理，由管理者使用信息倉庫：當年和歷史數(shù)據(jù)標準化處理后，由管理人員使用分布式數(shù)據(jù)庫：企業(yè)各部門各自擁有的數(shù)據(jù)庫外部數(shù)據(jù)庫：信息服務(wù)公司生成與維護（1）企業(yè)數(shù)據(jù)庫種類：16精選ppt2、數(shù)據(jù)庫類型操作數(shù)據(jù)庫（業(yè)務(wù)數(shù)據(jù)庫）管理數(shù)據(jù)庫：經(jīng)匯總數(shù)據(jù)庫管理操作系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)應(yīng)用程序數(shù)據(jù)庫數(shù)據(jù)字典DBMS17精選ppt數(shù)據(jù)庫管理操作系統(tǒng)數(shù)據(jù)庫應(yīng)用程序數(shù)據(jù)庫數(shù)據(jù)字典DBMS17精18精選ppt18精選ppt7.3.4數(shù)據(jù)庫設(shè)計1、信息的轉(zhuǎn)換現(xiàn)實世界事物類：相關(guān)性質(zhì)的集合客觀事物人信息世界實體集合實體：相關(guān)屬性的集合實體及聯(lián)系加工轉(zhuǎn)換數(shù)據(jù)世界文件記錄相關(guān)數(shù)據(jù)項的集合數(shù)據(jù)庫DBMS模型存儲結(jié)構(gòu)二進制數(shù)據(jù)的集合加工轉(zhuǎn)換19精選ppt7.3.4數(shù)據(jù)庫設(shè)計1、信息的轉(zhuǎn)換現(xiàn)實世界事物類：相客觀世界信息世界數(shù)據(jù)世界組織（事務(wù)及其聯(lián)系）實體及其聯(lián)系數(shù)據(jù)庫（概念模型）事物類實體集文件事物（對象，個體）實體記錄特征（性質(zhì)）屬性數(shù)據(jù)項三個不同世界術(shù)語對照表20精選ppt客觀世界信息世界數(shù)據(jù)世界組織（事務(wù)及其聯(lián)系）實體及其聯(lián)系數(shù)據(jù)2、數(shù)據(jù)庫設(shè)計步驟（1）對現(xiàn)實世界進行需求分析（2）建立E-R模型（3）從E-R模型導(dǎo)出關(guān)系數(shù)據(jù)模型21精選ppt2、數(shù)據(jù)庫設(shè)計步驟（1）對現(xiàn)實世界進行需求分析（2）建立3、數(shù)據(jù)庫設(shè)計例子：某學院“教學管理”數(shù)據(jù)庫模型的設(shè)計（1）需求和調(diào)查分析：教學管理可以查詢學生成績可以查詢學生教師情況輸入學生成績需要可以查詢教師哪些信息？教師學生考慮研究生嗎？有沒有系部？系課程22精選ppt3、數(shù)據(jù)庫設(shè)計例子：某學院“教學管理”數(shù)據(jù)庫模型的設(shè)計（3、數(shù)據(jù)庫設(shè)計例子：某學院“教學管理”數(shù)據(jù)庫模型的設(shè)計（2）E-R圖設(shè)計p186圖7-12,7-13系系代號系名稱系主任電話教師編號姓名專業(yè)特長職稱23精選ppt3、數(shù)據(jù)庫設(shè)計例子：某學院“教學管理”數(shù)據(jù)庫模型的設(shè)計（學號姓名性別年齡課程號課程名學時數(shù)學生課程學習成績mn24精選ppt學號姓名性別年齡課程號課程名學時數(shù)學生課程學習成績mn24精3、數(shù)據(jù)庫設(shè)計例子：某學院“教學管理”數(shù)據(jù)庫模型的設(shè)計（3）關(guān)系數(shù)據(jù)模型：①對于1：n的聯(lián)系方式：系(系代號，系名稱，系主任姓名，辦公地址，電話)

教師(教師編號，教師姓名，專業(yè)特長，系代號，住址，電話)②對于m：n的聯(lián)系方式：學生(學號，姓名，性別，年齡，系代號)

課程(課程號，課程名，學分)

學習(學號，課程號，成績)③“教學管理”數(shù)據(jù)庫的關(guān)系數(shù)據(jù)模型如下：根據(jù)圖7—14"教學管理”E-R圖轉(zhuǎn)化成

(實體)系(系代號，系名稱，系主任姓名，辦公地址，電話)(實體)教師(教師編號，教師姓名，專業(yè)特長，系代號)(實體)學生(學號，姓名，性別，年齡，系代號)(實體)課程(課程號，課程名，學分)(聯(lián)系)學習(學號，課程號，成績)(聯(lián)系)教學(教師號，課程號，授課班評估，學院評估)

根據(jù)關(guān)系模型的設(shè)計，可以在計算機上實現(xiàn)數(shù)據(jù)庫的建立25精選ppt3、數(shù)據(jù)庫設(shè)計例子：某學院“教學管理”數(shù)據(jù)庫模型的設(shè)計（實例：廠長號姓名年齡廠號廠名地點廠長工廠管理11倉庫號地點面積貨號品名價格倉庫產(chǎn)品存放數(shù)量n126精選ppt實例：廠長號姓名年齡廠號廠名地點廠長工廠管理11倉庫號地點面7.4數(shù)據(jù)庫的發(fā)展7.4.1數(shù)據(jù)倉庫數(shù)據(jù)倉庫（DataWarehouse）是一個面向主題的（SubjectOriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫有四個特點：面向主題。數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進行組織。集成的。數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。相對穩(wěn)定的。數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留。反映歷史變化。數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點（如開始應(yīng)用數(shù)據(jù)倉庫的時點）到目前的各個階段的信息27精選ppt7.4數(shù)據(jù)庫的發(fā)展7.4.1數(shù)據(jù)倉庫數(shù)據(jù)倉庫（Dat(1)只包含決策信息數(shù)據(jù)倉庫特征：數(shù)據(jù)倉庫銷售市場數(shù)據(jù)庫銷售額數(shù)據(jù)庫顧客數(shù)據(jù)庫競爭統(tǒng)計按年和季度求平均值顧客分類28精選ppt(1)只包含決策信息數(shù)據(jù)倉庫特征：數(shù)據(jù)倉庫銷售市場數(shù)據(jù)庫(2)多維的數(shù)據(jù)數(shù)據(jù)倉庫特征：

在實際決策過程中決策者往往需要從多個角度去考察一個或多個指標的值，并希望了解這些指標之間的關(guān)系。

比如：對某一產(chǎn)品的銷售，希望能從不同的角度去了解它的銷售額、純利潤以及額外支出等指標，這些不同的角度包括不同時間（一年的各個季度或月份）、不同地區(qū)（個大省市）、不同的銷售渠道（零售、代理商與批發(fā)），然后分析出其相互關(guān)系。29精選ppt(2)多維的數(shù)據(jù)數(shù)據(jù)倉庫特征：在實際決策多維數(shù)據(jù)：時間（月份）銷售渠道123批發(fā)零售地區(qū)銷售額30精選ppt多維數(shù)據(jù)：時間（月份）銷售渠道123批發(fā)零售地區(qū)銷售額30精數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)：一個典型的企業(yè)數(shù)據(jù)倉庫系統(tǒng)通常包含數(shù)據(jù)源、數(shù)據(jù)存儲與管理、OLAP服務(wù)器以及前端工具與應(yīng)用四個部分。

31精選ppt數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)：31精選ppt數(shù)據(jù)倉庫體系結(jié)構(gòu)圖

數(shù)據(jù)倉庫DBMS

MRDB

MDDB

數(shù)據(jù)抽取數(shù)據(jù)凈化數(shù)據(jù)載入

數(shù)據(jù)集市

報表,查詢,EIS工具

OLAP工具

數(shù)據(jù)挖掘工具

操縱平臺

管理平臺 32精選ppt數(shù)據(jù)倉庫體系結(jié)構(gòu)圖

數(shù)據(jù)抽取數(shù)據(jù)集市 報表,查（1）數(shù)據(jù)倉庫(DW，DataWarehouse)由數(shù)據(jù)源、數(shù)據(jù)的存儲與管理構(gòu)成。（2）聯(lián)機分析處理技術(shù)（OLAP，On-LineAnalyticalProcessing）是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP的目標是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求。OLAP也可以說是多維數(shù)據(jù)分析工具的集合。（3）數(shù)據(jù)挖掘（DM，DataMining）是從大量的數(shù)據(jù)中，抽取出潛在的、有價值的知識（模型或規(guī)則）的過程。數(shù)據(jù)挖掘的過程：數(shù)據(jù)倉庫33精選ppt（1）數(shù)據(jù)倉庫(DW，DataWarehouse)由數(shù)據(jù)源7.4.2聯(lián)機分析處理OLAP

聯(lián)機分析處理首先是由關(guān)系數(shù)據(jù)庫泰斗之一Codd在90年代初期提出的。當時，Codd認為聯(lián)機事務(wù)處理（OLTP）已經(jīng)不能滿足終端用戶對數(shù)據(jù)庫查詢的需要，SQL對大數(shù)據(jù)庫進行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進行大量計算才能得到結(jié)果，而查詢結(jié)果并不能滿足決策者提出的要求。34精選ppt7.4.2聯(lián)機分析處理OLAP聯(lián)機分析OLAP的提出：

在實際決策過程中決策者往往需要從多個角度去考察一個或多個指標的值，并希望了解這些指標之間的關(guān)系。

比如：對某一產(chǎn)品的銷售，希望能從不同的角度去了解它的銷售額、純利潤以及額外支出等指標，這些不同的角度包括不同時間（一年的各個季度或月份）、不同地區(qū)（個大省市）、不同的銷售渠道（零售、代理商與批發(fā)），然后分析出其相互關(guān)系。因此提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP35精選pptOLAP的提出：在實際決策過程中決策者往往需多維數(shù)據(jù)：時間（月份）銷售渠道123批發(fā)零售地區(qū)銷售額36精選ppt多維數(shù)據(jù)：時間（月份）銷售渠道123批發(fā)零售地區(qū)銷售額36精多維分析的基本動作：（1）切片：某個維度上的取值選定一個固定值地區(qū)產(chǎn)品時間銷售額地區(qū)產(chǎn)品銷售額2001年10月37精選ppt多維分析的基本動作：（1）切片：某個維度上的取值選定一個固定多維分析的基本動作：（3）旋轉(zhuǎn)：對各個坐標的旋轉(zhuǎn)變換可以得到不同視角的數(shù)據(jù)地區(qū)產(chǎn)品產(chǎn)品地區(qū)38精選ppt多維分析的基本動作：（3）旋轉(zhuǎn)：對各個坐標的旋轉(zhuǎn)變換可以得到（2）鉆?。憾嗑S視圖中某個維度的取值可以分層

多維分析的基本動作：地區(qū)產(chǎn)品時間銷售額39精選ppt（2）鉆取：多維視圖中某個維度的取值可以分層多維分析的基本OLAP的使用：針對不同的用戶提供不同的工具：（1）面向“What”型