第1章數(shù)據(jù)庫(kù)系統(tǒng)概述

第1章數(shù)據(jù)庫(kù)系統(tǒng)概述基本概念數(shù)據(jù)庫(kù)技術(shù)的產(chǎn)生和發(fā)展數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)數(shù)據(jù)庫(kù)管理系統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)

習(xí)題11.1

基本概念數(shù)據(jù)庫(kù)技術(shù)所研究的問題:如何科學(xué)地組織、存儲(chǔ)和管理數(shù)據(jù);如何高效地獲取和處理數(shù)據(jù)。數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)管理系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)1．?dāng)?shù)據(jù)庫(kù)（DataBase，簡(jiǎn)稱DB）數(shù)據(jù)庫(kù)是相互關(guān)聯(lián)的數(shù)據(jù)集合。一組長(zhǎng)期存儲(chǔ)在計(jì)算機(jī)內(nèi)，有組織的、可共享的、具有明確意義的數(shù)據(jù)集合。數(shù)據(jù)庫(kù)具有以下幾個(gè)特點(diǎn)：數(shù)據(jù)按一定的數(shù)據(jù)模型組織、描述和儲(chǔ)存.針對(duì)明確的應(yīng)用目標(biāo)而設(shè)計(jì)、建立和加載的。具有較小的冗余度，較高的數(shù)據(jù)獨(dú)立性，可為各種用戶共享。2．?dāng)?shù)據(jù)庫(kù)管理系統(tǒng)（DataBaseManagementSystem，DBMS）對(duì)數(shù)據(jù)庫(kù)進(jìn)行有效管理的一組計(jì)算機(jī)程序。位于用戶與操作系統(tǒng)之間，是一個(gè)通用的軟件系統(tǒng)。目前流行的RDBMS產(chǎn)品：IBM:

DB2

V11ORACLE:ORACLE11G、12CSYBASE：Sybase

IQ

15.4（SAP）（IBM）INFORMIX：DINAMIC

SERVERMS：SQL

SERVER

2014MYSQL(ORACLE)3．?dāng)?shù)據(jù)庫(kù)系統(tǒng)（DataBaseSystem，簡(jiǎn)稱DBS）具有管理和控制數(shù)據(jù)庫(kù)功能的計(jì)算機(jī)系統(tǒng)。通常由5部分組成：硬件系統(tǒng)、數(shù)據(jù)庫(kù)、軟件支持系統(tǒng)、數(shù)據(jù)庫(kù)管理員和用戶。相互之間的關(guān)系如圖1.1所示。應(yīng)應(yīng)應(yīng)應(yīng)應(yīng)用數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)應(yīng)用數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)(DBMS)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)硬件系統(tǒng)圖1.1

一個(gè)簡(jiǎn)化的數(shù)據(jù)庫(kù)系統(tǒng)環(huán)境數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)1.2

數(shù)據(jù)庫(kù)技術(shù)的產(chǎn)生和發(fā)展隨著計(jì)算機(jī)硬件和軟件的發(fā)展，數(shù)據(jù)管理經(jīng)歷了:人工管理、文件系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)三個(gè)發(fā)展階段。1.2.1

人工管理階段20世紀(jì)50年代中期以前。計(jì)算機(jī)主要用于科學(xué)計(jì)算。計(jì)算機(jī)硬件水平低，外存:紙帶、卡片、磁帶，沒有能直接存取的存儲(chǔ)設(shè)備(如磁盤等)；軟件只有匯編語(yǔ)言，沒有操作系統(tǒng)，更沒有專門的管理數(shù)據(jù)的軟件。數(shù)據(jù)處理方式是批處理，數(shù)據(jù)管理者是人。人工管理階段數(shù)據(jù)管理的特點(diǎn)：數(shù)據(jù)不保存。數(shù)據(jù)由應(yīng)用程序自己管理，沒有統(tǒng)一的負(fù)責(zé)管理數(shù)據(jù)的專門軟件系統(tǒng)。數(shù)據(jù)不具有獨(dú)立性，無法進(jìn)行數(shù)據(jù)共享。數(shù)據(jù)是面向應(yīng)用程序的，該階段應(yīng)用程序和數(shù)據(jù)之間的關(guān)系如圖1.2所示。圖1.2

人工階段應(yīng)用程序與數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系應(yīng)應(yīng)應(yīng)應(yīng)1數(shù)數(shù)數(shù)數(shù)1應(yīng)應(yīng)應(yīng)應(yīng)2數(shù)數(shù)數(shù)數(shù)2應(yīng)應(yīng)應(yīng)應(yīng)n數(shù)數(shù)數(shù)數(shù)n……1.2.2

文件系統(tǒng)階段50年代后期到60年代中期。計(jì)算機(jī)用于科學(xué)計(jì)算，信息管理。計(jì)算機(jī)硬件有了磁盤、磁鼓等能直接存取的外設(shè)；軟件有高級(jí)語(yǔ)言和操作系統(tǒng)操作系統(tǒng)中有專門負(fù)責(zé)管理數(shù)據(jù)的文件系統(tǒng)。數(shù)據(jù)管理者是計(jì)算機(jī)。文件系統(tǒng)管理數(shù)據(jù)的特點(diǎn)：數(shù)據(jù)長(zhǎng)期保存在外存上，可多次進(jìn)行存取操作。程序和數(shù)據(jù)有了一定的獨(dú)立性，并分開存放。數(shù)據(jù)由文件系統(tǒng)進(jìn)行數(shù)據(jù)管理，程序和數(shù)據(jù)之間由軟件提供的存取方法進(jìn)行轉(zhuǎn)換。應(yīng)用程序與數(shù)據(jù)之間的聯(lián)系如圖1.3所示。圖1.3

文件系統(tǒng)階段應(yīng)用程序與數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系應(yīng)應(yīng)應(yīng)應(yīng)1應(yīng)應(yīng)應(yīng)應(yīng)2應(yīng)應(yīng)應(yīng)應(yīng)n文文1文文2文文n存存方方……(3)數(shù)據(jù)共享性差，冗余度大。文件是面向應(yīng)用的，當(dāng)不同的應(yīng)用程序中具有

部分相同的數(shù)據(jù)時(shí)，必須建立各自的數(shù)據(jù)文件，而不能共享相同的數(shù)據(jù)。共享性差、冗余度大、存儲(chǔ)空間浪費(fèi)，在數(shù)據(jù)進(jìn)行修改時(shí)造成數(shù)據(jù)的不一致性。1.2.3

數(shù)據(jù)庫(kù)系統(tǒng)階段60年代后期—現(xiàn)在。進(jìn)入數(shù)據(jù)庫(kù)系統(tǒng)階段的標(biāo)志是三件大事：1968年IBM公司推出層次模型的IMS系統(tǒng)；1969年美國(guó)CODASYL組織發(fā)布了DBTG報(bào)告，提出網(wǎng)狀模型；1970年IBM公司的E.F.Codd連續(xù)發(fā)表論文，提出關(guān)系模型，奠定了關(guān)系數(shù)據(jù)庫(kù)的理論基礎(chǔ)。數(shù)據(jù)庫(kù)系統(tǒng)管理數(shù)據(jù)的特點(diǎn)：(1)數(shù)據(jù)結(jié)構(gòu)化。數(shù)據(jù)結(jié)構(gòu)化是數(shù)據(jù)庫(kù)和文件系統(tǒng)的本質(zhì)區(qū)別。文件記錄的內(nèi)部是有結(jié)構(gòu)的，但記錄之間沒有聯(lián)系，數(shù)據(jù)庫(kù)系統(tǒng)實(shí)現(xiàn)了整體數(shù)據(jù)的結(jié)構(gòu)化，在描述數(shù)據(jù)時(shí)不僅要描述數(shù)據(jù)本身，還要描述數(shù)據(jù)之間的聯(lián)系。(2)數(shù)據(jù)的獨(dú)立性高。數(shù)據(jù)庫(kù)系統(tǒng)提供了三級(jí)數(shù)據(jù)抽象能力：

視圖級(jí)抽象、概念級(jí)抽象和物理級(jí)抽象三種數(shù)據(jù)庫(kù)模式：外模式、模式和內(nèi)模式實(shí)現(xiàn)了數(shù)據(jù)的物理獨(dú)立性和邏輯獨(dú)立性。應(yīng)用程序和數(shù)據(jù)的聯(lián)系如圖1.4所示。圖1.4

數(shù)據(jù)庫(kù)系統(tǒng)階段應(yīng)用程序和數(shù)據(jù)之間的聯(lián)系應(yīng)應(yīng)應(yīng)應(yīng)1應(yīng)應(yīng)應(yīng)應(yīng)2應(yīng)應(yīng)應(yīng)應(yīng)n…數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)DBMS數(shù)據(jù)共享性好，數(shù)據(jù)冗余度低。允許多個(gè)用戶或多個(gè)應(yīng)用程序同時(shí)訪問數(shù)據(jù)庫(kù)中的相同數(shù)據(jù)，數(shù)據(jù)不再面向某個(gè)應(yīng)用，而是面向整個(gè)系統(tǒng)，避免了數(shù)據(jù)之間的不相容性與不一致性。為用戶提供了方便的用戶接口。可以使用查詢語(yǔ)言（如SQL）或終端命令對(duì)數(shù)據(jù)庫(kù)進(jìn)行訪問，也可以借助高級(jí)語(yǔ)言（如C語(yǔ)言等）采用程序方式對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作。(5)統(tǒng)一的數(shù)據(jù)控制功能。對(duì)數(shù)據(jù)庫(kù)進(jìn)行并發(fā)控制、存取控制（安全性檢查）、完整性約束、數(shù)據(jù)庫(kù)內(nèi)部的維護(hù)（如索引、數(shù)據(jù)字典的自動(dòng)維護(hù)）。并發(fā)控制:控制多個(gè)事務(wù)的并發(fā)運(yùn)行，避免它們之間的相互干擾，保證每個(gè)事務(wù)都產(chǎn)生正確的結(jié)果。數(shù)據(jù)庫(kù)恢復(fù):在發(fā)生故障時(shí)，能把數(shù)據(jù)庫(kù)恢復(fù)到已知的某種正確狀態(tài)。數(shù)據(jù)庫(kù)發(fā)展階段的劃分是以數(shù)據(jù)模型的進(jìn)展為依據(jù)：第一代網(wǎng)狀、層次數(shù)據(jù)庫(kù)系統(tǒng)，第二代關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)，第三代以面向?qū)ο竽Ｐ蜑樘卣鞯臄?shù)據(jù)庫(kù)系統(tǒng)。數(shù)據(jù)庫(kù)技術(shù)和網(wǎng)絡(luò)通信技術(shù)、人工智能技術(shù)、面向?qū)ο蠹夹g(shù)、并行計(jì)算技術(shù)等互相滲透，互相結(jié)合，成為當(dāng)前數(shù)據(jù)庫(kù)技術(shù)發(fā)展的主要特征。第一代數(shù)據(jù)庫(kù)系統(tǒng)——層次、網(wǎng)狀數(shù)據(jù)庫(kù)系統(tǒng)：1968年IBM公司研制的層次模型的數(shù)據(jù)庫(kù)管理系統(tǒng)IMS(Information

Management

System)；美國(guó)數(shù)據(jù)庫(kù)系統(tǒng)語(yǔ)言協(xié)會(huì)CODASYL下屬的數(shù)據(jù)庫(kù)任務(wù)組DBTG于20世紀(jì)60年代末70年代初提出基于網(wǎng)狀結(jié)構(gòu)的方法，它是數(shù)據(jù)庫(kù)網(wǎng)狀模型的典型代表。第二代數(shù)據(jù)庫(kù)系統(tǒng)——關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)。1970年，IBM公司San

Jose研究室的研究員

E.F.codd發(fā)表了“大型共享數(shù)據(jù)庫(kù)數(shù)據(jù)的關(guān)系模型”論文，提出了數(shù)據(jù)庫(kù)的關(guān)系模型，開創(chuàng)了數(shù)據(jù)庫(kù)關(guān)系方法和關(guān)系數(shù)據(jù)理論的研究，為關(guān)系數(shù)據(jù)庫(kù)技術(shù)奠定了理論基礎(chǔ)。典型代表：IBM

San

Jose實(shí)驗(yàn)室開發(fā)的System

R;Berkeley加利福尼亞大學(xué)研制的INGRES。第三代數(shù)據(jù)庫(kù)系統(tǒng)或新一代數(shù)據(jù)庫(kù)系統(tǒng)--對(duì)象關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)/面向?qū)ο髷?shù)據(jù)庫(kù)。20世紀(jì)80

年代以來，數(shù)據(jù)庫(kù)技術(shù)在商業(yè)領(lǐng)域的巨大成功刺激了其他領(lǐng)域?qū)?shù)據(jù)庫(kù)技術(shù)的需求，但傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的局限性難以滿足新應(yīng)用的需求。傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的局限性表現(xiàn)在以下幾方面：（1）

數(shù)據(jù)模型表現(xiàn)能力差。數(shù)據(jù)模型強(qiáng)調(diào)數(shù)據(jù)的高度結(jié)構(gòu)化，只能存儲(chǔ)離散的數(shù)據(jù)和有限的數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，語(yǔ)義表示能力差。無法表示客觀世界中結(jié)構(gòu)復(fù)雜、相互聯(lián)系的語(yǔ)義也十分復(fù)雜的對(duì)象，從而限制了數(shù)據(jù)庫(kù)處理文本、超文本、圖形、圖像、CAD圖件、聲音等多種復(fù)雜對(duì)象及工程、地理、測(cè)繪等領(lǐng)域中的非格式化、非經(jīng)典數(shù)據(jù)的能力。數(shù)據(jù)類型簡(jiǎn)單、固定。結(jié)構(gòu)與行為完全分離。傳統(tǒng)數(shù)據(jù)庫(kù)主要關(guān)心數(shù)據(jù)的獨(dú)立性及存取數(shù)據(jù)的效率，是語(yǔ)法數(shù)據(jù)庫(kù)，難以抽象化地去模擬行為。結(jié)構(gòu)表示可映射到數(shù)據(jù)庫(kù)模式，

行為特征只能由應(yīng)用程序來表示。阻抗失配。主要是指關(guān)系系統(tǒng)中，數(shù)據(jù)操縱語(yǔ)言和通用程序設(shè)計(jì)語(yǔ)言之間的失配。被動(dòng)響應(yīng)。僅能響應(yīng)和重做用戶要求它們做的事情。存儲(chǔ)、管理的對(duì)象有限。僅能存儲(chǔ)

和管理數(shù)據(jù)，缺乏知識(shí)管理和對(duì)象管理的能力。事務(wù)處理能力較差。僅能支持非嵌套事務(wù)，對(duì)長(zhǎng)事務(wù)的響應(yīng)較慢，且在事務(wù)發(fā)生故障時(shí)恢復(fù)比較困難。對(duì)象數(shù)據(jù)庫(kù)誕生標(biāo)志：89年9月：“面向?qū)ο髷?shù)據(jù)庫(kù)系統(tǒng)宣言”—新一代的數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)為OODBS90年9月：“第三代數(shù)據(jù)庫(kù)系統(tǒng)宣言”—應(yīng)具有三個(gè)基本特征：支持?jǐn)?shù)據(jù)管理、對(duì)象管理和知識(shí)管理保持或繼承第二代數(shù)據(jù)庫(kù)系統(tǒng)的技術(shù)必須對(duì)其它系統(tǒng)開放（支持?jǐn)?shù)據(jù)庫(kù)語(yǔ)言標(biāo)準(zhǔn)，支持標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議；具有良好的可移植性、可連接性、可擴(kuò)展性和可互操作性）；1.2.4數(shù)據(jù)庫(kù)的發(fā)展趨勢(shì)主流數(shù)據(jù)庫(kù)廠商ORACLE、IBM、微軟Oracle基本上3年左右發(fā)布一個(gè)全新的數(shù)據(jù)庫(kù)版本（6000多人做DBMS核心，美國(guó)加州紅木灘市）；

IBM（紐約邊）和微軟（全球12萬(wàn)人，西雅圖5萬(wàn)人）近幾年加快了自己的產(chǎn)品發(fā)布，意圖不斷擴(kuò)大影響力和保持各自的市場(chǎng)份額。新型的數(shù)據(jù)庫(kù)系統(tǒng)NewSQL與NoSQL和OldSQL（Oracle、DB2等）組成了目前數(shù)據(jù)庫(kù)產(chǎn)品的三大陣營(yíng).NewSQL使用了關(guān)系模型，但在架構(gòu)及數(shù)據(jù)庫(kù)實(shí)現(xiàn)方面與

OldSQL有區(qū)別。NewSQL以列式存儲(chǔ)為主，大規(guī)模使用基于

MPP架構(gòu)的并行計(jì)算來滿足大數(shù)據(jù)量處理需求。NewSQL的產(chǎn)品主要面向大數(shù)據(jù)分析與挖掘應(yīng)用。NewSQL的廠商，如：

MemSQL、VoltDB、ScaleDB和CitusDB等等。NoSQL非關(guān)系模型，以編程的方式來處理數(shù)據(jù)。NoSQL界的佼佼者--MongoDB憑借其原生分布式架構(gòu)及豐富的功能，遙遙領(lǐng)先其它NoSQL。MongoDB：文檔數(shù)據(jù)庫(kù)，通過js實(shí)現(xiàn)類似SQL語(yǔ)言的強(qiáng)大表達(dá)能力，迅速躋身到主流數(shù)據(jù)庫(kù)隊(duì)伍。MongoDB（阿里云MongoDB的掌舵人楊成虎）：原生

JSON數(shù)據(jù)結(jié)構(gòu)提供強(qiáng)大的schema

free特性，文檔型主鍵、普通JSON索引、空間索引、JSON數(shù)組索引等，加上nodejs+mongodb數(shù)據(jù)庫(kù)結(jié)合就像當(dāng)初php+mysql一樣，這些都不是RDBMS簡(jiǎn)單加個(gè)支持JSON類型可以媲美的。

MongoDB還提供GridFS來實(shí)現(xiàn)更友好大文檔存儲(chǔ)功能，支持MapReduce讓MongoDB有更多想像。MongoDB在事務(wù)方面支持很弱，這也是它較難進(jìn)入數(shù)據(jù)一致性與可靠性要求非常高的場(chǎng)景SQL與Hadoop的集成傳統(tǒng)的數(shù)據(jù)庫(kù)廠商在尋求讓關(guān)系數(shù)據(jù)庫(kù)與Hadoop等大數(shù)據(jù)架構(gòu)對(duì)接的方法.SQL和Hadoop對(duì)接主要的難點(diǎn)是SQL語(yǔ)句如何在Hadoop上執(zhí)行，因?yàn)镠adoop的文件系統(tǒng)HDFS的設(shè)計(jì)并不能有效的運(yùn)行SQL。IBM正在探究如何更好的解決SQL和Hadoop對(duì)接的核心問題。基于IBM的BigInsight的BigSQL實(shí)現(xiàn)了SQL與Hadoop對(duì)接。Oracle也發(fā)布了最新版的Oracle

BigDataSQL以及OracleNoSQL等大數(shù)據(jù)產(chǎn)品。數(shù)據(jù)庫(kù)作為底層的數(shù)據(jù)存儲(chǔ)和管理工具，是大數(shù)據(jù)生態(tài)系統(tǒng)中不可或缺的一環(huán)。新型數(shù)據(jù)庫(kù)的高性能、高可用、靈活的數(shù)據(jù)結(jié)構(gòu)等等主要特性，都讓其成為大數(shù)據(jù)存儲(chǔ)分析的主流。希望大家能更多的關(guān)注新型數(shù)據(jù)庫(kù)的發(fā)展。注：Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu),Hadoop的框架核心：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，MapReduce為海量的數(shù)據(jù)提供了計(jì)算。大數(shù)據(jù)(bigdata)，規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。大數(shù)據(jù)的4V特點(diǎn)：Volume、Velocity、Variety、Veracity。Volume

，數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別；

Velocity

，數(shù)據(jù)類型繁多。網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。Variety，價(jià)值密度低，商業(yè)價(jià)值高。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。Veracity

，處理速度快。1秒定律。17大會(huì)主題:“數(shù)據(jù)驅(qū)動(dòng)和價(jià)值發(fā)現(xiàn)”。

“云時(shí)代的數(shù)據(jù)庫(kù)”、“區(qū)塊鏈與大數(shù)據(jù)”、“機(jī)器學(xué)習(xí)”、“大數(shù)據(jù)云服務(wù)”、“Hadoop生態(tài)系統(tǒng)”、“廣告與推薦系統(tǒng)”等多個(gè)技術(shù)專場(chǎng)。時(shí)下最關(guān)心的技術(shù)趨勢(shì)：數(shù)據(jù)分析與挖掘、數(shù)據(jù)存儲(chǔ)與加速技術(shù)、大數(shù)據(jù)行業(yè)應(yīng)用、數(shù)據(jù)可視化等。面向未來的數(shù)據(jù)庫(kù)技術(shù)（體系架構(gòu)）思考阿里巴巴研究員張瑞參會(huì)廠商互聯(lián)網(wǎng)公司：阿里巴巴，騰訊、百度、京東、小米、新浪微博、網(wǎng)易、美團(tuán)、去哪兒、58到家、螞蟻金服等。國(guó)內(nèi)數(shù)據(jù)庫(kù)服務(wù)企業(yè)：云和恩墨、美創(chuàng)、沃趣等。國(guó)企的信息部門：平安科技等在數(shù)據(jù)庫(kù)架構(gòu)、大數(shù)據(jù)方面的成果。數(shù)據(jù)庫(kù)廠商：Oracle

（MySQL）

SAP

HANA國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商：GBase、達(dá)夢(mèng)、人大金倉(cāng)等國(guó)產(chǎn)數(shù)據(jù)庫(kù)傳統(tǒng)數(shù)據(jù)庫(kù)產(chǎn)品新型數(shù)據(jù)庫(kù)產(chǎn)品（Nosql或分布式數(shù)據(jù)庫(kù)）阿里巴巴公司的OceanBaseCedar，華東師范大學(xué)（&西北工業(yè)大學(xué)&交通銀行：

CBase）基于Oceanbase0.4.2開發(fā)的一個(gè)開源數(shù)據(jù)庫(kù)，現(xiàn)在已到0.2版本。國(guó)產(chǎn)數(shù)據(jù)庫(kù) 南大通用Gbase把RDBMS、NoSQL、大數(shù)據(jù)都融合在一起，在上層提供了統(tǒng)一的數(shù)據(jù)庫(kù)層，對(duì)外提供通用元數(shù)據(jù)與

SQL支持，可以用SQL實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)流轉(zhuǎn)。南大通用GBASEGBase8a/8t/8m/8s/8d等多款國(guó)內(nèi)領(lǐng)先、國(guó)際同步的自主可控?cái)?shù)據(jù)庫(kù)、大數(shù)據(jù)產(chǎn)品。GBase8a:結(jié)構(gòu)化大數(shù)據(jù)分析領(lǐng)域的產(chǎn)品。以大規(guī)模并行處理、列存儲(chǔ)，高壓縮和智能索引技術(shù)為基礎(chǔ)，滿足數(shù)據(jù)密集型行業(yè)的數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和即席查詢等能力。南大通用GBASEGBase

8t:IBM

informix源代碼、自主研發(fā)的交易型數(shù)據(jù)庫(kù)產(chǎn)品，通過中國(guó)信息安全認(rèn)證中心的安全可靠認(rèn)證。GBase8m：面向高頻交易的事務(wù)型數(shù)據(jù)庫(kù)。多核、多進(jìn)程、大內(nèi)存、SSD等最新硬件技術(shù)，比同類內(nèi)存數(shù)據(jù)庫(kù)的性能有了大幅度的提升。DM/7

DBMS武漢華工達(dá)夢(mèng)有限公司DM/7（視頻）2017第八屆數(shù)據(jù)庫(kù)中國(guó)技術(shù)大會(huì)dtcc2017

課件(pdf版)1數(shù)據(jù)庫(kù)應(yīng)用--商業(yè)智能及數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)應(yīng)用的成熟，使得企業(yè)數(shù)據(jù)庫(kù)里承載的數(shù)據(jù)越來越多。如何從海量的數(shù)據(jù)中抽取出具有決策意義的信息，更好地服務(wù)于企業(yè)當(dāng)前的業(yè)務(wù)，需要整合數(shù)據(jù)倉(cāng)庫(kù)/商業(yè)智能（BI）商業(yè)智能是指以幫助企業(yè)決策為目的，對(duì)數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、分析、訪問等處理的一大類技術(shù)及其應(yīng)用傳統(tǒng)的數(shù)據(jù)庫(kù)應(yīng)用是基于OLTP（在線事務(wù)處理），而不能很好支持OLAP（在線分析處理）商業(yè)智能是以數(shù)據(jù)倉(cāng)庫(kù)為基礎(chǔ)，同時(shí)支持OLTP和OLAP.商業(yè)智能及數(shù)據(jù)倉(cāng)庫(kù)商業(yè)智能及數(shù)據(jù)倉(cāng)庫(kù)主流數(shù)據(jù)庫(kù)廠商對(duì)整合數(shù)據(jù)倉(cāng)庫(kù)/BI的支持：IBM把商業(yè)智能當(dāng)作DB2的一個(gè)重要發(fā)展方向，將商業(yè)智能功能構(gòu)建到DB2引擎中;在DB2中除內(nèi)置了在線分析處理(OLAP)外，又特別加強(qiáng)了分析功能，為商業(yè)智能應(yīng)用進(jìn)行了性能優(yōu)化。主流數(shù)據(jù)庫(kù)廠商對(duì)整合數(shù)據(jù)倉(cāng)庫(kù)/BI的支持微軟SQL

SERVER同時(shí)支持OLTP和OLAP，通過

XML/A接口實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的訪問，將RDB和BI功能整合在一起。ORACLE向數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域強(qiáng)化，有自己的商業(yè)智能工具.競(jìng)爭(zhēng)已經(jīng)從數(shù)據(jù)庫(kù)開始延展到更廣闊的層面。數(shù)據(jù)庫(kù)及相關(guān)DW/BI/數(shù)據(jù)分析、數(shù)據(jù)挖掘等領(lǐng)域從業(yè)人員越來越多，大環(huán)境越來越好。數(shù)據(jù)驅(qū)動(dòng)、智能應(yīng)用----大數(shù)據(jù)、人工智能等領(lǐng)域是當(dāng)前大家都一致關(guān)注的領(lǐng)域。數(shù)學(xué)、模型、算法！數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)管理系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)?國(guó)產(chǎn)的DBMS?國(guó)產(chǎn)的DBMS武漢華工達(dá)夢(mèng)有限公司DM/7南大通用GBASE(分析型DB,列存)人大金倉(cāng)KingBASE(小金靈)數(shù)據(jù)庫(kù)系統(tǒng)管理數(shù)據(jù)的特點(diǎn)?縮略詞含義:DB、DBMS、DBS、RDBMS、ORDBMS、OODBMS？1.3

數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)從數(shù)據(jù)庫(kù)管理系統(tǒng)角度來看:數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)為三級(jí)模式結(jié)構(gòu)；從最終用戶的角度來看：數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)分為單用戶結(jié)構(gòu)、主從式結(jié)構(gòu)、分布式結(jié)構(gòu)和客戶/服務(wù)器結(jié)構(gòu)。1.3.1

數(shù)據(jù)庫(kù)系統(tǒng)的三級(jí)模式結(jié)構(gòu)DBS由外模式、模式和內(nèi)模式三級(jí)構(gòu)成。1．外模式（子模式或用戶模式）用戶看見和使用的局部數(shù)據(jù)的邏輯結(jié)構(gòu)和特征的描述（用戶的數(shù)據(jù)視圖），與某一個(gè)應(yīng)用有關(guān)的數(shù)據(jù)的邏輯表示。用戶對(duì)數(shù)據(jù)庫(kù)的操作，只能與外模式發(fā)生聯(lián)系，按照外模式的結(jié)構(gòu)存儲(chǔ)操縱數(shù)據(jù)。模式（邏輯模式或概念模式）全體數(shù)據(jù)的邏輯結(jié)構(gòu)和特征的描述，所有用戶的公共數(shù)據(jù)視圖。內(nèi)模式（存儲(chǔ)模式）數(shù)據(jù)物理結(jié)構(gòu)和存儲(chǔ)結(jié)構(gòu)的描述，數(shù)據(jù)在數(shù)據(jù)庫(kù)內(nèi)部的表示方式。定義所有的記錄類型、索引和文件的組織方式。一個(gè)數(shù)據(jù)庫(kù)只有一個(gè)內(nèi)模式和一個(gè)模式，但可有多個(gè)外模式。數(shù)據(jù)按外模式的描述提供給用戶，按內(nèi)模式的描述存儲(chǔ)在磁盤中。模式位于數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)的中間層，不涉及數(shù)據(jù)的物理存儲(chǔ)細(xì)節(jié)和硬件環(huán)境，也與具體的應(yīng)用無關(guān)。數(shù)據(jù)庫(kù)系統(tǒng)的三級(jí)模式是對(duì)數(shù)據(jù)的三個(gè)抽象級(jí)別，它把數(shù)據(jù)的具體組織留給了數(shù)據(jù)庫(kù)管理系統(tǒng).為了能夠在內(nèi)部實(shí)現(xiàn)三個(gè)抽象層次的聯(lián)系和轉(zhuǎn)換，數(shù)據(jù)庫(kù)系統(tǒng)在這三級(jí)模式之間提供了外模式/模式

映象和模式/內(nèi)模式映象兩級(jí)映象。應(yīng)應(yīng)A應(yīng)應(yīng)B外外外1應(yīng)應(yīng)C外外外2應(yīng)應(yīng)D外外外3外外內(nèi)外外外外/內(nèi)外外內(nèi)內(nèi)外外外/外外內(nèi)內(nèi)數(shù)數(shù)數(shù)圖1.5

數(shù)據(jù)庫(kù)系統(tǒng)的三級(jí)模式結(jié)構(gòu)4．外模式/模式映象外模式/模式映象定義了各外模式和模式之間的對(duì)應(yīng)關(guān)系。當(dāng)模式改變時(shí)，由數(shù)據(jù)庫(kù)管理員對(duì)各個(gè)外模式/模式映象作相應(yīng)的改變，而外模式仍然保持不變，從而應(yīng)用程序不必修改，保證了數(shù)據(jù)的邏輯獨(dú)立性。5．模式/內(nèi)模式映象模式/內(nèi)模式現(xiàn)象定義了數(shù)據(jù)全局邏輯結(jié)構(gòu)與存儲(chǔ)結(jié)構(gòu)之間的對(duì)應(yīng)關(guān)系。模式/內(nèi)模式映象是惟一的。當(dāng)數(shù)據(jù)庫(kù)的存儲(chǔ)結(jié)構(gòu)發(fā)生改變時(shí)，由數(shù)據(jù)庫(kù)管理員對(duì)模式/內(nèi)模式映象作相應(yīng)的改變，而使模式保持不變，從而保證了數(shù)據(jù)的物理獨(dú)立性。1.3.2

數(shù)據(jù)庫(kù)系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)的三級(jí)模式結(jié)構(gòu)是從數(shù)據(jù)庫(kù)管理系統(tǒng)的角度看的數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)。從用戶的角度看，數(shù)據(jù)庫(kù)系統(tǒng)的體系結(jié)構(gòu)又可分為單用戶、主從式、分布式和客戶/服務(wù)器結(jié)構(gòu)。1．單用戶數(shù)據(jù)庫(kù)系統(tǒng)整個(gè)數(shù)據(jù)庫(kù)系統(tǒng)，包括應(yīng)用程序、數(shù)據(jù)庫(kù)管理系統(tǒng)、數(shù)據(jù)庫(kù)等都裝在一臺(tái)計(jì)算機(jī)上，由一個(gè)用戶獨(dú)占，不同的計(jì)算機(jī)之間不能共享數(shù)據(jù)（ACCESS）。單用戶數(shù)據(jù)庫(kù)系統(tǒng)和計(jì)算機(jī)之間的關(guān)系如圖1.6所示。圖1.6

單用戶數(shù)據(jù)庫(kù)系統(tǒng)和計(jì)算機(jī)之間的關(guān)系計(jì)計(jì)計(jì)數(shù)數(shù)數(shù)DB2．主從式結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)指一個(gè)主機(jī)帶多個(gè)終端的多用戶結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)。整個(gè)數(shù)據(jù)庫(kù)系統(tǒng)，包括應(yīng)用程序、數(shù)據(jù)庫(kù)管理系統(tǒng)、數(shù)據(jù)庫(kù)等都集中存放在主機(jī)上，所有處理任務(wù)都由主機(jī)來完成，各個(gè)用戶通過主機(jī)的終端并發(fā)地存取數(shù)據(jù)庫(kù)中的數(shù)據(jù)，達(dá)到共享數(shù)據(jù)資源的目的。主從式結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)如圖1.7所示。圖1.7

主從式結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)主計(jì)3．分布式結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)是指數(shù)據(jù)庫(kù)中的數(shù)據(jù)在邏輯上是一個(gè)整體，但物理的分布在計(jì)算機(jī)網(wǎng)絡(luò)的不同結(jié)點(diǎn)上。網(wǎng)絡(luò)中的每個(gè)結(jié)點(diǎn)（一個(gè)通用計(jì)算機(jī)）可以獨(dú)立處理本地?cái)?shù)據(jù)庫(kù)中的數(shù)據(jù)，執(zhí)行局部應(yīng)用；也可以存取和處理多個(gè)異地?cái)?shù)據(jù)庫(kù)中的數(shù)據(jù)，執(zhí)行全局應(yīng)用。分布式結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)如圖1.8所示。圖1.8

分布式結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)主計(jì)主計(jì)主計(jì)網(wǎng)網(wǎng)4．客戶/服務(wù)器結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)將數(shù)據(jù)庫(kù)管理系統(tǒng)功能和應(yīng)用分開，專門用于執(zhí)行數(shù)據(jù)庫(kù)管理系統(tǒng)功能的計(jì)算機(jī)，稱為數(shù)據(jù)庫(kù)服務(wù)器.將安裝應(yīng)用開發(fā)工具，支持用戶應(yīng)用的計(jì)算機(jī)，稱為客戶機(jī)。二類：C/S

（胖客戶機(jī)）B/S（瘦客戶機(jī) 三層架構(gòu)B、W、S）客戶/服務(wù)器數(shù)據(jù)庫(kù)系統(tǒng)又可分為集中的服務(wù)器結(jié)構(gòu)（如圖1.9所示）----在網(wǎng)絡(luò)中僅有一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器，而客戶機(jī)是多臺(tái)。分布的服務(wù)器結(jié)構(gòu)（如圖1.10所示）----在網(wǎng)絡(luò)中有多臺(tái)數(shù)據(jù)庫(kù)服務(wù)器。分布的服務(wù)器結(jié)構(gòu)是客戶/服務(wù)器與分布式數(shù)據(jù)庫(kù)的結(jié)合。圖1.9

集中的服務(wù)器結(jié)構(gòu)客用計(jì)客用計(jì)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)(DBMS功功)網(wǎng)網(wǎng)…圖1.10

分布的服務(wù)器結(jié)構(gòu)客用計(jì)客用計(jì)網(wǎng)網(wǎng)…數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)

(分分外

DBMS)數(shù)數(shù)數(shù)數(shù)數(shù)數(shù)

(分分外

DBMS)…客戶/服務(wù)器結(jié)構(gòu)的數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn)：客戶端的請(qǐng)求被傳到數(shù)據(jù)庫(kù)服務(wù)器，服務(wù)器處理后，只將結(jié)果返回給用戶，極大地減少了網(wǎng)絡(luò)負(fù)載，提高了系統(tǒng)的處理速度和能力;由于客戶機(jī)與服務(wù)器都能在多種不同的硬件和軟件平臺(tái)上運(yùn)行，并可以采用不同的數(shù)據(jù)庫(kù)開發(fā)工具，應(yīng)用程序的編寫更靈活，移植性更好，且軟件維護(hù)更容易。1.4

數(shù)據(jù)庫(kù)管理系統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)是數(shù)據(jù)庫(kù)系統(tǒng)的核心，是用于建立、使用和維護(hù)數(shù)據(jù)庫(kù)的一組軟件。負(fù)責(zé)對(duì)數(shù)據(jù)庫(kù)進(jìn)行統(tǒng)一的管理和控制。1.4.1

數(shù)據(jù)庫(kù)管理系統(tǒng)的主要功能數(shù)據(jù)庫(kù)定義功能定義構(gòu)成數(shù)據(jù)庫(kù)結(jié)構(gòu)的外模式、模式和內(nèi)模式，定義兩級(jí)映射，定義保證數(shù)據(jù)的完整性約束、保密限制等的約束條件。數(shù)據(jù)庫(kù)操縱功能實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)的基本操作，即查找、插入、刪除和修改操作。數(shù)據(jù)庫(kù)運(yùn)行控制功能對(duì)數(shù)據(jù)庫(kù)進(jìn)行并發(fā)控制、存取控制（安全性檢查）、完整性約束的檢查和執(zhí)行、數(shù)據(jù)庫(kù)內(nèi)部的控制（如索引、數(shù)據(jù)字典的自動(dòng)維護(hù)）等。數(shù)據(jù)庫(kù)的建立和維護(hù)功能數(shù)據(jù)庫(kù)初始數(shù)據(jù)的載入、轉(zhuǎn)換；數(shù)據(jù)庫(kù)的轉(zhuǎn)儲(chǔ)、恢復(fù)；數(shù)據(jù)庫(kù)的重組織與重構(gòu)造等功能。5．?dāng)?shù)據(jù)通信接口提供數(shù)據(jù)庫(kù)管理系統(tǒng)與其他軟件系統(tǒng)進(jìn)行通信的功能。1.4.2

數(shù)據(jù)庫(kù)管理系統(tǒng)的組成數(shù)據(jù)庫(kù)管理系統(tǒng)通常由以下幾部分組成：1．?dāng)?shù)據(jù)庫(kù)語(yǔ)言該語(yǔ)言是提供給用戶的。數(shù)據(jù)庫(kù)語(yǔ)言包括兩個(gè)子語(yǔ)言：數(shù)據(jù)定義子語(yǔ)言

數(shù)據(jù)操縱子語(yǔ)言。(1)數(shù)據(jù)定義子語(yǔ)言。數(shù)據(jù)定義語(yǔ)言(Data

Definition

Language，DDL)數(shù)據(jù)庫(kù)模式定義數(shù)據(jù)庫(kù)存儲(chǔ)結(jié)構(gòu)與存取方法定義模式定義:

通過各種模式翻譯程序翻譯成相應(yīng)的內(nèi)部表示形式，

存儲(chǔ)到數(shù)據(jù)字典中。存儲(chǔ)結(jié)構(gòu)和存取方法定義:

在存儲(chǔ)設(shè)備上創(chuàng)建相關(guān)的數(shù)據(jù)庫(kù)文件，

建立起物理數(shù)據(jù)庫(kù)。(2)

數(shù)據(jù)操縱子語(yǔ)言。數(shù)據(jù)操縱語(yǔ)言（

Data

ManipulationLanguage，DML）表示用戶對(duì)數(shù)據(jù)庫(kù)的操作請(qǐng)求，是用戶與DBMS之間的接口。DML分為兩類：宿主型的語(yǔ)言：嵌入主語(yǔ)言（如C語(yǔ)言）中，不能獨(dú)立使用。自主型或自含型的語(yǔ)言：交互式命令語(yǔ)言，能獨(dú)立使用。2．?dāng)?shù)據(jù)庫(kù)管理的例行程序語(yǔ)言翻譯處理程序。DDL翻譯程序、DML處理程序、終端查詢語(yǔ)言解釋程序、數(shù)據(jù)庫(kù)控制語(yǔ)言的翻譯程序等。系統(tǒng)運(yùn)行控制程序。系統(tǒng)初啟程序、文件讀寫與維護(hù)程序、存取路徑管理程序、緩沖區(qū)管理程序、安全性控制程序、完整性檢查程序、并發(fā)控制程序、事務(wù)管理程序、運(yùn)行日志管理程序和通信控制程序等。(3)公用程序。定義公用程序和維護(hù)公用程序。定義公用程序:信息格式定義、概念模式定義、外模式定義和保密定義公用程序等。維護(hù)公用程序:數(shù)據(jù)裝入、數(shù)據(jù)庫(kù)更新、重組、重構(gòu)、恢復(fù)、統(tǒng)計(jì)分析、工作日記、轉(zhuǎn)儲(chǔ)和打印公用程序等。Oracle數(shù)據(jù)庫(kù)——處理數(shù)據(jù)文件的若干程序1.5

數(shù)據(jù)庫(kù)系統(tǒng)構(gòu)成1.5.1

數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)是與一個(gè)特定組織的各項(xiàng)應(yīng)用有關(guān)的全部數(shù)據(jù)的集合。數(shù)據(jù)庫(kù)通常由兩部分組成：物理數(shù)據(jù)庫(kù)和描述數(shù)據(jù)庫(kù)。物理數(shù)據(jù)庫(kù)：應(yīng)用所需要的數(shù)據(jù)的集合，數(shù)據(jù)庫(kù)的主體；描述數(shù)據(jù)庫(kù)：關(guān)于各級(jí)數(shù)據(jù)結(jié)構(gòu)的描述，由數(shù)據(jù)字典管理。數(shù)據(jù)字典（Data

Dictionary,

簡(jiǎn)稱DD）是數(shù)據(jù)庫(kù)系統(tǒng)中各種描述信息和控制信息的集合，是數(shù)據(jù)庫(kù)設(shè)計(jì)和管理的有力工具，

又稱為“數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)”。1.5.2

硬件系統(tǒng)中央處理機(jī)、內(nèi)存、外存、輸入輸出設(shè)備、數(shù)據(jù)通道等硬件設(shè)備。對(duì)數(shù)據(jù)庫(kù)系統(tǒng)來說，特別要關(guān)注內(nèi)存和外存的容量、I/O存取速度、通道能力、可支持終端數(shù)和性能穩(wěn)定性等指標(biāo)。1.5.3

軟件支持系統(tǒng)軟件支持系統(tǒng)包括數(shù)據(jù)庫(kù)管理系統(tǒng)、操作系統(tǒng)、各種宿主語(yǔ)言和實(shí)用程序等。1.5.4

數(shù)據(jù)庫(kù)管理員與用戶數(shù)據(jù)庫(kù)管理員（Data

Base

Administrator,簡(jiǎn)稱為DBA）負(fù)責(zé)全面管理和控制數(shù)據(jù)庫(kù)系統(tǒng)正常運(yùn)