技術基礎篇數據處理課件

第六章數據處理教學目的及要求：⑴識記數據處理的概念、數據文件、數據庫、數據庫管理系統、數據庫系統、數據字典等概念；⑵熟悉數據處理的根本內容、數據文件的組織方式、數據庫系統的結構，實體、屬性和聯系，數據庫設計的四個階段；⑶了解數據處理的開展階段，數據庫系統的產生。第六章數據處理一、數據處理的概念所謂數據處理，就是把來自科學研究、生產實踐和社會經濟活動等領域中的原始數據用一定的設備和一定的手段按一定的使用要求加工成另一種形式的數據，以便獲得對人們決策有價值的信息的過程。數據處理二、數據處理的開展階段

1.手工處理

2.機械設備處理

3.計算機系統處理由算盤、計算尺、手搖計算機等進行處理由卡片、制表設備等進行處理完全由計算機系統進行處理三、數據處理的根本內容1.數據收集〔數據采集〕〔1〕定義：數據收集就是按照用戶的需要和系統的要求收集必要的原始數據〔2〕收集方式人工收集聯機方式收集比較：人工方式及時性差，出錯率高；聯機方式快速、準確，但投資較大。聯機方式是數據采集的開展方向由人通過一定的中間環(huán)節(jié)獲得數據〔如檔案文件、帳冊、票據憑證等〕。要對數據的來源和數據本身的準確性充分了解，以保證引用資料的準確性。將某種計算機裝置、測試裝置等直接與電子數據處理系統相聯接，將所需數據直接送入計算機處理系統，由計算機直接處理。2.數據加工處理〔1〕數據的轉換和錄入數據轉換：也叫數據的預處理，是將采集到的原始數據通過一定手段轉換成適合于計算機處理的形式，使數據代碼化。原始數據的分類：數值型數據：由數字字符組成，可直接進行數據錄入文字信息或特定符號：必須預先經過“編碼〞處理才能錄入數據錄入方法：①傳統手工方法；②源數據自動化方法?！?〕數據分類和合并分類：根據一定順序將無序的數據元素序列調整成為一個有序序列，也就是將數據元素按某一關鍵字進行排序，形成一個有序文件。合并：將兩個或多個簡單有序集合中的數據工程按同樣的順序連接成一個有序集合。3.數據傳輸數據傳輸有兩層含義實現數據資源的共享與交換數據處理結果的輸出如：利用計算機通信網絡共享各網點的數據資源。常以報告、文件圖表等形式輸出給各用戶，并傳送到各部門。4.數據存儲數據存儲：是對原始待加工的數據及已加工的各種信息的儲存

涉及的兩個問題物理存儲：將數據存儲在適當的介質上邏輯組織：按數據邏輯內在聯系和使用方式，把數據組成合理的結構5.數據管理數據管理就是對數據的更新和維護，也就是指對原文件中的記錄或數據項進行修改、插入〔增加〕、刪除及數據存儲的調整，數據正確性的檢查和平安性的保證等。更新過程錄入更新更新新文件更新文件舊文件6.數據檢索數據檢索即從計算機存儲數據中查找和選取所需要的數據采用何種方式檢索，取決于數據存儲的形式數據處理的核心是數據收集和數據管理三、文件組織

只有將數據有序地組織起來，才能對數據進行有效地處理。1.數據組織的層次數據按照層次方式進行組織由(位、字節(jié)、)字段、記錄、文件、數據庫(、數據倉庫)組成位〔Bit〕:是計算機中最小的數據單位，其值為0或1，是一個二進位，表示一個導通或未通的電〔光〕路。字節(jié)〔Byte〕:是由假設干位組成的，代表一個字符。字符是信息的最根本構架。字段〔Field，也稱數據項〕。★多個字符組成一個詞或者一個完整的數字〔如人名或年齡〕★字段是數據的最小單位，它不能再分成有意義的單位記錄〔Record〕:由與某個特殊對象或活動有關的所有字段組成。文件〔File〕★同一類型的所有記錄組成一個文件★文件就是與某個特定主題相關的數據記錄的集合。數據庫〔Database〕:邏輯相關文件的集合。數據倉庫(Datawarehouse):由多個數據庫中的信息抽取組合構成。（字母J的ASCII碼）數據的層次舉例文件字節(jié)字段記錄01001010900811劉漢云2000-9-4位0，1數據庫劉漢云項目數據庫包含：職員編號、姓名、聘用日期職員文件（名字字段）職員文件部門文件財務文件900811劉漢云2000-9-4900206李卓宇2002-7-2910810張昕陽2001-8-22.文件的組織方式文件是數據庫組織的根底，任何對數據庫的操作最終均轉化為對數據文件的操作。文件的組織方式直接影響整個信息系統的效率。〔1〕概念文件的組織方式是指文件中的記錄或數據在存儲介質上的排列方式。一般按其內部結構大致分為串行組織、順序組織、隨機組織、索引組織、倒排組織和鏈表組織等方式?！?〕分類串行組織是最簡單的一種文件組織形式，它將記錄按出現的順序一個接一個地存放在存儲器的某個區(qū)中，取用某個記錄時只能順序掃描整個文件。較多用于計算機運行過程中產生的暫時文件以及存檔文件。適用于磁帶存儲器。串行組織文件簡稱為串行文件。順序組織指文件中各記錄根據關鍵字〔值〕以升序或降序的形式存放在存儲介質上的組織形式。是經過整理的串行文件。數據記錄的邏輯順序和物理順序是一致的。其存取只能以順序方式進行，不能任意對某個記錄進行直接存取。適用于擁有大量記錄，且變化不頻繁的文件；也適用于成批數據順序存取的場合。可存儲在順序介質和隨機存取介質上。順序組織文件簡稱順序文件。隨機組織指文件中各個記錄與其在存儲介質上的存放位置之間毫無關系的組織方式。用一種算法將記錄的鍵值轉換為一個近乎隨機的數，根據這個確定記錄在存儲器上的位置。只要確定了某個記錄的存儲地址〔記錄鍵〕，就可以直接對其進行存取，不必考慮與其他記錄之間的順序關系。只能存儲在磁盤等隨機存儲設備上，不能存儲在磁帶等順序存儲設備上?？捎糜诼摍C處理的場合，實現快速地對數據進行隨機存取及查詢；不適用于文件中大局部記錄都需要處理的情況。隨機組織文件簡稱為隨機文件。索引組織是把文件中識別各個記錄的關鍵字集中在一起組成一個目錄文件〔即索引表〕的組織方式。由索引表〔簡稱索引〕與主文件兩個局部組成。適用于批處理及聯機處理。優(yōu)點是既可用于順序操作，也可用于隨機操作缺點是當文件量較大時，目錄文件增多，所占存儲空間增大。索引組織文件簡稱索引文件倒排文件是對每個輔關鍵字都設立一個索引，每種關鍵字值對應一個索引項，將具有相同關鍵字值記錄地址都保存在相應的索引項中的組織方式。倒排組織中，記錄有多個鍵值，根據這些鍵值來確定一個記錄?？梢园训古沤M織文件視為“多鍵值索引文件〞。倒排組織文件簡稱倒排文件鏈表組織是記錄之間互相用指針連接的組織方式。指針是特殊的數據項，指出另一記錄在存儲器上的位置，同時也反映了數據記錄之間的聯系，它不代表任何屬性。一組記錄可提供幾組指針，形成不同的邏輯文件，存取記錄十分方便。鏈表組織文件簡稱鏈表文件。第七章數據庫技術教學目的及要求熟悉數據庫系統的結構，實體、屬性和聯系，數據庫設計的四個階段；了解一定的數據庫開發(fā)技術第七章數據庫技術一、數據庫系統的產生1.人工處理階段(50S中期以前〕沒有軟件支持，程序員直接管理數據。數據保存在處理程序中或隨程序執(zhí)行人機交互地輸入，數據處理后將結果輸出，最后數據和程序占據的內存空間被一起釋放。只有程序文件的概念，數據的組織方式由程序自行設計和安排。問題：編程效率低，程序依賴數據，不靈活，容易出錯。人工管理方式應用程序A文件A應用程序B文件B應用程序C文件C2.文件管理階段(50S后期〕程序與數據具有設備獨立性，可長期保存在外存儲器上，構成程序文件和數據文件。數據不屬于某個特定的程序，允許重復使用。數據文件的結構仍取決于特定的應用，程序與數據間的依賴關系并未根本改變。缺點：數據冗余，數據文件間缺乏聯系，修改時容易導致數據的不一致性；數據文件面向應用，當數據結構改變時，程序維護便成為系統的主要矛盾。文件管理方式程序A程序C程序B文件管理系統文件B文件C文件A1文件A23.數據庫階段(60S后期〕數據庫技術的出現標志著數據資源管理進入數據庫階段。數據庫系統的出現，使數據管理進入了一個新階段。由于使用數據庫管理系統來專門管理數據，實現了數據與程序的真正獨立性，并且最大限度地降低了數據的冗余度。充分實現數據在不同應用中的共享，且能并發(fā)地使用數據，對數據的平安保密和完整性也有了保證措施。數據庫管理方式程序A程序C程序B數據庫管理系統數據庫人工管理文件系統數據庫系統

背景應用背景科學計算科學計算、管理大規(guī)模管理硬件背景無直接存取存儲設備磁盤、磁鼓大容量磁盤軟件背景沒有操作系統有文件系統有數據庫管理系統處理方式批處理聯機實時處理

批處理聯機實時處理,

分布處理批處理

特點數據的管理者人文件系統數據庫管理系統數據面向的對象某一應用程序某一應用程序整個應用系統數據的共享程度無共享,冗余度極大共享性差,冗余度大共享性高，冗余度小數據的獨立性不獨立，完全依賴于程序獨立性差具有高度的物理獨立性和邏輯獨立性數據的結構化無結構記錄內有結構，整體無結構整體結構化，用數據模型描述數據控制能力應用程序自己控制應用程序自己控制由數據庫管理系統提供數據安全性、完整性、并發(fā)控制和恢復能力數據庫系統數據庫系統：數據庫與數據庫管理系統的有機結合;

1.數據庫：邏輯上相關的記錄和文件的集合。

2.數據庫管理系統：是一組計算機程序，控制并組織用戶的數據庫的生成、維護和使用。數據庫系統由數據、硬件、軟件和用戶四局部組成;用戶可通過數據庫管理系統對數據進行添加、修改、刪除、檢索、存儲、統計等多種操作。二、數據庫系統的結構美國國家標準學會〔ANSI〕于1975年規(guī)定了數據庫按三級體系結構組織的標準，也就是有名的SPARC分級結構〔standardplanningandrequirementcommittee)。三級結構以內層〔內模式〕、中間層〔模式〕和外層〔外模式〕三個層次描述數據庫。數據庫的三級結構數據庫管理系統中的模式物理模式：也稱內模式，描述數據的物理存儲形式，直接與操作系統或硬件相聯系。邏輯模式：也稱模式，數據庫數據的完整表示，是所有用戶的公共數據視圖。模式僅僅涉及數據類型的描述，不涉及具體的數據值。用戶模式：也稱子模式或叫外模式，針對每一個用戶或應用，又由模式導出假設干個子模式。子模式是直接面向用戶的，用戶能夠看見并使用的是邏輯結構的局部數據描述。每一個子模式都是模式的一個子集；也可以看作是模式的一個窗口。一個數據庫系統可以有多個子模式。兩級映射可保證三種模式之間的相互獨立性模式與子模式之間的映射把概念數據庫與用戶級數據庫聯系起來模式與內模式之間的映射把概念數據庫與物理數據庫聯系起來三、數據模型模型：對現實世界事物特征的模擬和抽象就是這個事物的模型。

計算機不能直接處理現實世界中的具體事物，所以必須先把具體事物轉換為抽象的模型，然后再將其轉換為計算機可以處理的數據，從而以模擬的方式實現對現實世界事物的處理。數據模型

模型應滿足以下要求：

真實地反映現實世界；易被人理解；便于在計算機上實現；數據模型：是用來描述數據及數據間關系的一組概念，數據描述包括兩個方面：⑴數據的根本結構、數據間的聯系和數據的約束等靜態(tài)屬性；⑵數據上的操作之類的動態(tài)屬性。數據模型分為三級：⑴概念數據模型：是面向用戶、面向現實世界的數據模型，與DBMS無關，它描述一個組織的概念化結構，如實體關系模型。⑵邏輯數據模型：是用戶從數據庫中看到的數據模型，與所選用的DBMS相關，也稱數據庫模型。常見的有:層次模型、網狀模型、關系模型。⑶物理數據模型：反映數據存儲結構的模型，不僅與DBMS有關，而且還與操作系統有關。具體描述數據如何組織、如何存儲在物理介質上。數據庫模型分為三級：(即邏輯數據模型)

⑴層次模型：以樹狀結構描述數據，數據元素組成的記錄稱為節(jié)點，最上層的節(jié)點稱為根，上下層節(jié)點之間的關系為父-子關系，一個父節(jié)點可有多個子節(jié)點，而一個子節(jié)點只能有一個父節(jié)點。

⑵網狀模型：描述多對多的數據邏輯關系，即父節(jié)點可以有多個子節(jié)點，節(jié)點也可以有多個父節(jié)點。

⑶關系模型：用二維表格(關系)來表示數據庫中的所有數據。三類數據庫模型的優(yōu)缺點：

⑴層次模型的主要優(yōu)點在于其處理效率，但在數據組織上缺乏靈活性，修改困難，且不易安裝。⑵網狀模型靈活性很大，但數據關系復雜，很難開發(fā)和使用。⑶關系模型是應用最廣泛的數據模型，數據組織直觀，查詢方便，主要缺點是處理效率低。四、實體、屬性和聯系實體(entity)：客觀存在、并且可以互相區(qū)別的事物稱為實體。實體是相關的一類事物，可以是物、人、實際的東西、或者具體的東西。例：員工、庫存、客戶、訂單實體集：某個實體型下的全部實體，稱為實體集。屬性(Property)：實體所具有的每一個特性都稱為一個屬性。屬性有“型〞和“值〞的概念，屬性的名稱就是屬性的“型〞；對型的具體賦值就是屬性的“值〞。學生的姓名、學號、年齡、性別、成績是學生的屬性庫存號、說明、現有數量、在倉庫中的位置等是庫存的屬性主關鍵字：在眾多屬性中能夠唯一標識實體的屬性或屬性組。例：學生實體中的學號，產品實體中的產品號，訂單實體中的訂單號輔助關鍵字：不能唯一表示一個記錄的字段。聯系：一個實體集內部各實體之間的相互聯系，叫做實體內部聯系。在實體集之間的聯系，稱為實體的外部聯系。關系表聯系的種類和方式一對一〔1：1〕聯系在兩個實體集中，一方的一個實體最多與另一方對應的一個實體相聯系。如：已婚男性集合和已婚女性集合一對多〔1：m〕聯系在兩個實體集中，一方的一個實體與另一方對應的假設干個實體相聯系；反之，另一方的一個實體最多對應一方的一個實體。如：組織中的部門和職工，一個職工只屬于一個部門，一個部門有多個職工多對多〔m：n〕聯系兩個實體集中，任何一方的一個實體都對應另一方的假設干個實體。如：教學管理中的課程和學生，一個學生可選多門課，一門課也可被多個學生選(a)1:1聯系(b)1:n聯系(c)m:n聯系五、關系模型

由于系統中實體包括許多屬性，而這些屬性又會被不同的用戶使用，所以將這些屬性一起放在一個數據表中顯然是不合理的，需要進行分類與匯總，以編制不同的、且相關聯的表，這就是所謂的關系。1、表具有以下四個性質：在表中的任意一列上，數據項應屬于同一個屬性；表中所有行都是不相同的，不允許有重復行出現；行的順序無關列的順序無關，但不能重復；2、表具有以下四個特點：利用一系列的二維表存儲信息。在關系模型中,每個二維表都描述一種關系。關系是表的數學術語二維表也稱作“關系表〞每一個表〔關系〕所保存的信息都與一個特定的實體有關。二維表使描述信息間的關系十分便利,處理二維表所包含的信息也容易。3、表的主要術語：二維表中，一個豎列反映實體的某一屬性，稱之為字段。表中的一行形成一個實體，稱之為記錄〔元組〕，由各個數據項〔字段值〕所組成，反映某一實體的所有有關特性。關系模式：對關系的描述，用關系名〔屬性1，屬性2，…，屬性n〕來表示。對于關系模型來說，其數據模型就是一系列用二維表表示的關系。4、關系模型的根本操作關系模型有三種根本操作：投影、篩選和連接投影：從關系表格中選取指定的某些屬性，以形成新的關系；篩選：從關系表格中選取滿足某種條件的記錄，以建立新的關系；連接：把兩個關系中屬性滿足一定條件的記錄接合在一起形成新的關系。

1.數據需求分析：信息的轉換現實世界信息世界〔概念世界〕計算機世界〔數據世界〕客觀事物類：事物相關性質集合現實世界人認識選擇描述實體實體集合及實體聯系相關屬性集合E－R模型信息世界加工、轉換存儲二進制數據集合結構數文件據記錄庫相關數據項集合加工、轉換DBMS的數據模型

DBMS計算機世界（數據世界）六、數據庫的分析與設計三個不同世界術語對照表客觀世界信息世界數據世界組織（事物及其聯系）事物類（總體）事物（對象、個體）特征（性質）實體聯系（概念模型）實體集實體屬性數據庫（數據模型）文件記錄數據項對現實世界進行需求分析具體做法：①了解組織機構情況，為分析信息流做準備；②了解各部門業(yè)務情況，調查各部門輸入和使用的數據及處理數據的方式與算法；③確定數據庫的信息組成及計算機系統應實現的功能

⒉概念結構設計：在需求分析的根底上，從各個用戶出發(fā)，進行實體、實體的屬性和實體之間聯系的分析，建立概念數據模型。工具：實體聯系圖(E-R圖)

有實體、關系、屬性三種圖素，關系有一對一、一對多、多對多。E―R圖有三個要素：實體：用矩形表示實體，矩形內標注實體名稱。屬性：用橢圓表示屬性，橢圓內標注屬性名稱。并用連線與實體連接起來。實體之間的聯系：用菱形表示，菱形內注明聯系名稱，并用連線將菱形框分別與相關實體相連，并在連線上注明聯系類型。

實體聯系圖〔E-R圖〕的設計方法學生選修樣本報表①確定實體和關鍵字:三個實體學生專業(yè)課程關鍵字學號專業(yè)號課程號②確定實體之間的聯系--畫實體聯系圖:Ⅰ.先畫上矩形,填上實體名;Ⅱ.畫上橢圓形,填上屬性名;Ⅲ.判斷實體間是否有聯系;Ⅳ.有聯系畫上菱形,再判斷聯系是1還是M。矩形表示實體橢圓形表示屬性菱形表示實體之間的聯系直線表示連接1代表出現一次,M代表屢次學號姓名專業(yè)名專業(yè)號課程名課程號學分成績廠長廠長號地點廠名廠號姓名年齡管理工廠11廠長與工廠一對一聯系數量倉庫倉庫號價格品名貨號地點面積存放產品1n倉庫與產品一對多聯系成績學生學號學時數課程名課程號姓名性別學習課程mn學生與課程多對多聯系助學金實際案例①建立局部E-R圖；②綜合局部E-R圖，產生總E-R圖。例：假定某企業(yè)的信息系統，要求適應以下不同用戶的應用要求：人事科處理職工檔案，供給科處理采購業(yè)務，生產科處理產品組裝業(yè)務，總務科處理倉儲業(yè)務。企業(yè)各部門局部E-R圖：部門從屬職工1n人事科職工領導1n職工承包產品1n供應商供應產品mn供應科產品使用材料mn零部件k

企業(yè)各部門局部E-R圖：生產科零部件裝配mn產品倉庫mn總務科材料產品mn零部件組裝產品mn存放生產

企業(yè)綜合E-R圖：裝配mn組裝倉庫mn存放mn保管mn部門從屬職工1n領導1n承包產品1n供應商供應mn消耗材料nn零部件k參加mn合同n注：①在綜合中，同一實體只出現一次。②總體E-R圖中未反映“產品〞與“材料〞之間的聯系，即供給科視圖中出現的“產品〞與“材料〞之間的聯系，在總體E-R圖中被除去了。因為這種聯系是多余的，它可從“零件〞所“消耗〞的“材料〞一種更為根本的聯系中推導出來。③總體E-R圖中“供給商〞與“材料〞之間被增加了新的聯系“合同〞，該聯系并未出現于任何局部E-R圖中，增加它是允許的，表示該信息系統能支持“材料〞合同處理。⒊邏輯結構設計：將概念數據模型轉換為所選用的DBMS所支持的邏輯數據模型，然后進行數據的標準化處理。例：從E-R圖導出關系數據模型①E-R圖中每個實體，都相應轉換為一個關系，并確定主關鍵字；②對于E-R圖中聯系，聯系方式不同，處理方法不同：●1：N聯系：將“1〞方的主鍵納入“n〞方實體對應的關系中，同時將聯系的屬性也一并納入“n〞方關系中。M〔D〕：倉庫〔倉庫號，地點，面積〕產品〔貨號，品名，價格，倉庫號，數量〕

●M：N聯系：對聯系單獨建立關系，用來聯系雙方。M〔D〕：學生〔學號，姓名，性別，助學金〕課程〔課程號，課程名，學時數〕學習〔學號，課程號，成績〕●1：1聯系：聯系本身無屬性，在任意方關系中參加對方主鍵均可。M〔D〕：廠長〔廠長號，廠號，姓名，年齡〕工廠〔廠號，廠名，地點〕或：廠長〔廠長號，姓名，年齡〕工廠〔廠號，廠長號，廠名，地點〕⑷物理設計：是數據庫在物理設備上的存儲結構和存取方法的設計。主要由數據庫專業(yè)人員或DBA根據DBMS所提供的技術支持進行設計。⒋數據字典:是描述數據、處理、實體、存儲等定義、格式、內容、聯系的一個文件。是關于數據的數據庫，它對系統內的各元素作出詳細的定義和說明。在IS建設過程中數據字典是必不可少的工具，它是工作的依據、統一的標準，它可確保數據的完整性和一致性。數據字典的作用：①按各種要求提供列表據數據字典可把所有數據元素、數據結構、數據流、數據存儲、外部實體、處理邏輯按一定的順序全部列出以保證系統設計時不會遺漏。②相互參照，便于系統修改數據流圖與數據字典可以相互參照、驗證，以防止系統修改時的遺漏和不一致。③由描述內容檢索名稱

便于系統分析員的工作。④一致性檢驗和完整性檢驗

可檢驗如下問題：⑴是否存在沒有指明來源或去向的數據流；⑵是否存在沒有指明數據存儲或所屬數據流的數據元素；⑶處理邏輯與輸入的數據元素是否匹配；⑷是否存在沒有輸入或輸出的數據存儲。

人工方式數據字典的使用方式

計算機方式把各類條目按一定的格式寫在卡片上或紙上，并分類建立一覽表。在人工方式的根底上，將內容整理存入計算機。附：數據字典的條目數據元素條目總編號：1－101編號：101名稱：學號有關編碼說明：別名：S－NO＊＊＊＊＊＊＊說明：本校學生編碼編號數據值類型：連續(xù)班號類型：字符專