第10章數(shù)據(jù)庫恢復技術.ppt

1、,數(shù)據(jù)庫系統(tǒng)概論 An Introduction to Database System 第十章 數(shù)據(jù)庫恢復技術,第十章 數(shù)據(jù)庫恢復技術,10.1 事務的基本概念 10.2 數(shù)據(jù)庫恢復概述 10.3 故障的種類 10.4 恢復的實現(xiàn)技術 10.5 恢復策略 10.6 具有檢查點的恢復技術 10.7 數(shù)據(jù)庫鏡像 10.8 小結,10.1 事務的基本概念,一、事務定義 二、事務的特性,一、事務(Transaction),定義 一個數(shù)據(jù)庫操作序列 一個不可分割的工作單位 恢復和并發(fā)控制的基本單位 事務和程序比較 在關系數(shù)據(jù)庫中，一個事務可以是一條或多條SQL語句,也可以整個程序。 一個程序通常包含多個

2、事務,定義事務,顯式定義方式 BEGIN TRANSACTION BEGIN TRANSACTION SQL 語句1 SQL 語句1 SQL 語句2 SQL 語句2 COMMIT ROLLBACK 隱式方式 當用戶沒有顯式地定義事務時， DBMS按缺省規(guī)定自動劃分事務,二、事務的特性(ACID特性),事務的ACID特性： 原子性（Atomicity） 一致性（Consistency） 隔離性（Isolation） 持續(xù)性（Durability ）,1. 原子性,事務是數(shù)據(jù)庫的邏輯工作單位 事務中包括的諸操作要么都做，要么都不做,2. 一致性,事務執(zhí)行的結果必須是使數(shù)據(jù)庫從一個一致性狀態(tài)變到另一

3、個一致性狀態(tài) 一致性狀態(tài)： 數(shù)據(jù)庫中只包含成功事務提交的結果 不一致狀態(tài)： 數(shù)據(jù)庫中包含失敗事務的結果,一致性與原子性,銀行轉帳：從帳號A中取出一萬元，存入帳號B。 定義一個事務，該事務包括兩個操作 這兩個操作要么全做，要么全不做 全做或者全不做，數(shù)據(jù)庫都處于一致性狀態(tài)。 如果只做一個操作，數(shù)據(jù)庫就處于不一致性狀態(tài)。,3. 隔離性,對并發(fā)執(zhí)行而言 一個事務的執(zhí)行不能被其他事務干擾 一個事務內部的操作及使用的數(shù)據(jù)對其他并發(fā)事務是隔離的 并發(fā)執(zhí)行的各個事務之間不能互相干擾,T1的修改被T2覆蓋了！,4. 持續(xù)性,持續(xù)性也稱永久性（Permanence） 一個事務一旦提交，它對數(shù)據(jù)庫中數(shù)據(jù)的改變就應

4、該是永久性的。 接下來的其他操作或故障不應該對其執(zhí)行結果有任何影響。,事務的特性,保證事務ACID特性是事務處理的任務 破壞事務ACID特性的因素 多個事務并行運行時，不同事務的操作交叉執(zhí)行 事務在運行過程中被強行停止,10.2 數(shù)據(jù)庫恢復概述,故障是不可避免的 系統(tǒng)故障：計算機軟、硬件故障 人為故障：操作員的失誤、惡意的破壞等。 數(shù)據(jù)庫的恢復 把數(shù)據(jù)庫從錯誤狀態(tài)恢復到某一已知的正確狀態(tài)(亦稱為一致狀態(tài)或完整狀態(tài)),故障的種類,事務內部的故障 系統(tǒng)故障 介質故障 計算機病毒,一、事務內部的故障,事務內部的故障 有的是可以通過事務程序本身發(fā)現(xiàn)的(見下面轉賬事務的例子) 有的是非預期的(運算溢出等

5、),事務內部的故障（續(xù)）,例如，銀行轉賬事務，這個事務把一筆金額從一個賬戶甲轉給另一個賬戶乙。 BEGIN TRANSACTION 讀賬戶甲的余額BALANCE； BALANCE=BALANCE-AMOUNT；(AMOUNT 為轉賬金額) 寫回BALANCE； IF(BALANCE 0 ) THEN 打印金額不足，不能轉賬； ROLLBACK；(撤銷剛才的修改，恢復事務) ELSE 讀賬戶乙的余額BALANCE1； BALANCE1=BALANCE1+AMOUNT； 寫回BALANCE1； COMMIT； ,事務內部的故障（續(xù)）,這個例子所包括的兩個更新操作要么全部完成要么全部不做。否則就會使

6、數(shù)據(jù)庫處于不一致狀態(tài)，例如只把賬戶甲的余額減少了而沒有把賬戶乙的余額增加。 在這段程序中若產(chǎn)生賬戶甲余額不足的情況，應用程序可以發(fā)現(xiàn)并讓事務滾回，撤銷已作的修改，恢復數(shù)據(jù)庫到正確狀態(tài)。,事務內部的故障（續(xù)）,事務內部更多的故障是非預期的，是不能由應用程序處理的。 運算溢出 并發(fā)事務發(fā)生死鎖而被選中撤銷該事務 違反了某些完整性限制等 以后，事務故障僅指這類非預期的故障 事務故障的恢復：撤消事務（UNDO）,二、系統(tǒng)故障,系統(tǒng)故障 稱為軟故障，是指造成系統(tǒng)停止運轉的任何事件，使得系統(tǒng)要重新啟動。 整個系統(tǒng)的正常運行突然被破壞 所有正在運行的事務都非正常終止 不破壞數(shù)據(jù)庫 內存中數(shù)據(jù)庫緩沖區(qū)的信息全

7、部丟失,系統(tǒng)故障的常見原因,特定類型的硬件錯誤（如CPU故障） 操作系統(tǒng)故障 DBMS代碼錯誤 系統(tǒng)斷電,系統(tǒng)故障的恢復,發(fā)生系統(tǒng)故障時，事務未提交 恢復策略：強行撤消（UNDO）所有未完成事務 發(fā)生系統(tǒng)故障時，事務已提交，但緩沖區(qū)中的信息尚未完全寫回到磁盤上。 恢復策略：重做（REDO）所有已提交的事務,三、介質故障,介質故障 稱為硬故障，指外存故障 磁盤損壞 磁頭碰撞 操作系統(tǒng)的某種潛在錯誤 瞬時強磁場干擾,介質故障的恢復,裝入數(shù)據(jù)庫發(fā)生介質故障前某個時刻的數(shù)據(jù)副本 重做自此時始的所有成功事務，將這些事務已提交的結果重新記入數(shù)據(jù)庫,四、計算機病毒,計算機病毒 一種人為的故障或破壞，是一些惡

8、作劇者研制的一種計算機程序 可以繁殖和傳播 危害 破壞、盜竊系統(tǒng)中的數(shù)據(jù) 破壞系統(tǒng)文件,故障小結,各類故障，對數(shù)據(jù)庫的影響有兩種可能性 一 是數(shù)據(jù)庫本身被破壞 二 是數(shù)據(jù)庫沒有被破壞，但數(shù)據(jù)可能不正確，這是由于事務的運行被非正常終止造成的。,10.4 恢復的實現(xiàn)技術,恢復操作 的基本原理：冗余 利用存儲在系統(tǒng)其它地方的冗余數(shù)據(jù)來重建數(shù)據(jù)庫中已被破壞或不正確的那部分數(shù)據(jù) 恢復機制涉及的關鍵問題 如何建立冗余數(shù)據(jù) 數(shù)據(jù)轉儲（backup） 登錄日志文件（logging） 如何利用這些冗余數(shù)據(jù)實施數(shù)據(jù)庫恢復,10.4.1 數(shù)據(jù)轉儲,一、什么是數(shù)據(jù)轉儲 二、轉儲方法,一、什么是數(shù)據(jù)轉儲,轉儲是指DBA

9、將整個數(shù)據(jù)庫復制到磁帶或另一個磁盤上保存起來的過程，備用的數(shù)據(jù)稱為后備副本或后援副本 如何使用 數(shù)據(jù)庫遭到破壞后可以將后備副本重新裝入 重裝后備副本只能將數(shù)據(jù)庫恢復到轉儲時的狀態(tài),二、轉儲方法,1靜態(tài)轉儲與動態(tài)轉儲 2海量轉儲與增量轉儲 3轉儲方法小結,靜態(tài)轉儲,在系統(tǒng)中無運行事務時進行的轉儲操作 轉儲開始時數(shù)據(jù)庫處于一致性狀態(tài) 轉儲期間不允許對數(shù)據(jù)庫的任何存取、修改活動 得到的一定是一個數(shù)據(jù)一致性的副本 優(yōu)點：實現(xiàn)簡單 缺點：降低了數(shù)據(jù)庫的可用性 轉儲必須等待正運行的用戶事務結束 新的事務必須等轉儲結束,動態(tài)轉儲,轉儲操作與用戶事務并發(fā)進行 轉儲期間允許對數(shù)據(jù)庫進行存取或修改 優(yōu)點 不用等待

10、正在運行的用戶事務結束 不會影響新事務的運行 缺點 不能保證副本中的數(shù)據(jù)正確有效 例在轉儲期間的某個時刻Tc，系統(tǒng)把數(shù)據(jù)A=100轉儲到磁帶上，而在下一時刻Td，某一事務將A改為200。轉儲結束后，后備副本上的A已是過時的數(shù)據(jù)了,動態(tài)轉儲,利用動態(tài)轉儲得到的副本進行故障恢復 需要把動態(tài)轉儲期間各事務對數(shù)據(jù)庫的修改活動登記下來，建立日志文件 后備副本加上日志文件才能把數(shù)據(jù)庫恢復到某一時刻的正確狀態(tài),2海量轉儲與增量轉儲,海量轉儲: 每次轉儲全部數(shù)據(jù)庫 增量轉儲: 只轉儲上次轉儲后更新過的數(shù)據(jù) 海量轉儲與增量轉儲比較 從恢復角度看，使用海量轉儲得到的后備副本進行恢復往往更方便 但如果數(shù)據(jù)庫很大，事

11、務處理又十分頻繁，則增量轉儲方式更實用更有效,3轉儲方法小結,轉儲方法分類,10.4 恢復的實現(xiàn)技術,10.4.1 數(shù)據(jù)轉儲 10.4.2 登記日志文件,10.4.2 登記日志文件,一、日志文件的格式和內容 二、日志文件的作用 三、登記日志文件,一、日志文件的格式和內容,什么是日志文件 日志文件(log)是用來記錄事務對數(shù)據(jù)庫的更新操作的文 件 日志文件的格式 以記錄為單位的日志文件 以數(shù)據(jù)塊為單位的日志文件,日志文件的格式和內容（續(xù)）,以記錄為單位的日志文件內容 各個事務的開始標記(BEGIN TRANSACTION) 各個事務的結束標記(COMMIT或ROLLBACK) 各個事務的所有更新

12、操作 以上均作為日志文件中的一個日志記錄 (log record),日志文件的格式和內容（續(xù)）,以記錄為單位的日志文件，每條日志記錄的內容 事務標識（標明是哪個事務） 操作類型（插入、刪除或修改） 操作對象（記錄內部標識） 更新前數(shù)據(jù)的舊值（對插入操作而言，此項為空值） 更新后數(shù)據(jù)的新值（對刪除操作而言, 此項為空值）,日志文件的格式和內容（續(xù)）,以數(shù)據(jù)塊為單位的日志文件，每條日志記錄的內容 事務標識（標明是那個事務） 被更新的數(shù)據(jù)塊,二、日志文件的作用,進行事務故障恢復 進行系統(tǒng)故障恢復 協(xié)助后備副本進行介質故障恢復,利用靜態(tài)轉儲副本和日志文件進行恢復,靜態(tài)轉儲 運行事務 正常運行 Ta T

13、b Tf 重裝后備副本 利用日志文件恢復 繼續(xù)運行 恢復 ,登記日志文件,利用靜態(tài)轉儲副本和日志文件進行恢復（續(xù)）,上圖中： 系統(tǒng)在Ta時刻停止運行事務，進行數(shù)據(jù)庫轉儲 在Tb時刻轉儲完畢，得到Tb時刻的數(shù)據(jù)庫一致性副本 系統(tǒng)運行到Tf時刻發(fā)生故障 為恢復數(shù)據(jù)庫，首先由DBA重裝數(shù)據(jù)庫后備副本，將數(shù)據(jù)庫恢復至Tb時刻的狀態(tài) 重新運行自TbTf時刻的所有更新事務，把數(shù)據(jù)庫恢復到故障發(fā)生前的一致狀態(tài),三、登記日志文件,基本原則 登記的次序嚴格按并行事務執(zhí)行的時間次序 必須先寫日志文件，后寫數(shù)據(jù)庫 寫日志文件操作：把表示這個修改的日志記錄 寫到日志文件 寫數(shù)據(jù)庫操作：把對數(shù)據(jù)的修改寫到數(shù)據(jù)庫中,登記

14、日志文件（續(xù)）,為什么要先寫日志文件 寫數(shù)據(jù)庫和寫日志文件是兩個不同的操作 在這兩個操作之間可能發(fā)生故障 如果先寫了數(shù)據(jù)庫修改，而在日志文件中沒有登記下這個修改，則以后就無法恢復這個修改了 如果先寫日志，但沒有修改數(shù)據(jù)庫，按日志文件恢復時只不過是多執(zhí)行一次不必要的UNDO操作，并不會影響數(shù)據(jù)庫的正確性,10.5 恢復策略,10.5.1 事務故障的恢復 10.5.2 系統(tǒng)故障的恢復 10.5.3 介質故障的恢復,10.5.1 事務故障的恢復,事務故障：事務在運行至正常終止點前被終止 恢復方法 由恢復子系統(tǒng)應利用日志文件撤消（UNDO）此事務已對數(shù)據(jù)庫進行的修改 事務故障的恢復由系統(tǒng)自動完成，對用

15、戶是透明的，不需要用戶干預,事務故障的恢復步驟,1、反向掃描文件日志（即從最后向前掃描日志文件），查找該事務的更新操作。 2、對該事務的更新操作執(zhí)行逆操作。即將日志記錄中“更新前的值” 寫入數(shù)據(jù)庫。 插入操作， “更新前的值”為空，則相當于做刪除操作 刪除操作，“更新后的值”為空，則相當于做插入操作 若是修改操作，則相當于用修改前值代替修改后值,事務故障的恢復步驟,3、繼續(xù)反向掃描日志文件，查找該事務的其他更新操作，并做同樣處理。 4、如此處理下去，直至讀到此事務的開始標記，事務故障恢復就完成了。,10.5 恢復策略,10.5.1 事務故障的恢復 10.5.2 系統(tǒng)故障的恢復 10.5.3 介

16、質故障的恢復,10.5.2 系統(tǒng)故障的恢復,系統(tǒng)故障造成數(shù)據(jù)庫不一致狀態(tài)的原因 未完成事務對數(shù)據(jù)庫的更新已寫入數(shù)據(jù)庫 已提交事務對數(shù)據(jù)庫的更新還留在緩沖區(qū)沒來得及寫入數(shù)據(jù)庫 恢復方法 1. Undo 故障發(fā)生時未完成的事務 2. Redo 已完成的事務 系統(tǒng)故障的恢復由系統(tǒng)在重新啟動時自動完成，不需要用戶干預,系統(tǒng)故障的恢復步驟,1.正向掃描日志文件（即從頭掃描日志文件） 重做(REDO) 隊列: 在故障發(fā)生前已經(jīng)提交的事務 這些事務既有BEGIN TRANSACTION記錄，也有COMMIT記錄 撤銷 (Undo)隊列:故障發(fā)生時尚未完成的事務 這些事務只有BEGIN TRANSACTION

17、記錄，無相應的COMMIT記錄,系統(tǒng)故障的恢復步驟,2. 對撤銷(Undo)隊列事務進行撤銷(UNDO)處理 反向掃描日志文件，對每個UNDO事務的更新操作執(zhí)行逆操作 即將日志記錄中“更新前的值”寫入數(shù)據(jù)庫 3. 對重做(Redo)隊列事務進行重做(REDO)處理 正向掃描日志文件，對每個REDO事務重新執(zhí)行登記的操作 即將日志記錄中“更新后的值”寫入數(shù)據(jù)庫,10.5 恢復策略,10.5.1 事務故障的恢復 10.5.2 系統(tǒng)故障的恢復 10.5.3 介質故障的恢復,10.5.3 介質故障的恢復,1.重裝數(shù)據(jù)庫 2.重做已完成的事務,介質故障的恢復（續(xù)）,恢復步驟: 1. 裝入最新的后備數(shù)據(jù)庫

18、副本(離故障發(fā)生時刻最近的轉儲副本) ，使數(shù)據(jù)庫恢復到最近一次轉儲時的一致性狀態(tài)。 對于靜態(tài)轉儲的數(shù)據(jù)庫副本，裝入后數(shù)據(jù)庫即處于一致性狀態(tài) 對于動態(tài)轉儲的數(shù)據(jù)庫副本，還須同時裝入轉儲時刻的日志文件副本，利用與恢復系統(tǒng)故障的方法（即REDO+UNDO），才能將數(shù)據(jù)庫恢復到一致性狀態(tài)。,介質故障的恢復（續(xù)）,2. 裝入有關的日志文件副本(轉儲結束時刻的日志文件副本) ，重做已完成的事務。 首先掃描日志文件，找出故障發(fā)生時已提交的事務的標識，將其記入重做隊列。 然后正向掃描日志文件，對重做隊列中的所有事務進行重做處理。即將日志記錄中“更新后的值”寫入數(shù)據(jù)庫。,介質故障的恢復（續(xù)）,介質故障的恢復需要

19、DBA介入 DBA的工作 重裝最近轉儲的數(shù)據(jù)庫副本和有關的各日志文件副本 執(zhí)行系統(tǒng)提供的恢復命令 具體的恢復操作仍由DBMS完成,10.6 具有檢查點的恢復技術,一、問題的提出 二、檢查點技術 三、利用檢查點的恢復策略,一、問題的提出,兩個問題 搜索整個日志將耗費大量的時間 REDO處理：重新執(zhí)行，浪費了大量時間,解決方案,具有檢查點（checkpoint）的恢復技術 在日志文件中增加檢查點記錄（checkpoint） 增加重新開始文件 恢復子系統(tǒng)在登錄日志文件期間動態(tài)地維護日志,二、檢查點技術,檢查點記錄的內容 1. 建立檢查點時刻所有正在執(zhí)行的事務清單 2. 這些事務最近一個日志記錄的地址

20、 重新開始文件的內容 記錄各個檢查點記錄在日志文件中的地址,檢查點技術（續(xù)）,具有檢查點的日志文件和重新開始文件,動態(tài)維護日志文件的方法,動態(tài)維護日志文件的方法: 周期性地執(zhí)行如下操作：建立檢查點，保存數(shù)據(jù)庫狀態(tài)。 具體步驟是： 1.將當前日志緩沖區(qū)中的所有日志記錄寫入磁盤的日志文件上 2.在日志文件中寫入一個檢查點記錄 3.將當前數(shù)據(jù)緩沖區(qū)的所有數(shù)據(jù)記錄寫入磁盤的數(shù)據(jù)庫中 4.把檢查點記錄在日志文件中的地址寫入一個重新開始文件,建立檢查點,恢復子系統(tǒng)可以定期或不定期地建立檢查點,保存數(shù)據(jù)庫狀態(tài) 定期 按照預定的一個時間間隔，如每隔一小時建立一個檢查點 不定期 按照某種規(guī)則，如日志文件已寫滿一

21、半建立一個檢查點,三、利用檢查點的恢復策略,使用檢查點方法可以改善恢復效率 當事務T在一個檢查點之前提交 T對數(shù)據(jù)庫所做的修改已寫入數(shù)據(jù)庫 寫入時間是在這個檢查點建立之前或在這個檢查點建立之時 在進行恢復處理時，沒有必要對事務T執(zhí)行REDO操作,利用檢查點的恢復策略（續(xù)）,系統(tǒng)出現(xiàn)故障時，恢復子系統(tǒng)將根據(jù)事務的不同狀態(tài)采取不同的恢復策略,利用檢查點的恢復策略（續(xù)）,T1：在檢查點之前提交 T2：在檢查點之前開始執(zhí)行，在檢查點之后故障點之前提交 T3：在檢查點之前開始執(zhí)行，在故障點時還未完成 T4：在檢查點之后開始執(zhí)行，在故障點之前提交 T5：在檢查點之后開始執(zhí)行，在故障點時還未完成 恢復策略：

22、 T3和T5在故障發(fā)生時還未完成，所以予以撤銷 T2和T4在檢查點之后才提交，它們對數(shù)據(jù)庫所做的修改在故障發(fā)生時可能還在緩沖區(qū)中，尚未寫入數(shù)據(jù)庫，所以要REDO T1在檢查點之前已提交，所以不必執(zhí)行REDO操作,利用檢查點的恢復步驟,1.從重新開始文件中找到最后一個檢查點記錄在日志文件中的地址，由該地址在日志文件中找到最后一個檢查點記錄,利用檢查點的恢復策略（續(xù)）,2.由該檢查點記錄得到檢查點建立時刻所有正在執(zhí)行的事務清單ACTIVE-LIST 建立兩個事務隊列 UNDO-LIST REDO-LIST 把ACTIVE-LIST暫時放入UNDO-LIST隊列，REDO隊列暫為空。,利用檢查點的恢復策略（續(xù)）,3.從檢查點開始正向掃描日志文件，直到日志文件結束 如有新開始的事務Ti，把Ti暫時放入UNDO-LIST隊列 如有提交的事務Tj，把Tj從UNDO-LIST隊列移到REDO-LIST隊列 4.對UNDO-LIST中的每個事務執(zhí)行UNDO操作 對REDO-LIST中的每個事務執(zhí)行REDO操作,10.7 數(shù)據(jù)庫鏡像,介質故障是對系統(tǒng)影響最為嚴重的一種故障，嚴重影響數(shù)據(jù)庫的可用性 介質故障恢復比較費時 為預防介