第十章：數(shù)據(jù)恢復(fù)技術(shù)數(shù)據(jù)庫系統(tǒng)概論

數(shù)據(jù)庫系統(tǒng)概論AnIntroductiontoDatabaseSystem第十章數(shù)據(jù)庫恢復(fù)技術(shù)AnIntroductiontoDatabaseSystem10.1事務(wù)的基本概念一、事務(wù)定義

二、事務(wù)的特性AnIntroductiontoDatabaseSystem一、事務(wù)(Transaction)定義一個數(shù)據(jù)庫操作序列，要么不做，要么全做一個不可分割的工作單位恢復(fù)和并發(fā)控制的基本單位事務(wù)和程序比較在關(guān)系數(shù)據(jù)庫中，一個事務(wù)可以是一條或多條SQL語句一個程序通常包含多個事務(wù)AnIntroductiontoDatabaseSystem定義事務(wù)顯式定義方式

BEGINTRANSACTIONBEGINTRANSACTIONSQL語句1SQL語句1

SQL語句2SQL語句2

。。。。。。。。。。

COMMITP278ROLLBACK隱式方式當用戶沒有顯式地定義事務(wù)時，DBMS按缺省規(guī)定自動劃分事務(wù)AnIntroductiontoDatabaseSystem二、事務(wù)的特性(ACID特性)事務(wù)的ACID特性：原子性（Atomicity）一致性（Consistency）隔離性（Isolation）持續(xù)性（Durability）P279AnIntroductiontoDatabaseSystem例如，銀行轉(zhuǎn)賬事務(wù)，這個事務(wù)把一筆金額從一個賬戶甲轉(zhuǎn)給另一個賬戶乙。

BEGINTRANSACTION

讀賬戶甲的余額BALANCE；

BALANCE=BALANCE-AMOUNT；(AMOUNT為轉(zhuǎn)賬金額)

寫回BALANCE；

IF(BALANCE<0)THEN{打印'金額不足，不能轉(zhuǎn)賬'；

ROLLBACK；(撤銷剛才的修改，恢復(fù)事務(wù))}ELSE{讀賬戶乙的余額BALANCE1；

BALANCE1=BALANCE1+AMOUNT；寫回BALANCE1；

COMMIT；}AnIntroductiontoDatabaseSystem原子性:要么全部執(zhí)行,要么不執(zhí)行一致性:如果BALANCE1帳戶減少5000,而B帳戶不做處理,則導(dǎo)致總數(shù)不符合.隔離性:在BALANCE2進行處理時,其他用戶不能對其進行處理持續(xù)性:一旦修改后,就是永久性改變.P279AnIntroductiontoDatabaseSystem10.2數(shù)據(jù)庫恢復(fù)概述故障是不可避免的系統(tǒng)故障：計算機軟、硬件故障人為故障：操作員的失誤、惡意的破壞等。數(shù)據(jù)庫的恢復(fù) 把數(shù)據(jù)庫從錯誤狀態(tài)恢復(fù)到某一已知的正確狀態(tài)(亦稱為一致狀態(tài)或完整狀態(tài))，是衡量數(shù)據(jù)庫性能的重要指標AnIntroductiontoDatabaseSystem10.3故障的種類事務(wù)內(nèi)部的故障系統(tǒng)故障介質(zhì)故障計算機病毒AnIntroductiontoDatabaseSystem一、事務(wù)內(nèi)部的故障事務(wù)內(nèi)部的故障有的是可以通過事務(wù)程序本身發(fā)現(xiàn)的(見轉(zhuǎn)賬事務(wù)的例子)

有的是非預(yù)期的：如并發(fā)事物死鎖；違反了完整性約束；數(shù)據(jù)溢出等AnIntroductiontoDatabaseSystem事務(wù)故障意味著事務(wù)沒有達到預(yù)期的終點，因此數(shù)據(jù)庫可能處于不正確的狀態(tài)?；謴?fù)程序要在不影響其他事務(wù)運行的情況下，強行回滾該事務(wù)，使得該事務(wù)好像根本沒有啟動。但是，在大多數(shù)情況下是不需要回滾的，如銀行存款例。那么，回滾是如何完成的呢？何時需要回滾呢？AnIntroductiontoDatabaseSystem數(shù)據(jù)庫中更新的執(zhí)行過程（一般情況）stu1日志數(shù)據(jù)庫緩存日志緩存Updatestusetsage=22wheresno=‘95001’1、讀取stu數(shù)據(jù)和日志至內(nèi)存2、讀取設(shè)置好的字段變量的值3、修改日志緩沖區(qū)中的數(shù)據(jù)寫入修改前的數(shù)據(jù)、修改后的數(shù)據(jù)4、修改數(shù)據(jù)庫緩存中的數(shù)據(jù)5、執(zhí)行commit,修改日志為已經(jīng)執(zhí)行，返回操作成功信息6：在某一時刻將記錄寫入磁盤字段變量23456執(zhí)行commit后，立即寫入執(zhí)行commit一段時間后，成批寫入執(zhí)行commit前寫入（即在事物結(jié)束前寫入）AnIntroductiontoDatabaseSystem立即寫入：導(dǎo)致頻繁的I/O操作（force）成批寫入：執(zhí)行效率高，但是如果系統(tǒng)出現(xiàn)故障，將導(dǎo)致寫入內(nèi)存的數(shù)據(jù)丟失Commit前寫入：若A事務(wù)執(zhí)行時，需要占用student表和SC表，此時需要將兩表讀入內(nèi)存。但是由于內(nèi)存較小，這時需要在處理完成student表后，將student換出（steal），將SC表換入，此時并未執(zhí)行完成事物。現(xiàn)代DBMS，一般采用noforce，steal策略AnIntroductiontoDatabaseSystemNofroce和steal策略的修正若當事物完成commit后，存儲在內(nèi)存的修改后的數(shù)據(jù)丟失，可以使用日志文件重做。若有一部分數(shù)據(jù)寫入硬盤后，出現(xiàn)系統(tǒng)故障，則可以利用日志中的原數(shù)據(jù)完成回滾操作，恢復(fù)到以前的狀態(tài)若事物為執(zhí)行commit，并且已寫入硬盤，此時發(fā)生系統(tǒng)故障，需要撤消嗎？未完成的事務(wù)不會存入硬盤，因此不需要回滾（除非采取STEAL策略）；已完成事務(wù)若未存入硬盤，則需要重做AnIntroductiontoDatabaseSystem二、系統(tǒng)故障系統(tǒng)故障稱為軟故障，是指造成系統(tǒng)停止運轉(zhuǎn)的任何事件，使得系統(tǒng)要重新啟動。如：斷電，操作系統(tǒng)錯誤，CPU錯誤整個系統(tǒng)的正常運行突然被破壞所有正在運行的事務(wù)都非正常終止內(nèi)存中數(shù)據(jù)庫緩沖區(qū)的信息全部丟失AnIntroductiontoDatabaseSystem系統(tǒng)故障的恢復(fù)發(fā)生系統(tǒng)故障時，事務(wù)未提交恢復(fù)策略：強行撤消（UNDO）所有已寫入硬盤的未完成事務(wù)發(fā)生系統(tǒng)故障時，事務(wù)已提交，但緩沖區(qū)中的信息尚未完全寫回到磁盤上?；謴?fù)策略：重做（REDO）所有已提交的事務(wù)AnIntroductiontoDatabaseSystem三、介質(zhì)故障介質(zhì)故障稱為硬故障，指外存故障磁盤損壞磁頭碰撞操作系統(tǒng)的某種潛在錯誤瞬時強磁場干擾AnIntroductiontoDatabaseSystem介質(zhì)故障的恢復(fù)裝入數(shù)據(jù)庫發(fā)生介質(zhì)故障前某個時刻的數(shù)據(jù)副本重做自此時始的所有成功事務(wù)，將這些事務(wù)已提交的結(jié)果重新記入數(shù)據(jù)庫AnIntroductiontoDatabaseSystem四、計算機病毒計算機病毒一種人為的故障或破壞，是一些惡作劇者研制的一種計算機程序可以繁殖和傳播危害破壞、盜竊系統(tǒng)中的數(shù)據(jù)破壞系統(tǒng)文件AnIntroductiontoDatabaseSystem一、什么是數(shù)據(jù)轉(zhuǎn)儲轉(zhuǎn)儲是指DBA將整個數(shù)據(jù)庫復(fù)制到磁帶或另一個磁盤上保存起來的過程，備用的數(shù)據(jù)稱為后備副本或后援副本10.4恢復(fù)的實現(xiàn)技術(shù)AnIntroductiontoDatabaseSystem二、轉(zhuǎn)儲方法1．靜態(tài)轉(zhuǎn)儲與動態(tài)轉(zhuǎn)儲2．海量轉(zhuǎn)儲與增量轉(zhuǎn)儲AnIntroductiontoDatabaseSystem靜態(tài)轉(zhuǎn)儲在系統(tǒng)中無運行事務(wù)時進行的轉(zhuǎn)儲操作轉(zhuǎn)儲開始時數(shù)據(jù)庫處于一致性狀態(tài)轉(zhuǎn)儲期間不允許對數(shù)據(jù)庫的任何存取、修改活動得到的一定是一個數(shù)據(jù)一致性的副本優(yōu)點：實現(xiàn)簡單缺點：降低了數(shù)據(jù)庫的可用性轉(zhuǎn)儲必須等待正運行的用戶事務(wù)結(jié)束新的事務(wù)必須等轉(zhuǎn)儲結(jié)束TaTbTf正常轉(zhuǎn)儲運行故障02:1002:10Tf=10:10AnIntroductiontoDatabaseSystem動態(tài)轉(zhuǎn)儲轉(zhuǎn)儲操作與用戶事務(wù)并發(fā)進行轉(zhuǎn)儲期間允許對數(shù)據(jù)庫進行存取或修改優(yōu)點不用等待正在運行的用戶事務(wù)結(jié)束不會影響新事務(wù)的運行動態(tài)轉(zhuǎn)儲的缺點不能保證副本中的數(shù)據(jù)正確有效TaTbTf正常轉(zhuǎn)儲運行故障運行02:1002:1003:10Tf=10:10AnIntroductiontoDatabaseSystem動態(tài)轉(zhuǎn)儲利用動態(tài)轉(zhuǎn)儲得到的副本進行故障恢復(fù)需要把動態(tài)轉(zhuǎn)儲期間各事務(wù)對數(shù)據(jù)庫的修改活動登記下來，建立日志文件后備副本加上日志文件才能把數(shù)據(jù)庫恢復(fù)到某一時刻的正確狀態(tài)AnIntroductiontoDatabaseSystem2．海量轉(zhuǎn)儲與增量轉(zhuǎn)儲海量轉(zhuǎn)儲:每次轉(zhuǎn)儲全部數(shù)據(jù)庫增量轉(zhuǎn)儲:只轉(zhuǎn)儲上次轉(zhuǎn)儲后更新過的數(shù)據(jù)海量轉(zhuǎn)儲與增量轉(zhuǎn)儲比較從恢復(fù)角度看，使用海量轉(zhuǎn)儲得到的后備副本進行恢復(fù)往往更方便但如果數(shù)據(jù)庫很大，事務(wù)處理又十分頻繁，則增量轉(zhuǎn)儲方式更實用更有效需要使用海量轉(zhuǎn)儲+增量轉(zhuǎn)儲才能夠恢復(fù)到較近數(shù)據(jù)庫狀態(tài)AnIntroductiontoDatabaseSystem3．轉(zhuǎn)儲方法小結(jié)轉(zhuǎn)儲方法分類

轉(zhuǎn)儲狀態(tài)動態(tài)轉(zhuǎn)儲靜態(tài)轉(zhuǎn)儲轉(zhuǎn)儲方式海量轉(zhuǎn)儲動態(tài)海量轉(zhuǎn)儲靜態(tài)海量轉(zhuǎn)儲增量轉(zhuǎn)儲動態(tài)增量轉(zhuǎn)儲靜態(tài)增量轉(zhuǎn)儲AnIntroductiontoDatabaseSystem10.4.2登記日志文件一、日志文件的格式和內(nèi)容二、日志文件的作用三、登記日志文件AnIntroductiontoDatabaseSystem一、日志文件的格式和內(nèi)容什么是日志文件日志文件(log)是用來記錄事務(wù)對數(shù)據(jù)庫的更新操作的文件日志文件的格式以記錄為單位的日志文件以數(shù)據(jù)塊為單位的日志文件AnIntroductiontoDatabaseSystem日志文件的格式和內(nèi)容（續(xù)）以記錄為單位的日志文件內(nèi)容各個事務(wù)的開始標記(BEGINTRANSACTION)各個事務(wù)的結(jié)束標記(COMMIT或ROLLBACK)各個事務(wù)的所有更新操作以上均作為日志文件中的一個日志記錄(logrecord)AnIntroductiontoDatabaseSystem日志文件的格式和內(nèi)容（續(xù)）以記錄為單位的日志文件，每條日志記錄的內(nèi)容事務(wù)標識（標明是哪個事務(wù)）操作類型（插入、刪除或修改）操作對象（記錄內(nèi)部標識）更新前數(shù)據(jù)的舊值（對插入操作而言，此項為空值）更新后數(shù)據(jù)的新值（對刪除操作而言,此項為空值）AnIntroductiontoDatabaseSystem日志文件的格式和內(nèi)容（續(xù)）以數(shù)據(jù)塊為單位的日志文件，每條日志記錄的內(nèi)容事務(wù)標識（標明是那個事務(wù)）被更新的數(shù)據(jù)塊AnIntroductiontoDatabaseSystem二、日志文件的作用進行事務(wù)故障恢復(fù)進行系統(tǒng)故障恢復(fù)協(xié)助后備副本進行介質(zhì)故障恢復(fù)AnIntroductiontoDatabaseSystem三、登記日志文件基本原則登記的次序嚴格按并行事務(wù)執(zhí)行的時間次序必須先寫日志文件，后寫數(shù)據(jù)庫寫日志文件操作：把表示這個修改的日志記錄寫到日志文件寫數(shù)據(jù)庫操作：把對數(shù)據(jù)的修改寫到數(shù)據(jù)庫中AnIntroductiontoDatabaseSystem10.5恢復(fù)策略10.5.1事務(wù)故障的恢復(fù)10.5.2系統(tǒng)故障的恢復(fù)10.5.3介質(zhì)故障的恢復(fù)AnIntroductiontoDatabaseSystem10.5.1事務(wù)故障的恢復(fù)事務(wù)故障：事務(wù)在運行至正常終止點前被終止恢復(fù)方法由恢復(fù)子系統(tǒng)應(yīng)利用日志文件撤消（UNDO）此事務(wù)已對數(shù)據(jù)庫進行的修改事務(wù)故障的恢復(fù)由系統(tǒng)自動完成，對用戶是透明的，不需要用戶干預(yù)AnIntroductiontoDatabaseSystem事務(wù)故障的恢復(fù)步驟1.反向掃描文件日志（即從最后向前掃描日志文件），查找該事務(wù)的更新操作。2.對該事務(wù)的更新操作執(zhí)行逆操作。即將日志記錄中“更新前的值”寫入數(shù)據(jù)庫。插入操作，“更新前的值”為空，則相當于做刪除操作刪除操作，“更新后的值”為空，則相當于做插入操作若是修改操作，則相當于用修改前值代替修改后值

AnIntroductiontoDatabaseSystem事務(wù)故障的恢復(fù)步驟3.繼續(xù)反向掃描日志文件，查找該事務(wù)的其他更新操作，并做同樣處理。4.如此處理下去，直至讀到此事務(wù)的開始標記，事務(wù)故障恢復(fù)就完成了。AnIntroductiontoDatabaseSystem10.5恢復(fù)策略10.5.1事務(wù)故障的恢復(fù)10.5.2系統(tǒng)故障的恢復(fù)10.5.3介質(zhì)故障的恢復(fù)AnIntroductiontoDatabaseSystem10.5.2系統(tǒng)故障的恢復(fù)系統(tǒng)故障造成數(shù)據(jù)庫不一致狀態(tài)的原因未完成事務(wù)對數(shù)據(jù)庫的更新已寫入數(shù)據(jù)庫已提交事務(wù)對數(shù)據(jù)庫的更新還留在緩沖區(qū)沒來得及寫入數(shù)據(jù)庫恢復(fù)方法1.Undo故障發(fā)生時未完成的事務(wù)2.Redo已完成的事務(wù)系統(tǒng)故障的恢復(fù)由系統(tǒng)在重新啟動時自動完成，不需要用戶干預(yù)AnIntroductiontoDatabaseSystem系統(tǒng)故障的恢復(fù)步驟1. 正向掃描日志文件（即從頭掃描日志文件）重做(REDO)隊列:在故障發(fā)生前已經(jīng)提交的事務(wù)這些事務(wù)既有BEGINTRANSACTION記錄，也有COMMIT記錄撤銷(Undo)隊列:故障發(fā)生時尚未完成的事務(wù)

這些事務(wù)只有BEGINTRANSACTION記錄，無相應(yīng)的COMMIT記錄AnIntroductiontoDatabaseSystem系統(tǒng)故障的恢復(fù)步驟

2.對撤銷(Undo)隊列事務(wù)進行撤銷(UNDO)處理反向掃描日志文件，對每個UNDO事務(wù)的更新操作執(zhí)行逆操作即將日志記錄中“更新前的值”寫入數(shù)據(jù)庫

3.對重做(Redo)隊列事務(wù)進行重做(REDO)處理正向掃描日志文件，對每個REDO事務(wù)重新執(zhí)行登記的操作即將日志記錄中“更新后的值”寫入數(shù)據(jù)庫AnIntroductiontoDatabaseSystem10.5恢復(fù)策略10.5.1事務(wù)故障的恢復(fù)10.5.2系統(tǒng)故障的恢復(fù)10.5.3介質(zhì)故障的恢復(fù)AnIntroductiontoDatabaseSystem10.5.3介質(zhì)故障的恢復(fù)1.重裝數(shù)據(jù)庫2.重做已完成的事務(wù)AnIntroductiontoDatabaseSystem介質(zhì)故障的恢復(fù)（續(xù)）恢復(fù)步驟1.裝入最新的后備數(shù)據(jù)庫副本(離故障發(fā)生時刻最近的轉(zhuǎn)儲副本)，使數(shù)據(jù)庫恢復(fù)到最近一次轉(zhuǎn)儲時的一致性狀態(tài)。對于靜態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，裝入后數(shù)據(jù)庫即處于一致性狀態(tài)對于動態(tài)轉(zhuǎn)儲的數(shù)據(jù)庫副本，還須同時裝入轉(zhuǎn)儲時刻的日志文件副本，利用與恢復(fù)系統(tǒng)故障的方法（即REDO+UNDO），才能將數(shù)據(jù)庫恢復(fù)到一致性狀態(tài)。AnIntroductiontoDatabaseSystem介質(zhì)故障的恢復(fù)（續(xù)）2.裝入有關(guān)的日志文件副本(轉(zhuǎn)儲結(jié)束時刻的日志文件副本)，重做已完成的事務(wù)。首先掃描日志文件，找出故障發(fā)生時已提交的事務(wù)的標識，將其記入重做隊列。然后正向掃描日志文件，對重做隊列中的所有事務(wù)進行重做處理。即將日志記錄中“更新后的值”寫入數(shù)據(jù)庫。AnIntroductiontoDatabaseSystem第十章數(shù)據(jù)庫恢復(fù)技術(shù)10.1事務(wù)的基本概念10.2數(shù)據(jù)庫恢復(fù)概述10.3故障的種類10.4恢復(fù)的實現(xiàn)技術(shù)10.5恢復(fù)策略10.6具有檢查點的恢復(fù)技術(shù)10.7數(shù)據(jù)庫鏡像10.8小結(jié)AnIntroductiontoDatabaseSystem10.6具有檢查點的恢復(fù)技術(shù)一、問題的提出二、檢查點技術(shù)三、利用檢查點的恢復(fù)策略AnIntroductiontoDatabaseSystem一、問題的提出兩個問題搜索整個日志將耗費大量的時間REDO處理：重新執(zhí)行，浪費了大量時間硬盤日志數(shù)據(jù)庫緩存日志緩存字段變量數(shù)據(jù)庫緩存中的數(shù)據(jù)要經(jīng)過一定的時間才寫入硬盤，假設(shè)每小時寫一次；日志中的數(shù)據(jù)實時寫入硬盤,設(shè)其記錄了0點以后的數(shù)據(jù)；若在10：20分掉電，那么應(yīng)該恢復(fù)哪些數(shù)據(jù)呢？AnIntroductiontoDatabaseSystem解決方案具有檢查點（checkpoint）的恢復(fù)技術(shù)在日志文件中增加檢查點記錄（checkpoint）增加重新開始文件恢復(fù)子系統(tǒng)在登錄日志文件期間動態(tài)地維護日志AnIntroductiontoDatabaseSystem二、檢查點技術(shù)檢查點記錄的內(nèi)容1.建立檢查點時刻所有正在執(zhí)行的事務(wù)清單2.這些事務(wù)最近一個日志記錄的地址重新開始文件的內(nèi)容記錄各個檢查點記錄在日志文件中的地址AnIntroductiontoDatabaseSystem檢查點技術(shù)（續(xù)）具有檢查點的日志文件和重新開始文件

AnIntroductiontoDatabaseSystem動態(tài)維護日志文件的方法動態(tài)維護日志文件的方法周期性地執(zhí)行如下操作：建立檢查點，保存數(shù)據(jù)庫狀態(tài)。具體步驟是：1.將當前日志緩沖區(qū)中的所有日志記錄寫入磁盤的日志文件上2.在日志文件中寫入一個檢查點記錄3.將當前數(shù)據(jù)緩沖區(qū)的所有數(shù)據(jù)記錄寫入磁盤的數(shù)據(jù)庫中4.把檢查點記錄在日志文件中的地址寫入一個重新開始文件AnIntroductiontoDatabaseSystem建立檢查點恢復(fù)子系統(tǒng)可以定期或不定期地建立檢查點,保存數(shù)據(jù)庫狀態(tài)定期按照預(yù)定的一個時間間隔，如每隔一小時建立一個檢查點不定期按照某種規(guī)則，如日志文件已寫滿一半建立一個檢查點AnIntroductiontoDatabaseSystem三、利用檢查點的恢復(fù)策略使用檢查點方法可以改善恢復(fù)效率當事務(wù)T在一個檢查點之前提交

T對數(shù)據(jù)庫所做的修改已寫入數(shù)據(jù)庫寫入時間是在這個檢查點建立之前或在這個檢查點建立之時在進行恢復(fù)處理時，沒有必要對事務(wù)T執(zhí)行REDO操作AnIntroductiontoDatabaseSystem利用檢查點的恢復(fù)策略（續(xù)）Tc

(檢查點)Tf(系統(tǒng)故障)

REDOUNDOUNDO

REDOT2T3T4T5不要REDOT1系統(tǒng)出現(xiàn)故障時，恢復(fù)子系統(tǒng)將根據(jù)事務(wù)的不同狀態(tài)采取不同的恢復(fù)策略

AnIntroductiontoDatabaseSystem利用檢查點的恢復(fù)策略（續(xù)）T1：在檢查點之前提交T2：在檢查點之前開始執(zhí)行，在檢查點之后故障點之前提交T3：在檢查點之前開始執(zhí)行，在故障點時還未完成T4：在檢查點之后開始執(zhí)行，在故障點之前提交T5：在檢查點之后開始執(zhí)行，在故障點時還未完成恢復(fù)策略：T3和T5在故障發(fā)生時還未完成，所以予以撤銷??T2和T4在檢查點之后才提交，它們對數(shù)據(jù)庫所做的修改在故障發(fā)生時可能還在緩沖區(qū)中，尚未寫入數(shù)據(jù)庫，所以要REDOT1在檢查點之前已提交，所以不必執(zhí)行REDO操作AnIntroductiontoDatabaseSystem利用檢查點的恢復(fù)步驟

1.從重新開始文件中找到最后一個檢查點記錄在日志文件中的地址，由該地址在日志文件中找到最后一個檢查點記錄AnIntroductiontoDatabaseSystem利用檢查點的恢復(fù)策略（續(xù)）2.由該檢查點記錄得到檢查點建立時刻所有正在執(zhí)行的事務(wù)清單ACTIVE-LIST建立兩個事務(wù)隊列UNDO-LISTREDO-LIST把ACTIVE-LIST暫時放入UNDO-LIST隊列，REDO隊列暫為空。AnIntroductiontoDatabaseSystem利用檢查點的恢復(fù)策略（續(xù)）3.從檢查點開始正向掃描日志文件，直到日志文件結(jié)束如有新