數(shù)據(jù)庫服務(wù)器規(guī)劃之IO子系統(tǒng)

1、數(shù)據(jù)庫服務(wù)器規(guī)劃之IO子系統(tǒng)數(shù)據(jù)庫服務(wù)器的IO子系統(tǒng)主要考慮兩個部分：每塊磁盤的性能及多塊磁盤組成陣列的性能。1.單個磁盤的性能1.1磁盤類型的比較按磁盤的接口來分，磁盤可以分為SCSI，F(xiàn)C，SAS，SATA，IDE五類硬盤。下面是5種接口磁盤特征的比較表：類型接口速度優(yōu)點不足其它SCSI硬盤320MB/S（ULTRA320）具有應(yīng)用范圍廣、多任務(wù)、CPU占用率低及熱拔插等優(yōu)點價格較高SCSI硬盤主要應(yīng)用于服務(wù)器和工作站中FC硬盤4Gb/S(=500MB/S)1.連接設(shè)備多，一個通道最多可連接126個設(shè)備，并很容易通過交換設(shè)備擴展。2.低CPU占用率、3.支持熱拔插；4.可實現(xiàn)光纖與銅纜的連

2、接5.高帶寬，通用性強6.連接距離大產(chǎn)品價格昂貴，組建較為復(fù)雜。光纜按其直徑和模式分類，直徑以微米為計量單位SAS硬盤>300MB/S1.與SCSI的比較，SAS在接口速度上有顯著提升。由于采用串行線纜，可以實現(xiàn)更長的連接距離，還能夠提高抗干擾能力，也顯著改善機箱內(nèi)部的散熱。2. 提供SATA硬盤的兼容性1.硬盤和控制芯片種類少。2.硬盤價格太貴。SATA硬盤150MB/s(SATA1.0)3Gb/s(SATA 2.0)（=300MB/s）1. 采用串行連接的方式來實現(xiàn)數(shù)據(jù)傳輸從而獲得較高傳輸速率.2. SATA在數(shù)據(jù)可靠性也有了大幅度提高.3. 能提供大容量的磁盤空間。由于磁盤轉(zhuǎn)率低，

3、因此磁盤傳輸速度較低。IDE硬盤100MB/s(ATA 100)133MB/S(ATA 133)1.很普及，價格便宜由于磁盤轉(zhuǎn)率低，因此磁盤傳輸速度較低。購買時需要考慮的方面其它考慮的因素，包括最大持續(xù)數(shù)據(jù)傳輸率和平均故障間隔時間（MTTF）。硬盤的最大持續(xù)數(shù)據(jù)傳輸率并不是按硬盤接口的傳輸速率來算的，而它是由硬盤內(nèi)部機械機構(gòu)和硬盤存儲技術(shù)、硬盤轉(zhuǎn)速所決定的。在硬盤上沒有標明的情況下一般SCSI15000RPM磁盤最大傳輸速率取為80MB/S，而SATA 7200RPM的磁盤的最大傳輸速度為58MB/S.還有就是需要考慮硬盤的溫度，磁盤轉(zhuǎn)速越快，它運行時的溫度越高。因此對15K的磁盤容易過熱，因

4、此需要小心控制其運行的溫度。2.磁盤陣列的性能數(shù)據(jù)庫服務(wù)器磁盤部分的實現(xiàn)需要考慮兩部分：1.磁盤空間，2.磁盤組性能。磁盤空間主要取決于磁盤陣列類型及磁盤個數(shù)。而磁盤性能包括吞吐量（傳輸帶寬）和磁盤IOPS。下面我們將一起來探討磁盤性能的兩個方面。2.1磁盤陣列的吞吐量（傳輸帶寬）傳輸帶寬指的是硬盤或設(shè)備在傳輸數(shù)據(jù)的時候數(shù)據(jù)流的速度。他主要取決于磁盤陣列的構(gòu)架，通道的大小以及磁盤的個數(shù)。不同的磁盤陣列存在不同的構(gòu)架，但他們都有自己的內(nèi)部帶寬（如主線型或星型），不過一般情況下，內(nèi)部帶寬都設(shè)計足夠充足，不會存在瓶頸。磁盤陣列與服務(wù)器之間的數(shù)據(jù)通道便對吞吐量的影響很大。下面是常用通道的帶寬：2Gbp

5、s 光纖通道,（250MB/s）, 4Gbps 光纖通道（500MB/S），SCSI最高速度是320MB/s，SATA是150MB/s，IED 133MB/s。最后說一下是硬盤的限制，目前SCSI硬盤數(shù)據(jù)傳輸率最高在80MB/s，SAS硬盤數(shù)據(jù)為傳輸率最高在80-100MB/S。對于數(shù)據(jù)庫小數(shù)據(jù)的離散寫入，其傳輸率快快達不到這個值。下面舉例來說明。 如果寫一個10M的文件需要0.1S，則磁盤計算出磁盤帶寬為100M/s,如果寫10000個大小 為1KB的文件需要10S，則磁盤帶寬只有1M/s. 如果存儲內(nèi)部結(jié)構(gòu)是總線型的，不建議使用超過6個塊硬盤。超過6塊磁盤后，存儲在尋址過程中容易出現(xiàn)丟失的

6、情況，同時6個塊磁盤的傳輸速率大于磁盤陣列接口的傳輸速度，從而使用存儲接口速度成了整個存儲傳輸性能的瓶頸。而光纖存儲和光纖硬盤就沒有這個問題（DELL MD3000就是主線型的存儲）。 2.2 磁盤陣列的IOPS決定IOPS的主要取決于磁盤陣列RAID類型，CACHE命中率以及磁盤個數(shù)。CACHE的命中率取決于數(shù)據(jù)的分布，CACHE size的大小，數(shù)據(jù)訪問的規(guī)劃，以及CACHE的算法。如果要詳細討論才復(fù)雜了，這里不做詳細說明。但磁盤陣列讀Cache的命中率越高，這樣可以減少去讀取存放在磁盤上的數(shù)據(jù)，而直接從Cache中直接將數(shù)據(jù)傳送給客戶端，從而提高磁盤的IOPS值。根據(jù)廠商網(wǎng)站上給出的規(guī)范

7、，數(shù)據(jù)庫服務(wù)器的物理驅(qū)動器的吞吐能力的理論值為300IOPS，因為吞吐率一旦超過85，一會出現(xiàn)I/O瓶頸，所以要確定生產(chǎn)環(huán)境中每個物理存儲器的最大可接受吞吐量是255IOPS（300×85255）。但實際情況很難達到這個值。建議硬盤吞吐量按200iops比較好。同樣用上面的例子來說明磁盤IOPS對磁盤性能的影響。寫入10000個文件時，根據(jù)文件分布情況和大小情況，可能需要做幾萬甚至，甚至十幾萬IO才能完成。而一個10MB的大文件，如果這個文件在磁盤上連續(xù)存放的話，只需要幾十個IO就可以完成了。綜合影響磁盤的兩個方面得出：具有高帶寬的硬盤在傳輸大塊連續(xù)數(shù)據(jù)時具有優(yōu)勢，而具有高IOPS的

8、硬盤在傳輸小塊不連續(xù)的數(shù)據(jù)時具體優(yōu)勢。而數(shù)據(jù)庫中數(shù)據(jù)的寫入多為不連續(xù)小數(shù)據(jù)，因此建議高IOPS磁盤及RAID類型。下面我們將一起來探討磁盤RAID類型及特征。2.3.RAID類型及特征對磁盤空間和IOPS都有很大影響的是磁盤陣列的組建類型（即RAID類型）。而在我們的日常工作中，常用的RAID類型為：RAID0 （沒有奇偶檢驗的條帶卷）、RAID1（鏡像卷）、RAID5（帶有奇偶檢驗的條帶卷）、RAID10 （鏡像的條帶卷）。同時簡單介紹最新還有一種RAID類型是RAID6.常見RAID類型的比較常見RAID類型的比較類型原理容錯性備份冗余可用容量I/O性能數(shù)據(jù)重構(gòu)數(shù)據(jù)安全RAID0將數(shù)據(jù)分成

9、一定大小順序?qū)懙疥嚵械拇疟P里無無N倍讀寫高不能無RAID1將數(shù)據(jù)完全一致的分別寫到工作磁盤和鏡像磁盤上有有n/2倍讀寫一般1塊磁盤 低RAID5將數(shù)據(jù)校驗的信息均勻的分散到陣列的各個磁盤上。這樣就不存在并發(fā)寫操作時的校驗磁盤性能瓶頸有有(n-1)/n倍讀高寫低n-1塊磁盤低RAID10RAID1和RAID0的結(jié)合有有n/2倍讀寫高1塊磁盤高.1 IO性能 讀性能 RAID1讀性能只是一塊磁盤讀速率。，RAID0 是N塊磁盤的讀速率，RAID5是(n-1)塊磁盤讀速率。RAID10是N/2塊磁盤的讀速率。 寫性能 對于寫操作，RAID 10和RAID1類型都會產(chǎn)生一個額外的讀操作。對于寫操作，R

10、AID5需要執(zhí)行兩個讀，兩個寫和兩個XOR（異或檢驗）操作。另外對于單個用戶的寫操作，在新數(shù)據(jù)應(yīng)用之前必須將老的數(shù)據(jù)從校驗盤中移除，整個的執(zhí)行過程是如下：讀出舊數(shù)據(jù)，舊數(shù)據(jù)與新數(shù)據(jù)做XOR，并創(chuàng)建一個即時的值，讀出舊數(shù)據(jù)的校驗信息，將即時值與檢驗數(shù)據(jù)進行XOR，最后寫下新的校驗信息。為了減少對系統(tǒng)的影響，大多數(shù)的RAID5都讀出并對整個條帶（包括校驗條帶）寫入緩存，執(zhí)行兩個XOR操作，然后發(fā)出并行寫操作（通常對整個條帶）。小數(shù)據(jù)量寫操作的巨大使得RAID5技術(shù)很應(yīng)用于密集寫操作的場合，如重做日志文件和日志文件。每塊磁盤I/O計算如下：(n為磁盤個數(shù))RAID0 (r+w)/nRAID1 (r+

11、2w)/2RAID5(r+4w)/nRAID10(r+2w)/n.2數(shù)據(jù)重構(gòu)對于RAID10和RAID1,當一塊硬盤失效時，進行數(shù)據(jù)重構(gòu)的操作是復(fù)制一個新磁盤。對于RAID5，需要從每塊磁盤中讀取數(shù)據(jù)，經(jīng)過重新計算得到一塊硬盤的數(shù)據(jù)量。因此RAID5在數(shù)據(jù)重構(gòu)上的工作負荷和花費的時間遠大于RAID10和RAID1.3數(shù)據(jù)安全保護RAID10（先做RAID1，再做RAID0）只要不出現(xiàn)成對磁盤損壞的情況，整個系統(tǒng)不會出現(xiàn)數(shù)據(jù)丟失。RAID5不能出現(xiàn)兩塊損壞的磁盤，但由于數(shù)據(jù)重構(gòu)時間和開銷比RAID10高，在數(shù)據(jù)重構(gòu)期間RAID5的可靠性比RAID10低。所以RAID5出現(xiàn)數(shù)據(jù)的丟失的可能性要比R

12、AID10高， 2.3.2 RAID6RAID 6的全稱是獨立的數(shù)據(jù)庫硬盤與兩個獨立分布檢驗方案。實現(xiàn)這個思想的方法之一是用兩個校驗磁盤支持數(shù)據(jù)磁盤，第一個校驗支持一種校驗算法，而第二個磁盤支持另一種校驗算法，第二算法也稱為P+Q檢驗。 RAID 10與RAID01的分別對于RAID01，當一個磁盤損壞等同于整個鏡像條帶的丟失，所以一旦鏡像磁盤失效，RAID01系統(tǒng)就為了RAID0系統(tǒng)，增加了潛在的風險。另外RAID01數(shù)據(jù)是按整個條帶進行重構(gòu)，存在與RAID5數(shù)據(jù)重構(gòu)一樣的風險。因此強烈要求不架設(shè)RAID01的鏡像的條帶卷。3數(shù)據(jù)庫部件的讀寫狀態(tài)從現(xiàn)在運行的星空極速數(shù)據(jù)庫服務(wù)器采集到性能參數(shù)

13、來數(shù)據(jù)庫組件對磁盤讀寫的需求。單位：（Bytes/sec）時間隊列所有磁盤LOG&TEMP文件庫文件 群集仲裁文件 Read Write Read Write Read Write R Write 20:19:5345 589861 19709979 0 1332955 589861 18326811 0 171 20:20:086 44551012 2859605 68271 2406284 44451063 390135 0 2902 20:20:231 1682771 1374420 14747 1330828 1668024 1263 0 717 20:20:381 15675

14、12 1385910 0 1321974 1567512 2355 0 171 20:20:5351 1672374 19363244 0 1326716 1672374 17985017 0 171 20:21:081 1367281 1410043 0 1367520 1367281 716 0 2082 20:21:231 1319550 1352627 1092 1311118 1318457 717 0 1809 20:21:381 1294415 1391599 0 1341693 1294415 171 0 717 20:21:5339 1150246 19512981 546

15、1306452 1149700 18160513 0 171 20:22:081 1122927 1367851 546 1323543 1122381 1263 0 1536 20:22:231 1057934 1341636 0 1301424 1057934 171 0 2355 20:22:381 1006594 1380073 0 1328596 1006594 171 0 717 20:22:5346 953714 19408015 0 1294613 953714 18063990 0 1809 合計5933619191857982 85203 18293718592193107

16、2933293015327 從上表統(tǒng)計數(shù)據(jù)可以得到數(shù)據(jù)庫服務(wù)器以下一些特點：A， 所有磁盤的讀寫分析：讀寫比例約1：2，（推薦使用RAID1和RAID10來存放該數(shù)據(jù)。）B， LOG和TEMP文件所在獨立磁盤的讀寫分析：LOG和TEMO文件主要以寫為主。（推薦使用RAID1和RAID10來存放該數(shù)據(jù)。）C， 庫文件所在獨立磁盤的讀寫分析：寫比讀稍多些，但一段時間里SQL會一次集中的數(shù)據(jù)庫寫入操作。（推薦使用RAID1和RAID10來存放該數(shù)據(jù)。）D， 群集仲裁文件所在獨立磁盤的讀寫分析：全為寫，數(shù)據(jù)量很小。（推薦使用RAID1和RAID10來存放該數(shù)據(jù)。）4，數(shù)據(jù)庫RAID選型綜合不同類型RA

17、ID的特點及數(shù)據(jù)庫各部件的讀寫情況，得到數(shù)據(jù)庫服務(wù)器RAID選型及數(shù)據(jù)庫磁盤的分區(qū)如下：磁盤組數(shù)磁盤用途R:wRAID選型說明1存放操作系統(tǒng)、SQLServer所有部件及數(shù)據(jù)庫備份1:2RAID1>RAID5如果使用單臺服務(wù)器來數(shù)據(jù)庫服務(wù)器的話，建議采用RAID12存放操作系統(tǒng)、SQLServer、LOG&TEMP文件R<<WRAID1>RAID5數(shù)據(jù)庫備份建議存放系統(tǒng)盤上。存放SQL庫文件R<wRAID10>RAID1>RAID53性能優(yōu)先存放操作系統(tǒng)、SQLServer、數(shù)據(jù)庫備件R<WRAID1>RAID5如果是群集的話，將群

18、集仲裁文件存放在LOG磁盤組上存放LOG&TEMP文件R<<WRAID1>RAID5存放SQL庫文件R<WRAID10>RAID1>RAID5備件優(yōu)先存放操作系統(tǒng)、SQLServer、LOG&TEMP文件R<<WRAID1>RAID5數(shù)據(jù)庫備份需要保存時間較長且數(shù)據(jù)庫備份文件很大的情況存放SQL庫文件，R<WRAID10>RAID1>RAID5存放數(shù)據(jù)庫備份R<WRAID5>RAID104存放操作系統(tǒng)、SQLServer、RAID1>RAID5如果是群集的話，將群集仲裁文件存放在LOG磁盤組上存放SQL庫文件R<WRAID10>RAID1>RAID5存放LOG&TEMP文件 R<<WRAID10>RAID1>RAID5存放數(shù)據(jù)庫備份R<WRAID5>RAID10以上的磁盤分組是磁盤實體通過陣列卡來進行劃分的。如果使用虛擬磁盤組（HP EVA8000系列存儲）的情況下，可以將群集仲裁文件與LOG文件分開存放在不同的磁盤