vSphere存儲(chǔ)IO控制

1、第三部分vSphere存儲(chǔ)DRS第三章存儲(chǔ)I/O控制（SIOC）當(dāng)數(shù)據(jù)存儲(chǔ)群集被建立，I/O度量值開(kāi)啟，通過(guò)存儲(chǔ)DRS存儲(chǔ)I/O控制也同時(shí)開(kāi)啟。我們覺(jué)得用一章來(lái)說(shuō)明存儲(chǔ)I/O控制非常合適，最重要的是，存儲(chǔ)DRSJ用存儲(chǔ)I/O控制的某些功能來(lái)決定數(shù)據(jù)存儲(chǔ)的能力，在我們了解這些之前，讓我們先討論些基礎(chǔ)知識(shí)。介紹存儲(chǔ)I/O控制（SIOC）在資源爭(zhēng)用期間，提供一個(gè)方法來(lái)公平的分配存儲(chǔ)I/O資源，它啟用后，管理員在高度整合的環(huán)境中來(lái)運(yùn)行重要的工作流時(shí)，虛擬存儲(chǔ)環(huán)境沒(méi)有自己造成拒絕服務(wù)的風(fēng)險(xiǎn)，另外，它幫助阻止其它的情況下的干擾（同一個(gè)數(shù)據(jù)存儲(chǔ)上的一臺(tái)虛擬機(jī)能對(duì)另一臺(tái)虛擬機(jī)造成負(fù)面的影響），SIOC利用虛擬

2、機(jī)份額來(lái)達(dá)到公平分配存儲(chǔ)資源，在SIOC發(fā)布之前，虛擬磁盤(pán)的份額被介紹的比較長(zhǎng)，但是，SIOC介紹Datastore-Wide計(jì)劃，主要的不同是在每個(gè)主機(jī)級(jí)別沒(méi)有SIOC計(jì)劃，盡管為SIOC計(jì)算相當(dāng)復(fù)雜，開(kāi)啟和配置SIOC是不行的（圖109）,SIOC只需要幾步就可以啟用，當(dāng)存儲(chǔ)DR馳用I/O度量值選項(xiàng)，它將自動(dòng)啟用，在我們舉例子之前，我們想確認(rèn)每個(gè)人理解了一些關(guān)于此塊的基本概念，以及沒(méi)有SIOC會(huì)造成的影響。圖109:開(kāi)啟存儲(chǔ)I/O控制口JTJW1RMC-倒置StorageI/OControl_"StorageMComm用于©制的總機(jī)的I/O使用情況粕遂步實(shí)施植定義的U0

3、共孽級(jí)別，H啟用Storage1/0Control他摘朝值”吞吐量峰值百分比90三|.。手動(dòng)，_H寶抄重置為麗值內(nèi)部排隊(duì)當(dāng)和許多我們的客戶討論SIOC,我們注意到有一些基本的概念混淆，關(guān)于怎樣實(shí)際確認(rèn)資源在所以的虛擬機(jī)和主機(jī)間被公平的分配，這個(gè)例子就包括它，但是原理可能沒(méi)有那么明顯，所以我們叫它一個(gè)特別的稱(chēng)呼：排隊(duì)節(jié)流在我們解釋怎么排隊(duì)節(jié)流工作之前，我們想簡(jiǎn)單的解釋下不同的隊(duì)列，當(dāng)客戶端系統(tǒng)初始化I/O,這是為了工作流和隊(duì)列能相遇：客戶設(shè)備驅(qū)動(dòng)隊(duì)列深度（LSI=32,PVSCSI=64）VHBA（hardcode限制LSI=128,PVSVSI=255） Vmkernel設(shè)備驅(qū)動(dòng)（FC=32,

4、ISCSI=128,NFS=256,本地磁盤(pán)=256） 多路徑SAN/陣列隊(duì)列（包括端口緩沖區(qū)，端口隊(duì)列，磁盤(pán)隊(duì)列等）這些值得注意的Disk.SchedNumReqOutstanding（DSNRO沒(méi)有提到，正常來(lái)說(shuō)它在Vmkernel設(shè)備驅(qū)動(dòng)后直接提到，但是，當(dāng)SIOC開(kāi)啟，DSNRO不再經(jīng)常使用，自從SIOC保證了一定程度的公平?？紤]到你設(shè)置你為你的HBA設(shè)置了64的隊(duì)列深度，虛擬機(jī)在數(shù)據(jù)存儲(chǔ)上產(chǎn)生I/O,如果它只是數(shù)據(jù)存儲(chǔ)上的單個(gè)虛擬機(jī)，增加到64的I/O將立即結(jié)束設(shè)備驅(qū)動(dòng)，但是，在大多數(shù)的環(huán)境中，LUNs被很多虛擬機(jī)共享，在大多數(shù)的場(chǎng)景中，這些虛擬機(jī)應(yīng)該被平等對(duì)待，當(dāng)同一數(shù)據(jù)存儲(chǔ)上兩個(gè)

5、或者更多的虛擬機(jī)產(chǎn)生I/O,DSNRO!踢出它，但是，當(dāng)Vmkernel檢測(cè)到只有一個(gè)節(jié)流隊(duì)列，計(jì)數(shù)器的閾值就達(dá)到了，計(jì)數(shù)器的名字叫做Disk.SchedQControlVMSwitched,默認(rèn)設(shè)置為6,這意味著當(dāng)手工I/O節(jié)流隊(duì)列低于Disk.SchedNumReqOutstanding的值（默認(rèn)是32）之前，Vmkernel需要檢測(cè)6個(gè)虛擬機(jī)的交換機(jī)，（虛擬機(jī)交換機(jī)意味著需要檢測(cè)6次，當(dāng)前I/O不能來(lái)自之前虛擬機(jī)的同樣I/O）節(jié)流發(fā)生的原因是因?yàn)轵?qū)動(dòng)已經(jīng)產(chǎn)生I/O,Vmkernel不能控制順序，只能想象你有VM-A產(chǎn)生了一些I/O,另一個(gè)VM-B剛剛也產(chǎn)生了I/O,VM-A將結(jié)束全天運(yùn)行

6、的大多數(shù)全深度隊(duì)列，每次VM-B產(chǎn)生I/O,它將通過(guò)Vmkernel調(diào)度器快速撿起（這是個(gè)不同的知識(shí)點(diǎn)），并盡快發(fā)送另外一個(gè)完成的給驅(qū)動(dòng)，但是它不必要在VM-A64的I/O的隊(duì)列之后，因?yàn)樗呀?jīng)在隊(duì)列中，這些通過(guò)VM-B將明顯的添加到I/O延遲經(jīng)歷中，這是不可取的，通過(guò)限制未完成的請(qǐng)求，我們?cè)试SVmkernel快速安排VM-B的I/O到VM-A的I/O流中，盡管為VM-B減少了延遲?，F(xiàn)在，帶來(lái)第二部分的聲明：我們是否應(yīng)該設(shè)置Disk.SchedNumReqOutstanding的值和你們的隊(duì)列深度一樣么？OK在這種情況中，你想你們的I/O過(guò)程盡可能快速，沒(méi)有任何公平。但是，如果你在單個(gè)數(shù)據(jù)存儲(chǔ)

7、上有最小的工作負(fù)載，不想僅僅因?yàn)閱蝹€(gè)的虛擬機(jī)產(chǎn)生了過(guò)多的I/O,而招致你不想要的虛擬機(jī)過(guò)多延遲。真的是這樣嗎？不，不完全是，有一些問(wèn)題依然不能解答： Disk.SchedNumReqOutstanding的場(chǎng)景中連續(xù)I/O會(huì)怎樣？ VMkernel如何知道什么時(shí)候停止使用Disk.SchedNumReqOutstanding?讓我們先處理連續(xù)I/O的問(wèn)題，默認(rèn)情況下，VMkernel在隊(duì)列中的虛機(jī)上產(chǎn)生8個(gè)連續(xù)的命令（由Disk.SchedQuantum控制），當(dāng)它正常的從其它虛擬機(jī)上調(diào)用I/O看起來(lái)很公平，這樣做是為了保護(hù)虛擬機(jī)工作負(fù)載的連續(xù)狀態(tài)，I/O發(fā)生的扇區(qū)鄰近之前被調(diào)用的I/O,它的

8、順序比I/O扇區(qū)快，一10X是不經(jīng)常的，當(dāng)包括緩存影響或者當(dāng)緩存對(duì)比磁盤(pán)尺寸太小。但是，連續(xù)需要考慮哪些呢？如果下一次I/O比當(dāng)前少于2000扇區(qū)，I/O考慮連續(xù)，這個(gè)距離在高級(jí)參數(shù)Disk.SectorMaxDiff中進(jìn)行控制?，F(xiàn)在，如果其中一臺(tái)虛擬機(jī)變成空閑狀態(tài)，你將非常期望你的活動(dòng)虛擬機(jī)去再次使用全隊(duì)列深度，這是Disk.SchedQControlSeqReqs的作用。默認(rèn)情況下，Disk.SchedQControlSeqReqs被設(shè)置為128,意味著當(dāng)一臺(tái)虛擬機(jī)已經(jīng)產(chǎn)生了128條命令且沒(méi)有任何交換，Disk.SchedQControlVMSwitches將再次將它重置為0,活動(dòng)虛擬機(jī)能

9、再次使用64的全隊(duì)列深度。通過(guò)之前的例子，想法是這樣的，如果VM-B產(chǎn)生了非常少的I/O（每128從其它虛擬機(jī)中少于1）,此時(shí)我們將讓VM-B付出高處罰的延遲，推測(cè)起來(lái)，它不是任何形式的磁盤(pán)綁定。在我們繼續(xù)之前，讓我們確信清楚了這些混淆的概念，當(dāng)SIOC開(kāi)啟，DSNROI不適用，SIOC適用公平，它基于發(fā)生延遲而不是VM交換數(shù)量，換句話說(shuō)，如果延遲閾值沒(méi)有被超過(guò)，SIOC不會(huì)節(jié)流隊(duì)列。當(dāng)SIOC啟用，它將請(qǐng)求每設(shè)備最大的設(shè)備隊(duì)列深度，并設(shè)置它們?yōu)樽畲?，SIOC試圖設(shè)置隊(duì)列深度到256。在大多數(shù)的場(chǎng)景中，盡管它是設(shè)置成32,原因是大多數(shù)的維護(hù)人員使用了該默認(rèn)值。這給我們帶來(lái)一些設(shè)計(jì)原則。基本設(shè)計(jì)

10、原則一旦SIOC在爭(zhēng)用期間負(fù)責(zé)公平申請(qǐng)，確保你的陣列的可用性和咨詢你的存儲(chǔ)供應(yīng)商，并在合適的事情請(qǐng)他們支持，設(shè)置隊(duì)列深度最小為64如果延遲閾值超過(guò)了（這個(gè)狀態(tài)每4秒計(jì)算一次），SIOC基于他們的在陣列級(jí)別上I/Oslot配額，動(dòng)態(tài)節(jié)流主機(jī)的隊(duì)列，注意當(dāng)我們談到延遲（等待時(shí)間），SIOC考慮設(shè)備延遲，設(shè)備延遲是從所有主機(jī)連接的數(shù)據(jù)存儲(chǔ)上觀測(cè)的平均延遲。SIOC怎樣確定每個(gè)虛擬機(jī)和最終每個(gè)主機(jī)的配額，PAPD帕皮書(shū)（討論SIOC研發(fā)的學(xué)術(shù)文章）描述如下：引用資源分配通過(guò)份額值被指定，它是標(biāo)記虛擬機(jī)消耗的I/O資源，一個(gè)虛擬機(jī)有權(quán)去消耗分配的存儲(chǔ)陣列資源，它指定關(guān)聯(lián)I/O請(qǐng)求對(duì)比其他虛擬機(jī)的重要性，

11、I/O共享與主機(jī)的是一種簡(jiǎn)單的關(guān)系，每個(gè)虛擬機(jī)共享的全部數(shù)量統(tǒng)計(jì)為所有的虛擬機(jī)，合適的份額公平的被定義，提供存儲(chǔ)陣列服務(wù)給適合他們份額的主機(jī)。問(wèn)題是，怎樣讓每個(gè)主機(jī)知道延遲被其它主機(jī)觀察到？通信原理SIOC是用的原理類(lèi)似于HA數(shù)據(jù)存儲(chǔ)上的一個(gè)共享文件夾，這個(gè)共享文件，iormstats.sf（圖110）,通過(guò)多個(gè)主機(jī)同步能夠進(jìn)入，每個(gè)主機(jī)定期的為數(shù)據(jù)存儲(chǔ)上的文件，寫(xiě)入它的平均延遲和I/O數(shù)量，這些開(kāi)啟了所有主機(jī)讀取該文件，計(jì)算數(shù)據(jù)存儲(chǔ)的平均延遲，它改變?yōu)槊總€(gè)主機(jī)基于I/Oslot配額，而是允許計(jì)算隊(duì)列深度。圖110:通信原理dnntr.xr-tXrootwt口.aoct617:54.dnotf

12、-Kr1rootroot51；(kt72L；47”drvLrrf1*wt"冼3C13;2t.加X(jué)4 r r11rwtrpQFtroot4.tHAug13WJWAug口1rootrootICw“Z715737drwacr-舅.西*n-*sk-b-«1CMtrm241.*4AuBW：41廣1rootngotZ4I.MAug13lt:41.Bbc.tf-rIrwtroot*第T13ff我們意識(shí)到這聽(tīng)起來(lái)十分復(fù)雜，所有我們嘗試邏輯化，SIOC怎樣工作在下面的部分中我們分場(chǎng)景進(jìn)行描述。本地磁盤(pán)調(diào)度本地磁盤(pán)調(diào)度，一些時(shí)候被當(dāng)做SFQ(start-timefairqueuing)，它是負(fù)

13、責(zé)一些事情，但是，正如它的名字所透露的，所有關(guān)聯(lián)的主機(jī)的調(diào)度，除此之外標(biāo)記每個(gè)虛擬機(jī)在資源爭(zhēng)用時(shí)間公平的共享I/O資源，當(dāng)IOPS限制被定義，本地磁盤(pán)調(diào)度還負(fù)責(zé)限制虛擬機(jī)。本地磁盤(pán)調(diào)度影響主機(jī)級(jí)別的優(yōu)先級(jí)，針對(duì)同一個(gè)ESXi主機(jī)所有運(yùn)行的虛擬機(jī)，通過(guò)本身，當(dāng)一定數(shù)量的虛擬機(jī)需要比其它虛擬機(jī)高一些優(yōu)先級(jí)，它有比較大的價(jià)值，但它同時(shí)也威脅到虛擬機(jī)的平等，當(dāng)3個(gè)虛擬機(jī)擁有平等的份額，接下來(lái)的圖表描述了這個(gè)場(chǎng)景，但VM1和VM2收到較少的帶寬，因?yàn)樗鼈冞\(yùn)行不同的主機(jī)上。圖111:本地磁盤(pán)調(diào)度Datastore-Wide磁盤(pán)調(diào)度Datastore-wide磁盤(pán)調(diào)度有點(diǎn)類(lèi)似于本地磁盤(pán)調(diào)度，它將虛擬機(jī)的調(diào)度

14、優(yōu)先于其它依靠自身磁盤(pán)的調(diào)度，它通過(guò)計(jì)算I/Oslot權(quán)限，但只當(dāng)配置的延遲閾值被超過(guò)時(shí)。一個(gè)例子將可能描述它是怎樣工作的，接下來(lái)的圖片（圖112）描述了延遲閾值被超過(guò)，主機(jī)被節(jié)流的場(chǎng)景。圖112：Datastore-wide磁盤(pán)調(diào)度VM22醬Dewic«Queue&epthE201VMi&0%然i"A.-.O色Hzx-x中端宜門(mén)總一汽:.工-;-:'>:*:*:-:小Ir1J*DeviceQueueDepthFSXrSV-15皿-EdkDatastore-Wide磁盤(pán)調(diào)度為數(shù)據(jù)存儲(chǔ)上虛擬機(jī)的每個(gè)VMD戲件統(tǒng)計(jì)磁盤(pán)份額，在ESXi-01的情況中

15、，它是2000,在ESXi-02的情況中是1000,接下來(lái)，datastore-wide磁盤(pán)調(diào)度將基于主機(jī)級(jí)別的共享計(jì)算I/Oslot配置，它將節(jié)流隊(duì)列。在這個(gè)例子中，每一個(gè)虛擬機(jī)被分配了33%勺存儲(chǔ)資源，如果你同圖111的場(chǎng)景進(jìn)行比較，你能理解為什么建議在所有的數(shù)據(jù)存儲(chǔ)上開(kāi)啟SIOC,即使不需要提高優(yōu)先級(jí)。基本設(shè)計(jì)原則即使虛擬機(jī)不需要比其它虛擬機(jī)更高的優(yōu)先級(jí)，開(kāi)啟存儲(chǔ)I/O控制是有利的，它能幫助阻止自身造成的拒絕服務(wù)攻擊。另外一個(gè)例子所有的虛擬機(jī)有平等的份額，這個(gè)例子比較公平，但是，不同份額的場(chǎng)景，將使其變得復(fù)雜，我們像提供額外的例子來(lái)確保每個(gè)人理解這個(gè)基本的概念，在這個(gè)場(chǎng)景中，有3個(gè)虛擬機(jī)

16、（圖113）,2個(gè)虛擬機(jī)（VM2和VM3被授予了500份額，VM1有1500份額，VM1被分配了60%的可用I/Oslot,VM開(kāi)口VM典個(gè)被分配了20%通過(guò)加上所有的份額這個(gè)計(jì)算比較簡(jiǎn)單,通過(guò)結(jié)果可以區(qū)分每虛擬機(jī)的份額，在VM1的情況下，計(jì)算公式如下：VM1/(VM1+VM2+VM3)或者1500/(1500+500+500)=60%如展示的，VM1被分配了60%勺I/Oslot,VM開(kāi)口VM3被分配了20%圖113:SIOC場(chǎng)景2技術(shù)即客用”自動(dòng)延遲閾值計(jì)算在vSphere5.0中延遲閾值是指定用戶設(shè)置的，默認(rèn)是30毫秒，但是這個(gè)時(shí)間不適合所有的數(shù)據(jù)存儲(chǔ)類(lèi)型，因?yàn)镾IOC支持多種類(lèi)型的設(shè)備

17、，一個(gè)中間的閾值被設(shè)置，某些設(shè)備如SSD命中自然爭(zhēng)用點(diǎn)早于其它，它請(qǐng)求用戶在指定的數(shù)據(jù)存儲(chǔ)上配置較低的閾值。但是，手工決定正確的閾值非常困難，為了阻止錯(cuò)誤的延遲閾值設(shè)置，SIOC在vSphere5.1中自動(dòng)為每個(gè)設(shè)備決定了延遲閾值。自動(dòng)延遲閾值計(jì)算模擬設(shè)備的吞吐量，設(shè)置延遲記錄，允許虛擬架構(gòu)調(diào)用有利于設(shè)備的全部性能，用戶接口提供控制依據(jù)峰值的IOPS的百分比來(lái)影響自動(dòng)計(jì)算；用戶接口還提供手動(dòng)設(shè)置延遲的機(jī)會(huì)。圖114:配置存儲(chǔ)I/O控制StoragePOControl3StorageI/OCmtrol用于座制虔以機(jī)的I/O使用情況和逐步實(shí)施頓定義的其享級(jí)別0啟用Storagei/aControl

18、捕場(chǎng)誨M；W吞吐量岐值百分比pcF三|%。手動(dòng)30日里松重置為默認(rèn)值手工延遲閾值建議在vSphere5.1中提供新的自動(dòng)閾值設(shè)置，如果有可能的場(chǎng)合，必須要手工設(shè)置閾值，它產(chǎn)生的建議為不同類(lèi)型的磁盤(pán)來(lái)設(shè)置不同的閾值（見(jiàn)表25）它應(yīng)該指出，但是，當(dāng)SIOC用來(lái)配合存儲(chǔ)DRS存儲(chǔ)DRSI/O延遲閾值應(yīng)該設(shè)置得比SIOC延遲閾值低，通過(guò)節(jié)流隊(duì)列深度，SIOC被定位用來(lái)阻止短暫的延遲高峰，存儲(chǔ)DR時(shí)定位用來(lái)解決失衡和通過(guò)遷移工作負(fù)載降低數(shù)據(jù)存儲(chǔ)的平均延遲。SIOC觀察設(shè)備延遲，存儲(chǔ)DRS觀察全部的延遲，包括設(shè)備延遲和kernel延遲。這意味著，當(dāng)SIOC延遲閾值低于存儲(chǔ)DRSI/O延遲，它將不會(huì)對(duì)存儲(chǔ)D

19、RSW建議產(chǎn)生影響，因?yàn)榇鎯?chǔ)DR鴻慮設(shè)備延遲和kernel延遲，通過(guò)本章節(jié)解釋的Datastore-wide磁盤(pán)調(diào)度，延遲不會(huì)被消失，它移動(dòng)到一個(gè)不同的層，我們做到了，但是，建議設(shè)置存儲(chǔ)DRSI/O延遲值為SIOC的一半，這樣SIOC將遷移延遲峰值和存儲(chǔ)DRS將阻止熱點(diǎn)。表25:建議延遲閾值TypeofStorageftecommeftdedLatencyThresholdMN訊廿"dSSDFC2030msSATA式嗎口足工注入另一個(gè)我們沒(méi)有接觸的組件是注入，它是做什么的？它為誰(shuí)提供服務(wù)？注入在vSphere5.0中被介紹過(guò)，它是SIOC的一部分來(lái)決定數(shù)據(jù)存儲(chǔ)的性能特性，我們已經(jīng)在第

20、22章節(jié)簡(jiǎn)明的接觸了性能特性，基于可用性和類(lèi)似性能來(lái)對(duì)數(shù)據(jù)存儲(chǔ)群集上聚合的數(shù)據(jù)存儲(chǔ)生成建議，在大多數(shù)的環(huán)境中，管理員小心的定義它們的存儲(chǔ)的層次，但大多數(shù)不能意識(shí)到，每個(gè)數(shù)據(jù)存儲(chǔ)上的備份磁盤(pán)的數(shù)量不同，會(huì)造成性能行為上的不同，即使磁盤(pán)數(shù)量（7VS9）有一點(diǎn)點(diǎn)不同，可能引起性能上非常大的不同?？偠灾?，一些陣列使用大磁盤(pán)池和條帶LUN通過(guò)這些池，在那些場(chǎng)景中，本地磁盤(pán)可能產(chǎn)生不同的性能特性，盡管VASA暴光了類(lèi)似于RAID的一些存儲(chǔ)特性，但它當(dāng)前還是不能提供性能特性。為了確保存儲(chǔ)DRSI/O平衡放置，不僅僅是基于閾值和延遲觀察，SIOC還通過(guò)注入隨機(jī)I/O描繪數(shù)據(jù)存儲(chǔ)的特性，在大家擔(dān)心注入會(huì)干涉他們的工作負(fù)載之前，我們想強(qiáng)調(diào)的是注入只有當(dāng)數(shù)據(jù)存儲(chǔ)處于空閑狀態(tài)時(shí)才變成活動(dòng)的，如果I/O被檢測(cè)到來(lái)自于其它資源，注入將停止描述特性，并稍后重試，總之，注入I/O只是讀I/O,為了描述設(shè)備的特性，不同數(shù)量的I/O被使用，延遲被監(jiān)控，換句話說(shuō)，隨機(jī)讀I/O被注入，每次I/O的數(shù)量也不同。圖115中結(jié)果可以簡(jiǎn)單的描繪，圖的斜坡表明了數(shù)據(jù)存儲(chǔ)的性能。引用Slope=0.50“在數(shù)學(xué)中，斜坡或者梯度線描述陡峭，傾斜和等級(jí)，較高的斜坡值表面更陡峭的斜坡。圖115:使用不同數(shù)量的磁盤(pán)進(jìn)