企業(yè)存儲性能技術(shù)基礎(chǔ)培訓(xùn)

1、企業(yè)存儲性能技術(shù)基礎(chǔ)培訓(xùn)目 錄性能的基本概念理解存儲的性能指標(biāo)存儲性能測試基本知識存儲性能測試工具性能的標(biāo)準(zhǔn)組織幾種存儲性能的舉例性能的基本概念性能是一個(gè)系統(tǒng)的固有特性，是可測量的指標(biāo)，在某方面能達(dá)到的數(shù)據(jù)。性能是用指標(biāo)來表示的。性能是產(chǎn)品質(zhì)量的一部分。目 錄性能的基本概念理解存儲的性能指標(biāo)存儲性能測試基本知識存儲性能測試工具性能的標(biāo)準(zhǔn)組織幾種存儲性能的舉例理解存儲的性能指標(biāo)存儲主要性能指標(biāo)（一）性能指標(biāo)平均響應(yīng)時(shí)間(Average Response Time) 從IO請求到得到結(jié)果所用時(shí)間每秒IO數(shù)( IOPS) 每秒鐘存儲可服務(wù)多少個(gè)IO請求吞吐量(Throughput) 流量、帶寬并發(fā)用

2、戶數(shù)(Concurrent Users) 同時(shí)能為多少客戶提供服務(wù)穩(wěn)定性(Stability) 可有效穩(wěn)定運(yùn)行健壯性(Reliability) 承受一定的非正常操作的能力，容錯(cuò)能力理解存儲的性能指標(biāo)存儲主要性能指標(biāo)（二）NAS的性能指標(biāo)OPS(Operations per Second) 每秒有多少個(gè)操作，是并發(fā)能力的指標(biāo)根據(jù)SPEC SFS97 基準(zhǔn)（NFS V3 操作數(shù) /秒）得出的參考數(shù)據(jù)： NetApp FAS250: 13,620 NetApp FAS980C: 68,139 EMC NS500 (主/備） : 25,891 EMC NS700(主/備）: 71,482 ORT(Ov

3、erall Response Time) 表示客戶得到服務(wù)響應(yīng)的快慢，單位是毫秒，這個(gè)數(shù)值越小越好 理解存儲的性能指標(biāo)存儲主要性能指標(biāo)（三）對一個(gè)存儲系統(tǒng)來說，吞吐量大，IOPS高，是追求的目標(biāo)。帶寬與IOPS的關(guān)系是帶寬塊大小 x IOPS帶寬與IOPS也是矛盾的，塊大小增大時(shí)，帶寬增大，但I(xiàn)OPS減小理解存儲的性能指標(biāo)存儲主要性能指標(biāo)（四）順序讀寫：存儲的吞吐能力，一般用大數(shù)據(jù)塊訪問的帶寬（MB/s）來衡量隨機(jī)讀寫：存儲對請求反應(yīng)的快慢，一般用小數(shù)據(jù)塊時(shí)的IOPS來衡量順序讀寫與隨機(jī)讀寫性能反映了存儲性能的不同方面，兩者數(shù)值差異巨大。理解存儲的性能指標(biāo)性能指標(biāo)概念持續(xù)性能長時(shí)間持續(xù)的性能指

4、標(biāo)，數(shù)據(jù)是從磁盤讀出或?qū)懭氪疟P的，即cache不夠了。突發(fā)性能也稱為cache性能，客戶的請求是在cache中完成的，對突發(fā)訪問有意義。從數(shù)據(jù)上看，持續(xù)性能小于突發(fā)性能。不同應(yīng)用的IO特點(diǎn)不一樣，對存儲的持續(xù)與突發(fā)性能要求也是不一樣的。理解存儲的性能指標(biāo)IOPS與塊大小訪問時(shí)使用的塊大小越大，IOPS值降低。圖中可見，讀性能一般比寫性能高，而且隨機(jī)性能比順序性能低很多。理解存儲的性能指標(biāo)帶寬與塊大小隨著訪問塊大小的增大，帶寬也增大。在塊大小很大（圖中1MB）時(shí)，隨機(jī)帶寬與順序帶寬接近。因?yàn)閴K大小很大時(shí)，實(shí)際上是隨機(jī)也變成順序的了。理解存儲的性能指標(biāo)影響存儲性能的因素（一）磁盤類型接口：FC,

5、SCSI, SATA, ATA轉(zhuǎn)速：15K rpm, 10K rpm, 7200 rpm, 5400 rpmRAID類型RAID0, RAID1, RAID01, RAID10, RAID3, RAID4, RAID5, RAID6系統(tǒng)架構(gòu)設(shè)計(jì)是否合理，算法實(shí)現(xiàn)，Bug理解存儲的性能指標(biāo)影響存儲性能的因素（二）操作系統(tǒng)與文件系統(tǒng)Windows: NTFSUnix: UFS, XFS, JFS, HPFSLinux: ext2, ext3, ReiserFS環(huán)境、應(yīng)用網(wǎng)絡(luò)狀況，應(yīng)用的種類其他因素附加功能：快照，復(fù)制，鏡像，碎片整理等理解存儲的性能指標(biāo)影響存儲性能的因素（三）存儲的接口也是影響存儲

6、性能的重要因素。FC目前SAN的主要接口形式，性能好，但成本高。SCSI性能好，但受傳輸距離限制，可連接主機(jī)數(shù)有限，不適合SAN應(yīng)用。iSCSI性能較好，成本低，管理容易，缺點(diǎn)是占用主機(jī)資源較多，配合iSCSI HBA可有效節(jié)約主機(jī)資源。ATA，SATA個(gè)人電腦硬盤的主要接口形式。理解存儲的性能指標(biāo)硬盤性能指標(biāo)簡介主軸轉(zhuǎn)速：硬盤的主軸轉(zhuǎn)速是決定硬盤內(nèi)部數(shù)據(jù)傳輸率的決定因素之一，它在很大程度上決定了硬盤的速度，同時(shí)也是區(qū)別硬盤檔次的重要標(biāo)志。高端FC盤的轉(zhuǎn)速是15,000rpm（轉(zhuǎn)每分鐘）尋道時(shí)間：該指標(biāo)是指硬盤磁頭移動到數(shù)據(jù)所在磁道而所用的時(shí)間，單位為毫秒(ms)高速緩存：該指標(biāo)指在硬盤內(nèi)部的

7、高速存儲器。服務(wù)器硬盤的高速緩存一般為8MB16MB全程訪問時(shí)間：該指標(biāo)指磁頭開始移動直到最后找到所需要的數(shù)據(jù)塊所用的全部時(shí)間，單位為毫秒最大內(nèi)部數(shù)據(jù)傳輸率：該指標(biāo)名稱也叫持續(xù)數(shù)據(jù)傳輸率(sustained transfer rate)，單位為MB/s。它是指磁頭至硬盤緩存間的最大數(shù)據(jù)傳輸率，一般取決于硬盤的盤片轉(zhuǎn)速和盤片線密度(指同一磁道上的數(shù)據(jù)容量)連續(xù)無故障時(shí)間（MTBF）：該指標(biāo)是指硬盤從開始運(yùn)行到出現(xiàn)故障的最長時(shí)間，單位是小時(shí)外部數(shù)據(jù)傳輸率：該指標(biāo)也稱為突發(fā)數(shù)據(jù)傳輸率，它是指從硬盤緩沖區(qū)讀取數(shù)據(jù)的速率。在硬盤特性表中常以數(shù)據(jù)接口速率代替，單位為MB/s。Ultra 320 SCSI,

8、 2GB FC, SATA2等理解存儲的性能指標(biāo)RAID類型RAID0數(shù)據(jù)并行的寫入和讀取，非常有助于提高存儲系 統(tǒng)的性能。但RAID 0 不能算是真正的RAID，因?yàn)樗鼪]有數(shù)據(jù)冗余能力RAID1磁盤鏡像，不用校驗(yàn)，性能好。缺點(diǎn)是磁盤利用率低RAID4獨(dú)立的校驗(yàn)盤容易成為性能瓶頸。寫性能較低，讀性能好RAID5 不用獨(dú)立校驗(yàn)磁盤，將校驗(yàn)數(shù)據(jù)以循環(huán)的方式放在每一個(gè)磁盤中，控制比較復(fù)雜，寫性能較低，壞盤后的恢復(fù)也是影響性能的大問題。實(shí)現(xiàn)方法對性能影響很大RAID6雙校驗(yàn)磁盤，可靠性高，實(shí)現(xiàn)較復(fù)雜，性能低RAID10 性能與冗余性較好，缺點(diǎn)是磁盤利用率低理解存儲的性能指標(biāo)主要應(yīng)用的IO特征文件服務(wù)器

9、 一般使用較小的數(shù)據(jù)塊請求，并體現(xiàn)隨機(jī)特征請求大小在512B到64KB之間分布打印服務(wù)器 通常使用較大的數(shù)據(jù)塊請求一般為64KBWEB服務(wù)器 通常使用較小的數(shù)據(jù)塊，并體現(xiàn)隨機(jī)特征一般為512B-512KBBBS系統(tǒng) 使用零散的文件存放文章，訪問模式基本是小文件隨機(jī)讀寫多在512B到64KB之間分布數(shù)據(jù)庫系統(tǒng) 一般都表現(xiàn)為大量的IO訪問，對帶寬要求較低，主要是隨機(jī)訪問一般為4-16KB郵件服務(wù)器 一般為隨機(jī)訪問，數(shù)據(jù)塊一般為4-16KB視頻服務(wù)器 通常是順序的大數(shù)據(jù)塊讀請求，對帶寬的壓力非常高一般為64KB及以上非線編 通常是順序的大數(shù)據(jù)塊請求，對帶寬的壓力非常高，而對IOPS壓力較小。一般為6

10、4KB及以上目 錄性能的基本概念理解存儲的性能指標(biāo)存儲性能測試基本知識存儲性能測試工具性能的標(biāo)準(zhǔn)組織幾種存儲性能的舉例存儲性能測試基本知識性能測試針對系統(tǒng)的性能指標(biāo)制定性能測試方案，執(zhí)行測試用例，得出測試結(jié)果來驗(yàn)證系統(tǒng)的性能指標(biāo)是否滿足既定值。通過模擬的IO負(fù)載對存儲進(jìn)行訪問,從而測試存儲的各項(xiàng)性能存儲性能測試基本知識性能測試的方法IO工具IO工具產(chǎn)生模擬的IO，施加于存儲，從而得出存儲的性能，這種方法受其他干擾少，可專注于存儲某一方面的性能應(yīng)用系統(tǒng)通過應(yīng)用系統(tǒng)最能測試存儲在真實(shí)環(huán)境中的性能，但較復(fù)雜，受影響因素多基準(zhǔn)業(yè)界統(tǒng)一的標(biāo)準(zhǔn)，測試結(jié)果具有可比性存儲性能測試基本知識性能測試的類別概述性能

11、測試負(fù)載測試壓力測試配置測試并發(fā)測試穩(wěn)定性測試健壯性測試存儲性能測試基本知識性能測試的類別（一）性能測試是正常的測試，是在正常使用時(shí)，系統(tǒng)是否滿足要求，同時(shí)留有一定的余量空間(注1)負(fù)載測試通過在被測系統(tǒng)上不斷增加壓力，直到性能指標(biāo)，例如“響應(yīng)時(shí)間”超過指標(biāo)或者某種資源使用已經(jīng)達(dá)到飽和狀態(tài)。這種測試可以找到系統(tǒng)的處理極限。壓力測試逐步增加負(fù)載, 測試系統(tǒng)性能的變化，并最終確定在什么負(fù)載條件下，系統(tǒng)處于失效狀態(tài)，并來獲得系統(tǒng)所能提供最大服務(wù)級別的測試存儲性能測試基本知識性能測試的類別（二）配置測試系統(tǒng)在使用不同配置時(shí)其性能行為的可接受性，可為優(yōu)化做準(zhǔn)備 并發(fā)測試大量并發(fā)連接時(shí)的響應(yīng)能力穩(wěn)定性測試

12、系統(tǒng)運(yùn)行的穩(wěn)定性，波動性，能夠正常運(yùn)行的時(shí)間健壯性測試對于有容錯(cuò)、冗余性的系統(tǒng)，在部分失效后，對整體的影響程度存儲性能測試基本知識性能測試的實(shí)施過程了解被測試對象的性能測試需求分析被測試對象的性能測試需求編寫性能測試計(jì)劃，用例測試用物料準(zhǔn)備，環(huán)境搭建執(zhí)行測試分析測試結(jié)果性能調(diào)優(yōu)目 錄性能的基本概念理解存儲的性能指標(biāo)存儲性能測試基本知識存儲性能測試工具性能的標(biāo)準(zhǔn)組織幾種存儲性能的舉例存儲性能測試工具概覽IOmeterSANergybonnie+HDTachdd，拷貝等Mercury Interactive LoadRunner存儲性能測試工具IOmeterIOmeter是一個(gè)IO子系統(tǒng)測量與特性

13、描述工具，可用于獨(dú)立或群集系統(tǒng)，可在Windows，Linux，Unix等多種平臺上運(yùn)行。IOmeter可用于測量與描述：磁盤與網(wǎng)絡(luò)控制器的性能總線的帶寬與延遲網(wǎng)絡(luò)吞吐到連接的驅(qū)動器共享總線性能系統(tǒng)級硬盤性能系統(tǒng)級網(wǎng)絡(luò)性能存儲性能測試工具BonnieBonnie+是一個(gè)可對硬盤與文件系統(tǒng)簡單測試的一套基準(zhǔn)包。它提供的測試，產(chǎn)生文件系統(tǒng)活動，用于觀察在IO強(qiáng)烈的應(yīng)用中的瓶頸。Bonnie測試隨機(jī)與順序IO，文件與目錄創(chuàng)建。只能用在Unix與Linux系統(tǒng)中。 存儲性能測試工具IOzoneIOzone是一個(gè)文件系統(tǒng)基準(zhǔn)工具，它產(chǎn)生與測量各種各樣的文件操作，用于對一種平臺進(jìn)行廣泛的文件系統(tǒng)分析。該基

14、準(zhǔn)測試多種操作的文件IO性能：讀、寫、重讀、重寫、向后讀、大步讀、文件讀、文件寫、隨機(jī)讀、pread、mmap、異步讀、異步寫。由于IOzone主要是關(guān)注于文件系統(tǒng)性能，主機(jī)的配置對文件系統(tǒng)的行為有巨大影響。IOzone可在這些平臺上運(yùn)行：Aix, FreeBSD, HP-UX,IRIX, Linux, Solaris, Windows等。存儲性能測試工具操作系統(tǒng)自帶工具dd： dd是Unix或Linux系統(tǒng)自帶的備份與恢復(fù)工具，用于測試磁盤系統(tǒng)的性能也是不錯(cuò)的，可以用于裸盤，可以指定塊大小以及塊的數(shù)量。dd只能測順序訪問性能?？截悾菏亲詈唵我子玫臏y試方法，也是順序讀寫。但拷貝沒有任何可調(diào)整的

15、參數(shù)，只能拷貝整個(gè)文件，也不能測試裸盤。拷貝是簡單的測試方法，不能全面衡量存儲的性能，有很大的局限性。存儲性能測試工具LoadRunnerLoadRunner是應(yīng)用軟件性能測試工具。通過測試應(yīng)用的性能間接測試存儲性能，得出存儲在更真實(shí)環(huán)境中的性能表現(xiàn)。模擬實(shí)際用戶的操作行為和實(shí)行實(shí)時(shí)性能監(jiān)測。通過模擬上千萬用戶實(shí)施并發(fā)負(fù)載的方式來對系統(tǒng)施以壓力。存儲性能測試工具性能監(jiān)視工具性能監(jiān)視工具收集系統(tǒng)運(yùn)行的性能數(shù)據(jù)，并以實(shí)時(shí)或匯總的形式呈現(xiàn)出來Windows: 性能監(jiān)視器Unix: sar, iostat, netstat, vmstatLinux: top, vmstat商業(yè)的性能監(jiān)視工具具有更多的

16、功能，可以設(shè)定收集時(shí)間，收集的范圍，深入的分析，產(chǎn)生多種報(bào)告目 錄性能的基本概念理解存儲的性能指標(biāo)存儲性能測試基本知識存儲性能測試工具性能的標(biāo)準(zhǔn)組織幾種存儲性能的舉例性能的標(biāo)準(zhǔn)組織TPC（事務(wù)處理性能委員會）事務(wù)處理性能委員會（TPC）是一個(gè)非贏利的組織，其宗旨是建立事務(wù)處理與數(shù)據(jù)庫基準(zhǔn)，以及使這些基準(zhǔn)的各種結(jié)果為業(yè)界所采用。所有的TPC基準(zhǔn)圍繞著事務(wù)，通常涉及更新一個(gè)某種類型的數(shù)據(jù)庫，這使TPC基準(zhǔn)成為測試包括存儲在內(nèi)的整個(gè)環(huán)境的理想選擇。性能的標(biāo)準(zhǔn)組織TPC定義的基準(zhǔn)TPC已定義了五種不同的基準(zhǔn)：TPC-App 一個(gè)應(yīng)用服務(wù)器和WEB服務(wù)基準(zhǔn)。負(fù)荷應(yīng)用于一個(gè)受管理的環(huán)境，模擬一個(gè)24X7運(yùn)

17、行的B-to-B事務(wù)應(yīng)用服務(wù)器的活動。TPC-C模擬一個(gè)完全的計(jì)算環(huán)境，許多用戶對一個(gè)數(shù)據(jù)庫執(zhí)行事務(wù)。該基準(zhǔn)專注于一個(gè)訂單處理環(huán)境的主要活動。TPC-H一個(gè)決策支持基準(zhǔn)。由一套面向商業(yè)的特別查詢與并發(fā)數(shù)據(jù)更新組成。TPC-R一個(gè)決策支持基準(zhǔn)，類似于TPC-H，但是允許基于對查詢的高級知識的額外的優(yōu)化。TPC-W 一個(gè)事務(wù)WEB基準(zhǔn)。負(fù)荷應(yīng)用于一個(gè)受控的Internet商務(wù)環(huán)境，模擬商務(wù)導(dǎo)向的WEB服務(wù)器的活動。 性能的標(biāo)準(zhǔn)組織Storage Performance Council (SPC)SPC 是一個(gè)非贏利的組織 定義、標(biāo)準(zhǔn)化，并促進(jìn)第一個(gè)工業(yè)標(biāo)準(zhǔn)存儲基準(zhǔn)發(fā)布客觀的、可證實(shí)的性能數(shù)據(jù)成員有

18、Sun, IBM, Dell, Hitachi, NetApp, Unisys, Symantec, Seagate 性能的標(biāo)準(zhǔn)組織SPC的標(biāo)準(zhǔn)SPC-1 模擬一個(gè)OLTP環(huán)境，如典型的數(shù)據(jù)庫應(yīng)用，特征是隨機(jī)訪問SPC-1c 為單個(gè)存儲產(chǎn)品部件提供性能比較，如磁盤、控制器、單磁盤箱存儲、存儲軟件SPC-2 模擬大塊順序訪問環(huán)境，大量的數(shù)據(jù)移動，如備份SPC-SFS 用于測試文件服務(wù)器性能目 錄性能的基本概念理解存儲的性能指標(biāo)存儲性能測試基本知識存儲性能測試工具性能的標(biāo)準(zhǔn)組織幾種存儲性能的舉例幾種存儲性能的舉例IX5000的性能單SC單DE配置(16個(gè)盤)：順序讀：100MB/s順序?qū)懀?5MB/s隨機(jī)讀IOPS（塊大小為512B ）：2313 隨機(jī)寫IOPS （塊大小為512B ） ：978雙SC單DE配置(16個(gè)盤)：順序讀：180MB/s順序?qū)懀?65MB/s隨機(jī)讀IOPS （塊大小為512B ） ：2313 隨機(jī)寫IOPS （塊大小為512B ） ：978由于隨機(jī)IOPS與磁盤多少有關(guān)，所以1個(gè)DE時(shí)，單、雙SC的性能是一樣的。塊大小為4KB時(shí)的 IOPS值比512B的值稍低。幾種存儲性能的舉例HP EVA4000的性能配置: 雙控制器個(gè)10K rpm FC 磁盤 R