Exdata與DDN存儲性能測試方案

1、高性能數(shù)據(jù)庫存儲性能測試方案DDN與Exadata性能測試對比目錄 TOC o 1-3 h z u HYPERLINK l _Toc487398076 一、測試目的 PAGEREF _Toc487398076 h 5 HYPERLINK l _Toc487398077 二、測試環(huán)境 PAGEREF _Toc487398077 h 5 HYPERLINK l _Toc487398078 三、測試場景設計原則 PAGEREF _Toc487398078 h 7 HYPERLINK l _Toc487398082 3.1數(shù)據(jù)裝載測試對比，信令系統(tǒng)數(shù)據(jù)裝載主要采用sql*ldr，所以測試指標為裝載時間

2、與性能消耗對比。 PAGEREF _Toc487398082 h 7 HYPERLINK l _Toc487398083 3.2壓縮測試對比，主要測試Exadata壓縮表的比例和時間，然后與DDN非壓縮表查詢速度對比（DDN暫定采用oracle普通壓縮，具體壓縮方式由DDN決定）。 PAGEREF _Toc487398083 h 7 HYPERLINK l _Toc487398084 3.3單條查詢測試對比，即返回結果很少的查詢，一般即時查詢，測試查詢Exadata與DDN查詢速度對比。（Exadata沒有建立索引，DDN是否要采用索引？） PAGEREF _Toc487398084 h 7

3、HYPERLINK l _Toc487398085 3.4并行查詢測試對比，一般為報表類統(tǒng)計查詢，返回大量的結果集，由于開啟了并發(fā)，測試指標包括查詢速度及CPU消耗。 PAGEREF _Toc487398085 h 7 HYPERLINK l _Toc487398086 3.5數(shù)據(jù)匯聚測試對比，指的是數(shù)據(jù)庫中insert操作，對CPU和IO響應速度要求較高，測試指標包括執(zhí)行速度及性能消耗。 PAGEREF _Toc487398086 h 7 HYPERLINK l _Toc487398087 四、測試內容 PAGEREF _Toc487398087 h 7 HYPERLINK l _Toc48

4、7398089 4.1數(shù)據(jù)裝載測試對比 PAGEREF _Toc487398089 h 8 HYPERLINK l _Toc487398100 4.1.1測試描述 PAGEREF _Toc487398100 h 8 HYPERLINK l _Toc487398101 4.1.2測試指標 PAGEREF _Toc487398101 h 8 HYPERLINK l _Toc487398102 4.1.3測試步驟 PAGEREF _Toc487398102 h 8 HYPERLINK l _Toc487398103 4.1.4測試結果 PAGEREF _Toc487398103 h 9 HYPERL

5、INK l _Toc487398104 4.2壓縮測試對比 PAGEREF _Toc487398104 h 10 HYPERLINK l _Toc487398106 4.2.1測試描述 PAGEREF _Toc487398106 h 10 HYPERLINK l _Toc487398107 4.2.2測試指標 PAGEREF _Toc487398107 h 10 HYPERLINK l _Toc487398108 4.2.3測試步驟 PAGEREF _Toc487398108 h 10 HYPERLINK l _Toc487398109 4.2.4測試結果 PAGEREF _Toc487398

6、109 h 11 HYPERLINK l _Toc487398110 4.3單條查詢測試對比 PAGEREF _Toc487398110 h 11 HYPERLINK l _Toc487398112 4.3.1測試描述 PAGEREF _Toc487398112 h 11 HYPERLINK l _Toc487398113 4.3.2測試指標 PAGEREF _Toc487398113 h 11 HYPERLINK l _Toc487398114 4.3.3測試步驟 PAGEREF _Toc487398114 h 12 HYPERLINK l _Toc487398115 4.3.4測試結果 P

7、AGEREF _Toc487398115 h 12 HYPERLINK l _Toc487398116 4.4并行查詢測試對比 PAGEREF _Toc487398116 h 13 HYPERLINK l _Toc487398118 4.4.1測試描述 PAGEREF _Toc487398118 h 13 HYPERLINK l _Toc487398119 4.4.2測試指標 PAGEREF _Toc487398119 h 13 HYPERLINK l _Toc487398120 4.4.3測試步驟 PAGEREF _Toc487398120 h 13 HYPERLINK l _Toc4873

8、98121 4.4.4測試結果 PAGEREF _Toc487398121 h 14 HYPERLINK l _Toc487398122 4.5數(shù)據(jù)匯聚測試對比 PAGEREF _Toc487398122 h 14 HYPERLINK l _Toc487398124 4.5.1測試描述 PAGEREF _Toc487398124 h 14 HYPERLINK l _Toc487398125 4.5.2測試指標 PAGEREF _Toc487398125 h 15 HYPERLINK l _Toc487398126 4.5.3測試步驟 PAGEREF _Toc487398126 h 15 HYP

9、ERLINK l _Toc487398127 4.5.4測試結果 PAGEREF _Toc487398127 h 16 HYPERLINK l _Toc487398128 五、存儲性能測試 PAGEREF _Toc487398128 h 16 HYPERLINK l _Toc487398130 5.1測試工具：orion PAGEREF _Toc487398130 h 16 HYPERLINK l _Toc487398133 5.1.1測試描述 PAGEREF _Toc487398133 h 16 HYPERLINK l _Toc487398134 5.1.2測試指標 PAGEREF _Toc

10、487398134 h 17 HYPERLINK l _Toc487398135 5.1.3測試步驟 PAGEREF _Toc487398135 h 17 HYPERLINK l _Toc487398136 5.1.4測試結果 PAGEREF _Toc487398136 h 18 HYPERLINK l _Toc487398137 5.2測試工具：calibrate_io PAGEREF _Toc487398137 h 18 HYPERLINK l _Toc487398139 5.2.1測試描述 PAGEREF _Toc487398139 h 19 HYPERLINK l _Toc487398

11、140 5.2.2測試指標 PAGEREF _Toc487398140 h 19 HYPERLINK l _Toc487398141 5.2.3測試步驟 PAGEREF _Toc487398141 h 19 HYPERLINK l _Toc487398142 5.2.4測試結果 PAGEREF _Toc487398142 h 21 HYPERLINK l _Toc487398143 5.3測試工具：xdd PAGEREF _Toc487398143 h 21 HYPERLINK l _Toc487398145 5.3.1測試描述 PAGEREF _Toc487398145 h 21 HYPER

12、LINK l _Toc487398146 5.3.2測試指標 PAGEREF _Toc487398146 h 22 HYPERLINK l _Toc487398147 5.3.3測試步驟 PAGEREF _Toc487398147 h 22 HYPERLINK l _Toc487398148 5.3.4測試結果 PAGEREF _Toc487398148 h 23測試目的本次測試主要以信令系統(tǒng)的業(yè)務場景進行測試，主要目的是驗證ddn存儲構建高性能數(shù)據(jù)庫的優(yōu)勢與劣勢，為今后廣東移動系統(tǒng)建設規(guī)劃提供指導性的建議，為了客觀對比現(xiàn)網生產環(huán)境的基準處理性能，測試環(huán)境基于1/4配置的Exadata數(shù)據(jù)庫一

13、體機，具體測試的內容主要包括：數(shù)據(jù)裝載測試對比壓縮測試對比單條查詢測試對比并行查詢測試對比數(shù)據(jù)匯聚測試對比測試環(huán)境Exadata：按ORACLE EXADATA X4 (第五代)的四分之一配來評估。計算節(jié)點的配置 (共2臺)處理器2 個 Intel Xeon E5-2697 v2 十二核處理器 (2.7GHz) 內存256 GB（16 個 16GB） 可擴展至 512GB （16 個 32GB）本地磁盤4 個 600GB 10K RPM SAS 磁盤（可熱交換）磁盤控制器磁盤控制器 HBA（帶 512MB 緩存）網絡2 個 InfiniBand 4X QDR (40Gb/s) 端口 (PCIe

14、 3.0) 兩個端口均處于活動狀態(tài)4 個 1GbE/10GbE Base-T 以太網端口2 個 10GbE 以太網 SFP+ 端口存儲節(jié)點的配置 (共3臺)處理器2 個 Intel Xeon E5-2630 v2 六核處理器 (2.6 GHz) 內存96 GB （4 個 8GB + 4 個 16GB）磁盤12 個 1.2 TB 10K RPM 高性能 SAS（可熱交換） 2.5” 磁盤大小或者12 個 4 TB 7.2K RPM 大容量 SAS（可熱交換） 3.5” 磁盤大小閃存4 個 800 GB Sun Flash Accelerator F80 PCIe 卡 磁盤控制器磁盤控制器 HBA

15、（帶 512MB 緩存）網絡2 個 InfiniBand 4X QDR (40Gb/s) 端口 (PCIe 3.0) 兩個端口均處于活動狀態(tài)嵌入式千兆以太網端口用于管理連接DDN存儲構建高性能數(shù)據(jù)庫（文檔中全部簡稱DDN）由DDN從以下配置中挑選，不超過Exadata 1/4硬件配置。X86服務器擴容（27臺）4路高端應用服務器，配置不低于ibm 3950 X5 2.67GHz主頻的CPU，256GB內存；4*300GB SAS磁盤，RAID0/1/5,2塊4口千兆以太網電口網卡，2塊8Gb雙口HBA卡,1*光驅，2個以太網與FC融合10Gb接口卡，2個10G SFP光模塊，冗余電源X86服務

16、器擴容（11臺）2路機架X86服務器，配置不低于2路八核處理器，2.3GHZ主頻的CPU,64GB內存,12*2TB SATA硬盤，2*450GSAS硬盤,4*GE網口；支持RAID0/1/5，光驅，冗余電源測試場景設計原則數(shù)據(jù)裝載測試對比，信令系統(tǒng)數(shù)據(jù)裝載主要采用sql*ldr，所以測試指標為裝載時間與性能消耗對比。壓縮測試對比，主要測試Exadata壓縮表的比例和時間，然后與DDN非壓縮表查詢速度對比（DDN暫定采用oracle普通壓縮，具體壓縮方式由DDN決定）。單條查詢測試對比，即返回結果很少的查詢，一般即時查詢，測試查詢Exadata與DDN查詢速度對比。（Exadata沒有建立索引

17、，DDN是否要采用索引？）并行查詢測試對比，一般為報表類統(tǒng)計查詢，返回大量的結果集，由于開啟了并發(fā)，測試指標包括查詢速度及CPU消耗。數(shù)據(jù)匯聚測試對比，指的是數(shù)據(jù)庫中insert操作，對CPU和IO響應速度要求較高，測試指標包括執(zhí)行速度及性能消耗。測試內容存儲需求：至少2T文件系統(tǒng)和6T共享存儲。DDN需要根據(jù)這項需求合理安排配置。數(shù)據(jù)裝載測試對比測試描述測試文本數(shù)據(jù)加載效率：用戶提供性能數(shù)據(jù)文本文件，通過Load方式加載到數(shù)據(jù)庫，測試數(shù)據(jù)加載效率，并測試當數(shù)據(jù)量線性增長時，數(shù)據(jù)加載效率變化情況。分別記錄Exadata與DDN加載時間、IO、CPU占用等測試指標。測試指標序號參數(shù)指標1Cpu記

18、錄在數(shù)據(jù)裝載期間內的DB和Storage Cell 的Cpu占用率。在數(shù)據(jù)裝載開始后作為基準點，以后每隔1分鐘采集一次數(shù)據(jù)裝載期間內的Cpu占用率。2時間記錄總數(shù)據(jù)加載時間3總大小記錄裝載的表總大小，單位：G。4平均裝載速度測試數(shù)據(jù)裝載期間的裝載速度，單位條/秒.5平均每秒數(shù)據(jù)吞吐量測試數(shù)據(jù)裝載期間的裝載吞吐量，單位MB/秒，即表的總大小/總時間。6并行度查詢開啟并行度。測試步驟使用sql*ldr將文本文件加載到數(shù)據(jù)庫中。記錄CPU利用作為率和磁盤IO速度，評估整體效率、時間、IO、CPU等關鍵指標。采用生產業(yè)務表I_USER_TRACE_STAT_D（用戶漫入漫出表）作為源數(shù)據(jù)裝載數(shù)據(jù)量從4

19、0億、80億、120億、160億條逐步遞增。并行度從1個，2個，3個，4個逐步遞增，一個并行度對應一個文件，一個文件大約400G，40億條數(shù)據(jù)左右，所以裝載文件由1個,2個逐步遞增到4個。I_USER_TRACE_STAT_D表結構如下：測試語句如下：測試結果關鍵指標SQL1（Exadata）SQL2（Exadata）SQL1（DDN）SQL2（DDN）CPU總時間并行度表的總大小（G）平均裝載速度平均每秒數(shù)據(jù)吞吐量壓縮測試對比測試描述對大表采用Exadata HCC壓縮方式（信令目前有兩種壓縮方式）對其進行壓縮，記錄壓縮比率，與壓縮時間。DDN暫定采用oracle普通壓縮，實際情況由DDN方

20、面決定。測試指標序號參數(shù)指標1總大小記錄裝載的表總大小，單位：G。2壓縮比測試數(shù)據(jù)壓縮前大小與壓縮后大小比值，單位：壓縮前大小/壓縮后大小。 3表記錄數(shù)表的總記錄數(shù)測試步驟創(chuàng)建不同壓縮方式的表，然后從dba_segments查詢其大小，并與原始table比較得到壓縮率。采用生產業(yè)務表I_USER_TRACE_STAT_D（用戶漫入漫出表）作為源數(shù)據(jù)壓縮表數(shù)據(jù)量從40億、80億、120億、160億條逐步遞增測試語句如下：測試結果關鍵指標壓縮方式1（Exadata）壓縮方式2（Exadata）DDN表的總大?。℅）表的記錄數(shù)壓縮比單條查詢測試對比測試描述信令系統(tǒng)中存在較多的即時查詢，即返回記錄數(shù)很

21、少，所以要求響應速度也非常高。從大表中查詢幾條數(shù)據(jù)，記錄執(zhí)行時間。測試指標序號參數(shù)指標1表大小測試數(shù)據(jù)表大小。2表記錄測試數(shù)據(jù)表記錄。3返回結果數(shù)測試返回記錄數(shù)。4查詢時間查詢所需時間，單位：秒。5壓縮選項是否對表進行壓縮，Y或者N測試步驟從大表中查詢幾條數(shù)據(jù)，以信令系統(tǒng)中挑選部分即時查詢場景，記錄Exadata與DDN執(zhí)行時間。表數(shù)據(jù)量由原始數(shù)據(jù)逐步翻倍遞增，例如100%、200%、400%。采用生產業(yè)務表I_USER_TRACE_STAT_D、F_LTE_SOC_QOE_USER_01_H、F_LTE_SOC_HTTP_CAUSE_H、F_LTE_SOC_QOE_VIP_H作為源數(shù)據(jù)分別對

22、表壓縮和不壓縮進行測試測試語句如下：測試結果關鍵指標sql1（Exadata）sql2（Exadata）sql1（DDN）sql2（DDN）表的總大?。℅）表的記錄數(shù)返回結果數(shù)查詢時間是否壓縮并行查詢測試對比測試描述對于報表類的查詢，或者取數(shù)類查詢，通常非常耗時，一般都會開啟并行提供查詢速度。測試并行查詢速度，記錄執(zhí)行時間和CPU消耗情況。測試指標序號參數(shù)指標1Cpu記錄在數(shù)據(jù)裝載期間內的DB和Storage Cell 的Cpu占用率。在數(shù)據(jù)裝載開始后作為基準點，以后每隔1分鐘采集一次數(shù)據(jù)裝載期間內的Cpu占用率。2并行度查詢開啟并行度。3表大小測試數(shù)據(jù)表大小。4返回結果數(shù)測試返回記錄數(shù)。5執(zhí)

23、行時間查詢所需時間，單位：秒。6壓縮選項是否對表進行壓縮，Y或者N測試步驟以信令系統(tǒng)中挑選部分取數(shù)查詢場景，記錄Exadata與DDN執(zhí)行時間。采用生產業(yè)務表I_USER_TRACE_STAT_D、F_LTE_SOC_HTTP_CAUSE_H、F_LTE_SOC_QOE_VIP_H、F_LTE_SOC_QOE_USER_01_H作為源數(shù)據(jù)表數(shù)據(jù)量由原始數(shù)據(jù)逐步翻倍遞增，例如100%、200%、400%。并行度分別從4個、8個、16個逐步遞增分別對表壓縮和不壓縮進行測試測試語句如下：測試結果關鍵指標sql1（Exadata）sql2（Exadata）sql1（DDN）sql2（DDN）Cpu并行

24、度表大小返回結果數(shù)執(zhí)行時間是否壓縮數(shù)據(jù)匯聚測試對比測試描述數(shù)據(jù)匯聚主要指的是根據(jù)條件從表篩選出數(shù)據(jù)插入其他表中，測試數(shù)據(jù)庫insert操作性能，一般也會開啟并行。測試指標序號參數(shù)指標1Cpu記錄在數(shù)據(jù)裝載期間內的DB和Storage Cell 的Cpu占用率。在數(shù)據(jù)裝載開始后作為基準點，以后每隔1分鐘采集一次數(shù)據(jù)裝載期間內的Cpu占用率。2執(zhí)行時間查詢所需時間，單位：秒。3并行度查詢開啟并行度。4表大小測試數(shù)據(jù)表大小。5插入結果數(shù)測試插入記錄數(shù)。6壓縮選項是否對表進行壓縮，Y或者N測試步驟主要以信令系統(tǒng)中I表到F表的數(shù)據(jù)匯聚場景，F(xiàn)表一般為空表或者空分區(qū)，記錄執(zhí)行時間與性能消耗。采用生產業(yè)務表

25、I_USER_TRACE_STAT_D、I_LTE_SOC_HTTP_CAUSE_H作為源數(shù)據(jù)表數(shù)據(jù)量由原始數(shù)據(jù)逐步翻倍遞增，例如100%、200%、400%。并行度分別從4個、8個、16個逐步遞增分別對表壓縮和不壓縮進行測試測試語句如下：測試結果關鍵指標sql1（Exadata）sql2（Exadata）sql1（DDN）sql2（DDN）Cpu執(zhí)行時間并行度表大小插入結果數(shù)是否壓縮存儲性能測試測試工具：orion此次存儲性能測試主要采用oracle官方推出的軟件orion工具，ORION (Oracle I/O Calibration Tool) 是校準用于 Oracle 數(shù)據(jù)庫的存儲系統(tǒng)

26、 I/O 性能的獨立工具，對于了解存儲系統(tǒng)的性能有很大幫助。測試描述測試目標是為了檢測磁盤極限性能，此次測試隨機抽取用作數(shù)據(jù)文件的磁盤，通過運行工具orion得到關鍵指標，并對比Exadata與DDN存儲的性能。測試指標序號輸出文件指標1*_mbps.csvPerformanceresults of large IOs in MBPS(吞吐量)2*_iops.csvPerformanceresults of small IOs in IOPS（每秒IO次數(shù)）3*_lat.csvLatency of smallIOs（響應時間）測試步驟解壓縮ORION用root用戶解壓軟件：unzip orio

27、n_linux_x86-64.gz解壓完成后，生成ORION軟件：orion_linux_x86-64配置.lun 文件，即將需要測試的磁盤寫入該文件，例如：/dev/sdc1執(zhí)行orion命令：orion_linux_x86-64 -run simple -testname *(lun文件名) -num_disks 1 -注意這里的testname 參數(shù)，只需要寫文件名就可以了，orion 會自動補上擴展名，如果寫上擴展名，反而會報錯。重復執(zhí)行步驟2,3，測試其他磁盤，保證結果的準確性。測試結果關鍵指標ExadataDisk1ExadataDisk2DDNDsik1DDNDisk2Maxim

28、um Large MBPSMaximum Small IOPSMinimum Small Latency注：可以定制一些特殊的壓力測試，如：測試32K和1MB隨機讀的組合測試1MB連續(xù)寫流，仿真1MB的raid-0條帶化假定IO類型全部是8K隨機操作，壓力類型，自動加壓，從小到大，一直到存儲壓力極限測試工具：calibrate_ioDBMS_RESOURCE_MANAGER.CALIBRATE_IO是11g引入的一個I/O校準的函數(shù)。測試描述calibrate_io的特點：1.能自動感知RAC架構，并非是從單個節(jié)點測試得到的結果；2.測試以數(shù)據(jù)庫的數(shù)據(jù)文件為基準，是與數(shù)據(jù)庫貼合最緊密的一種測試

29、方式；3.測試的結果只有整體的性能數(shù)據(jù)，看不到單個物理磁盤的信息。測試指標序號參數(shù)含義1max_iops最大IOPS， 即每秒所能獲得的最大的I/O請求數(shù)。其測試的I/O請求為基于隨機分布，數(shù)據(jù)庫塊大小的讀操作；2max_mbps最大MBPS， 即每秒所能獲取的最大吞吐量，單位為MB。其測試的請求I/O請求基于隨機分布1M大小的讀操作；3actual_latency實際延遲，在最大IOPS的時候，基于數(shù)據(jù)庫塊大小的I/O請求的平均延遲，單位為毫秒。測試步驟1.timed_statistics必須設置為TRUE；2.異步I/O已經啟用；如果使用文件系統(tǒng)，則FILESYSTEMIO_OPTIONS

30、需要設置為SETALL。3.可以通過以下命令來查詢數(shù)據(jù)文件的異步I/O是否已經啟用：COL NAME FORMAT A50SELECT NAME,ASYNCH_IO FROM V$DATAFILE F,V$IOSTAT_FILE IWHERE F.FILE#=I.FILE_NOAND FILETYPE_NAME=DATA FILE;4. DBMS_RESOURCE_MANAGER.CALIBRATE_IO這個函數(shù)需要提供2個參數(shù)作為輸入;num_physical_disks（物理磁盤的數(shù)量，默認為1）以及max_latency（物理磁盤的最大延遲，默認為20ms）, 測試完成以后生成3個結果;5.測試語句：SET SERVEROUTPUT ONDECLARElat INTEGER;iops INTEGER;mbps INTEGER;BEGINDBMS_RESOURCE_MANAGER.CALIBRATE_IO (1, 10,iops, mbps, lat);DBMS_OUTPUT.PUT_LINE (max_iops = | iops