存儲部件特性SR-IOV測試規(guī)范

11版權(quán)聲明ODCC（開放數(shù)據(jù)中心委員會）發(fā)布的各項成果，受《著作權(quán)法》保護(hù)，轉(zhuǎn)載、摘編或利用其它方式使用ODCC成果中的文字或者觀點的，應(yīng)注明對于未經(jīng)著作權(quán)人書面同意而實施的剽竊、復(fù)制、修改、銷售、改編、匯編和翻譯出版等侵權(quán)行為，ODCC及有關(guān)單位將追究其法律責(zé)任，感謝各單位I編寫組存儲部件特性SR-IOV測試規(guī)范 I II 1 1 2 2 3 3 3 3 3 4 4 4 4 5 5 5 64.Disableautoprobeaction(itissupportedifkernelver 7 7存儲部件特性SR-IOV測試規(guī)范 7 7 7 7 8 9 11 11 12 12 13 14 14 15 15 15 16 17 17 18 19 19 19 19存儲部件特性SR-IOV測試規(guī)范 20 202.PrimaryControllerCapab 22 26 28 31 34 34 34 35 35 36 37 37 37 37 37 38 38 39 39 39 40 40V存儲部件特性SR-IOV測試規(guī)范 41 41 41 42 42 42 42 43 43 47 52 55 56存儲部件特性SR-IOV測試規(guī)范存儲部件特性SR-IOV測試規(guī)范（一）SR-IOV特性介紹SR-IOV是由PCI-SIG組織定義的PCIe規(guī)范的擴(kuò)展規(guī)范，是一種基于硬件的虛擬化解決方案，可提高性能和可伸縮性。SR-IOV標(biāo)準(zhǔn)允許在虛擬機(jī)之間高效共享PCIe設(shè)備，可以獲得能夠與本機(jī)性能SR-IOV協(xié)議引入了兩種類型功能的概念：物理功能PF和虛擬功能VF。PF用于管理SR-IOV功能。PF擁有完全配置資源，可以用于配置或控制PCIe設(shè)備。VF是與PF關(guān)聯(lián)的一種功能，是一種輕量級PCIe功能，可以與物理功能以及與同一物理功能關(guān)聯(lián)的其他VF共享一個或多個物理資源。VF僅允許擁有用于其自身行為的配在不支持SR-IOV的虛擬化場景下，各個虛擬機(jī)均通過代理（VMM）實現(xiàn)對SSD資源的訪問，VMM實現(xiàn)地址轉(zhuǎn)換、IO調(diào)度等功能。在高IOPS場景下VMM開銷較高甚至成為瓶頸。在SR-IOV環(huán)境下，所有虛擬機(jī)均對應(yīng)SSD的一個VF，依托SSD提供的多namespace功能實現(xiàn)對共享SSD資源的直接訪問，一方面虛擬機(jī)通過VF直接讀寫SSD物理空間，提升IO性能，提升IOPS與降低時延，另一方面虛擬機(jī)的IO請求BypassVMM，進(jìn)一步1SSD盤SR-IOV特性主要是應(yīng)對云上大盤拆小賣的場景。鑒于SSD盤的規(guī)格越來越大，拆小賣的需求長時間存在。相比之下，SPDK軟件方案實現(xiàn)了大盤拆小的能力，但是以消耗服務(wù)器上的（二）編寫目的針對SR-IOV特性測試，從目前調(diào)研看，各個互聯(lián)網(wǎng)廠家都有獨自的一套測試方案，測試重點各有不同，缺乏統(tǒng)一的操作規(guī)范和本測試規(guī)范基于互聯(lián)網(wǎng)廠家以及SSD廠家測試用例，制定了企業(yè)級固態(tài)硬盤SR-IOV特性的基準(zhǔn)測試方法，適用于企業(yè)級固態(tài)硬（三）縮略語2PeripheralComponentInt（一）測試范圍支持SR-IOV特性的SSD在產(chǎn)品規(guī)格和特性支持力度方面存在多種差異。本測試規(guī)范旨在聚焦于典型、具有代表性的場景，同時（二）測試用例概括包括SRIOV功能開關(guān)驗證；VF數(shù)量規(guī)格驗證；隊列資源分配驗證；中斷資源分配驗證；namespace資源分配驗證；特殊場3存儲部件特性SR-IOV測試規(guī)范包括PCIe虛擬化相關(guān)協(xié)議驗證；NVMe虛擬化相關(guān)協(xié)議驗證；覆蓋虛擬機(jī)應(yīng)用過程中的典型場景。包括虛擬機(jī)shutdown、虛擬機(jī)加、卸載驅(qū)動，VFFLR，服務(wù)11214123（一）宿主機(jī)虛擬機(jī)環(huán)境搭建（以CentOS7.9為例）KVM需要CPU硬件支持虛擬化，不同廠商虛擬化技術(shù)命令不#sudoegrep-o'(vmx|svm)'/proc/cpuinfo 1nvme-cli工具在1.9版本‘a(chǎn)ddidentifysecondarycontrollerlist’2服務(wù)器設(shè)置中如果沒有對應(yīng)選項，可忽略該項。5存儲部件特性SR-IOV測試規(guī)范SystemBIOS->ProcessorSettings->virtualSystemBIOS->ProcessorSettingsSystemBIOS->ProcessorSettings->inte3.修改系統(tǒng)內(nèi)核啟動參數(shù)，重啟系統(tǒng)，使其開啟IOMMU，支b.AMD的配置：GRUB_CMDLINE_LINUX=“amd_iommu=oniommu=pt”6存儲部件特性SR-IOV測試規(guī)范#echo0>/sys/bus/pci/device/${bdf_pf}/sriov_drivers_aut在啟用SR-IOV功能之前運行上面命令，通過主機(jī)上的兼容驅(qū)采用命令行方式或者圖形界面方式，根據(jù)需求在KVM環(huán)境下安裝一個或多個虛擬機(jī)，虛擬機(jī)OS可以根據(jù)業(yè)務(wù)需求選擇。宿主機(jī)和虛擬機(jī)可以采用網(wǎng)橋方式配置網(wǎng)絡(luò)或者在宿主機(jī)通過virsh（二）SSDSR-IOV配置1.使用lspci-nn命令找到待分配的PCI設(shè)備，使能SR-#echon>/sys/bus/pci/devices/${bdf_pf}/sriov_numvfs7#nvmelist-secondary/dev/下圖是查詢的輔助控制器對應(yīng)的信息：初始狀態(tài)都為offline，根據(jù)NVME協(xié)議，PF和VF可以共享命名空間NS，如下圖中的NSF，也可以獨占NS，如NSA,NSB等。協(xié)議中對于共享NS3nvmeX中X根據(jù)實際環(huán)境中盤符修改8存儲部件特性SR-IOV測試規(guī)范NS的大小由命令設(shè)置。下面以配置1個私有的NS為例，如果對于輔助控制器的資源分配和上線，需要參照Spe置，一般資源數(shù)不少于2。下面以輔助控制器ID0x2,分配VI和VQ數(shù)目9為例，如果需要配置多個，重復(fù)以下步驟即可。需要注意的是有的存儲廠家對輔助控制器VI資源的數(shù)量內(nèi)部設(shè)置成了固定值，nvmevirt-mgmt選項說明如4nvmeX中X根據(jù)實際環(huán)境中盤符修改5輔助控制器開始ID各個廠家定義不同，比如深圳憶聯(lián)ESSD從0x2開始，三星PM1733從0x1開始9存儲部件特性SR-IOV測試規(guī)范除了nvme-cli封裝的命令nvmevirt-mgmt外，也可以采用標(biāo)準(zhǔn)#nvmeadmin-passthru/dev/nvmeX6 opcode=0x1C--除了nvme-cli封裝的命令nvmevirt-mgmt外，同樣也可以采用#nvmeadmin-passthru/dev/nvmeX6nvmeX中X根據(jù)實際環(huán)境中盤符修改7部分ESSD廠家配置時，不支持FLR操作#nvmevirt-mgmt/dev/nvmeX8-c除了nvme-cli封裝的命令nvmevirt-mgmt外，同樣也可以采用#nvmeadmin-passthru/dev/nvmeXSR-IOVQoS特性協(xié)議中沒有做強制要求，支持SRSSD，通常會在vendor字段定義。具體設(shè)定方法需要根據(jù)廠家說明（三）虛擬機(jī)分配VF虛擬機(jī)分配VF，可以通過兩種方式，一種是圖形界面方式，另8nvmeX中X根據(jù)實際環(huán)境中盤符修改存儲部件特性SR-IOV測試規(guī)范b.點擊信息配置欄，選擇AddHardware->PCIHostDevice，將將VF設(shè)備綁定到VFIO驅(qū)動，配置幾個VF，就將其綁定到存儲部件特性SR-IOV測試規(guī)范#echo${bdf_vf}>/sys/bus/pci/devices/${bdf_vf}/driver/u#echo${bdf_vf}>/sys/bus/pci/drivers/vfio-pci/${vf_cpu_count}${image_path}-devicevfio-pci,host=${bdf_vf}/home/lpw/img1/linux.img-devicevfio-pci,host=0000:86:00如果在虛擬機(jī)上可以查詢到NVMe設(shè)備，如下圖所示，就說明（四）SR-IOV大規(guī)模環(huán)境部署由于SR-IOV配置信息在盤片掉電、重啟后不會被保存，因此在需要進(jìn)行大規(guī)模環(huán)境部署時，重新為每張盤片設(shè)置SR-IOV配置存儲部件特性SR-IOV測試規(guī)范為了解決這個問題，我們可以采用配置文件的方式來記錄盤片的配置信息。通過腳本來解析這些配置文件，實現(xiàn)對SSD盤片的（一）測試需求存儲部件特性SR-IOV測試規(guī)范（二）測試方法和測試標(biāo)準(zhǔn)常見應(yīng)用場景，包含重啟服務(wù)器，盤片固件升級，盤片異常掉存儲部件特性SR-IOV測試規(guī)范2.配置VF使能個數(shù)為最大16個，綁行3分鐘基本IO功能測試，查看是否OK;.覆蓋到多VF分配最大支持VQ數(shù)量場景，每個VF分配的4.fio分別對8個VF進(jìn)行64K隨機(jī).驗證nvme控制器是否正確執(zhí)行命名空間管理命令，并能夠SSD除了單端口盤外，還存在多種形態(tài)，比如雙端口盤，加密9文件大小，根據(jù)NS大小，和步驟8重復(fù)測試次數(shù)調(diào)整。存儲部件特性SR-IOV測試規(guī)范IOV特性中，需要把加密特性一起加入驗證，如果加密特性不是針五、SR-IOV協(xié)議一致性測試（一）測試需求通過nvme-cli工具下發(fā)指令并檢查返回值來驗證SR-IOV的協(xié)Sharing”對SR-IOV做了協(xié)議描述。SSD芯片驗證階段，會進(jìn)行PCIe協(xié)議一致性驗證。本測試規(guī)范針對PCIe虛擬化內(nèi)容，只涉及到本文檔所用NVMe協(xié)議基于NVMeSpec1.4c版本。SR-IOV相存儲部件特性SR-IOV測試規(guī)范（二）協(xié)議虛擬化部分覆蓋測試用于識別NVMeSSD是否支持SR-IOV。nvme-cli工具通過id-ctrl命令可以返回協(xié)議中定義的IdentifyController數(shù)據(jù)結(jié)構(gòu)結(jié)構(gòu)描述了設(shè)備的能力和支持的特性。數(shù)據(jù)結(jié)構(gòu)中的Byte76，bit2[7:7]:0x1VirtualizationManag示例命令2-/dev/nvme2是Linux系統(tǒng)下配置VF后看到的2.PrimaryControll用于檢查PrimaryController的信息和相關(guān)資源。nvme-cli工具通過命令primary-ctrl-caps返回協(xié)議中定義的數(shù)據(jù)結(jié)構(gòu)，該結(jié)構(gòu)描述了PrimaryController相關(guān)的信息以及可用的VQ/VI資根據(jù)NVMeSpec1.4c定義，VQ/VI資源分為私有（Private）和b.Crt的值，兩個bit分別表示是否支持VQ/VI資源。如果VQ/VI不支持配置，對應(yīng)bit位為0。是否支持配置VQ/VI資源取決c.Vqfrt表示總共可以用來分配給PF/VF的VQ可變資源數(shù)。該f.Vqprt表示當(dāng)前已經(jīng)分配給PF的VQ私有資源數(shù)。g.Vqfrsm表示總共可以分配給單個VF的VQ可變資源數(shù)。該h.Vqgran表示分配/移除VQ資源數(shù)的最小粒度。按最小粒度分i.Vifrt表示總共可以用來分配給PF/VF的VI可變資源數(shù)。該l.Viprt表示當(dāng)前已經(jīng)分配給PF的VI私有資源數(shù)。m.Vifrsm表示總共可以分配給單個VF的VI可變資源數(shù)。該數(shù)n.Vigran表示分配/移除VI資源數(shù)的最小粒度。按最小粒度分在對PF/VF做VQ/VI配置前，執(zhí)行前述命令并查看可用資源類別及數(shù)量，與設(shè)備規(guī)格說明對比判斷資源數(shù)是否正確；配置后，執(zhí)用于查看當(dāng)前支持的所有VF（SecondaryController）的狀態(tài)和資源配置情況。協(xié)議定義的數(shù)據(jù)結(jié)構(gòu)最多返回127個VF信息。返注意此處的命令行參數(shù)“-c3”，表示返回結(jié)果中的controllerID從3開始，controllerID小于3的不顯示。ControlID是結(jié)果輸出4.VirtualizationManagementcommand虛擬化管理命令僅在PrimaryController（PF）上支持。該命令注意SecondaryController處于Offline狀態(tài)才能對它分Capabilities確認(rèn)支持的特性，例如VQ/VI是否支持，是否有可用可a.InvalidControll用了不合法的ControllerID，如SecondaryControllerID不存在。請異常。對SecondaryController做管理操作時它處于不正確的狀態(tài)。存儲部件特性SR-IOV測試規(guī)范d.InvalidResourceIdentifier–命令中給出的資源標(biāo)識至少有一個是無效的。例如嘗試分配的可變資源數(shù)大于剩余可分配的可變資>當(dāng)VF已經(jīng)處于Online狀態(tài)時，再次設(shè)置Online狀態(tài)會返回>VF正常工作需要2個VQ資源，一個用于admin，一個用于I/O。如果分配VQ資源數(shù)少于2對VF做O>當(dāng)VF已經(jīng)處于Offline狀態(tài)時，再次設(shè)置Offline狀態(tài)會返回5.VirtualizationEnhancem在虛擬化環(huán)境中，NVM子系統(tǒng)可以通過多個控制器為物理機(jī)和虛擬機(jī)提供直接I/O訪問通路。NVM子系統(tǒng)可由多個PrimaryController和SecondaryController組成，每個Se通過向PrimaryController發(fā)送虛擬化管理命令可以為每個控制器分配或移除控制器資源（ControllerResources）。可分配控制器資a.VirtualQueueResource（VQ資源）。每個資源用于管理1對SQ/CQ（SubmissionQueub.VirtualInterruptResource（VI資源）。每個資源用于管理1控制器資源從可分配性上看分為兩種，可變資源（FlexibleResources）和私有資源（PrivateResources）。私有資源是固定分配給PrimaryController或SecondaryController的資源，不能通過虛擬PrimaryController和SecondaryController是否支持私有資源或可變資源，可以通過PrimaryControllerCapabilities中的數(shù)據(jù)結(jié)構(gòu)查廠商可以選擇為PrimaryController和SecondaryController實現(xiàn)NVMeSpec1.4c中的所有的，除明確指出只支持PrimaryController節(jié)所提）僅在PrimaryController上實現(xiàn)，以避免通過SecondaryController執(zhí)行特權(quán)操作帶來的意外，例如通過SecondaryController1用format命令格式化關(guān)聯(lián)在SecPCI-SIG組織的SingleRootI/OVirtualizationa（如虛擬機(jī)）共享PCI設(shè)備硬件資源。SR-IOV的優(yōu)勢是Hypervisor存儲部件特性SR-IOV測試規(guī)范不需要參與I/O操作，SI直接訪問硬件資源，這在一些虛擬化場景PhysicalFunction（PF）是一種支持SR-IOV能力的PCIExpressFunction，它同時支持一個或多個依附于該PF的VirtualFunction（VF）。PF/VF可以選擇實現(xiàn)通過Multi-pathI/O共享底層NVM子SR-IOVVF如果設(shè)置了NVMExpressClassCode，應(yīng)當(dāng)實現(xiàn)兼容NVMExpressController，這是為了保證在非虛擬化環(huán)境中不修改系統(tǒng)鏡像也能夠正常使用。例如在Linux虛擬機(jī)中使用VF時，需要確保VF兼容NVMe標(biāo)準(zhǔn)，Linux中的nvme驅(qū)動不需要修改就能直（三）VFNVME命令集覆蓋測試4.在虛擬機(jī)上對盤片下發(fā)Identi4.在虛擬機(jī)上對盤片下發(fā)Getlogp六、SR-IOV兼容性測試（一）測試需求10identifyID設(shè)置范圍根據(jù)產(chǎn)品規(guī)格書VF支持命令集修改11GetlogpageID設(shè)置范圍根據(jù)產(chǎn)品規(guī)格書VF支持命令集修改存儲部件特性SR-IOV測試規(guī)范SUSE/Leap；Debian體系中的debian/ubuntu，OpenCloudOS體系中家有自己編寫的驅(qū)動，也需要驗證到，以業(yè)務(wù)指定驅(qū)動版本為測試（二）測試項舉例7.更換服務(wù)器操作系統(tǒng)為cent2.Step5：VF均讀寫正常，無I七、SR-IOV應(yīng)用場景測試（一）測試需求所遇到的VM層面，服務(wù)器Host層面的正常、非正常操作，進(jìn)行的測試涵蓋客戶在使用過程中遇到的各種場景。驗證SR-IOV設(shè)（二）測試方法和測試標(biāo)準(zhǔn)4.兩臺虛擬機(jī)中，分別啟動fio隨2.Step7：VF1正常啟動，fi4.兩臺虛擬機(jī)中，分別啟動fio隨2.Step7：VF1正常啟動，fi4.兩臺虛擬機(jī)中，分別啟動fio隨4.兩臺虛擬機(jī)中，分別啟動fio隨off。4.兩臺虛擬機(jī)中，VF2啟動fio隨機(jī)VFOffline,對并列VF影響（4.fio測試過程中，將VF1所在虛擬2.測試過程中，其他VF的fio測試402.Step6：復(fù)位完成后，Host能識2.Step6：reboot完成后，Host5.fio測試過程中，對Hos2.Step6：重新啟動完成后，Host414.啟動fio進(jìn)行bs128k長時間順序4.啟動fio進(jìn)行bs4K長時間隨（一）測試需求42（二）測試方法和測試標(biāo)準(zhǔn)）；a.IO模型采用規(guī)格書中規(guī)定的模型，例如128K順序讀、寫，b.多盤并發(fā)測試，可以覆蓋跨socket場景，測試盤數(shù)根據(jù)實際12多盤并發(fā)場景，如果達(dá)不到規(guī)格書性能，需要進(jìn)一步確認(rèn)是服務(wù)器限制還是盤限制43BWConsistency=([BWinthe99.2.不同IO模型下的VFthrough44IOPSConsistency=([IOPSinthe99.9t2.不同IO模型下的VFthrough7.統(tǒng)計各個SSD在不同IO模型下的9.重復(fù)2-5(針對不同的I15IO模型組合可以按照產(chǎn)品規(guī)格書調(diào)整452.不同IO模型下的各個盤VFthrougIOPSConsistency=([IOPSinthe99.9t各個盤的PFIOPS與Spec標(biāo)稱值差距在業(yè)務(wù)2.不同IO模型下的各個盤VFIOPS與16IO模型組合可以按照產(chǎn)品規(guī)格書調(diào)整46存儲部件特性SR-IOV測試規(guī)范是指在各個V