




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、 2014 VMware Inc. 保留所有權(quán)利VMware Virtual SAN技術(shù)漫游/一般討論Rawlinson Rivera,VCDX高級架構(gòu)師 | 存儲和可用性存儲和可用性技術(shù)市場推廣團隊存儲和可用性技術(shù)市場推廣團隊要獲取所有正式的存儲和可用性產(chǎn)品信息、輔助資料和內(nèi)容,請使用以下資源:存儲和可用性技術(shù)市場推廣:Vault 頁面團隊經(jīng)理Charu Chaubal 存儲Rawlinson Rivera Wade Holmes 可用性Ken Werneburg Jeff Hunter GS Khalsa 大數(shù)據(jù)Justin Murray - 2Virtual SAN 技術(shù)漫游技術(shù)漫游1S
2、DS 和 Virtual SAN 概述2使用情形3硬件要求4技術(shù)特征和體系結(jié)構(gòu)5配置漫游6虛擬機調(diào)配操作7恢復能力和失敗場景8互操作性9設(shè)計和規(guī)模設(shè)定10故障排除32011-20132008-20102005-2007vSphere 4.x Thin Provisioning Storage I/O Control 從 SAN 啟動 VAAI 鏈接模式2014+VI 3.xVMFS快照Storage vMotionNAS 和 iSCSI 支持vSphere 5.x Storage DRS 配置文件驅(qū)動的存儲 VASA Sphere Storage Appliance vSphere Data
3、Protection vSphere Replication vSphere Flash Read CacheVMware 存儲創(chuàng)新存儲創(chuàng)新4軟件定義的軟件定義的存儲存儲聚合了虛擬化管理程序的存儲的機會聚合了虛擬化管理程序的存儲的機會為何虛擬化平臺可在解決為何虛擬化平臺可在解決存儲難題方面發(fā)揮關(guān)鍵存儲難題方面發(fā)揮關(guān)鍵作用?作用?固有的應用知識基礎(chǔ)架構(gòu)全局視圖獨立于硬件聚合了虛擬化管理程序的存儲解決方案對管線作業(yè)進行了抽象化處理,以便針對應用優(yōu)化存儲vSphereSAN 和和 NAS全閃存全閃存BLOBDAS服務(wù)器端閃存服務(wù)器端閃存5Virtual SAN6vSANVSANSAN/NASVVOL
4、VMware 軟件定義的存儲軟件定義的存儲7為存儲帶來計算的運營模式 抽象化與池化 基礎(chǔ)架構(gòu)集成 新的存儲層 以虛擬機為中心的數(shù)據(jù)服務(wù) 第三方服務(wù)集成 基于通用策略的自動化和編排LUNLUNLUNLUNLUNLUNSAN/NAS 池池虛擬數(shù)據(jù)板虛擬數(shù)據(jù)板x86 服務(wù)器 聚合了虛擬化管理程序聚合了虛擬化管理程序的存儲池的存儲池對象存儲池對象存儲池云對象存儲虛擬數(shù)據(jù)服務(wù)虛擬數(shù)據(jù)服務(wù)數(shù)據(jù)保護數(shù)據(jù)保護移動能力移動能力性能性能策略驅(qū)動的控制板策略驅(qū)動的控制板Virtual SANVMware Virtual SAN軟件定義的存儲軟件解決方案。聚合集群中每臺 ESXi 主機上本地連接的存儲。經(jīng)過閃存優(yōu)化的
5、存儲解決方案。以虛擬機為中心的數(shù)據(jù)運營和策略驅(qū)動的管理原則?;诜植际?RAID 體系結(jié)構(gòu)的恢復能力強的設(shè)計。無單點故障與 vSphere 全面集成。8vSphere + Virtual SAN硬盤硬盤硬盤硬盤SSDSSD硬盤硬盤SSDVirtual SAN 共享數(shù)據(jù)共享數(shù)據(jù)存儲存儲聚合了虛擬化管理程序的存儲平臺9數(shù)據(jù)保護數(shù)據(jù)保護災難恢復災難恢復vSphere云計算運營和自動化云計算運營和自動化快照快照鏈接克隆鏈接克隆Site Recovery ManagervCenter Operations ManagervCloud Automation Center虛擬桌面虛擬桌面VDP Advanc
6、edvSphere Replication基于存儲策略的管理基于存儲策略的管理VMware Horizon ViewvMotionvSphere HADRSStorage vMotionIaaS與與 VMware 產(chǎn)品體系深度集成產(chǎn)品體系深度集成為用戶提供 VMware 產(chǎn)品的優(yōu)勢,輕松實現(xiàn)存儲Virtual SAN 不是虛擬存儲設(shè)備不是虛擬存儲設(shè)備10Virtual SAN 與 vSphere(ESXi 和 vCenter)全面集成嵌入在 ESXi 5.5 中的驅(qū)動程序包含 Virtual SAN 智能功能內(nèi)核模塊:提供最短的 I/O 路徑可在處理虛擬設(shè)備時避免不必要的管理開銷不會占用不必要
7、的資源Virtual SAN 嵌入在嵌入在 vSphere 中Virtual SAN 不是不是 VSA+VSAVMware Virtual SAN混合式存儲解決方案磁盤(硬盤)基于閃存的磁盤(固態(tài)磁盤)內(nèi)置在虛擬化管理程序中的存儲橫向擴展體系結(jié)構(gòu)動態(tài)的容量和性能可擴展性基于對象的存儲體系結(jié)構(gòu)可與 vSphere 以及下列企業(yè)級功能互操作:vMotion、DRS、vSphere HA11vSphere + Virtual SAN硬盤硬盤硬盤硬盤SSDSSD硬盤硬盤SSDVirtual SAN 共享數(shù)據(jù)共享數(shù)據(jù)存儲存儲聚合了虛擬化管理程序的極其簡單的存儲軟件12 單擊兩次即可完成安裝 從 vSph
8、ere Client 中進行管理 基于策略的管理 能夠自調(diào)節(jié)并具有彈性 與 VMware 產(chǎn)品體系深度集成極其簡單極其簡單 嵌入在 vSphere 內(nèi)核中 經(jīng)過閃存加速 16 節(jié)點的集群高達 915K IOPS 達到全閃存陣列的 VDI 密度 最高性價比高性能高性能較低較低 TCO 省去了大量的前期投入(資金開銷) 可隨增長擴展(運營開銷) 能夠靈活選擇行業(yè)標準硬件 無需學習專門技能Virtual SAN 的主要優(yōu)勢的主要優(yōu)勢基于存儲策略的管理基于存儲策略的管理VSAN 共享數(shù)據(jù)共享數(shù)據(jù)存儲存儲可簡化并自動執(zhí)行存儲管理可簡化并自動執(zhí)行存儲管理13從單個自調(diào)節(jié)的數(shù)據(jù)存儲滿足每虛擬機的存儲服務(wù)級別
9、要求容量性能可用性按虛擬機設(shè)置的按虛擬機設(shè)置的存儲策略存儲策略基于應用需求的策略集基于應用需求的策略集vSphere + VSANSLA軟件自動控制服務(wù)級別軟件自動控制服務(wù)級別不再需要不再需要 LUN!無超額配置資源減少,時間也相應減少易于改變今天今天5.從預分配的容器中取用4.選擇適當?shù)娜萜?.公開預分配的容器2.預分配靜態(tài)容器1.預定義存儲的配置1.定義存儲策略2.在虛擬機創(chuàng)建時應用策略VSANVSAN 共享共享數(shù)據(jù)存儲數(shù)據(jù)存儲資源和數(shù)據(jù)服務(wù)自動進行調(diào)配和維護 超額配置(防患于未然?。?浪費資源,浪費時間 頻繁的數(shù)據(jù)遷移Virtual SAN 讓應用做主讓應用做主通過以應用為中心的方法實現(xiàn)
10、更簡單的自動存儲管理14VMware Virtual SAN使用情形16管理集群管理集群使用情形使用情形備份和災難恢復備份和災難恢復目標目標DMZ/隔離隔離第第 2 層層/第第 3 層層測試測試/開發(fā)開發(fā)/生產(chǎn)前調(diào)試生產(chǎn)前調(diào)試 私有云私有云虛擬桌面虛擬桌面ROBOVDIvSphereVSANVMware Virtual SAN硬件要求硬件要求硬件要求18基于 VMware 的任意服務(wù)器兼容性指南至少 3 臺 ESXi 5.5 主機,最多主機數(shù)“我將在稍后告訴您.”1 GB/10 GB 網(wǎng)卡SAS/SATA 控制器(RAID 控制器必須在“直通”或“RAID0”模式下工作)SAS/SATA/PC
11、Ie/NVMe 固態(tài)磁盤SAS/NL-SAS/SATA 硬盤每個服務(wù)器至少 1 個4 GB 至 8 GB USB、SD 卡、SATADOM基于閃存的設(shè)備基于閃存的設(shè)備在 Virtual SAN 中,所有所有讀寫操作都始終直接針對閃存層?;陂W存的設(shè)備在 Virtual SAN 中具有兩個作用1.非易失性寫緩沖區(qū) (30%)寫入操作會在進入固態(tài)磁盤的準備階段時確認縮短寫入延遲時間2.讀緩存 (70%)緩存命中可縮短讀取延遲時間緩存未命中 需從硬盤檢索數(shù)據(jù)硬件選擇是不同 Virtual SAN 配置之間的首要性能差異化因素。19基于閃存的設(shè)備基于閃存的設(shè)備VMware 固態(tài)磁盤性能級別固態(tài)磁盤性能
12、級別A 級:每秒 2,500-5,000 次寫入B 級:每秒 5,000-10,000 次寫入C 級:每秒 10,000-20,000 次寫入D 級:每秒 20,000-30,000 次寫入E 級:每秒超過 30,000 次寫入示例示例Intel 的 400 GB 910 PCIe 固態(tài)磁盤每秒約 38000 次寫入Toshiba 的 200 GB SAS 固態(tài)磁盤 MK2001GRZB 每秒約 16000 次寫入工作負載定義工作負載定義隊列深度:16 個或更少傳輸長度:4 KB操作:寫入模式:100% 隨機延遲:不到 5 毫秒耐久性耐久性10 次驅(qū)動器寫入/天 (DWPD),以及每個 NAN
13、D 模塊的傳輸長度為 8 KB 時最多 3.5 PB 隨機寫入耐久性,而每個 NAND 模塊的傳輸長度為 4 KB 時最多 2.5 PB20磁盤(硬盤)磁盤(硬盤)支持的 SAS/NL-SAS/SATA 硬盤7200 RPM 用于提供容量10000 RPM 用于提供性能15000 RPM 用于提供更高性能在驅(qū)動器轉(zhuǎn)速相同和價位相似的情況下,NL SAS 將提供更高的硬盤控制器隊列深度如果在 SATA 與 NL SAS 之間選擇,建議選擇 NL SAS選擇不同的固態(tài)磁盤以及不同的固態(tài)磁盤與硬盤比率,會使集群性能有所區(qū)別。按照經(jīng)驗法則,應按 10% 的比率配置21存儲控制器存儲控制器SAS/SAT
14、A 存儲控制器支持直通或“RAID0”模式使用 RAID0 模式時,性能取決于控制器請咨詢您的供應商以了解 RAID 控制器的固態(tài)磁盤性能存儲控制器隊列深度很重要加大存儲控制器隊列深度將可以提高性能核實每種控制器支持的驅(qū)動器數(shù)量22存儲控制器存儲控制器 RAID0 模式模式將所有磁盤配置為 RAID0 模式基于閃存的設(shè)備(固態(tài)磁盤)磁盤(硬盤)禁用存儲控制器緩存可實現(xiàn)更高性能,因為緩存由 Virtual SAN 控制磁盤設(shè)備緩存支持基于閃存的設(shè)備利用直寫緩存磁盤利用寫回緩存 ESXi 可能無法區(qū)分基于閃存的設(shè)備與磁性設(shè)備使用 ESXCLI 手動將設(shè)備標記為固態(tài)磁盤23網(wǎng)絡(luò)網(wǎng)絡(luò)支持 1 GB/1
15、0 GB帶確保服務(wù)質(zhì)量的 NIOC 的 10 GB 共享網(wǎng)絡(luò)將支持大多數(shù)環(huán)境如果是 1 GB 網(wǎng)絡(luò),則建議對 Virtual SAN 使用專用鏈路巨型幀將提供標稱的性能提升針對全新部署啟用Virtual SAN 同時支持同時支持 VSS 和和 VDSNIOC 需要使用 VDSNexus 1000v 應該能用,但尚未進行全面測試網(wǎng)絡(luò)帶寬性能對主機撤出、重建時間的影響高于對工作負載性能的影響網(wǎng)絡(luò)帶寬性能對主機撤出、重建時間的影響高于對工作負載性能的影響24防火墻防火墻Virtual SAN 供應商提供程序 (VSANVP)入站和出站 - TCP 8080集群監(jiān)控、成員資格和監(jiān)控服務(wù) (CMMDS)
16、 入站和出站 UDP 12345 - 23451可靠數(shù)據(jù)報傳輸 (RDT)入站和出站 TCP 2233 25VMware 兼容性指南兼容性指南26多級單元固態(tài)磁盤或(最好是)PCIe 固態(tài)磁盤SAS/NL-SAS 硬盤選擇 SATA 硬盤vSphere 硬件兼容性列表上的 任何任何 服務(wù)器* 注意:有關(guān)其他詳細信息,請參閱“Virtual SAN VMware 兼容性指南”頁面6 GB 企業(yè)級 HBA/RAID 控制器12構(gòu)建您自己的節(jié)點VSAN 就緒的節(jié)點.正式發(fā)布時將提供由多家第三方供應商組成的 10 種不同選項能夠使用 VSAN 的預配置服務(wù)器.使用 VSAN 兼容性指南*選擇各個組件.
17、兩種構(gòu)建兩種構(gòu)建 Virtual SAN 節(jié)點的方法節(jié)點的方法聚合了虛擬化管理程序的極其簡單的存儲VMware Virtual SAN技術(shù)特征和體系結(jié)構(gòu)技術(shù)特征技術(shù)特征Virtual SAN 是集群級別的功能,類似于:是集群級別的功能,類似于:vSphere DRSvSphere HAVirtual SAN通過通過 vSphere Web Client 從從 vCenter 中進行部署、配置和管理中進行部署、配置和管理(絕無僅有(絕無僅有?。。?。極其簡單為 Virtual SAN 配置 VMkernel 接口通過單擊“Turn On”(打開)啟用 Virtual SAN29Virtual S
18、AN 實施要求實施要求Virtual SAN 需要:采用集群配置,至少 3 臺主機3 臺主機都必須提供存儲vSphere 5.5 U1 或更高版本本地連接的磁盤磁盤(硬盤)基于閃存的設(shè)備(固態(tài)磁盤)網(wǎng)絡(luò)連接1 GB 以太網(wǎng)10 GB 以太網(wǎng)(首選)30esxi-01本地存儲本地存儲本地存儲本地存儲本地存儲本地存儲vSphere 5.5 U1 集群集群esxi-02esxi-03集群集群HDDHDDHDD基于存儲策略的管理基于存儲策略的管理SPBM 是一個內(nèi)置在 vSphere 中的存儲策略框架,支持虛擬機策略驅(qū)動的調(diào)配。Virtual SAN 結(jié)合使用這一新框架與 VASA API 來向 vC
19、enter 公開存儲特征:存儲功能底層存儲向上呈現(xiàn)給 vCenter 的用途和它能夠提供的服務(wù)。虛擬機存儲要求這些要求只適用于可用功能。虛擬機存儲策略根據(jù)存儲功能存儲虛擬機的存儲調(diào)配要求的構(gòu)造。31存儲策略向?qū)Т鎯Σ呗韵驅(qū)PBMVSAN 對象VSAN 對象對象管理器管理器虛擬磁盤VSAN 對象可能(1) 跨主機進行鏡像,以及(2) 跨磁盤/主機進行分條以符合虛擬機存儲配置文件策略數(shù)據(jù)存儲配置文件數(shù)據(jù)存儲配置文件Virtual SAN SPBM 對象調(diào)配機制對象調(diào)配機制Virtual SAN 構(gòu)造和項目構(gòu)造和項目全新的 Virtual SAN 構(gòu)造、項目和術(shù)語:磁盤組磁盤組VSAN 數(shù)據(jù)存儲數(shù)
20、據(jù)存儲對象對象組件組件Virtual SAN 網(wǎng)絡(luò)網(wǎng)絡(luò)33Virtual SAN 磁盤組磁盤組Virtual SAN 使用磁盤組這一概念將閃存設(shè)備和磁盤池化為一個管理構(gòu)造。磁盤組至少包含 1 個閃存設(shè)備和 1 個磁盤。閃存設(shè)備用于提供性能(讀緩存 + 寫緩沖區(qū))。磁盤用于提供存儲容量。不能在沒有閃存設(shè)備的情況下創(chuàng)建磁盤組。34磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組每臺主機:最多每臺主機:最多 5 個磁盤組。每個磁盤組:個磁盤組。每個磁盤組:1 個個 SSD + 1 至至 7 個個 HDD磁盤組磁盤組HDDHDDHDDHDDHDDVirtual SAN 數(shù)據(jù)存儲數(shù)據(jù)存儲Virtual
21、SAN 是一種以文件系統(tǒng)的形式呈現(xiàn)給 vSphere 的對象存儲解決方案。該對象存儲裝載著集群中所有主機的 VMFS 卷,并將它們呈現(xiàn)為一個共享數(shù)據(jù)存儲。僅限該集群的成員才能訪問 Virtual SAN 數(shù)據(jù)存儲。并非所有主機都需要提供存儲,但是建議提供存儲。35磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組每臺主機:最多每臺主機:最多 5 個磁盤組。每個磁盤組:個磁盤組。每個磁盤組:1 個個 SSD + 1 至至 7 個個 HDD磁盤組磁盤組VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 數(shù)據(jù)存儲數(shù)據(jù)存儲HDDHDDHDDHDDHDDVi
22、rtual SAN 對象對象Virtual SAN 通過名為對象的靈活數(shù)據(jù)容器的形式管理數(shù)據(jù)。虛擬機文件即稱為對象。虛擬機文件稱為對象。存在四種不同類型的虛擬機對象:虛擬機主目錄虛擬機交換文件VMDK快照虛擬機對象基于虛擬機存儲配置文件中定義的性能和可用性要求劃分為多個組件。36磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組每臺主機:最多每臺主機:最多 5 個磁盤組。每個磁盤組:個磁盤組。每個磁盤組:1 個個 SSD + 1 至至 7 個個 HDD磁盤組磁盤組VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 數(shù)據(jù)存儲數(shù)據(jù)存儲HDDHDDHDD
23、HDDHDDVirtual SAN 組件組件Virtual SAN 組件是對象區(qū)塊,這些對象區(qū)塊跨集群中的多臺主機分布,以便容許同時發(fā)生多個故障并滿足性能要求。Virtual SAN 利用分布式 RAID 體系結(jié)構(gòu)將數(shù)據(jù)分發(fā)到整個集群中。組件的分布主要采用兩種技術(shù):條帶化 (RAID0)鏡像 (RAID1)創(chuàng)建多少組件副本將基于對象策略定義決定。37磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 數(shù)據(jù)存儲數(shù)據(jù)存儲副本副本 1副本副本 2RAID1HDDHDDHDDHDDHDD對象和組
24、件布局對象和組件布局38VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)Virtual SAN 存儲對象R1R0R0R0可用性定義為副本數(shù)量低級存儲對象將駐留在不同的主機上VMFSVMFSVMFSrolo2.vmdk虛擬機主目錄對象格式化為 VMFS,以便在此對象上存儲虛擬機的配置文件。性能可能會包括條帶寬度VMFSrolo1.vmdkrolo.vmx、.log 等/vmfs/volumes/vsanDatastore/rolo/rolo.vmdk磁盤組磁盤組HDD磁盤組磁盤組HDD磁盤組磁盤組HDD磁盤組磁盤組HDD磁盤組磁盤組HDDVirtual
25、SAN 網(wǎng)絡(luò)網(wǎng)絡(luò)新的 Virtual SAN 流量 VMkernel 接口。專供 Virtual SAN 進行集群內(nèi)通信和數(shù)據(jù)復制使用。同時支持標準和分布式虛擬交換機在共享場景中利用確保服務(wù)質(zhì)量的 NIOC網(wǎng)卡綁定 用于提高可用性而不是用于帶寬聚合。第第 2 層層多播必須在物理交換機上啟用。比第 3 層多播更易于管理和實施39管理虛擬機vMotionVirtual SAN分布式交換機100 個份額150 個份額250 個份額500 個份額上行鏈路 1上行鏈路 2vmk1vmk2vmk0Virtual SAN 網(wǎng)絡(luò)網(wǎng)絡(luò)網(wǎng)卡綁定和負載平衡算法:網(wǎng)卡綁定和負載平衡算法:基于端口端口 ID 路由路由主
26、動/被動,采用顯式故障切換基于 IP 哈希哈希路由路由主動/主動,采用 LACP 端口通道基于物理網(wǎng)卡負載物理網(wǎng)卡負載路由路由主動/主動,采用 LACP 端口通道管理虛擬機vMotionVirtual SAN分布式交換機100 個份額150 個份額250 個份額500 個份額上行鏈路上行鏈路 1上行鏈路上行鏈路 2vmk1vmk2vmk0支持多機箱鏈路聚合的交換機Virtual SAN 可擴展體系結(jié)構(gòu)可擴展體系結(jié)構(gòu)41縱向擴展和橫向擴展體系結(jié)構(gòu) 精確的線性存儲、性能和計算擴展能力按磁盤 擴展容量按基于閃存的設(shè)備 擴展性能按磁盤組 擴展性能和容量按節(jié)點 擴展計算容量磁盤組磁盤組磁盤組磁盤組磁盤組
27、磁盤組VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 數(shù)據(jù)存儲數(shù)據(jù)存儲HDD磁盤組磁盤組HDDHDDHDD磁盤組磁盤組VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)HDD縱向擴展橫向擴展VMware Virtual SAN配置漫游配置配置 VMware Virtual SAN極其簡單的配置過程43設(shè)置 Virtual SAN 網(wǎng)絡(luò)在集群中啟用 Virtual SAN選擇手動手動或自動自動如選擇手動手動,則創(chuàng)建磁盤組配置網(wǎng)絡(luò)配置網(wǎng)絡(luò)44配置新的專用 Virtual SAN 網(wǎng)絡(luò)vSphere Web Client 網(wǎng)絡(luò)模板配置功能。啟用啟用 Virtual SAN一鍵搞定!Virtual SAN 配置為“A
28、utomatic”(自動)模式時,Virtual SAN 會申領(lǐng)所有空的本地磁盤以便創(chuàng)建分布式 VSAN 數(shù)據(jù)存儲。Virtual SAN 配置為“Manual”(手動)模式時,管理員必須通過手動選擇磁盤創(chuàng)建磁盤組來添加分布式 VSAN 數(shù)據(jù)存儲。45磁盤管理磁盤管理集群中的每個主機創(chuàng)建一個或多個磁盤組,其中同時包含硬盤和固態(tài)磁盤。46Virtual SAN 數(shù)據(jù)存儲數(shù)據(jù)存儲使用集群中所有主機和磁盤組中的存儲創(chuàng)建和裝載一個 Virtual SAN 數(shù)據(jù)存儲。Virtual SAN 數(shù)據(jù)存儲會自動呈現(xiàn)給集群中的所有主機。Virtual SAN 數(shù)據(jù)存儲默認情況下強制執(zhí)行精簡配置存儲分配。47虛擬
29、機存儲策略虛擬機存儲策略虛擬機存儲策略可從 vSphere Web Client 主頁屏幕訪問。48Virtual SAN 的功能的功能Virtual SAN 當前向 vCenter 呈現(xiàn)五個獨有的存儲功能。49容許的故障數(shù)量容許的故障數(shù)量容許的故障數(shù)量定義存儲對象能容許的主機、磁盤或網(wǎng)絡(luò)故障的數(shù)量。若要容許“n”個故障,則要創(chuàng)建“n+1”個對象副本,并且需要“2n+1”臺主機提供存儲。50VSAN 網(wǎng)絡(luò)vmdkvmdk見證esxi-01esxi-02esxi-03esxi-04約 50% 的 I/O約 50% 的 I/OVirtual SAN 策略:“能容許的故障數(shù)量 = 1”raid-1每
30、個對象的磁盤條帶數(shù)每個對象的磁盤條帶數(shù)每個對象的磁盤條帶數(shù)存儲對象的每個副本所跨的硬盤數(shù)。值越高,性能就越好。51VSAN 網(wǎng)絡(luò)條帶 2b見證esxi-01esxi-02esxi-03esxi-04條帶 1b條帶 1a條帶 2araid-0raid-0VSAN 策略:“能容許的故障數(shù)量 = 1” + “條帶寬度 = 2”raid-1Virtual SAN 存儲功能存儲功能強制調(diào)配如果選擇“Yes”(是),則即使當前可用的資源不符合存儲策略中指定的策略,仍將調(diào)配對象。閃存讀緩存預留 (%)預留閃存容量,作為存儲對象的讀緩存。以對象邏輯大小的百分比形式指定。對象空間預留 (%)調(diào)配虛擬機時要預留(
31、實施厚配置)的存儲對象的邏輯大小的百分比。將對其余存儲對象實施精簡配置。52Virtual SAN I/O 流流 寫入確認寫入確認VSAN 網(wǎng)絡(luò)vmdkvmdkesxi-01esxi-02esxi-03esxi-04VSAN 會將寫入 IO 鏡像到所有的活動鏡像,并在這些寫入命中閃存緩沖區(qū)時確認寫入操作!見證降級為硬盤的操作在各主機中降級為硬盤的操作在各主機中獨立執(zhí)行。獨立執(zhí)行。raid-1Virtual SAN I/O 流流 1 MB 增量的條帶化增量的條帶化VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)見證esxi-01esxi-02esxi-03esxi-04條帶 1b條帶 1a1 MB(1)raid-0raid-
32、0VSAN 默認實施精簡配置,條帶以 1MB 的增量增長raid-11 MB(3)1 MB(5)1 MB(2)1 MB(4)(x) 表明條帶所在的段。表明條帶所在的段。直觀顯示組件和對象直觀顯示組件和對象直觀顯示所有對象和組件的映射和布局vSphere Web ClientRVC55針對存儲功能的建議做法針對存儲功能的建議做法56存儲功能存儲功能使用情形使用情形值值容許的故障數(shù)量(RAID 1 鏡像)冗余默認 1最大 3每個對象的磁盤條帶數(shù)(RAID 0 條帶)性能默認 1最大 12對象空間預留厚配置默認 0最大 100%閃存讀緩存預留性能默認 0最大 100%強制調(diào)配覆蓋策略禁用虛擬機存儲策
33、略建議虛擬機存儲策略建議每個對象的磁盤條帶數(shù)應該保留為 1,除非閃存層未滿足虛擬機的 IOPS 要求。閃存讀緩存預留應該保留為 0,除非虛擬機要滿足特定的性能要求。比例容量應該保留為 0,除非需要虛擬機厚配置。強制調(diào)配應該保留禁用,除非需要調(diào)配虛擬機(即使不合規(guī))。57VMware Virtual SAN虛擬機調(diào)配操作虛擬機調(diào)配操作虛擬機調(diào)配操作所有虛擬機調(diào)配操作都包括訪問虛擬機存儲策略59虛擬機調(diào)配操作虛擬機調(diào)配操作如果 Virtual SAN 數(shù)據(jù)存儲了解虛擬機存儲策略中的功能,則會將其顯示為匹配的資源。60虛擬機調(diào)配操作虛擬機調(diào)配操作如果 VSAN 數(shù)據(jù)存儲能夠滿足虛擬機存儲策略要求,則
34、“VM Summary”(虛擬機摘要)選項卡會將虛擬機顯示為合規(guī)。如果由于故障或強制調(diào)配功能而不能滿足策略要求,則會顯示為不合規(guī)。61虛擬機策略管理虛擬機策略管理修改虛擬機性能、容量和可用性要求而不導致停機。62VMware Virtual SAN恢復能力和故障場景了解故障事件了解故障事件Virtual SAN 可識別兩種不同類型的硬件設(shè)備事件以便定義故障場景的類型:缺失降級缺失事件會觸發(fā) 60 分鐘的恢復操作。Virtual SAN 會在開始恢復對象和組件之前等待 60 分鐘60 分鐘是所有缺失事件的默認設(shè)置此值可通過主機高級設(shè)置來配置64了解故障事件了解故障事件降級事件會立即觸發(fā)恢復操作。
35、立即觸發(fā)對象和組件的恢復操作不可配置如檢測到的以下任何 I/O 錯誤始終會被視為降級降級:磁盤故障基于閃存的設(shè)備故障存儲控制器故障如檢測到的以下任何 I/O 錯誤始終會被視為缺失缺失:網(wǎng)絡(luò)故障網(wǎng)卡 (NIC)主機故障65故障處理原理故障處理原理傳統(tǒng) SAN需要更換故障物理驅(qū)動器才能恢復完全冗余預設(shè)有熱備盤以便立即接管故障磁盤的工作上述這兩種情況:均按 1:1 的比例更換磁盤Virtual SAN整個集群就是一個“熱備盤”,隨時都可恢復完全冗余當某個磁盤發(fā)生故障時,許多小組件(對象的條帶或鏡像)就會發(fā)生故障這些組件的新副本可分布在集群各處以實現(xiàn)平衡更換物理磁盤只是增添了后備資源管理故障場景管理故
36、障場景 通過制定策略,Virtual SAN 上的虛擬機可以容許多種故障磁盤故障 降級事件固態(tài)磁盤故障 降級事件控制器故障 降級事件網(wǎng)絡(luò)故障 缺失事件服務(wù)器故障 缺失事件虛擬機可繼續(xù)運行 并行重建可最大限度減少性能影響固態(tài)磁盤故障 立即硬盤故障 立即控制器故障 立即網(wǎng)絡(luò)故障 60 分鐘主機故障 60 分鐘67Virtual SAN 訪問規(guī)則訪問規(guī)則組件訪問規(guī)則至少 1 個鏡像副本完好無損所有條帶都必須完好無損必須有超過 50% 的組件可用包括見證1 個鏡像副本所有條帶均可用超過 50% 的組件和見證啟動操作邏輯分別對每個對象實施邏輯分別對每個對象實施磁盤故障磁盤故障 即時鏡像副本即時鏡像副本降
37、級降級 故障磁盤上所有受影響的組件都將立即在其他磁盤、磁盤組或主機上創(chuàng)建。VSAN 網(wǎng)絡(luò)vmdkvmdk見證esxi-01esxi-02esxi-03esxi-04vmdk新鏡像副本即時!磁盤故障,即時鏡像受影響組件的副本raid-1基于閃存的設(shè)備故障基于閃存的設(shè)備故障 即時鏡像副本即時鏡像副本降級降級 故障磁盤上所有受影響的組件都將立即在其他磁盤、磁盤組或主機上創(chuàng)建。對集群總體存儲容量的影響較大VSAN 網(wǎng)絡(luò)vmdkvmdk見證esxi-01esxi-02esxi-03esxi-04vmdk新鏡像副本即時!磁盤故障,即時鏡像受影響組件的副本raid-1主機故障主機故障 60 分鐘延遲分鐘延遲
38、缺失缺失 在其他磁盤、磁盤組或主機上啟動對象和組件的副本之前,將按默認設(shè)置等待 60 分鐘。對集群總體計算和存儲容量的影響較大。VSAN 網(wǎng)絡(luò)vmdkvmdk見證esxi-01esxi-02esxi-03esxi-04vmdk新鏡像副本等待 60 分鐘主機故障,受影響組件的副本等待 60 分鐘raid-1網(wǎng)絡(luò)故障網(wǎng)絡(luò)故障 60 分鐘延遲分鐘延遲缺失缺失 在其他磁盤、磁盤組或主機上啟動對象和組件的副本之前,將按默認設(shè)置等待 60 分鐘。網(wǎng)卡故障、物理網(wǎng)絡(luò)故障可能導致網(wǎng)絡(luò)分區(qū)??赡軙绊懠褐械亩嗯_主機。VSAN 網(wǎng)絡(luò)vmdkvmdk見證esxi-01esxi-02esxi-03esxi-04vm
39、dk新鏡像副本等待 60 分鐘網(wǎng)絡(luò)故障,受影響組件的副本等待 60 分鐘raid-1Virtual SAN 1 臺主機被隔離臺主機被隔離 HA 重啟重啟VSAN 網(wǎng)絡(luò)vmdkvmdk見證esxi-01esxi-02esxi-03esxi-04隔離!HA 重啟raid-1vSphere HA 重啟虛擬機Virtual SAN 2 臺主機被隔離臺主機被隔離 HA 重啟重啟VSAN 網(wǎng)絡(luò)vmdkvmdk見證esxi-01esxi-02esxi-03esxi-04隔離!隔離!HA 重啟raid-1vSphere HA 在 ESXi-02/ESXi-03 上重啟虛擬機,這些主機擁有超過 50% 的組件!
40、Virtual SAN 分區(qū)分區(qū) 含含 HA 重啟重啟VSAN 網(wǎng)絡(luò)vmdkvmdk見證esxi-01esxi-02esxi-03esxi-04分區(qū) 1分區(qū) 2HA 重啟vSphere HA 在分區(qū) 2 上重啟虛擬機,該分區(qū)擁有超過 50% 的組件!raid-1維護模式維護模式 計劃內(nèi)停機計劃內(nèi)停機3 種維護模式選項:確保可訪問性遷移全部數(shù)據(jù)不遷移數(shù)據(jù)VMware Virtual SAN互操作性技術(shù)和產(chǎn)品技術(shù)互操作性技術(shù)互操作性Virtual SAN 與許多 VMware 存儲和 vSphere 可用性企業(yè)級功能全面集成。78支持支持不適用不適用將來將來虛擬機快照Storage IO Cont
41、rol (SIOC)62 TB VMDKvSphere HAStorage DRSvCOPSvSphere DRSDistributed Power Management (DPM)vMotionHorizon ViewVirtual SAN 與與 Horizon View:處理峰值性能,例如啟動、登錄、讀/寫風暴可無縫精確擴展,無需大量前期投資支持高 VDI 密度支持高端虛擬桌面 GPU 要求Virtual SAN 與以下與以下 Horizon View 版本兼容:版本兼容:Horizon View 5.3(手動實施 SPBM)在刷新等操作之后策略仍然有效,無需重新關(guān)聯(lián)vSphere + V
42、irtual SAN硬盤硬盤硬盤硬盤SSDSSD硬盤硬盤SSD完整克隆策略完整克隆策略FTT = 1 表示持久FTT = 0 表示非持久配置:100% 預留鏈接克隆策略鏈接克隆策略操作系統(tǒng)磁盤:FTT = 1 表示專用池,操作系統(tǒng)磁盤:FTT = 0 表示浮動池副本磁盤:FTT = 1副本磁盤:讀緩存預留 10%配置:精簡vSphere Replication 和和 Site Recovery ManagerVirtual SAN 與以下產(chǎn)品兼容:與以下產(chǎn)品兼容:vSphere Replication 5.5 (vSphere Web Client)SPBM 作為復制的一部分來配置vCente
43、r Site Recovery Manager 5.5 (vSphere C#)基于 VR 復制的 SRM 配置vSphere Replication 和和 vCenter Site Recovery Manager異步復制 15 分鐘 RPO以虛擬機為中心的保護提供自動化的 DR 操作和編排自動故障切換 執(zhí)行用戶自定義的計劃自動故障恢復 反向恢復原有的恢復計劃計劃內(nèi)遷移 確保零數(shù)據(jù)丟失時間點恢復 多個恢復點無中斷測試 自動在隔離的網(wǎng)絡(luò)上執(zhí)行測試 vCenter ServerVR/SRMvSphereVMFSvCenter ServerVR/SRM生產(chǎn)站點生產(chǎn)站點恢復站點恢復站點復制硬盤硬盤S
44、SDvSphere + Virtual SAN硬盤硬盤SSD硬盤硬盤SSDvSphere Data ProtectionVirtual SAN 與與 vSphere Data Protection部署和管理極其簡單集成式用戶界面 vSphere Web Client高度可用的存儲解決方案提高運營效率vSphere Data Protection Advanced 5.5源位置和目標位置重復數(shù)據(jù)消除功能雙向復制功能安全、簡單、可靠且高效利用網(wǎng)絡(luò)的復制應用一致性備份和恢復功能更高的 RTO 和 RPO 24 小時 RTO,數(shù)分鐘到數(shù)小時的 RPO整合的技術(shù)vStorage API for Data
45、 Protection變更數(shù)據(jù)塊跟蹤 (CBT)Avamar 可變長度數(shù)據(jù)段算法vCenter Server硬盤硬盤SSDvSphere + Virtual SAN硬盤硬盤SSD硬盤硬盤SSDvSphereVMFSvCenter ServervCloud Automation CentervCloud Automation Center 可為可為 Virtual SAN 提供:提供:集中式調(diào)配、治理、基礎(chǔ)架構(gòu)管理功能簡單的自助使用功能授權(quán)合規(guī)性監(jiān)控和強制實施更充分地利用現(xiàn)有的業(yè)務(wù)流程和工具委派資源控制按自定義方式使用虛擬機存儲策略:按自定義方式使用虛擬機存儲策略:Virtual SAN 默認策
46、略藍本 虛擬機模板通過 vCenter Orchestrator 使用自定義工作流通過 vCloud Automation Center Designer 修改調(diào)配工作流 vSphere + Virtual SAN硬盤硬盤硬盤硬盤SSDSSD硬盤硬盤SSDOpenStackVirtual SAN 與與 OpenStack 框架框架從云就緒的應用到聚合了虛擬化管理程序的解決方案在 OpenStack 中充分利用經(jīng)過閃存優(yōu)化的存儲舊版應用和云就緒應用的恢復能力用于 OpenStack UI 的 vSphere Web 插件Virtual SAN 可與可與 OpenStack 框架互框架互操作操作v
47、Sphere 驅(qū)動程序vSphere 數(shù)據(jù)存儲vSphere + Virtual SAN硬盤硬盤硬盤硬盤SSDSSD硬盤硬盤SSDSwift對象存儲Galance映像存儲Horizon控制面板OpenStack 框架密鑰庫身份認證服務(wù)NSX驅(qū)動程序Neutron網(wǎng)絡(luò)連接Nova計算節(jié)點vSphere數(shù)據(jù)存儲驅(qū)動程序Cinder卷服務(wù)vSphere驅(qū)動程序VMware Virtual SAN設(shè)計和規(guī)模設(shè)定指南練習Virtual SAN 數(shù)據(jù)存儲數(shù)據(jù)存儲分布式數(shù)據(jù)存儲容量可通過對跨 vSphere 集群中的多臺主機發(fā)現(xiàn)的磁盤組及其磁盤大小進行合計確定。只有磁盤的可用容量才能計入 Virtual S
48、AN 數(shù)據(jù)存儲的總?cè)萘?。基于閃存的設(shè)備的容量專供 Virtual SAN 的緩存層使用。磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組每臺主機:最多每臺主機:最多 5 個磁盤組。每個磁盤組:個磁盤組。每個磁盤組:1 個個 SSD + 1 至至 7 個個 HDD磁盤組磁盤組VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 數(shù)據(jù)存儲數(shù)據(jù)存儲HDDHDDHDDHDDHDD對象對象符合 SCSI 語義的各存儲塊設(shè)備。駐留在 Virtual SAN 數(shù)據(jù)存儲中的每個對象都包含多個組件。對象通過虛擬機存儲配置文件獲取存儲性能和可用性服務(wù)要求。對象類型對象
49、類型定義定義虛擬機主目錄虛擬機主目錄所有虛擬機配置文件(.vmx、日志文件等)所在的位置交換文件交換文件僅當虛擬機啟動時才會創(chuàng)建的獨特存儲對象VMDK虛擬機磁盤文件快照快照為虛擬機創(chuàng)建的獨特存儲對象組件組件對象由分布在 vSphere 集群中的各主機上的組件組成。Virtual SAN 5.5 當前支持每臺主機最多包含 3000 個組件。容量大于 255 GB 的對象會自動分成多個組件。每個組件使用 2 MB 磁盤容量來存儲元數(shù)據(jù)。見證見證見證組件是每個存儲對象的一部分。僅包含對象元數(shù)據(jù)。在 Virtual SAN 集群中制定可用性決策時,將用作決定因素以避免“裂腦”行為。每個 Virtual
50、 SAN 見證組件也將使用 2 MB 容量。Virtual SAN 數(shù)據(jù)數(shù)據(jù)存儲存儲規(guī)模設(shè)定注意規(guī)模設(shè)定注意事項事項務(wù)必了解可用性和性能方面的存儲功能對存儲容量使用的影響。容許的故障數(shù)量每個對象的磁盤條帶數(shù)閃存讀緩存預留對象空間預留磁盤組磁盤組單個基于閃存的設(shè)備 (SAS/SATA/PCIe SSD) 外加一個或多個磁盤(SAS/SATA 硬盤)。多個磁盤組可構(gòu)成 Virtual SAN 數(shù)據(jù)存儲的分布式閃存層,并為其提供存儲容量。使用修改后的磁盤文件系統(tǒng) (VMFS-L) 進行格式化之后,即可作為單個數(shù)據(jù)存儲裝載到對象存儲文件系統(tǒng)數(shù)據(jù)存儲中。對 VMFS-L 磁盤文件系統(tǒng)進行格式化,總共會占
51、用 750 MB 容量/磁盤。項目項目最小最小最大最大磁盤組每臺主機 1 個每臺主機 5 個閃存設(shè)備 (SAS/SAS/PCIe SSD)每個磁盤組 1 個每個磁盤組 1 個磁盤設(shè)備每個磁盤組 1 個硬盤每個磁盤組 7 個硬盤磁盤格式化開銷每個硬盤 750 MB每個硬盤 750 MB容許的故障數(shù)量容許的故障數(shù)量對 Virtual SAN 中存儲容量使用的影響最大?;谔摂M機的可用性要求,虛擬機存儲策略中定義的設(shè)置最多可能導致多使用四倍的虛擬機容量或單個磁盤容量。2 個完整數(shù)據(jù)副本個完整數(shù)據(jù)副本 + 1 個見證個見證每個對象的磁盤條帶數(shù)每個對象的磁盤條帶數(shù)如果每個對象的磁盤條帶數(shù)增加到超過默認值
52、 1,則每個條帶將計為一個單獨的組件。這會影響每臺主機支持的組件總數(shù)。磁盤組設(shè)計磁盤組設(shè)計每個磁盤組一個閃存設(shè)備。如有多個基于閃存的設(shè)備,將創(chuàng)建多個磁盤組以利用其他閃存?;陂W存的設(shè)備容量與磁盤容量相比的比率越高,緩存層的大小就越大。定義并減少存儲故障域。故障域磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組磁盤組每臺主機:最多每臺主機:最多 5 個磁盤組。每個磁盤組:個磁盤組。每個磁盤組:1 個個 SSD + 1 至至 7 個個 HDD磁盤組磁盤組VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)VSAN 網(wǎng)絡(luò)網(wǎng)絡(luò)HDDHDDHDDHDDHDD確定閃存容量大小確定閃存容量大小
53、一般情況下,建議將 Virtual SAN 閃存容量的大小定為未考慮 容許的故障數(shù) 時預計所用存儲容量的 10%。總閃存容量百分比應該基于使用情形及其容量和性能要求來計算。 10% 是一般建議,可能過多也可能不足。度量要求度量要求值值預計虛擬機空間使用容量20 GB預計虛擬機數(shù)1000每個虛擬機預計占用的空間總量20 GB x 1000 = 20,000 GB = 20 TB目標閃存容量百分比10%所需的閃存總量20 TB x 0.10 = 2 TB用于確定容量大小的練習公式用于確定容量大小的練習公式95限制條件限制條件VSAN 組件和 VMFS 元數(shù)據(jù)開銷 (VSANmetaDataOver
54、head):每個磁盤 1 GB變量變量每個集群的主機數(shù) (Hst) = 8磁盤組數(shù)量 (DskGrp) = 5每個磁盤組的磁盤數(shù) (DskPerDskGrp) = 7磁盤大小 (SzHDD) = 4000 GB容許的故障數(shù) (ftt) = 1虛擬機數(shù)量 (VMs) = 800每個虛擬機的磁盤數(shù)量 (NumOfVMDK) = 1每個虛擬機的內(nèi)存容量 (vmSwp) = 10 GB集群原始容量集群原始容量公式:Hst x NumDskGrpPerHst x NumDskPerDskGrp x SzHDD = y示例:8 x 5 x 7 x 4000 GB =1,120,000 GB =1,120
55、TB用于確定容量大小的練習公式用于確定容量大小的練習公式96VMFS 元數(shù)據(jù)元數(shù)據(jù) 公式:VMFSMetadata x NumDskGrpPerHst x NumDskPerDskGrp = y 示例:750 MB x 5 x 7 = 26,250 MB = 26.2 GB VMFS 元數(shù)據(jù)對象對象 公式:VMs x VMnamespace + vmSwap + NumOfVMDK = y 示例:800 x 1 + 1 + 1 = 2400 個對象注意:快照、克隆和 1 個以上的磁盤條帶將會增加更多對象組件組件 公式:對象數(shù) x ftt x 2 + 1 = y 示例:2400 x (1 x 2
56、 + 1) = 7200 個組件 = 平均每臺主機 900 個組件(最大限制為每臺主機 3000 個組件)組件元數(shù)據(jù)組件元數(shù)據(jù) 公式:NumComponents x compMetadata = y 示例:7200 個組件 x 2 MB = 14.4 GB 組件元數(shù)據(jù)用于確定容量大小的練習公式用于確定容量大小的練習公式97VSAN 元數(shù)據(jù)元數(shù)據(jù) 公式:compMetadata + VMFSMetadata = y 示例:14.4 GB + 26.2 GB = 40.6 GB VSAN 元數(shù)據(jù)交換使用量交換使用量 公式:(VMs x vmSwp x 2) 示例:交換空間 = (100 x 10 GB x 2) = 2000 GB可用容量 =
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 場地帳篷租賃合同范本
- 2021-2026年中國主蒸汽隔離閥市場全面調(diào)研及行業(yè)投資潛力預測報告
- 固定資產(chǎn)投資項目節(jié)能評估報告表
- 補簽建筑合同范本
- 焊盤和過孔的區(qū)別是什么
- 中國其他酒制造市場前景及投資研究報告
- 渠道招商合同范本
- 面向特定主題的開放式事件抽取關(guān)鍵技術(shù)研究
- 基于深度學習的偽造語音檢測算法研究
- 生命史策略對生育意愿的影響-性別偏見的中介和生育年齡限制感的調(diào)節(jié)作用
- 美甲藝術(shù)全套教學課件
- 中國古代餐具
- 施工日志模板
- Agilent7820A氣相色譜儀操作規(guī)程知識講解
- 加涅的信息加工理論-課件
- 400字作文稿紙(方格)A4打印模板
- 不領(lǐng)證的夫妻離婚協(xié)議書
- 鋁型材企業(yè)組織架構(gòu)及部門職能
- 華為BEM戰(zhàn)略解碼體系完整版
- Python商務(wù)數(shù)據(jù)分析與實戰(zhàn)PPT完整全套教學課件
- 利用“自然筆記”提高小學生科學素養(yǎng)獲獎科研報告
評論
0/150
提交評論