




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
InspurgroupVMware虛擬化技術(shù)培訓(xùn)2008-12-252021/5/9培訓(xùn)目標清楚虛擬化概念和VMware虛擬化產(chǎn)品特點了解VMware虛擬化產(chǎn)品的技術(shù)特性會簡單安裝配置虛擬機了解VMware高級特性及實現(xiàn)原理,為進一步掌握打下基礎(chǔ)2021/5/9內(nèi)容概述
1、什么是虛擬化
2、VMWARE公司及VI產(chǎn)品介紹ESX技術(shù)內(nèi)幕部署虛擬機資源管理高級特性2021/5/9一種讓IT系統(tǒng)組合、優(yōu)化共享資源,自動滿足業(yè)務(wù)需求的解決方案業(yè)務(wù)信息技術(shù)(IT)供給需求
什么是虛擬化?2021/5/9VirtualizeIT虛擬化類型虛擬化就是將底層硬件的功能抽象化在不同層面實現(xiàn)存儲網(wǎng)絡(luò)服務(wù)器/操作系統(tǒng)應(yīng)用系統(tǒng)2021/5/9管理成本IT和用戶生產(chǎn)效率硬件更新/舊的應(yīng)用遷移我如何簡化日常工作?當前IT所面臨的挑戰(zhàn):“用更少的資源干出更多的活”員工維護開發(fā)資源利用率低下電力、冷卻和機房空間有限計劃內(nèi)和計劃外停機時間越來越少我如何提高利用率?系統(tǒng)利用率100%0%開發(fā)和部署周期有限的IT資源各種不同的業(yè)務(wù)需求我如何有效地擴展?靈活性業(yè)務(wù)需求IT響應(yīng)時間Growth2021/5/9為什么要虛擬化?周五我們就需要一臺Web服務(wù)器!今晚你就要為我升級內(nèi)存!停下你手里的所有活計,馬上修復(fù)網(wǎng)絡(luò)!服務(wù)器到貨需要3個星期?!我覺得你現(xiàn)在就應(yīng)該把這件事做好!你曾經(jīng)許諾今天就給我添加一臺服務(wù)器!2021/5/9為什么要虛擬化?服務(wù)器蔓延:特別是一個操作系統(tǒng)運行一個應(yīng)用的情況支持過時操作系統(tǒng)和應(yīng)用整合沒有服務(wù)水準(SLA)定義的應(yīng)用/或者提高服務(wù)水準解決機房環(huán)境問題:散熱、電力、冷卻和占地面積提高整個計算平臺的平均利用率讓災(zāi)難恢復(fù)系統(tǒng)不再遠離x86平臺降低支持老舊服務(wù)器和應(yīng)用的成本簡化平臺和基礎(chǔ)架構(gòu)提高數(shù)據(jù)中心的靈活性:快速部署,智能、動態(tài)資源調(diào)配提高安全性2021/5/9那些應(yīng)用環(huán)境需要虛擬化?
測試/開發(fā)環(huán)境老舊的NT服務(wù)器和應(yīng)用文件和打印服務(wù)器服務(wù)器資源利用率不高的Web和應(yīng)用服務(wù)器郵件/即時消息服務(wù)器防火墻服務(wù)器數(shù)據(jù)庫服務(wù)器2021/5/9VMware公司一覽成立時間員工總數(shù)用戶數(shù)關(guān)鍵合作伙伴關(guān)系渠道合作伙伴數(shù)客戶概要信息運營結(jié)構(gòu)1998約3,000EMC的獨立子公司(2003年被收購)超過400萬3,000+AMD、Dell、HP、IBM、Intel5萬個企業(yè)客戶,其中《財富100強》中的100家公司2021/5/9VMware的使命將工業(yè)標準服務(wù)器和桌面計算環(huán)境轉(zhuǎn)化為虛擬計算環(huán)境2021/5/9虛擬機特征:
分區(qū)隔離封裝獨立于硬件2021/5/9什么是VMwareInfrastructure3(VI3)VMwareInfrastructure3是一個功能豐富的套件,它提供創(chuàng)建快速響應(yīng)數(shù)據(jù)中心所需的效率、可用性和動態(tài)管理功能,并且這些功能是經(jīng)過生產(chǎn)驗證的其中包括VMwareESXServer3.5和VirtualCenter2.5
浪潮銷售產(chǎn)品版本為ESX3.5U2和VirtualCenter2.5U32008年12月底NF295D2出廠全部預(yù)裝ESXServer3i
2021/5/9VMwareInfrastructure3產(chǎn)品包括
VI3基礎(chǔ)版VI3標準版VI3企業(yè)版
(以前稱為“入門版”)適用于小型企業(yè)或分公司的虛擬化適用于任何工作負載的高可用性基礎(chǔ)架構(gòu)虛擬化套件適用于動態(tài)數(shù)據(jù)中心的企業(yè)級基礎(chǔ)架構(gòu)虛擬化套件ESX或ESXiVMFSVirtualSMP是是是VirtualCenterAgent是是是ConsolidatedBackup是是是UpdateManager是是是VMwareHA
是是VMotion
是StorageVMotion
是VMwareDRS
是VirtualCenterServer1、作為獨立許可產(chǎn)品提供。2、按每臺服務(wù)器授予許可權(quán)且獨立于VMwareInfrastructure3版本。3、ConsolidatedBackup、UpdateManager、VMwareHA、VMotion、
StorageVMotion、VMwareDRS等產(chǎn)品基于VirtualCenterServer。ESXServer3i是VMware的企業(yè)級免費虛擬基礎(chǔ)架構(gòu)軟件,它具有ESX3的全部功能,不同的是它只有32MB大小,而ESXServer3至少要2GB空間,且3i沒有服務(wù)器控制臺。一臺集成了ESXServer3i的服務(wù)器,可直接部署在虛擬化環(huán)境,通過VirtualCenter對其進行管理。
2021/5/9名詞解釋VMotion:遷移,以零停機時間遷移虛擬機,將正在運行的虛擬機從一臺物理服務(wù)器移動至另一臺物理服務(wù)器,而不影響最終用戶。也可以冷遷移,冷遷移可以改變數(shù)據(jù)存儲的位置。DRS(DistributedResourceScheduler):Vmware分布式資源調(diào)度程序(DRS)跨聚合到邏輯資源池中的硬件資源集合來動態(tài)地分配和平衡計算容量。HA:當服務(wù)器發(fā)生故障時,受影響的虛擬機將在群集中留有備用容量的其他主機上自動重啟。ConsolidatedBackup:一個集中式備份工具,該工具可利用集中式代理服務(wù)器并可降低VMwareESX生產(chǎn)主機上的負載。UpdateManager:進行自動修補和更新,從而簡化對虛擬基礎(chǔ)架構(gòu)的管理,也可以對選定的Windows和Linux虛擬機進行升級。
2021/5/9ESX3i與ESX3.5的區(qū)別13.05.2023Inspurgroup服務(wù)控制臺API/SDKVirtualCenterESX3iAPI/SDKVirtualCenter遠程CLI(腳本編制)CIM(硬件管理)VIClientVIClientESXServer3本地管理遠程管理ESXServer3i是VMware的企業(yè)級免費虛擬基礎(chǔ)架構(gòu)軟件,它具有ESX3的全部功能,不同的是它只有32MB大小,而ESXServer3至少要2GB空間,且3i沒有服務(wù)器控制臺。一臺集成了ESXServer3i的服務(wù)器,可直接部署在虛擬化環(huán)境,通過VirtualCenter對其進行管理。
2021/5/9內(nèi)容概述
1、什么是虛擬化
2、VMWARE公司及VI產(chǎn)品介紹ESX技術(shù)內(nèi)幕部署虛擬機資源管理高級特性2021/5/9ESX技術(shù)內(nèi)幕ESX服務(wù)器體系結(jié)構(gòu)兼容性檢查VirtualCenter用戶界面虛擬SMP軟件許可模式管理框架2021/5/9ESX服務(wù)器內(nèi)幕什么讓ESX服務(wù)器如此強大?
是VMKernel而不是Linux2021/5/9ESX服務(wù)器的體系結(jié)構(gòu)2021/5/9VMM:虛擬機監(jiān)控器2021/5/9CPU管理要虛擬化處理器,虛擬機監(jiān)控器(VMM)將VMkernel從Ring0置換到Ring1新型的Intel和AMDCPU將會改善這種結(jié)構(gòu)
VMkernel123OS內(nèi)核0用戶應(yīng)用VMkernel動態(tài)地安排虛擬機和服務(wù)控制臺使用處理器的時間片按比例分配共享CPU的時間片使用基于NUMA技術(shù)的內(nèi)存和進程管理支持多核、超線程,包括對SMP虛擬機進行動態(tài)伸縮2021/5/9周期性的負載均衡調(diào)節(jié)器在CPU之間調(diào)節(jié)負載在CPU之間移動虛擬機以保證負載均衡在SMP環(huán)境中避免單一CPU被過度使用調(diào)度管理指定哪臺虛擬機應(yīng)該在哪個CPU上運行每20毫秒檢查所有CPU一次虛擬機可以在不同時候運行在不同CPU上取決于CPU負載和虛擬機遷移情況VMKernelSchedulerMemoryMgmt.PeriodicLoadBalancer2021/5/9VMware虛擬SMP是VI3標準版和企業(yè)版的一部分允許單個虛擬機占用2到4個物理CPU好處:增強虛擬機的性能在虛擬機上運行計算密集型應(yīng)用測試開發(fā)的應(yīng)用系統(tǒng)在多處理器系統(tǒng)上的表現(xiàn)與多核以及超線程處理器兼容2021/5/9內(nèi)存管理內(nèi)存過量使用技術(shù)增強了利用率將配置好的虛擬機內(nèi)存整合,可以安全地超越物理內(nèi)存容量運行虛擬機內(nèi)存漂移技術(shù)(Ballooning)動態(tài)地將不活躍虛擬機當中的內(nèi)存轉(zhuǎn)移到活躍虛擬機當中使用人為壓縮不活躍虛擬機中的內(nèi)存,強迫他們使用自己的磁盤交換區(qū)域,將實際內(nèi)存提供給活躍的虛擬機使用透明頁共享技術(shù)節(jié)省了內(nèi)存眾多虛擬機相同的內(nèi)存頁只保留一份VMkernel將內(nèi)存內(nèi)容置換到磁盤是最后一種手段透明內(nèi)存頁面共享內(nèi)存漂移2021/5/9網(wǎng)絡(luò)管理虛擬交換機是一個物理802.3以太網(wǎng)交換機的軟件模擬缺省端口數(shù)量是24目前的最大限制是1016虛擬交換機可以連接一個或者多個物理網(wǎng)卡每臺虛擬機最多可以設(shè)置4個虛擬網(wǎng)卡,每個網(wǎng)卡都有自己的MAC地址通過配置,虛擬交換機可以發(fā)送接收具有VLAN標示的數(shù)據(jù)包2021/5/9存儲管理表現(xiàn)為SCSI磁盤–LSI或者BusLogicSCSI控制器(最多4*15)虛擬磁盤可以映射到:本地磁盤的虛擬磁盤文件在SAN中的虛擬磁盤文件在SAN中的裸LUN一個SCSI裸設(shè)備VMkernel包含TCP/IP協(xié)議??捎糜谠L問iSCSI和NAS設(shè)備2021/5/9虛擬機文件系統(tǒng)(VMFS)VMFS—為虛擬機訪問高性能磁盤所優(yōu)化的簡捷、快速的數(shù)據(jù)存儲結(jié)構(gòu)VMFS卷用來存儲虛擬磁盤、VMkernel的交換文件、休眠的狀態(tài)文件、重做日志,以及VirtualCenter的虛擬機模版采用大數(shù)據(jù)塊存儲結(jié)構(gòu)優(yōu)化虛擬機性能支持大的分區(qū)(達2TB)VMFS有兩個專門為在SAN環(huán)境中存儲虛擬機而設(shè)計的特別屬性VMFS是一個可多主機訪問的文件系統(tǒng):卷實現(xiàn)了文件鎖機制,使得它在SAN環(huán)境中可以被多臺ESX服務(wù)器訪問VMFS只對系統(tǒng)性能有微弱的影響:從虛擬機發(fā)出的SCSI命令可直接發(fā)送到物理設(shè)備上2021/5/9裸設(shè)備映射(RDM)
物理兼容模式
SAN快照軟件
SAN復(fù)制軟件
SAN管理軟件虛擬兼容模式虛擬機快照虛擬機群集2021/5/9多路徑-Multipathing可配置延遲的自動化故障切換任意時刻有一條活動路徑連接到任意LUN通過改變狀態(tài),可以激活或者禁止某個故障切換路徑2個故障切換策略MRU–最近使用過的(缺省策略)繼續(xù)使用上一次活動的路徑Fixed–首選路徑當首選路徑可用時,切換到該路徑可以為每一個LUN設(shè)置首選和活動路徑FCSwitchStorageSP1SP2ESXServerHBAHBAFCSwitch2021/5/9存儲技術(shù)比較技術(shù)協(xié)議傳輸接口性能FiberChannel(SAN)FC/SCSI數(shù)據(jù)塊方式訪問數(shù)據(jù)/LUNFCHBA高(由于采用專用網(wǎng)絡(luò))iSCSIIP/SCSI據(jù)塊方式訪問數(shù)據(jù)/LUNiSCSIHBA中(取決于LAN網(wǎng)絡(luò)的設(shè)計整合)NASIP/NFS文件(不直接訪問LUN)NICandIP交換機中(取決于LAN網(wǎng)絡(luò)的設(shè)計整合)FiberOpticsFiberChannelSCSILANHardwareIPNFS/SMBLANHardwareIPSCSISANiSCSINAS2021/5/9SAN組成部分2021/5/9iSCSI組成部分FCSwitchESXServeriSCSIHBAESXServerNICiSCSIStorageSPIP網(wǎng)絡(luò)SCSITargetSCSIInitiatorIQN–iSCSIQualifiedName;auniqueIDforinitiatorsandtargetsSoftwareinitiator2021/5/9NAS組成部分FCSwitchESXServerNFSServerNICIPNetworkNASdeviceVirtualSwitchwithIPstoragePort/pubDirectoryforESXServerVirtualSwitchNIC2021/5/9存儲技術(shù)功能比較類型啟動虛擬機啟動ESX
服務(wù)器VMotionVMFSRDM虛擬機集群HA/DRSFCYYYYYYYiSCSIYYYYYNYNASYNYNNNY2021/5/9資源管理資源由VMkernel管理由虛擬機所有人管理由虛擬機管理員管理處理器SMP負載均衡超線程多核處理器虛擬SMP最小速率最大速率處理器榜定共享分配內(nèi)存頁面共享內(nèi)存漂移使用VMkernel交換最大容量最小容量共享分配磁盤共享分配網(wǎng)卡NIC捆綁流量控制2021/5/9操作系統(tǒng)看到的是什么從Windows設(shè)備管理界面看到虛擬的設(shè)備2021/5/9虛擬機文件核心文件nvram(非易失性內(nèi)存-non-volatileRAM)vmware.log<虛擬機名稱>.vmx(虛擬機配置文件)<虛擬機名稱>.vmdk(虛擬磁盤文件)<虛擬機名稱>.vswp(內(nèi)存交換文件)<虛擬機名稱>.vmsd(快照數(shù)據(jù))與某個虛擬機相關(guān)的文件都存放在文件系統(tǒng)中的特定文件夾里面NFSVMFS2021/5/9封裝這兩個文件代表整個虛擬機客戶虛擬機的配置文件2021/5/9支持什么服務(wù)器和操作系統(tǒng)?
支持什么I/O和網(wǎng)絡(luò)驅(qū)動?
支持什么存儲設(shè)備?請察看ESX
Server3.x的系統(tǒng)兼容性列表(OS+System)!支持什么樣的備份軟件?請察看ESX
Server3.x的I/O兼容性列表!請察看ESX
Server3.x的Storage/SAN系兼容性列表!請察看ESX
Server3.x的備份軟件兼容性列表!2021/5/9這些兼容列表在哪里?所有VMwareInfrastructure文檔都在:
@/support/pubs/vi_pubs.html2021/5/9安全地、集中化管理用戶的虛擬架構(gòu)通過在服務(wù)器之間動態(tài)移動虛擬機來優(yōu)化服務(wù)器的利用率采用標準化的虛擬機模版迅速部署新的服務(wù)器增強業(yè)務(wù)連續(xù)性,并且消除計劃內(nèi)停機VMwareVirtualCenterVMware虛擬架構(gòu)管理軟件2021/5/9通過VirtualCenter進行訪問和控制直接訪問和控制,無VirtualCenterActiveDirectory
/LDAP服務(wù)器VirtualCenter
數(shù)據(jù)庫集中管理2021/5/9虛擬架構(gòu)(VI)Client訪問VirtualCenter
使用VC全部功能直接訪問ESX主機單一ESX主機管理WebAccessClient訪問VirtualCenter
管理多臺虛擬機直接訪問ESX主機只能管理該主機上的虛擬機VirtualCenter服務(wù)器ESX3.xVIClientVIClientVirtualCenter服務(wù)器ESX3.0WebClientWebClientwebCenter(ApacheTomcat服務(wù))安裝在這里ESX3.x用戶界面2021/5/9軟件許可簡介缺省情況下,在VirtualCenter主機上面安裝和配置License服務(wù)器也可以安裝在現(xiàn)有的FlexNetlicense服務(wù)器,或者與VirtualCenter獨立的主機系統(tǒng)之上集中管理的軟件許可可以被跟蹤,并且按2個處理器的增量動態(tài)分配或中心分配軟件許可一旦配置完成,VirtualCenter和ESX服務(wù)器在License服務(wù)器不可用的情況下(最長14天)也可以全功能運行ESXServer
3.X系統(tǒng)License服務(wù)器
(Windows應(yīng)用)VirtualCenter2.0服務(wù)器License文件2021/5/9基于主機的軟件許可適用于沒有VirtualCenter的小型環(huán)境需要在每一臺ESX服務(wù)器上配置軟件許可文件,沒有集中管理的優(yōu)點允許ESX功能的配置和改變完全獨立于License服務(wù)器但是,需要手工進行軟件許可的分配和跟蹤可以和與集中的、利用VirtualCenter功能的軟件許可并存ESXServer
3.5
系統(tǒng)License文件License文件License文件2021/5/9對SNMP的支持SNMP管理主機獲取變量,使得用戶可以監(jiān)控主機服務(wù)器和它們上面的虛擬機各種項目參數(shù),了解它們?nèi)绾问褂酶鞣N資源的系統(tǒng)狀態(tài)(主機)–CPU個數(shù),內(nèi)存容量,ESX服務(wù)器是否加載系統(tǒng)資源使用情況(主機)被服務(wù)控制臺使用的內(nèi)存容量被某個特定虛擬機所使用的主機CPU資源被某個特定虛擬機使用的主機內(nèi)存資源沒有被使用的主機內(nèi)存資源主機磁盤上的數(shù)據(jù)使用情況,包括數(shù)據(jù)讀寫次數(shù)和數(shù)量2021/5/9虛擬機的SNMP支持虛擬機配置虛擬機配置文件的訪問路徑運行在虛擬機上的操作系統(tǒng)配置給虛擬機使用的內(nèi)存容量虛擬機能看到哪些磁盤控制器虛擬機能看到哪些網(wǎng)卡虛擬機能看到哪些軟驅(qū)虛擬機能看到哪些光驅(qū)2021/5/9內(nèi)容概述
1、什么是虛擬化
2、VMWARE公司及VI產(chǎn)品介紹ESX技術(shù)內(nèi)幕部署虛擬機資源管理高級特性2021/5/9如何部署虛擬機安裝ESXServer3.5安裝VC建立虛擬機網(wǎng)絡(luò)配置2021/5/91、ESX3.5安裝——將ESXServer3.5安裝光盤放入光驅(qū),光驅(qū)引導(dǎo)出現(xiàn)以下界面,回車開始安裝2021/5/91、ESX3.5安裝——Skip進行下一步2021/5/91、ESX3.5安裝——出現(xiàn)安裝歡迎畫面2021/5/91、ESX3.5安裝——進行分區(qū)2021/5/91、ESX3.5安裝——網(wǎng)絡(luò)設(shè)置2021/5/91、ESX3.5安裝——時區(qū)設(shè)置2021/5/91、
ESX3.5安裝——ROOT密碼設(shè)置2021/5/91、ESX3.5安裝——安裝完成后重啟正常啟動2021/5/91、VC安裝——下一步2021/5/92、VC安裝——選擇安裝類型2021/5/92、VC安裝——部署選項2021/5/92、VC安裝——其他設(shè)置與安裝過程2021/5/92、VC安裝——安裝成功2021/5/92、VC安裝——本地登陸VC2021/5/93、安裝虛擬機——建立數(shù)據(jù)中心2021/5/93、安裝虛擬機——在數(shù)據(jù)中心新建群集或添加主機2021/5/93、安裝虛擬機——新建群集選項2021/5/93、安裝虛擬機——添加主機2021/5/93、安裝虛擬機——新建虛擬機2021/5/93、安裝虛擬機——正常安裝操作方式安裝使用2021/5/94、網(wǎng)絡(luò)配置介紹VMware有三種網(wǎng)絡(luò)接口類型
1、虛擬機虛擬機中要虛擬網(wǎng)卡即應(yīng)用要使用的網(wǎng)卡的端口
2、VMKERNEL
建立自動遷移和VMOTION,iscsi控制存儲路徑,ipsan控制存儲路徑
3、服務(wù)控制臺
ESX主機的控制端口注:安裝VMESX后會自動創(chuàng)建1和3,2要手動建立VMKERNEL端口2021/5/94、網(wǎng)絡(luò)配置介紹2021/5/9服務(wù)控制臺網(wǎng)絡(luò)端口添加介紹建議每臺ESX主機使用兩個控制臺端口,避免出現(xiàn)單點故障,無法連接2021/5/9服務(wù)控制臺網(wǎng)絡(luò)端口添加介紹2021/5/9服務(wù)控制臺網(wǎng)絡(luò)端口添加介紹2021/5/9服務(wù)控制臺網(wǎng)絡(luò)端口添加介紹2021/5/9內(nèi)容概述
1、什么是虛擬化
2、VMWARE公司及VI產(chǎn)品介紹ESX技術(shù)內(nèi)幕部署虛擬機資源管理概念——預(yù)留、限制、份額;資源池高級特性2021/5/9資源管理資源由VMkernel管理由虛擬機所有人管理由虛擬機管理員管理處理器SMP負載均衡超線程多核處理器虛擬SMP最小速率最大速率處理器榜定共享分配內(nèi)存頁面共享內(nèi)存漂移使用VMkernel交換最大容量最小容量共享分配磁盤共享分配網(wǎng)卡NIC捆綁流量控制2021/5/9虛擬機資源分配缺省情況下,所有虛擬機都會收到:平等分配給每個虛擬CPU的物理CPU共享時間片平等分配給每MB虛擬內(nèi)存的共享物理內(nèi)存預(yù)留的主機資源
為虛擬機分配更多或更少的資源
為特定虛擬機指定優(yōu)先級2021/5/9預(yù)留和限制(ReservationsandLimits)
適用于CPU和內(nèi)存資源預(yù)留是一種最低資源保證
只有CPU預(yù)留資源在不使用的時候可以被其它虛擬機使用(預(yù)留內(nèi)存不可以)缺省情況下,預(yù)留的值為零限制是對一臺虛擬機的CPU和內(nèi)存資源定義的使用上限表示為MHz或者MB
缺省狀態(tài)下無限制2021/5/9預(yù)留和限制(ReservationsandLimits)2021/5/9份額(Shares)
為一臺虛擬機指定相對優(yōu)先級或重要性只有在發(fā)生資源競爭的情況下執(zhí)行
防止虛擬機獨占資源保證可預(yù)測的資源共享通常分為三級:High、Normal和Low(比例為4:2:1)
可以改變?yōu)槠渌敌碌奶摂M機上電會影響其它所有虛擬機的共享狀態(tài)2021/5/9份額(Share)是如何工作的?Shares值改變Shares值新虛擬機上電虛擬機下電如果有競爭,每臺虛擬機保證得到1/3的資源如果有競爭,虛擬機B保證得到3/5的資源如果有競爭,虛擬機B保證得到1/2的資源如果有競爭,虛擬機B保證得到3/5的資源2021/5/9準入控制預(yù)留資源必須滿足如果現(xiàn)有資源的剩余值小于要啟動的虛擬機的預(yù)留資源值,則該虛擬機無法啟動內(nèi)存=2GBReservation=512Limit=1GBReservation=1GBLimit=1GBReservation=1GBLimit=1GBX2021/5/9資源池是VirtualCenter對象庫中的一個對象用來控制為虛擬機所用的CPU和內(nèi)存資源總和可以和訪問控制和許可聯(lián)合使用群集Cluster資源池ResourcepoolCluster容量=
根資源池:
5x(4.8GHz,4GB)
=(24GHz,20GB)
ResourcePool1
(CPU=16GHz,Mem=12GB)VMVMVMVMResourcePool2
(3GHz,3GB)VMVMVM2021/5/9資源池屬性份額(Shares)Low,Normal,High預(yù)留限制可擴展的預(yù)留不選–系統(tǒng)認為只有該資源池剩余的資源可用選中–系統(tǒng)認為該資源池和其所有上級資源池內(nèi)的剩余資源均可用2021/5/9資源池準入控制在下面任何一種情況下都會進行準入控制:創(chuàng)建一個資源池,一臺虛擬機上電,或者改變資源池的設(shè)置參數(shù)如果沒有選擇可擴展預(yù)留選項:管理服務(wù)器檢查資源池是否有足夠的資源來滿足該資源池和虛擬機對最低預(yù)留的要求如果選擇了可擴展預(yù)留選項:如果有足夠的資源,執(zhí)行操作如果沒有足夠的資源,管理服務(wù)器在一個上級資源池(父級或者祖級)中檢查是否有可用資源。如果有,執(zhí)行操作。否則,不執(zhí)行操作。2021/5/9可擴展預(yù)留–圖示2021/5/9資源池準入控制–圖示2021/5/9資源池概念圖示ClusterPool1Pool2VMAVMCVMBVMDShares=8000Shares=2000Shares=2000Shares=4000Shares=8000Shares=40002021/5/9資源池概念圖示ClusterPool1Pool2VMAVMCVMBVMDShares=8000Shares=2000Shares=2000Shares=4000Shares=8000Shares=4000VMEShares=20002021/5/9內(nèi)容概述
1、什么是虛擬化
2、VMWARE公司及VI產(chǎn)品介紹ESX技術(shù)內(nèi)幕部署虛擬機資源管理概念——預(yù)留、限制、份額;資源池高級特性——VMotion、DRS、HA、虛擬機集群、VCB、Converter等2021/5/9遷移——VMotion2021/5/9VMotion遷移VMotion遷移是在虛擬機上電狀態(tài)下移動它提高總體硬件的利用率消除計劃內(nèi)停機與VirtualCenter配合使用2021/5/9VMotion條件–主機
激活VMotion功能的源和目的ESX服務(wù)器主機源和目的ESX服務(wù)器主機必須:可以看到所有SAN的LUN(FC或iSCSI)或者被虛擬機使用的NAS設(shè)備一個千兆以太網(wǎng)段訪問同一個物理網(wǎng)段兼容的CPU新型CPU發(fā)布后,會有新的VMotion兼容性說明
2021/5/9CPU限制CPU特征需要精確匹配嗎?時鐘頻率,緩存大小,超線程以及核的數(shù)量不必–由ESX服務(wù)器虛擬化并調(diào)度Intel對AMD,P3對P4對Opteron是的–相近,但是本質(zhì)上存在很多不同的指令集和一些細小、不知的差別SSE3指令集對非SSE3指令集是的–多媒體指令集被應(yīng)用層直接調(diào)用虛擬化硬件協(xié)助(VT對非VT)是的–但是僅限于64位的虛擬機沒有eXecute/eXecuteDisable(Nx/XD)位是的–但是可以對每臺虛擬機或者ESX服務(wù)器主機進行定制2021/5/9VMotion對64位虛擬機的支持32位虛擬機64位虛擬機VMotion(上電狀態(tài))對與VMotion兼容的32位和64位CPU完全支持(Intel到Intel或者AMD到AMD).對與VMotion兼容的64位CPU完全支持(Intel到Intel或者AMD到AMD)冷遷移(下電狀態(tài))對與VMotion兼容的32位和64位CPU完全支持,不必考慮CPU之間的兼容性(Intel到AMD沒有問題!)對與VMotion兼容的64位CPU完全支持(Intel到AMD沒有問題!)2021/5/9VMotion是如何工作的?準備在目標主機上(ESX2)部署新的虛擬機用戶正在訪問位于ESX1上面的虛擬機A,并且準備VMotion到ESX2ESX2VMAESX1共享存儲2021/5/9VMotion是如何工作的?ESX2VMAESX1VMA準備在目標主機上(ESX2)部署新的虛擬機將源主機上虛擬機A的內(nèi)存拷貝到目標主機上,變化的內(nèi)存內(nèi)容保存在位圖之中Memory
BitmapMemory共享存儲2021/5/9VMotion是如何工作的?ESX2VMAESX1VMA準備在目標主機上(ESX2)部署新的虛擬機將源主機上虛擬機A的內(nèi)存拷貝到目標主機上,變化的內(nèi)存內(nèi)容保存在位圖之中掛起源主機上面的虛擬機A,將內(nèi)存位圖拷貝到目標主機上Memory
BitmapMemory
Bitmap共享存儲2021/5/9VMotion是如何工作的?ESX2VMAESX1VMA準備在目標主機上(ESX2)部署新的虛擬機將源主機上虛擬機A的內(nèi)存拷貝到目標主機上,變化的內(nèi)存內(nèi)容保存在位圖之中掛起源主機上面的虛擬機A,將內(nèi)存位圖拷貝到目標主機上在目標主機上恢復(fù)虛擬機A運行Memory
Bitmap共享存儲2021/5/9VMotion是如何工作的?ESX2VMAESX1VMA準備在目標主機上(ESX2)部署新的虛擬機將源主機上虛擬機A的內(nèi)存拷貝到目標主機上,變化的內(nèi)存內(nèi)容保存在位圖之中掛起源主機上面的虛擬機A,將內(nèi)存位圖拷貝到目標主機上在目標主機上恢復(fù)虛擬機A運行當系統(tǒng)訪問修改的內(nèi)存時,使用源主機中的“Demandpage”(“Backgroundpage”就是源主機中遺留的內(nèi)容拷貝到目標主機中,直到內(nèi)存內(nèi)容全部成功拷貝)Memory
BitmapBackground
PageDemandPage共享存儲2021/5/9VMotion是如何工作的?ESX2ESX1VMA準備在目標主機上(ESX2)部署新的虛擬機將源主機上虛擬機A的內(nèi)存拷貝到目標主機上,變化的內(nèi)存內(nèi)容保存在位圖之中掛起源主機上面的虛擬機A,將內(nèi)存位圖拷貝到目標主機上在目標主機上恢復(fù)虛擬機A運行當系統(tǒng)訪問修改的內(nèi)存時,使用源主機中的“Demandpage”(“Backgroundpage”就是源主機中遺留的內(nèi)容拷貝到目標主機中,直到內(nèi)存內(nèi)容全部成功拷貝)從源主機中刪除虛擬機A共享存儲2021/5/9群集(Clusters)——DRS和/或HA2021/5/9群集(Clusters)–簡介
一群ESX服務(wù)器主機以及和它們相關(guān)聯(lián)的、定義了共享資源的虛擬機
可以選擇激活DRS和/或HA功能
無需特殊軟件許可就可以創(chuàng)建2021/5/9DRS如何工作?
虛擬機初始運行位置在資源池中上電虛擬機建議運行主機(優(yōu)先級列表)
動態(tài)平衡監(jiān)視關(guān)鍵虛擬機、資源池和主機將有資格的資源賦予資源池和虛擬機建議遷移DRS的目的在主機和群集之間平衡虛擬機負載強化資源策略的精確度(預(yù)留、限制和份額)對虛擬機運行位置進行約束關(guān)聯(lián)(Affinity)和反關(guān)聯(lián)定(Anti-affinity)規(guī)則
VMotion兼容性(CPU類型、SAN和LAN的連通性)2021/5/9DRS讓事情變得簡單2021/5/9DRS–自動化級別在虛擬機啟動時,自動地進行初始運行位置的確認,并且在虛擬機運行時進行動態(tài)平衡自動化級別虛擬機初始位置確定動態(tài)平衡手動手動手動半自動自動手動全自動自動自動2021/5/9DRS群集設(shè)置反關(guān)聯(lián)規(guī)則(Anti-affinity)在不同的主機上運行不同的虛擬機動機:高可用,集群應(yīng)用關(guān)聯(lián)規(guī)則(Affinity)在同一臺主機上運行不同的虛擬機動機:明確運行位置,性能考慮2021/5/9資源池和DRS要做與不要做的事情正確使用預(yù)留和份額份額通常是更靈活的策略工具使用份額隔離虛擬機資源,而不必使用硬分區(qū)隔離使用預(yù)留來保證應(yīng)用服務(wù)質(zhì)量保持一定的空余容量不要讓預(yù)留資源占滿整個群集資源要為主機維護和重新平衡預(yù)留資源空間需要接納故障主機上面的虛擬機的空間(使用DRS)如果一臺主機是一個群集的成員,不要直接在該主機上修改資源參數(shù)2021/5/9什么是VMwareHA?集成的、可擴展的VMware虛擬機故障切換解決方案是VI3Enterprise的一部分(可選的VirtualCenter功能)與VMotion和DRS集成通過在ESX服務(wù)器主機中進行自動故障切換,為虛擬機提供高可用性每個群集最多支持16個ESX主機(新版本將支持32個ESX主機)通過VIClient配置、管理和監(jiān)控可以為特定虛擬機定制行為方式2021/5/9什么是VMwareHA?2021/5/9什么是什么不是VMwareHA?它是…如果一臺ESX發(fā)生故障,運行在它上面的虛擬機將會在同一群集中的另外ESX主機上重新啟動故障由服務(wù)控制臺網(wǎng)卡上運行的心跳服務(wù)進行檢測它…不利用VMotion不對虛擬機故障提供保護不能跨群集(Cluster)或數(shù)據(jù)中心(DataCenter)運行2021/5/9HA與VirtualCenter的關(guān)系2021/5/9VMwareHA選項故障主機數(shù)量-HostFailures指定可以進行故障切換的主機數(shù)量,希望這些主機上的虛擬機可以在其它主機上重新啟動準入控制–AdmissionControl如果虛擬機違反了可用性規(guī)則,或者超出了資源限制,則不啟動虛擬機即使虛擬機違反了可用性規(guī)則,或者超出了資源限制,也會在其它主機上啟動虛擬機(但不保證啟動成功,會有一個警告信息)2021/5/9規(guī)劃VMwareHA準入控制在群集中保留足夠的空閑資源進行故障切換每臺主機都應(yīng)該有一定的CPU和內(nèi)存空余資源每臺虛擬機都有最小內(nèi)存和CPU需求規(guī)劃準入控制指定可以實施故障切換的主機的數(shù)量如果N臺大型主機故障,也能保證虛擬機可以重新布置到其它主機上重新啟動定義最壞的情況–最大故障主機數(shù)量和需要重新分配的虛擬機數(shù)量和大小2021/5/9容量規(guī)劃舉例:假定一個同構(gòu)的群集這是一個保守的規(guī)劃高級用戶希望制定他們自己的規(guī)劃,避免嚴格的準入控制檢查VM1VM2VM3VM6VM5故障切換容量規(guī)劃:1臺主機故障VM42021/5/9容量規(guī)劃VM1VM2VM3VM4故障切換容量規(guī)劃:2臺主機故障如果故障主機的數(shù)量超過了配置的空余容量優(yōu)先級高的虛擬機將首先被切換和啟動會生成一個警告信息2021/5/9重新啟動優(yōu)先級可選的重新啟動優(yōu)先級選項,以虛擬機為單位設(shè)置隔離響應(yīng)2021/5/9隔離響應(yīng)主機在網(wǎng)絡(luò)中被隔離Pings發(fā)生問題的節(jié)點,隔離并驗證地址故障響應(yīng):下電還是繼續(xù)運行?VMwareHA等待15秒鐘,然后決定該主機被隔離下電–NAS和iSCSI缺省是下電–最安全的方式VMVMVMVMVMVM2021/5/9與DRS集成HA和VirtualCenter下電的虛擬機不被視為一個故障下電的和有特殊標示的虛擬機將不會被切換VMotion有短暫的危險時間窗口(遷移時主機發(fā)生故障);HA可以在原來的、目的或者其它合適的主機上重新啟動虛擬機HA和DRSHA的首要優(yōu)先級是重新啟動故障主機上的的虛擬機DRS將決定和優(yōu)化重新啟動的虛擬機的位置(它的優(yōu)先級是保持整個群集的負載平衡)DRS+HA=主動+被動反應(yīng)方案2021/5/9高可用解決方案(虛擬機集群)——MSCS2021/5/9VI3集群解決方案2021/5/9目前,VMware只測試和支持微軟的集群服務(wù)(MSCS)運行在自己的虛擬機環(huán)境中但是在實際應(yīng)用中,VeritasVCS和OracleRAC都有成功案例VI3集群解決方案2021/5/9
只能為操作系統(tǒng)和應(yīng)用系統(tǒng)的崩潰提供保護措施訪問共享的SAN存儲或者共享的本地存儲主機內(nèi)部的集群:Clusterinabox2021/5/9主機之間集群:Cluster-Across-Boxes
可以為操作系統(tǒng)、應(yīng)用系統(tǒng)和硬件崩潰提供報或措施使用RDM(RawDeviceMappings)
需要共享的SAN存儲不能使用NAS和iSCSI存儲技術(shù)2021/5/9物理到虛擬機群:PhysicaltoVirtualCluster
低成本的N+1冗余設(shè)計需要共享的SAN存儲不能使用NAS和iSCSI存儲技術(shù)在物理主機上不能運行多路經(jīng)軟件2021/5/9群集:注意事項與限制
只有2GBFCHBA和特定驅(qū)動程序在支持列表當中只支持32為虛擬機(不支持64為虛擬機).
只支持2節(jié)點的群集不支持在iSCSI盤陣或NFS上的iSCSI群集群集不支持網(wǎng)卡捆綁干線技術(shù)虛擬機的啟動磁盤必須位于本地存儲上不支持在SAN中啟動ESX服務(wù)器群集虛擬機不能成文VMware群集(DRS或HA)的一部分不能使用VMotion遷移運行群集軟件的虛擬機2021/5/9數(shù)據(jù)備份——VCB標準備份技術(shù)什么是VCB?VCB是如何工作的?恢復(fù)方法目前方案存在的問題VCB集成2021/5/9標準備份技術(shù)備份服務(wù)器VM1ESX服務(wù)器VM2VM3AGENT服務(wù)控制臺AGENTAGENTAGENT文件系統(tǒng)級別備份完整虛擬機備份
存儲設(shè)備(磁帶、磁盤)LAN,SAN,SCSI只通過LAN優(yōu)點:像物理主機一樣備份和恢復(fù)加上完整虛擬機備份功能易于實施–并提高備份能力2021/5/9裸設(shè)備映射(RDM)ESX服務(wù)器VM2VM3VM1VMFSVMDKVMDKVMDKNTFSLUN1NTFSLUN2EXT3LUN3服務(wù)控制臺裸設(shè)備映射RDMSANEXT3LUN3’NTFSLUN1’NTFSLUN2’SAN快照備份服務(wù)器LANSCSISAN優(yōu)點:消除ESX服務(wù)器備份負擔(dān)發(fā)揮現(xiàn)有SAN技術(shù)與標準存儲模式配合良好2021/5/9當前備份模式存在的問題基于客戶機代理(Agent)的備份模式備份的負載累加到生產(chǎn)主機之上備份每臺虛擬機消耗主機5%CPU是可以接受的… 但是,當20臺虛擬機同時開始備份的時候…對于虛擬架構(gòu)來講,備份負載具有很大的負面影響大量消耗磁盤和網(wǎng)絡(luò)I/O即使通過服務(wù)控制臺備份磁盤映像也會降低系統(tǒng)性能2021/5/9當前備份模式存在的問題基于RDM的備份模式需要SAN磁盤陣列快照軟件并非所有陣列廠商都支持,或者非常昂貴失去VMFS的優(yōu)點如磁盤的利用效率高,跨LUN,將虛擬機視為文件等在沒有更多昂貴工具支持的情況下,SAN磁盤陣列快照只是一個主機崩潰一致性的拷貝不提供文件系統(tǒng)和應(yīng)用級別的數(shù)據(jù)一致性快照2021/5/9解決方案:整合備份VCBVCB的目標
利用VMware的獨特技術(shù)提高文件系統(tǒng)級別的備份性能將備份負載從ESX服務(wù)器上卸載下來不需要SAN磁盤陣列相關(guān)的軟件對于最終用戶來講,易于實現(xiàn)是簡化整個企業(yè)備份體系架構(gòu)復(fù)雜度的開始2021/5/9VCB的效果ESXVM2VM3VM1VMFSVMDKServiceConsoleSANVMDK達到什么效果備份代理服務(wù)器(BackupProxy)VMDKvmkernelLANSCSISAN2021/5/9VM2VM3VM1ServiceConsolevmkernel備份代理服務(wù)器(BackupProxy)VCBVCB如何工作?ESXVMFSVMDKSANVMDK發(fā)生了什么VMDKVMDKREDOSYNCBLOCKLISTPREPOSTSAN第三方備份軟件2021/5/9VM2VM3VM1ServiceConsolevmkernel備份代理服務(wù)器(BackupProxy)VCBVCB如何工作?ESXVMFSVMDKSANVMDK輸出完整的虛擬機VMDKVMDKREDOSYNCBLOCKLIST2GB2GB2GBPREPOSTSAN2021/5/9如何恢復(fù)?目前還沒有基于備份代理的恢復(fù)工具選項:在每一臺虛擬機中安裝備份軟件代理,將文件直接恢復(fù)到這些虛擬機中建立安裝備份軟件代理的專門恢復(fù)虛擬機,將數(shù)據(jù)恢復(fù)到這些虛擬機當中,然后手工移動文件到目標虛擬機中要恢復(fù)整個虛擬機,將它們恢復(fù)到服務(wù)控制臺可以訪問的的文件系統(tǒng)中,然后將它們輸入到VMFS中為什么這個版本部提供恢復(fù)功能?備份操作每天都會進行,但是很少執(zhí)行恢復(fù)操作我們希望改善當前面臨的主要問題–備份2021/5/9整合備份和恢復(fù)方法集中恢復(fù)在備份代理服務(wù)器中安裝備份軟件代理分組恢復(fù)在ESX服務(wù)器上的一組虛擬機選擇一臺安裝備份軟件代理自我服務(wù)式恢復(fù)在每一臺虛擬機上安裝備份軟件代理2021/5/9恢復(fù)方法的比較恢復(fù)方法優(yōu)點缺點集中式維護的備份軟件代理數(shù)量最少系統(tǒng)管理員需要介入到每一個文件恢復(fù)操作當中分組式恢復(fù)操作可以按組指定;易于在備份軟件代理數(shù)量和恢復(fù)的操作難度方面達成妥協(xié)依然達不到自我服務(wù)方式的恢復(fù)操作自我服務(wù)式自我服務(wù)方式的恢復(fù),無需管理員介入需要在每一臺虛擬機中安裝備份軟件代理2021/5/9幾個要記住的要點VCB不能替代備份軟件備份軟件是VCBAPI的主要使用者VCB與現(xiàn)有備份架構(gòu)整合目前還沒有與Linux完全整合在版本1.0中,只支持對Windows操作系統(tǒng)的文件級備份完整虛擬機輸出支持任何類型的操作系統(tǒng)2021/5/9VCB集成VMware已經(jīng)與下列產(chǎn)品集成:VeritasNetBackupSymantecBackupExecTivoliStorageManagerLegatoNetworker這些只是基本集成–命令行,運行前/后腳本。沒有與備份軟件進行深入整合注意:一些備份軟件廠商在VMware之外提供他們自己的整合產(chǎn)品2021/5/9VCB的軟、硬件需求VCB備份代理服務(wù)器(實機)必須運行MicrosoftWindows2003SP1或以上版本光纖通道SAN。VCB備份代理服務(wù)器需要訪問SAN當中的LUNVCB支持的備份軟件備份硬件,例如磁帶庫一個或多個ESX服務(wù)器3.x系統(tǒng)2021/5/9
多路徑VCB備份代理服務(wù)器目前不支持任何多路徑軟件2021/5/9VCB系統(tǒng)的概貌2021/5/9
備份什么?
虛擬機內(nèi)的內(nèi)容
ESX服務(wù)器服務(wù)控制臺備份系統(tǒng)主要組成部分備份客戶機(備份軟件代理)
備份服務(wù)器2021/5/9備份虛擬機不支持在ESX服務(wù)控制臺上運行備份服務(wù)器備份服務(wù)器虛擬機物理機備份客戶機虛擬機方式一方式二服務(wù)控制臺方式三方式四2021/5/9在虛擬機中的備份軟件代理方式一:在虛擬機中運行備份服務(wù)器建議:當沒有可用于VCB備份代理與備份服務(wù)器的硬件時文件級恢復(fù)很容易完整虛擬機恢復(fù)否應(yīng)用暫停優(yōu)秀ESX服務(wù)器負載非常大LAN-Free備份否對備份的影響否管理能力很差2021/5/9在虛擬機中的備份軟件代理方式二:在物理機中運行備份服務(wù)器建議:可以使用VCB備份方法代替文件級恢復(fù)很容易完整虛擬機恢復(fù)否應(yīng)用暫停優(yōu)秀ESX服務(wù)器負載大LAN-Free備份否對備份的影響否管理能力很差2021/5/9在服務(wù)控制臺中的備份軟件代理方式三:在虛擬機中安裝備份服務(wù)器建議:當沒有專門的硬件供VCB備份代理和備份服務(wù)器使用時文件級恢復(fù)否完整虛擬機恢復(fù)很容易應(yīng)用暫停優(yōu)秀ESX服務(wù)器負載非常大LAN-Free備份否對備份的影響否管理能力很差2021/5/9在服務(wù)控制臺中的備份軟件代理方式四:在物理機中安裝備份服務(wù)器建議:可以使用VCB代替文件級恢復(fù)否完整虛擬機恢復(fù)很容易應(yīng)用暫停優(yōu)秀ESX服務(wù)器負載大LAN-Free備份否對備份的影響否管理能力很差2021/5/9ConverterConverter是如何工作的?冷克隆Converter的好處今后的發(fā)展計劃在線克隆2021/5/9VMwareConverter3.0簡介VMware?Converter3.0是一個自動將物理主機、其它格式虛擬機和第三方主機映像轉(zhuǎn)化為VMware虛擬機的工具物理主機、第三方主機映像和其它格式的虛擬機虛擬機VMwareConverter2021/5/9VMwareConverter3.0簡介2021/5/9產(chǎn)品概覽集中管理控制臺(不需要一臺輔助虛擬機)
多種P2V克隆模式在線克隆(Win2k3,XP)本地源主機遠程源主機冷克隆只支持本地源主機基于WinPE操作方式和界面與在線克隆類似采用基于善區(qū)快照的克隆加快了轉(zhuǎn)換速度
多個轉(zhuǎn)換操作同時運行,實現(xiàn)高度的擴展能力2021/5/9產(chǎn)品概覽源主機物理主機虛擬機(WS/GSX/Player/Server,VC2管理的ESX2.5和ESX3)第三方主機映像(MSVPC,SymantecLiveState)
目標主機虛擬機(WS/GSX/Player/Server,VC2管理的ESX2.5和ESX3)
支持的源操作系統(tǒng)–集中在Windows平臺64位WinXP/2K3、WinNTSP4+、Win2K、WinXP、Win2K32021/5/9產(chǎn)品概覽
支持更多種類的物理主機映像定制功能
比P2VAssistant的手工操作更少提高了轉(zhuǎn)換的可靠性,遷移失敗率更低與VC/ESX之間互操作–可以與VC2.0和ESX3.0配合可以使用免費的StarterEdition了解該產(chǎn)品2021/5/9冷克隆2021/5/9冷克隆用戶使用Converter啟動光盤啟動源主機,然后使用VMwareConverter定義并開始遷移Converter將源主機上面的卷復(fù)制到RAM盤中2021/5/9冷克隆Converter在目標主機上創(chuàng)建一個新的虛擬機Converter將源主機上面的卷拷貝到目標主機上2021/5/9冷克隆Converter安裝虛擬機啟動所必需的操作系統(tǒng)驅(qū)動程序Converter定制虛擬機的個性配置(例如改變IP地址信息等)2021/5/9冷克隆用戶取出啟動光盤,然后重新啟動源主機,恢復(fù)該主機的正常運行
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 科技館物理試題及答案
- 2025年軍隊文職人員招聘之軍隊文職教育學(xué)綜合檢測試卷A卷含答案
- 2025年消防設(shè)施操作員之消防設(shè)備高級技能題庫檢測試卷A卷附答案
- 2022年遼寧省沈陽市生物中考真題(含答案)
- 2022-2023學(xué)年廣東省廣州市海珠區(qū)中山大學(xué)附中七年級(下)期中數(shù)學(xué)試卷(含答案)
- 中小學(xué)教師學(xué)生心理健康教育及案例分析
- 遺產(chǎn)繼承遺囑聲明合同(2篇)
- 2025年法律知識學(xué)習(xí)競賽必考題庫及答案(60題)
- 產(chǎn)品銷售記錄表-網(wǎng)絡(luò)銷售
- 農(nóng)村生態(tài)農(nóng)業(yè)示范區(qū)協(xié)議書
- 2025年中國羊毛絨線市場調(diào)查研究報告
- 肥料登記申請書
- 礦產(chǎn)勘探數(shù)據(jù)分析-深度研究
- 人教版高中英語挖掘文本深度學(xué)習(xí)-選修二-UNIT-4(解析版)
- 2025年北京控股集團有限公司招聘筆試參考題庫含答案解析
- 2024年07月江蘇銀行招考筆試歷年參考題庫附帶答案詳解
- 2025中智集團招聘重要崗位高頻重點提升(共500題)附帶答案詳解
- 2025年人事科年度工作計劃
- 2023-2024學(xué)年高中信息技術(shù)必修一滬科版(2019)第二單元項目三《 調(diào)查中學(xué)生移動學(xué)習(xí)現(xiàn)狀-經(jīng)歷數(shù)據(jù)處理的一般過程》說課稿
- 院感知識手衛(wèi)生培訓(xùn)內(nèi)容
- 產(chǎn)教融合咨詢協(xié)議書
評論
0/150
提交評論