網(wǎng)絡(luò)虛擬化介紹

-.z.接觸網(wǎng)絡(luò)虛擬化純屬偶然。作為研究院微博五毛小分隊的成員，撰出一條微博是每天的任務(wù)。那天無意中抓取了一條新聞：*sigo公司推出了業(yè)界第一個數(shù)據(jù)中心網(wǎng)絡(luò)全虛擬化解決方案。巧的是*sigo公司的方案是基于Infiniband技術(shù)的，而我最近的工程使我對Infiniband略懂，所以就重點關(guān)注了一下。這一關(guān)注不要緊，才發(fā)現(xiàn)里面水很深。不管是傳統(tǒng)IT豪強(qiáng)還是網(wǎng)絡(luò)巨人都對這一領(lǐng)域虎視眈眈，謀篇定局，更有無數(shù)的創(chuàng)業(yè)者們在此展開深耕。抱著對技術(shù)要略懂的心態(tài)，我入水一探終究。這篇博文算是對我這次涉水的總結(jié)，網(wǎng)絡(luò)虛擬化開展到現(xiàn)在牽涉的技術(shù)非常多，每種技術(shù)都可以單獨寫一篇文章來介紹，限于我的精力和知識水平只能給大家做個整體的簡單介紹，缺乏之處還請各位批評指正。如果讀者對*種技術(shù)感興趣可以搜索相關(guān)資料做更詳細(xì)的了解。什么是網(wǎng)絡(luò)虛擬化首先我們需要明確一個問題，什么是網(wǎng)絡(luò)虛擬化，網(wǎng)絡(luò)虛擬化簡單來講是指把邏輯網(wǎng)絡(luò)從底層的物理網(wǎng)絡(luò)別離開來。這個概念產(chǎn)生的比擬久了，VLAN，VPN，VPLS等都可以歸為網(wǎng)絡(luò)虛擬化的技術(shù)。近年來，云計算的浪潮席卷IT界。幾乎所有的IT根底構(gòu)架都在朝著云的方向開展。在云計算的開展中，虛擬化技術(shù)一直是重要的推動因素。作為根底構(gòu)架，效勞器和存儲的虛擬化已經(jīng)開展的有聲有色，而同作為根底構(gòu)架的網(wǎng)絡(luò)卻還是一直沿用老的套路。在這種環(huán)境下，網(wǎng)絡(luò)確實期待一次變革，使之更加符合云計算和互聯(lián)網(wǎng)開展的需求。云計算的大環(huán)境下，網(wǎng)絡(luò)虛擬化的定義沒有變，但是其包含的容卻大大增加了。云計算環(huán)境下的網(wǎng)絡(luò)虛擬化需要解決端到端的問題，筆者將其歸納為三個局部：〔一〕第一局部是效勞器部。隨著越來越多的效勞器被虛擬化，網(wǎng)絡(luò)已經(jīng)延伸到Hypervisor部，網(wǎng)絡(luò)通信的端已經(jīng)從以前的效勞器變成了運(yùn)行在效勞器中的虛擬機(jī)，數(shù)據(jù)包從虛擬機(jī)的虛擬網(wǎng)卡流出，通過Hypervisor部的虛擬交換機(jī)，在經(jīng)過效勞器的物理網(wǎng)卡流出到上聯(lián)交換機(jī)。在整個過程中，虛擬交換機(jī)，網(wǎng)卡的I/O問題以及虛擬機(jī)的網(wǎng)絡(luò)接入都是研究的重點。〔二〕第二局部是效勞器到網(wǎng)絡(luò)的連接。10Gb以太網(wǎng)和Infiniband等技術(shù)的開展使一根連接線上承載的帶寬越來越高。為了簡化，通過一種連接技術(shù)聚合互聯(lián)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)成為了一個趨勢。〔三〕第三局部是網(wǎng)絡(luò)交換，需要將物理網(wǎng)絡(luò)和邏輯網(wǎng)絡(luò)有效的別離，滿足云計算多租戶，按需效勞的特性，同時具有高度的擴(kuò)展性。下面我就圍繞這三個方面來講述網(wǎng)絡(luò)虛擬化中的一些主要技術(shù)和標(biāo)準(zhǔn)。效勞器部I/O虛擬化多個虛擬機(jī)共享效勞器中的物理網(wǎng)卡，需要一種機(jī)制既能保證I/O的效率，又要保證多個虛擬機(jī)對用物理網(wǎng)卡共享使用。I/O虛擬化的出現(xiàn)就是為了解決這類問題。I/O虛擬化包括了從CPU到設(shè)備的一攬子解決方案。從CPU的角度看，要解決虛擬機(jī)訪問物理網(wǎng)卡等I/O設(shè)備的性能問題，能做的就是直接支持虛擬機(jī)存到物理網(wǎng)卡的DMA操作。Intel的VT-d技術(shù)及AMD的IOMMU技術(shù)通過DMARemapping機(jī)制來解決這個問題。DMARemapping機(jī)制主要解決了兩個問題，一方面為每個VM創(chuàng)立了一個DMA保護(hù)域并實現(xiàn)了平安的隔離，另一方面提供一種機(jī)制是將虛擬機(jī)的GuestPhysicalAddress翻譯為物理機(jī)的HostPhysicalAddress。從虛擬機(jī)對網(wǎng)卡等設(shè)備訪問角度看，傳統(tǒng)虛擬化的方案是虛擬機(jī)通過Hypervisor來共享的訪問一個物理網(wǎng)卡，Hypervisor需要處理多虛擬機(jī)對設(shè)備的并發(fā)訪問和隔離等。這樣Hypervisor容易行成一個性能瓶頸。為了提高性能，一種做法是虛擬機(jī)繞過Hypervisor直接操作物理網(wǎng)卡，這種做法通常稱作PCIpassthrough，VMware，*en和KVM都支持這種技術(shù)。但這種做法的問題是虛擬機(jī)通常需要獨占一個PCI插槽，不是一個完整的解決方案，本錢較高且擴(kuò)展性缺乏。另一種做法是設(shè)備如網(wǎng)卡直接對上層操作系統(tǒng)或Hypervisor提供虛擬化的功能，一個以太網(wǎng)卡可以對上層軟件提供多個獨立的虛擬的PCIe設(shè)備并提供虛擬通道來實現(xiàn)并發(fā)的訪問。這種方法也是業(yè)界主流的做法和開展方向，目前已經(jīng)形成了標(biāo)準(zhǔn)，主要包括SR-IOV(SingleRootIOVirtualization)和MR-IOV(Multi-RootIOVirtualization)。這方面的技術(shù)在網(wǎng)上已有很好的文章來做介紹，推薦想進(jìn)一步了解的同學(xué)讀一讀：t./aK72*S虛擬接入在傳統(tǒng)的效勞器虛擬化方案中，從虛擬機(jī)的虛擬網(wǎng)卡發(fā)出的數(shù)據(jù)包在經(jīng)過效勞器的物理網(wǎng)卡傳送到外部網(wǎng)絡(luò)的上聯(lián)交換機(jī)后，虛擬機(jī)的標(biāo)識信息被屏蔽掉了，上聯(lián)交換機(jī)只能感知從*個效勞器的物理網(wǎng)卡流出的所有流量而無法感知效勞器*個虛擬機(jī)的流量，這樣就不能從傳統(tǒng)網(wǎng)絡(luò)設(shè)備層面來保證QoS和平安隔離。虛擬接入要解決的問題是要把虛擬機(jī)的網(wǎng)絡(luò)流量納入傳統(tǒng)網(wǎng)絡(luò)交換設(shè)備的管理之中，需要對虛擬機(jī)的流量做標(biāo)識。在解決虛擬接入的問題時，思科和惠普分別提出了自己的解決方案。思科的是VN-Tag,惠普的方案是VEPA(VirtualEthernetPortAggregator)。為了制定下一代網(wǎng)絡(luò)接入的話語權(quán)，思科和惠普這兩個巨頭在各自的方案上都毫不讓步，紛紛將自己的方案提交為標(biāo)準(zhǔn)，分別為802.1Qbh和802.1Qbg。關(guān)于虛擬接入也有一篇很好的文章來介紹，想深入了解的可以看看：t./hGWnOQ網(wǎng)絡(luò)連接網(wǎng)絡(luò)連接技術(shù)一直都在追求更高的帶寬中開展。比方Infiniband和10Gb以太網(wǎng)。在傳統(tǒng)的企業(yè)級數(shù)據(jù)中心IT構(gòu)架中，效勞器到存儲網(wǎng)絡(luò)和互聯(lián)網(wǎng)絡(luò)的連接是異構(gòu)和分開的。存儲網(wǎng)絡(luò)用光纖，互聯(lián)網(wǎng)用以太網(wǎng)線〔ISCSI雖然能夠在IP層上跑SCSI，但是性能與光纖比還是差的很遠(yuǎn)〕。數(shù)據(jù)中心連接技術(shù)的開展趨勢是用一種連接線將數(shù)據(jù)中心存儲網(wǎng)絡(luò)和互聯(lián)網(wǎng)絡(luò)聚合起來，使效勞器可以靈活的配置網(wǎng)絡(luò)端口，簡化IT部署。以太網(wǎng)上的FCOE技術(shù)和Infiniband技術(shù)本身都使這種趨勢成為可能。InfinibandInfiniband技術(shù)產(chǎn)生于上個世紀(jì)末，是由paq、惠普、IBM、戴爾、英特爾、微軟和Sun七家公司共同研究開展的高速先進(jìn)的I/O標(biāo)準(zhǔn)。最初的命名為SystemI/O，1999年10月，正式改名為InfiniBand。InfiniBand是一種長纜線的連接方式，具有高速、低延遲的傳輸特性。基于InfiniBand技術(shù)的網(wǎng)卡的單端口帶寬可達(dá)20Gbps,最初主要用在高性能計算系統(tǒng)中，近年來隨著設(shè)備本錢的下降，Infiniband也逐漸被用到企業(yè)數(shù)據(jù)中心。為了發(fā)揮Infiniband設(shè)備的性能，需要一整套的軟件棧來驅(qū)動和使用，這其中最著名的就是OFED(OpenFabricsEnterpriseDistribution),它基于Infiniband設(shè)備實現(xiàn)了RDMA(remotedirectmemoryaccess).RDMA的最主要的特點就是零拷貝和旁路操作系統(tǒng)，數(shù)據(jù)直接在設(shè)備和應(yīng)用程序存之間傳遞，這種傳遞不需要CPU的干預(yù)和上下文切換。OFED還實現(xiàn)了一系列的其它軟件棧：IPoIB(IPoverInfiniband),SRP(SCSIRDMAProtocol)等，這就為Infiniband聚合存儲網(wǎng)絡(luò)和互聯(lián)網(wǎng)絡(luò)提供了根底。OFED由OpenFabrics聯(lián)盟負(fù)責(zé)開發(fā)。OpenFabrics最初叫做OpenIB,從2006年開場OpenIB在Infiniband之外也開場支持以太網(wǎng)，業(yè)務(wù)做的大了名字也從OpenIB改為OpenFabrics。OFED現(xiàn)已經(jīng)被主流的Linu*發(fā)行版本支持，并被整合到微軟的windowsserver中。圖1OFED軟件棧FCOE就在大家認(rèn)為Infiniband就是數(shù)據(jù)中心連接技術(shù)的未來時，10Gb以太網(wǎng)的出現(xiàn)讓人看到了其它選擇，以太網(wǎng)的開展好似從來未有上限，目前它的性能已經(jīng)接近Infiniband〔詳見.cisco./en/US/prod/collateral/ps10265/le_32804_pb_hpc10ge.pdf〕,而從現(xiàn)有網(wǎng)絡(luò)逐漸升級到10Gb以太網(wǎng)也更易為用戶所承受。FCOE的出現(xiàn)則為數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)的聚合提供了另一種可能。FCOE是將光纖信道直接映射到以太網(wǎng)線上，這樣光纖信道就成了以太網(wǎng)線上除了互聯(lián)網(wǎng)網(wǎng)絡(luò)協(xié)議之外的另一種網(wǎng)絡(luò)協(xié)議。FCOE能夠很容易的和傳統(tǒng)光纖網(wǎng)絡(luò)上運(yùn)行的軟件和管理工具相整合，因而能夠代替光纖連接存儲網(wǎng)絡(luò)。雖然出現(xiàn)的晚，但FCOE開展極其迅猛。與Infiniband技術(shù)需要采用全新的鏈路相比,企業(yè)IT們更愿意升級已有的以太網(wǎng)。在兩者性能接近的情況下，采用FCOE方案似乎性價比更高。網(wǎng)絡(luò)交換在這一層面上要解決的問題則是要對現(xiàn)有的互聯(lián)網(wǎng)絡(luò)進(jìn)展升級，使之滿足新業(yè)務(wù)的需求，網(wǎng)絡(luò)虛擬化則是這一變革的重要方向。在這一方向上目前有兩種做法，一種是在原有的根底設(shè)施上添加新的協(xié)議來解決新的問題；另一種則完全推倒重來，希望設(shè)計出一種新的網(wǎng)絡(luò)交換模型。當(dāng)虛擬數(shù)據(jù)中心開場普及后，虛擬數(shù)據(jù)中心本身的一些特性帶來對網(wǎng)絡(luò)新的需求。物理機(jī)的位置一般是相對固定的，虛擬化方案的一個很大的特性在于虛擬機(jī)可以遷移。當(dāng)虛擬機(jī)的遷移發(fā)生在不同網(wǎng)絡(luò)，不同數(shù)據(jù)中心之間時，對網(wǎng)絡(luò)產(chǎn)生了新的要求，比方需要保證虛擬機(jī)的IP在遷移前后不發(fā)生改變，需要保證虛擬機(jī)運(yùn)行在第二層〔鏈路層〕的應(yīng)用程序也在遷移后仍可以跨越網(wǎng)絡(luò)和數(shù)據(jù)中心進(jìn)展通信等等。在這方面，Cisco連續(xù)推出了OTV，LISP和V*LAN等一系列解決方案。OTVOTV的全稱叫做OverlayTransportVirtualization。通過擴(kuò)展鏈路層網(wǎng)絡(luò)，它可以使局域網(wǎng)跨越數(shù)據(jù)中心。很多應(yīng)用需要使用播送和本地鏈路多播。通過擴(kuò)展鏈路層網(wǎng)絡(luò)，OTV技術(shù)能夠跨地域的處理播送流和多播，這使得這些應(yīng)用所在的虛擬機(jī)在數(shù)據(jù)中心之間遷移后仍然能夠正常工作。OTV擴(kuò)展了鏈路層網(wǎng)絡(luò)實際上也擴(kuò)展了其相關(guān)的IP子網(wǎng)，需要IP路由同樣的做改變，這就引出了新的問題，這個問題就由LISP來解決了。LISPLISP的全稱是Locator/IDSeparationProtocol。傳統(tǒng)的網(wǎng)絡(luò)地址IP蘊(yùn)含了兩個含義，一個是你是誰〔ID〕，另一個是你在哪里〔Locator〕。這樣帶來的一個問題就是如果你的位置變了〔Locator變了〕，IP必須跟著變化。LISP的目標(biāo)是將ID和Locator分開，再通過維護(hù)一個映射系統(tǒng)將兩者關(guān)聯(lián)。這樣虛擬機(jī)和效勞器在網(wǎng)絡(luò)不同位置進(jìn)展遷移時可以保持一樣的IP地址。圖2OTV和LISP的應(yīng)用V*LANV*LAN的目的是在云計算環(huán)境中創(chuàng)立更多的邏輯網(wǎng)絡(luò)。在云計算的多租戶環(huán)境中，租戶都需要一個邏輯網(wǎng)絡(luò)，并且與其它邏輯網(wǎng)絡(luò)能夠進(jìn)展很好的隔離。在傳統(tǒng)網(wǎng)絡(luò)中，邏輯網(wǎng)絡(luò)的隔離是通過VLAN技術(shù)來解決的。不幸的是在IEEE802.1Q標(biāo)準(zhǔn)中，VLAN的標(biāo)識號只有12位，這就限制了在一定圍虛擬網(wǎng)絡(luò)最多只能擴(kuò)展到4K個VLANs。為了解決這個問題，思科聯(lián)合VMware在今年推出了V*LAN技術(shù)，通過MACinUserDatagramProtocol(MAC-in-UDP)封裝技術(shù)，參加了一個24位的段標(biāo)識符。用UDP的多播代替播送，將數(shù)據(jù)包限定在目標(biāo)網(wǎng)段。V*LAN技術(shù)極大的擴(kuò)大了云計算環(huán)境中所能支持的邏輯網(wǎng)絡(luò)的數(shù)量，同時通過邏輯段可以將邏輯網(wǎng)絡(luò)擴(kuò)展到不同的子網(wǎng)，使虛擬機(jī)能夠在不同的子網(wǎng)間做遷移。圖3V*LAN幀格式圖4通過V*LAN來擴(kuò)展網(wǎng)絡(luò)NVGRE對于云計算環(huán)境中的下一代網(wǎng)絡(luò)，各大IT廠商們都不想隨便就丟掉話語權(quán)，就在Cisco推出V*LAN不久，Microsoft就聯(lián)合Intel,HP&Dell提出了NVGRE標(biāo)準(zhǔn)。NVGRE的全稱是NetworkVirtualizationusingGenericRoutingEncapsulation。它和V*LAN解決一樣的問題，只是用了稍微不同的方式，使用GRE(GenericRoutingEncapsulation)key的低24位作為網(wǎng)絡(luò)租戶的標(biāo)識符。前面我們講的都是在原有的根底設(shè)施上添加新的協(xié)議來解決新出現(xiàn)的問題,而近年來SoftwareDefinedNetworking(SDN)的興起則期待從根本上改變目前的網(wǎng)絡(luò)交換模式。SDN中最著名的就是OpenFlow。OpenFlow0penFlow論壇起源于斯坦福大學(xué)的“Cleanslate〞方案，開場主要是為了設(shè)計一種新的互聯(lián)網(wǎng)實驗環(huán)境。在目前的實驗網(wǎng)上沒有實際足夠多的用戶或者足夠大的網(wǎng)絡(luò)拓?fù)鋪頊y試新協(xié)議的性能和功能，最好的方法是將運(yùn)行新協(xié)議的實驗網(wǎng)絡(luò)嵌入實際運(yùn)營的網(wǎng)絡(luò)，利用實際的網(wǎng)絡(luò)環(huán)境來檢驗新協(xié)議的可行性和存在的問題。OpenFlow的切入點是目前已有的互聯(lián)網(wǎng)上的交換設(shè)備。無論是交換機(jī)還是路由器，最核心的信息都保存在flowtable里面，這些flowtable用來實現(xiàn)諸如轉(zhuǎn)發(fā)、統(tǒng)計、過濾等各種功能。雖然不同生產(chǎn)廠家有不同格式的flowtable，但可以抽取出絕大多數(shù)switch和router都有的一些通用的功能。OpenFlow試圖提出一種通用的flowtable設(shè)計，能被所有廠家的設(shè)備所支持。通過控制flowtable能夠?qū)崿F(xiàn)網(wǎng)絡(luò)流量的分區(qū)，將網(wǎng)絡(luò)流量劃分為不同的數(shù)據(jù)流，這些數(shù)據(jù)流能被歸于不同的組且相互隔離，能夠按照需要來處理和控制。更重要的是flowtable支持遠(yuǎn)程的訪問和控制。OpenFlow的flowtable中每一個entry支持3個局部：規(guī)則，操作與狀態(tài)。規(guī)則是用來定義flow；操作就是轉(zhuǎn)發(fā)、丟棄等行為；狀態(tài)局部則是主要用來做流量的統(tǒng)計。有了OpenFLow,我們可以在正常運(yùn)行的網(wǎng)絡(luò)中自己定義一些特殊的規(guī)則，通過定義不同的flowentry讓符合規(guī)則的流量按照我們的需求走任意的路徑，可以到達(dá)把物理網(wǎng)絡(luò)切