云網(wǎng)融合的多云網(wǎng)絡(luò)架構(gòu)

1、 云網(wǎng)融合的多云網(wǎng)絡(luò)架構(gòu)目 錄 TOC o 1-3 h z u HYPERLINK l _Toc530829674 1.多云網(wǎng)絡(luò)，是未來標(biāo)配 PAGEREF _Toc530829674 h 3 HYPERLINK l _Toc530829675 2.云網(wǎng)絡(luò)的架構(gòu) PAGEREF _Toc530829675 h 6 HYPERLINK l _Toc530829676 3.多云網(wǎng)絡(luò)Multi-Cloud PAGEREF _Toc530829676 h 17 HYPERLINK l _Toc530829677 4.總結(jié) PAGEREF _Toc530829677 h 25多云網(wǎng)絡(luò)，是未來標(biāo)配隨著云計(jì)

2、算的發(fā)展，越來越多的企業(yè)應(yīng)用會上云，對于企業(yè)中不同的云業(yè)務(wù)開發(fā)者和云業(yè)務(wù)消費(fèi)者。如何構(gòu)建混合云，實(shí)現(xiàn)多云網(wǎng)絡(luò)，構(gòu)建統(tǒng)一的連通性，統(tǒng)一安全策略，統(tǒng)一管控平臺，這是一個(gè)非常火熱的話題。鑒于運(yùn)營商網(wǎng)絡(luò)Telco Cloud極度分布的微小數(shù)據(jù)中心（Mini/Micro DC），而且主要應(yīng)用是處理客戶流量（vLB/vDPI/vPEC/） 而不是類似OTT提供內(nèi)容（Content），運(yùn)營商Telco Cloud更需要深入考慮如何實(shí)現(xiàn)多云/混合云的策略。本文介紹如何管理私有云數(shù)據(jù)中心，構(gòu)建數(shù)據(jù)中心互聯(lián)和混合云解決方案。對于OTT網(wǎng)絡(luò)架構(gòu)的深入理解，基本上來源于SIGCOM的白皮書和一些公開視頻。首先很多企業(yè)

3、業(yè)務(wù)都要上云，但是很多敏感數(shù)據(jù)企業(yè)可能需要保留在私有云（企業(yè)數(shù)據(jù)中心）里，或者是租用公有云服務(wù)器（IaaS）資源。隨著機(jī)器學(xué)習(xí)和AI的發(fā)展，越來越多的企業(yè)開發(fā)者需要利用公有云資源提升算法/數(shù)據(jù)庫創(chuàng)新能力（PaaS）。對于普通的企業(yè)用戶，會越來越多的采用云化的服務(wù)比如微軟Office，WorkDay，SAP等企業(yè)應(yīng)用（SaaS）。可以看出，企業(yè)IT人員面臨要整合私有云，數(shù)據(jù)中心Fabric，數(shù)據(jù)中心互聯(lián)，混合云連接（阿里/AWS等）。急需要統(tǒng)一工具來提供連通性，保證安全策略部署在網(wǎng)絡(luò)的任意部分，統(tǒng)一的管理控制平臺。為什么需要混合云？我們以谷歌云為例，最早云計(jì)算提供最簡單的虛擬機(jī)和存儲服務(wù)。客戶需

4、要維護(hù)自己的數(shù)據(jù)庫和創(chuàng)建自己的算法代碼。最新的云計(jì)算公司提供更完整服務(wù)，開放最新的數(shù)據(jù)庫技術(shù)，提供人工智能機(jī)器學(xué)習(xí)算法(AI/ML)，并且提供的完整的數(shù)據(jù)處理架構(gòu)。舉一個(gè)簡單的例子，最近參加谷歌新加坡Google云研討會，他們介紹如果從頭開始一個(gè)類似滴滴的Beta項(xiàng)目， 對某個(gè)城市例如北京，實(shí)時(shí)檢測司機(jī)在地圖上的具體地點(diǎn)，乘客的路徑規(guī)劃要求需要匹配最優(yōu)的司機(jī)。而且需要很多前臺/后臺工作，包括架設(shè)很多服務(wù)器處理海量請求等等。大家可以想像，如果從頭開發(fā)，需要多少人來做一個(gè)類似的APP？正常情況下大概需要30-50工程師，至少需要6-12個(gè)月開發(fā)。在谷歌云上已經(jīng)提供包括地圖映射，路徑規(guī)劃算法和信息流

5、處理，并且很容易scale out處理海量請求。利用這種成熟的Cloud開發(fā)環(huán)境，一個(gè)有經(jīng)驗(yàn)的工程師，二十分鐘左右可以做一個(gè)類似滴滴雛形的后臺系統(tǒng)?？梢钥吹皆絹碓蕉嗟闹行∑髽I(yè)不光采用云服務(wù)來獲得便宜的計(jì)算和存儲資源，越來越多的企業(yè)采用混合云來利用云公司的先進(jìn)技術(shù)，數(shù)據(jù)庫，人工智能算法，大規(guī)模消息處理等等來加速創(chuàng)新。云服務(wù)成為創(chuàng)新的催化劑，并且極大提高和簡化技術(shù)易用性，使得中小企業(yè)不需要高端算法工程師，也能很快地推出很酷的主意，解決客戶痛點(diǎn)。云網(wǎng)絡(luò)的架構(gòu)如何構(gòu)建云網(wǎng)絡(luò)？云網(wǎng)絡(luò)由兩部分構(gòu)成。物理underlay網(wǎng)絡(luò)，傳統(tǒng)的路由器，交換機(jī)和安全設(shè)備提供底層聯(lián)通。虛擬化的Overlay VPC網(wǎng)絡(luò)，是

6、在云（公有/私有）上為用戶建立一塊邏輯隔離的虛擬網(wǎng)絡(luò)空間。什么是VPCVPC不是傳統(tǒng)的MPLS VPN網(wǎng)絡(luò)，更類似Linux的Name Space。在VPC內(nèi)，有多個(gè)可用域（Aviable Zone）。用戶可以自由定義網(wǎng)段劃分、IP地址和路由策略，可提供網(wǎng)絡(luò)ACL及安全組的訪問控制。一般提供一個(gè)Internet GW，做NAT/LB和VXLAN routing。還會提供一個(gè)VPC GW，提供IPsec接入VPC互聯(lián)和企業(yè)遠(yuǎn)程上云（Cloud Onboarding）業(yè)務(wù)。下圖以AWS為例，其他云公司提供類似業(yè)務(wù)（實(shí)現(xiàn)細(xì)節(jié)有所不同）。云計(jì)算需要在大規(guī)模服務(wù)器物理環(huán)境上支持成千上萬的客戶。最早很多公

7、司采用VLAN進(jìn)行客戶隔離。但是VLAN ID字段只有12 bit，限制網(wǎng)絡(luò)規(guī)模最多支持4K 租戶Tenants，這對于海量租戶而言肯定是不夠的。就不得不把多個(gè)客戶放到同一個(gè)VLAN下面，無法實(shí)現(xiàn)真正的客戶信息/流量的隔離?，F(xiàn)代的VPC一般都是基于VXLAN或類似技術(shù)實(shí)現(xiàn)的， VXLAN的VNI被擴(kuò)展成24bit，能夠支持1600萬個(gè)VPC區(qū)域，足夠支持云計(jì)算海量客戶增長。VXLAN是一種通用的Overlay封裝技術(shù)。將原始MAC/L3報(bào)文封裝成UDP包，可以很方便的跨越三層網(wǎng)絡(luò)傳輸二、三層內(nèi)容。能夠讓用戶構(gòu)建的分布在不同物理服務(wù)器Server/不同數(shù)據(jù)中心的VPC里面的客戶IP/MAC數(shù)據(jù)被

8、封裝進(jìn)Server可尋址的IP地址，進(jìn)而提供Scale Out云計(jì)算解決方案。軟件定義Overlay網(wǎng)絡(luò)很容易快速迭代新的算法，給云計(jì)算帶來了越來越多的網(wǎng)絡(luò)創(chuàng)新。VPCSDN控制器對于云計(jì)算來說，網(wǎng)絡(luò)中有成百上萬級別的主機(jī)VM，Containers，Serverless服務(wù)。每個(gè)終端都需要相應(yīng)的IP地址，策略組，負(fù)載均衡，Anti-DDoS, VPN隔離等。以Google 為例，為維護(hù)全球網(wǎng)絡(luò)，SDN控制器需要在左右很短時(shí)間內(nèi)即180ms左右，在全球DC網(wǎng)絡(luò)部署10萬級別VM。Google采用Divide and Conquer方式在全球部署多個(gè)區(qū)域region的Fabric Manager來

9、管理Jupiter數(shù)據(jù)中心TOR/Spine交換機(jī)。同時(shí)每個(gè)region采用多個(gè)仙女座（Andromeda）控制器來進(jìn)行網(wǎng)絡(luò)虛擬化，管理虛擬機(jī)VM和容器。通過Openflow Front Endpoint（OFE）來下發(fā)轉(zhuǎn)發(fā)流表。VM之間缺省流量會經(jīng)過Hoverboard（跳板），同時(shí)對于大象流（Elephant Flow），Andromeda提供bypass offload卸載創(chuàng)建VM-VM的直連tunnel。在數(shù)據(jù)中心的每一個(gè)Server上創(chuàng)建一個(gè)虛擬的Andromeda轉(zhuǎn)發(fā)面，通過IPinIP來構(gòu)造Overlay網(wǎng)絡(luò)，虛擬多個(gè)不同的VPN，把VM/Containers映射到不同的虛擬網(wǎng)絡(luò)

10、。 每個(gè)轉(zhuǎn)發(fā)Forwarder可以提供Load balance/DDos/ACL/VPN能力。業(yè)界其他云公司，例如AWS/Azure都提供類似功能。AWS物理機(jī)之間通過IPinIP封裝在VPC頭里面，提供L2/L3跨越數(shù)據(jù)中心/Region的服務(wù)器虛擬化。并且采用Blackfoot作為VPC和外界通訊的VPC網(wǎng)關(guān)。開源Contrail SDN控制器實(shí)現(xiàn)跟Google 仙女座（Andromeda） 同樣的功能。Contrail基本設(shè)計(jì)思想是：每個(gè)數(shù)據(jù)中心服務(wù)器虛擬化出來一個(gè)vRouter, 通過vRouter來實(shí)現(xiàn)類似EVPN/L3VPN功能。多個(gè)VM/Container會連接到這個(gè)vRoute

11、r的不同的Tenent VRF。同時(shí)vRouter之間采用GRE/UDP/VXLAN做外層隧道, 采用內(nèi)層標(biāo)簽來標(biāo)識不同的VRF。 vRouter相當(dāng)于傳統(tǒng)L3VPN和EVPN的一個(gè)vPE功能。vPE用戶側(cè)不再接入CE設(shè)備，而是為VM/Container提供連接性。通過Orchestrator在Server上部署一個(gè)VM或者容器：1、首先給VM/Container POD分配IP地址，DNS等等信息。在vRouter上創(chuàng)建VRF/EVI，RT/RD等信息，上送回傳到Contrail控制器。vRouter之間不需要協(xié)議通訊，vRouter僅僅跟Contrail控制器進(jìn)行控制平面的通信。2、生成L

12、3VPN/EVPN轉(zhuǎn)發(fā)表， 控制器知道現(xiàn)存的多個(gè)vRouter可能要跟新創(chuàng)建的vRouter共享相同的VRF/EVI，并且需要互相通訊，就通過XMPP來下發(fā)轉(zhuǎn)發(fā)表信息（BGP NLRI內(nèi)嵌到XMPP消息里）到另一臺服務(wù)器上的vRouter。vRouter之間僅僅建立轉(zhuǎn)發(fā)平面的動態(tài)隧道。這樣Server之間的VM/Containers就可以通訊了。3、控制器通過BGP/Netconf來通知GW Router來自動發(fā)布VM/Container的 IP prefix.這樣Openstack/vCenter創(chuàng)建的VM/Container就可以被外界來使用了。簡單的來講，如果客戶有一萬臺服務(wù)器，部署了C

13、ontrail之后：1、Contrail控制器相當(dāng)于傳統(tǒng)的路由器控制平面，承擔(dān)計(jì)算Overlay拓?fù)?，?shù)據(jù)通道Tunnel建立等工作。相當(dāng)于傳統(tǒng)VPN的RR。2、數(shù)據(jù)中心的Leaf/Spine交換機(jī)提供IP Clos無阻塞交換，相當(dāng)于一個(gè)虛擬的交換矩陣，為控制器和vRouter之間提供背板交換。3、vRouter/vSwitch跟Controller建立控制關(guān)系，vRouter之間建立數(shù)據(jù)tunnel。每個(gè)vRouter相當(dāng)于傳統(tǒng)路由器的一個(gè)板卡。4、部署Contrail SDN控制器之后，數(shù)據(jù)中心服務(wù)器里的很多vRouter一起組成了巨大的虛擬路由器系統(tǒng)(Network as a Route

14、r)。為數(shù)以萬計(jì)的虛擬機(jī)/容器提供多租戶隔離的VPN網(wǎng)絡(luò)連通。VPCFabric控制器對于MSDC（大規(guī)模數(shù)據(jù)中心），不僅僅需要SDN控制器去管理vRouter，也需要全套工具管理路由器交換機(jī)，構(gòu)造DC Fabric和DCI（數(shù)據(jù)中心互聯(lián)）Fabric。對于Cloud/DC/DCI fabric，針對不同拓?fù)洌≒2P/CLOS/HUB&Spoke）和不同設(shè)備（vRouter/Switch/Router）。需要采用不同技術(shù)來實(shí)現(xiàn)Fabric自動部署和監(jiān)控。關(guān)于DC fabric Day1自動化配置部署，大部分廠家采用非常流行的Ansible來部署EVPN/VXLAN. 如下圖所示，最后產(chǎn)生針對不

15、同設(shè)備的配置Conf。首先要定義角色（Role），組（group），主機(jī)（host），拓?fù)洌╰opo），等Yaml文件，然后采用Playbook去自動產(chǎn)生配置，并下發(fā)到每個(gè)Leaf/Spine交換機(jī)。Contrail Fabric Management（CFM）對Ansible也提供統(tǒng)一的GUI來進(jìn)行自動化配置。解決了配置的基本問題，同時(shí)CFM還可以支持。完整的ZTP/ZTR（自動配置），軟件升級，拓?fù)浒l(fā)現(xiàn)，并且自動配置收集Telemetry遙測信息進(jìn)行網(wǎng)絡(luò)故障診斷。對于數(shù)據(jù)中心互聯(lián)DCI（Data Center Interconnect），CFM也采用類似的配置管理方式。配置對象變?yōu)镚W r

16、outer，配置技術(shù)以MPLS/VPN和IP/Optical為主。多云網(wǎng)絡(luò)Multi-CloudVPC網(wǎng)關(guān)GW以AWS VPC網(wǎng)絡(luò)為例，一般會有一個(gè)IGW（Internet GW）提供缺省路由NAT/LB等功能。還會提供一個(gè)VGW來提供IPSec互聯(lián)。比如AWS的BlackFoot提供VGW IPsec功能，還能做Direct Connect（Colo數(shù)據(jù)中心互聯(lián)）并且支持AWS 報(bào)文頭（IPinIP）連接VPC網(wǎng)絡(luò)。企業(yè)接入VPC網(wǎng)絡(luò)可以有以下幾種方式：1、Direct Connect，通過在IXP/Colo數(shù)據(jù)中心，通過一對兒云路由器和企業(yè)路由器上的VLAN接口，連接云和企業(yè)，并且支持BG

17、P路由分發(fā)。可以提供高達(dá)80Gbps的大帶寬接入。一些云公司還提供通過運(yùn)營商/IXP的MPLS VPN網(wǎng)絡(luò)接入云。2、Private Link，滿足多個(gè)VPC互訪要求，企業(yè)可以在VPC上注冊一個(gè)私有鏈路（Private Link），在VPC上提供Elastic Network Interfaces（ENI），其他VPC可以通過白名單方式訪問企業(yè)VPC資源。3、IPsec VPN, 一般通過IPsec連接到Cloud的VGW上。云提供客戶CPE的配置模版。但并不管理客戶的CPE設(shè)備。提供大概1Gbps的接入帶寬。4、SDWAN接入，近期很多云公司提供一個(gè)CPE小盒子。提供自動化部署，幫助企業(yè)更好

18、的上云（Cloud Onboarding）。VPC對等互聯(lián)企業(yè)客戶上云，業(yè)務(wù)需要一定程度的隔離。比如需要為研發(fā)，測試，運(yùn)維團(tuán)隊(duì)申請多個(gè)VPC，進(jìn)行有效的灰度發(fā)布和快速迭代。也可能先在北京上海VPC部署，隨著業(yè)務(wù)增長，逐漸增加海外節(jié)點(diǎn)等VPC。這就需要實(shí)現(xiàn)VPC在同一/不同region的互聯(lián)。VPC互聯(lián)，一般有兩種方式，IGW互聯(lián)和VGW互聯(lián)。下面介紹一下技術(shù)方案的優(yōu)缺點(diǎn)。 VPC Peering內(nèi)部互聯(lián)VPC-A內(nèi)部采用VXLAN200，VPC-B采用VXLAN300隔離。每個(gè)VPC都通過自己的IGW來訪問Internet，分別有自己的路由表。對于兩個(gè)VPC Peering（互聯(lián)）需要IP地址

19、不要重疊。在VPC-A上創(chuàng)建一個(gè)VXLAN VTEP tunnel到對端VPC-B。同時(shí)把Prefix B指向VPC-B的VXLAN tunnel。VPC-B收到VXLAN 100的報(bào)文，會經(jīng)過VXLAN Routing路由查表，找到相應(yīng)的VPC-B里面的Host，封裝轉(zhuǎn)換成VXLAN-200發(fā)送給相應(yīng)的VM /容器。具體實(shí)現(xiàn)方式可以有Symmetric/Asymmetric兩種方式。Symmetric需要兩個(gè)VPC翻譯本地VXLAN到第三個(gè)VXLAN VNI，帶來管理和配置的復(fù)雜問題。一般采用Asymmetric方式，由VPC做本地和遠(yuǎn)端VXLAN的routing/翻譯。通過VPC peer

20、ing（IGW互聯(lián)）客戶可以跨越多個(gè)區(qū)域部署多個(gè)不同的VPC。比如可以把Asia Pacific (Singapore)和US West (Northern California)的VPC，內(nèi)部打通。VGW Internet互聯(lián)VPC peering互聯(lián)方式，利用云公司內(nèi)部網(wǎng)絡(luò)，在網(wǎng)絡(luò)傳輸上不需要加密，性能比較好。一些客戶需要通過internet連入云，或者需要在不同VPC之間部署復(fù)雜的訪問策略。比如Extranet/Transit VPC方式。在VGW上一般可以采用IPSec接入VPC。還可以通過BGP over IPsec提供動態(tài)路由分發(fā)。SDWAN接入VPC對于企業(yè)網(wǎng)接入Cloud，最早

21、云管理到PoP點(diǎn)。企業(yè)需要自帶設(shè)備在IXP/SP互聯(lián)節(jié)點(diǎn)接入VPC。最近多家云公司紛紛推出SDWAN接入方式，極大的方便了中小企業(yè)上云。網(wǎng)上下單，云公司快遞發(fā)送小盒子去分支機(jī)構(gòu)或者企業(yè)總部。加電，掃碼，上網(wǎng)，自動注冊，自動下載配置到小盒子。提供統(tǒng)一的云管平臺管理VPC和SDWAN CPE設(shè)備。提供本地流量的分流，訪問VPC，訪問Office365和視頻流量走不同的路徑。2018年7月，微軟宣布開始最新的Virtual WAN(SDWAN)解決方案試運(yùn)行。企業(yè)用戶可以通過SDWAN（CPE）設(shè)備接入微軟的不同VPC region，訪問VPC里的各種資源，極大的加速了分公司/個(gè)人基于云產(chǎn)品的Dev

22、Ops。同時(shí)還提供客戶基于微軟全球骨干網(wǎng)構(gòu)造精品企業(yè)網(wǎng)，提供Internet無法達(dá)到的跨越多個(gè)運(yùn)營商SP的SLA，可以基于微軟全球骨干網(wǎng)構(gòu)建精品視頻會議網(wǎng)，支持各種高帶寬低時(shí)延的新型業(yè)務(wù)。從上面的微軟Virtual WAN控制臺可見?？蛻艨梢宰孕袆?chuàng)建新的SDWAN Site，上線新的SDWAN CPE盒子。管理Site/Hub（微軟POP點(diǎn)）之間的VPN連接，提供自動化CPE配置腳本。還能夠配置統(tǒng)一接入策略和監(jiān)控網(wǎng)絡(luò)運(yùn)行情況。Multi-Cloud/IaaS企業(yè)現(xiàn)有的數(shù)據(jù)中心和分支機(jī)構(gòu)要接入云，還要維護(hù)相同的策略控制和安全接入，同時(shí)要實(shí)現(xiàn)虛擬機(jī)/容器在私有數(shù)據(jù)中心和公有云之間的雙向流動。需要S

23、DN控制器來管理私有云，同時(shí)能自動創(chuàng)建VPC。并且在VPC里面用Contrail vRouter去替換VGW功能，實(shí)現(xiàn)全網(wǎng)的連通性。由于VGW由私有數(shù)據(jù)中心SDN控制器創(chuàng)建，所以可以保持一致的策略和訪問控制。一些Startup創(chuàng)業(yè)公司和開源組織提供多云的管理。比如Terraform/Istio就支持動態(tài)創(chuàng)建VPC,并且能指定VGW運(yùn)行不同的軟件Image。比如采用如下代碼就可以在AWS里面創(chuàng)建一個(gè)VPC，并且指定VPC GW連接到哪個(gè)DC的CPE設(shè)備上。Terraform支持AWS/GCP/Azure和國內(nèi)的阿里云/騰訊云等。在私有云/數(shù)據(jù)中心采用Contrail SDN控制器來管理VM/Container,同時(shí)1、采用Terraform或者Cloud GW API動態(tài)創(chuàng)建VPC，并用Contrail vRouter替代VGW功能2、在分支機(jī)構(gòu)（SDWAN），私有云/數(shù)據(jù)中心和公有云之間建立安全低時(shí)延的IPsec網(wǎng)絡(luò)連接。并且自動配置BGPoIPsec來雙向發(fā)布VPC和private Clou