華大基因escloud云計算交流

1、EscloudZhou,LiboEasyStack Inc.OpenStack 簡單視圖OpenStack架構(gòu)概覽OpenStack架構(gòu)概覽OpenStack體系架構(gòu)圖5e.g: ESCloud控制節(jié)點服務(wù)及高可用實現(xiàn)三個層面的高可用實現(xiàn)：接入層：HAProxyPacemakerCorosync接入層的負(fù)載均衡和高可用實現(xiàn)消息隊列層：RabbitMQ Cluster，消息隊列層的高可用實現(xiàn)數(shù)據(jù)庫層：MySQLGalera Cluster，SQL數(shù)據(jù)庫的高可用實現(xiàn)MongoDB Cluster：NoSQL數(shù)據(jù)庫的高可用實現(xiàn)架構(gòu)介紹Keystone是OpenStack的一個核心項目，在OpenSt

2、ack框架中通過應(yīng)用程序編程接口 (API) 提供身份驗證、服務(wù)目錄、服務(wù)策略和服務(wù)令牌的功能。為OpenStack其他各個組件提供統(tǒng)一的身份驗證服務(wù)。Keystone架構(gòu)介紹理解基本概念：關(guān)鍵詞基本概念Domain域（v3）是OpenStack委托用來資源管理的容器，是項目、組和用戶的更高一層的容器，每個域都是一個單獨的命名空間，提供的默認(rèn)域名為defaultProject項目（v2.0稱為租戶）是資源的容器，OpenStack中的所有資源必須屬于一個指定項目，一個項目必須屬于一個指定的域，并且在域中是唯一的Group組是一個容器代表用戶的集合，一個組必須屬于一個指定的域，并且在域中是唯一的

3、User用戶是使用OpenStack資源的人、系統(tǒng)或服務(wù)，用戶必須屬于一個指定的域，并且在域中是唯一的Role角色標(biāo)識了在域或項目中的權(quán)限，可以分配給用戶和組，角色在OpenStack中是全局唯一的Token令牌是用來驗證用戶身份的，用戶登錄后會使用令牌執(zhí)行相應(yīng)的資源請求Service服務(wù)是指一個OpenStack服務(wù)，比如：nova、cinder、neutron等。Endpoint端口是一個網(wǎng)絡(luò)可訪問的服務(wù)地址，通過它可以訪問一個服務(wù)，通常是個 URL 地址。比如，當(dāng) Nova 需要訪問 Glance 服務(wù)去獲取 image 時，Nova 通過訪問 Keystone 拿到 Glance 的

4、endpoint，然后通過訪問該 endpoint 去獲取Glance服務(wù)Policy策略是用來鑒別用戶對某個服務(wù)是否有訪問權(quán)限的，對于keystone來說policy就是一個json文件GroupKeystone架構(gòu)介紹資源、用戶和角色：OpenStack資源Domain1Domain2Project1Project2Project1User2Project2User1RoleUser1用戶角色為指定的domain創(chuàng)建用戶為用戶指定角色Keystone架構(gòu)介紹令牌、服務(wù)、端口、策略：用戶keystoneglance1、用戶使用用戶名、密碼登錄2、返回token和catalog3、請求訪問im

5、age4、驗證token是否有效5、返回驗證結(jié)果6、policy鑒權(quán)7、鑒權(quán)成功返回所請求的資源，否則返回沒有權(quán)限訪問Keystone架構(gòu)介紹架構(gòu)解析： keystone在OpenStack中提供身份認(rèn)證、服務(wù)目錄、服務(wù)令牌、服務(wù)策略的功能提供用戶身份認(rèn)證為用戶提供token管理和token驗證記錄OpenStack服務(wù)的名稱和端口，并提供給用戶使用鑒別用戶權(quán)限Nova架構(gòu)介紹nova-api: makes command and control of the Nova Compute programmatically available to users. Supports the Open

6、Stack API , Amazon EC2 and an Admin API, via port 8774 pute : sets up and manages instancesnova-database: storages information for all of the nova servicesnova-conductor: a RPC server that decouples pute and the database with the advantages of increasing perfomance, database security, and allowing u

7、pdates to database schema with requiring a pute upgradeQueue: provides a central hub for passing AMPQ messages between daemons. Nova架構(gòu)介紹nova-scheduler: responsible for determining which compute node host should launch an image instance.nova objectstore : provides an S3 interface for registering imag

8、es onto the Glance. It is primarily used for installations that need to support euca2ools.nova-cert: manages x509 certificates.nova-consoleauth : authorizes users tokens from the vnc proxy, which is allows users to access their instances through VNC clients.nova-novncproxy (not shown) : provides a p

9、roxy for accessing running instances through a VNC connection. It supports browser-based novnc clients.Nova架構(gòu)介紹1234567891011Request Keystone to generate and return an auth tokenSend API request to nova-api with tokenNova-api validates API tokenNova-api processes API requestNova-api makes rpc call to

10、 schedulerHost selected based on scheduling policies nova-scheduler Start provisioning VM on compute node rpc cast to puteRequest OS image from GlanceGet Image URI from GlanceCan download image from Swift Nova-api makes rpc call to allocate a network Create network and associate with VMAttach block

11、volume as appropriate using an rpc castCinder服務(wù)cinder-apiWSGI app that authenticates and routes requests throughout the block storage systemcinder-schedulera daemon, much like thenova-scheduler, that picks the optimal block storage provider node on which to create the volume, by default the node wit

12、h the most space available.cinder-backupProvides services to backup volumes to Swift object storageCinder服務(wù)cinder-volumeruns on the storage node, acting upon the requests by reading or writing to the Cinder database to maintain state, interacts with other processes (likecinder-scheduler) through a m

13、essage queue and directly upon block storage providing hardware or software. The cinder-volume service can run on multiple nodes, each constituting part of the block storage pool; the scheduler will distribute requests across all nodes that are running the volume service.neutron架構(gòu)圖neutron-server提供ne

14、utron API，使用plugin的方式處理API并讀寫數(shù)據(jù)庫，icehouse版的默認(rèn)plugin是ml2 plugin。使用消息隊列與其他agent交互。L3-agent負(fù)責(zé)浮動IP的和router的具體實現(xiàn)。實現(xiàn)浮動IP到虛機私有IP的映射。負(fù)責(zé)router的具體實現(xiàn)，創(chuàng)建router對應(yīng)的私有網(wǎng)絡(luò)的網(wǎng)關(guān)，創(chuàng)建router對應(yīng)的公網(wǎng)的網(wǎng)絡(luò)設(shè)備neutron-metadata-agent負(fù)責(zé)虛機里訪問metadata數(shù)據(jù)dhcp-agent負(fù)責(zé)私有網(wǎng)絡(luò)中虛機的IP分配為不同的子網(wǎng)創(chuàng)建不同的dnsmasq實例，負(fù)責(zé)給虛機分配IP。創(chuàng)建虛機時，IP和mac地址會在dnsmasq里設(shè)置好，虛機

15、啟動時獲取指定的IP。plugin-agent: neutron-openvswitch-agent負(fù)責(zé)不同類型網(wǎng)絡(luò)的具體實現(xiàn)根據(jù)網(wǎng)絡(luò)的類型和屬性建立規(guī)則連通網(wǎng)絡(luò)。neutron-openvswitch-agent使用openvswtich網(wǎng)絡(luò)虛擬化技術(shù)，實現(xiàn)neutron里定義的網(wǎng)絡(luò)Ceph網(wǎng)絡(luò)塊存儲 linux Kernel RBD1.ceph osd pool create test 1024 10242.rbd -p test create myimage -size 102403.rbd map myimage -p test4.mkfs.xfs -f /dev/rbd/test/m

16、yimage5.mkdir /mnt/test6.mount rw, /dev/rbd/test/myimage /mnt/test ESCloud 典型部署架構(gòu)域管理節(jié)點(1,3,5.)NovaGlancNeutronCeilometerSwiftCinderCentOS6.5CentOS6.5CentOS6.5商業(yè)存儲存儲節(jié)點(1-N)CephCephCentOS6.5CentOS6.5管理Management網(wǎng)Ceph存儲Storage網(wǎng)存儲Ceph Public網(wǎng)PXE部署網(wǎng)L3 Public網(wǎng)RollerZabbixCentOS6.5部署和監(jiān)控KVMKVMCentOS6.5CentO

17、S6.5計算節(jié)點(1-N)生產(chǎn)Private網(wǎng)光纖ESCloud實現(xiàn)數(shù)據(jù)中心資源整合，統(tǒng)一管理?？刂乒?jié)點：ceph public-萬兆/public-萬兆/private-萬兆/manage-千兆/pxe-千兆計算節(jié)點：ceph public，private，manage, pxe存儲節(jié)點：ceph storage, manage, pxe, ceph public計算&存儲超融合節(jié)點：ceph public , private, management ,pxe, ceph storagePXE：此網(wǎng)絡(luò)用于推送操作系統(tǒng)和部署、擴展OpenStack云平臺，接入Roller節(jié)點，此環(huán)境中需要禁止

18、DHCP，可與mgmt網(wǎng)絡(luò)合并，無需網(wǎng)關(guān)。千兆網(wǎng)絡(luò)支撐。Public：分為public(千兆)和Folating(建議萬兆)兩個網(wǎng)絡(luò)，public是集群的業(yè)務(wù)網(wǎng)絡(luò)，即對外提供dashboard UI和API的網(wǎng)絡(luò)，floating是L3，此網(wǎng)絡(luò)可選，大規(guī)模部署有瓶頸，也可單獨將L3部署到獨立物理機。Private：內(nèi)部私有業(yè)務(wù)網(wǎng)絡(luò)，用于虛機之間的相互通信，在沒有L3的純L2環(huán)境，網(wǎng)關(guān)可以指向物理網(wǎng)關(guān)，這時類似傳統(tǒng)網(wǎng)絡(luò)，避免L3網(wǎng)絡(luò)瓶頸，穩(wěn)定。需要萬兆網(wǎng)絡(luò)。Management：集群心跳網(wǎng)絡(luò)(千兆)，包含AMQP、數(shù)據(jù)庫，組件之間的消息通信。也包含Ceph Public網(wǎng)絡(luò)，大型環(huán)境中需要單獨拿

19、出Ceph Public網(wǎng)絡(luò)(萬兆)。Storage：主要用于Ceph內(nèi)部集群通信。對網(wǎng)絡(luò)要求較高，需要萬兆網(wǎng)絡(luò)支撐。IPMI：此網(wǎng)絡(luò)不屬于OpenStack必須要求，但是建議。IPMI主要用于對服務(wù)器的管理，可以遠(yuǎn)程支持開關(guān)機等操作。如果HOST HA需要則此網(wǎng)絡(luò)要跟控制節(jié)點互通，千兆網(wǎng)絡(luò)。網(wǎng)絡(luò)角色說明控制節(jié)點網(wǎng)絡(luò)設(shè)備計算節(jié)點網(wǎng)絡(luò)設(shè)備ESCloud跨數(shù)據(jù)中心部署架構(gòu)（Multi-Region）域管理節(jié)點(1,3,5.)NovaGlancNeutronCeilometerSwiftCinderCentOS6.5CentOS6.5CentOS6.5商業(yè)存儲存儲節(jié)點(1-N)KVMKVMCentO

20、S6.5CentOS6.5Dashboard管理節(jié)點ESCloud 企業(yè)云KeystoneCentOS6.5CentOS6.5CentOS6.5AccountAnalysis北京數(shù)據(jù)中心上海數(shù)據(jù)中心廣州數(shù)據(jù)中心管理Management網(wǎng)Ceph存儲Storage網(wǎng)存儲Ceph Public網(wǎng)PXE部署網(wǎng)L3 Public網(wǎng)RollerZabbixCentOS6.5部署和監(jiān)控KVMKVMCentOS6.5CentOS6.5計算節(jié)點(1-N)生產(chǎn)Private網(wǎng)光纖ESCloud可實現(xiàn)多數(shù)據(jù)中心資源整合，統(tǒng)一管理。系統(tǒng)配置建議控制節(jié)點計算節(jié)點 計算能力：2顆8Core以上 CPU，不低于64GB內(nèi)存 存儲能力：2塊480GB SSD硬盤，3塊600GB SAS 15