OpenStack云計(jì)算與云數(shù)據(jù)庫方案

1、OpenStack云計(jì)算與云數(shù)據(jù)庫方案技術(shù)創(chuàng)新，變革未來主要內(nèi)容云計(jì)算與OpenStack云計(jì)算與云數(shù)據(jù)庫OpenStack Trove介紹OpenStack Trove實(shí)踐與典型云數(shù)據(jù)庫的對(duì)比總結(jié)云計(jì)算與云計(jì)算平臺(tái)云計(jì)算是一種IT資源的運(yùn)作與交付形式，資源多個(gè)層次 IaaS/PaaS/SaaS，最大特征是極具彈性與隨需而變。云計(jì)算與虛擬化關(guān)系：虛擬化不是云計(jì)算必須的（比如有些云計(jì)算平 臺(tái)也提供物理機(jī)資源），但是虛擬化大大增強(qiáng)了云計(jì)算能力，沒有虛 擬化的云計(jì)算正如沒有鋼筋的樓房。云計(jì)算基礎(chǔ)三大關(guān)鍵要素：計(jì)算(CPU)、網(wǎng)絡(luò)(系統(tǒng)總線)與存儲(chǔ) (Mem&Disk)，每個(gè)要素也都有多種實(shí)現(xiàn)及體系。

2、云計(jì)算平臺(tái)是實(shí)現(xiàn)云計(jì)算的基礎(chǔ)平臺(tái)，如AWS，GCE，阿里云，騰 訊云，RackSpace等等，往往綜合了IaaS和PaaS，甚至包含SaaS。OpenStack生態(tài)Openstack是應(yīng)用最廣，兼容最好的開源云平臺(tái)實(shí)現(xiàn)，制定了云平臺(tái)整個(gè)框 架和API標(biāo)準(zhǔn)，一開始以兼容AWS API為出發(fā)點(diǎn)，整體上高內(nèi)聚松耦合。OpenStack之于云計(jì)算（對(duì)AWS的開源實(shí)現(xiàn)） Hadoop之于大數(shù) 據(jù)處理（對(duì)Google大存儲(chǔ)/數(shù)據(jù)的開源實(shí)現(xiàn)）；由OpenStack基金會(huì)管理，董事會(huì)+技術(shù)委員會(huì)；平臺(tái)廠商+金牌會(huì)員基本 覆蓋了大部分著名的IT公司OpenStack版本歷史）AustinOctober 2010

3、Nova, SwiftGrizzlyApril 2013-BexarFebruary 2011+GlanceHavanaOctober 2013+Heat, CeilometerCactusApril 2011-IcehouseApril 2014+Trove（數(shù)據(jù)庫管理DiabloSeptember 2011-JunoOctober 2014+Sahara（大數(shù)據(jù)管 理）EssexApril 2012+Horizon, KeystoneKiloApril 2015+Ironic（物理機(jī)管理）FolsomSeptember 2012+Quantum, CinderLibertyOctober

4、2015+Zaqar, Manila, Designate, Barbican, Searchlight以字母序?yàn)榘姹久?，每半年發(fā)布一個(gè)版本，每個(gè)版本幾乎都有新服務(wù)。2016.4-Mitaka版本項(xiàng)目預(yù)覽NovaNeutronCinderGlanceKollaHeatKeystoneCeilometerSwiftOsloHorizonIronicManilaSaharaMagnumKuryrDesignateTriple OOpenstack核心流程架構(gòu)Glance（鏡像）計(jì)算節(jié)點(diǎn)Nova（計(jì)算）Neutron（網(wǎng)絡(luò)）Cinder（存儲(chǔ)）Keystone（鑒權(quán)與目 錄）OpenStack核心

5、架構(gòu)Message Bus&DatabaseHorizon/Dashboard（控制臺(tái)）/API控 制 節(jié) 點(diǎn)NovaComputeL2Agent網(wǎng)絡(luò)結(jié)點(diǎn)存儲(chǔ)結(jié)點(diǎn)Openstack的設(shè)計(jì)特征大量采用成熟的開源組件kvm/qemu、openvswitch、ceph。mysql、rabbitmq、memcached、haproxy。功能強(qiáng)大，擴(kuò)展性強(qiáng)除了幾個(gè)核心項(xiàng)目，不斷加入新項(xiàng)目實(shí)現(xiàn)其他服務(wù)場(chǎng)景（數(shù) 據(jù)庫、大數(shù)據(jù)、DNS、容器、消息隊(duì)列。）大部分項(xiàng)目都采用插件形式來實(shí)現(xiàn)底層的細(xì)節(jié)，具備很強(qiáng)的 擴(kuò)展性和定制性清晰的服務(wù)棧，避免重復(fù)造輪子共享的消息隊(duì)列，鑒權(quán)服務(wù)，虛擬化服務(wù)服務(wù)堆疊，快速實(shí)現(xiàn)上層服務(wù)

6、Openstack的產(chǎn)品化Openstack跟大多數(shù)的商業(yè)方案一樣，解決的問題基本類似的，在大 道理上往往是殊途同歸，細(xì)節(jié)處理上有得有失。Openstack從開始更加規(guī)范，更加統(tǒng)一，開源的好處在于集成大眾智 慧，且更快發(fā)展。正如Linux內(nèi)核與Linux操作系統(tǒng)的關(guān)系一樣，只有內(nèi)核是不夠的，需 要有完整的用戶態(tài)環(huán)境，這樣才能真正運(yùn)行業(yè)務(wù)。Openstack拉低了核心技術(shù)門檻，但是產(chǎn)品化的要求卻沒有降低，隨 著用戶需求的增長反而更高。數(shù)據(jù)庫與云平臺(tái)在云計(jì)算中數(shù)據(jù)庫是更上層的資源，而且是大部分應(yīng)用的核心資源數(shù)據(jù)庫與數(shù)據(jù)庫管理的關(guān)系比虛擬機(jī)與虛擬機(jī)管理的關(guān)系更貼近應(yīng)用數(shù)據(jù)庫管理的發(fā)展路徑：手工管理-

7、托管平臺(tái)-云數(shù)據(jù)庫平臺(tái)云數(shù)據(jù)庫應(yīng)具備的能力受控易用： 基本的管控能力與配置變更能力彈性伸縮： 性能Scale Up/Down，規(guī)模Scale Out/in高可用：數(shù)據(jù)冷/熱備，分布式集群，網(wǎng)絡(luò)健壯性多租戶：資源有效隔離，細(xì)粒度計(jì)量資源有效利用：充分利用和均衡各種軟硬件資源，避免資源閑置 與過度使用，良好的成本性價(jià)比擴(kuò)展與開放：支持不同的數(shù)據(jù)庫引擎，具備較完整的二次開發(fā) 接口調(diào)用，便于集成Openstack的云數(shù)據(jù)庫自Icehouse版本推出了Trove項(xiàng)目實(shí)現(xiàn)DBaaS，解決用戶使用與管理DB遇到的復(fù)雜繁 瑣問題依托OpenStack核心，提供對(duì)多種流行開源數(shù)據(jù)庫的支持Trove本身就是Ope

8、nstack云平臺(tái)運(yùn)用的一個(gè)絕佳的 案例經(jīng)歷I、J、K、L四個(gè)版本，功能越來越強(qiáng)，支持的 數(shù)據(jù)庫類型越來越多Trove設(shè)計(jì)目標(biāo)完全運(yùn)行在OpenStack之上基于OpenStack的核心服務(wù)之上構(gòu)建遵從OpenStack框架與API規(guī)范Trove自身屬于OpenStack體系支持關(guān)系與非關(guān)系型數(shù)據(jù)庫進(jìn)行更高層次的抽象，減少重復(fù)造輪子支持mysql，redis，mongodb等等Trove整體架構(gòu)Trove自身的架構(gòu)組織是非常薄的；充分利用Openstack各服務(wù)VM實(shí)例 就是 數(shù)據(jù)庫實(shí)例；不同數(shù)據(jù)庫有不同的VM鏡像定制Trove概念與功能核心概念主要功能實(shí)例管理數(shù)據(jù)庫管理主從管理備份管理配置管

9、理集群管理Trove實(shí)踐1平臺(tái)環(huán)境建立包含Trove的OpenStack環(huán)境Trove特定的VM鏡像采用Trove-Integration項(xiàng)目完成以上兩個(gè)工作Trove-Integration構(gòu)建詳細(xì)參考https:/wiki.OpenS/wiki/Trove/trove-integration注意的地方：一定需要先構(gòu)建trove專用的vm鏡像并導(dǎo)入glanceTrove也提供了強(qiáng)大的控制臺(tái)trove命令行工具Trove實(shí)踐2建立mysql一主二從的實(shí)例運(yùn)行環(huán)境1）創(chuàng)建主實(shí)例命令：trove create my_inst_master 8 -size 10 -database my_inst_

10、db -users admin:admin123 -datastore mysql -datastore_version 5.6解釋：實(shí)例名字為my_inst_master，實(shí)例規(guī)格ID是8（512MB內(nèi)存），硬盤卷大小是10GB，并且創(chuàng)建數(shù)據(jù)庫my_inst_db和用戶admin（密碼是admin123），數(shù)據(jù)庫引 擎類型是mysql，版本是5.6版本。2）創(chuàng)建主實(shí)例的備份（先隨便在創(chuàng)建的數(shù)據(jù)庫實(shí)例里創(chuàng)建表和插入一些數(shù)據(jù)）命令：trove backup-create my_inst_master my_bak.0001解釋：創(chuàng)建數(shù)據(jù)庫實(shí)例my_inst_master的當(dāng)前的備份，備份名字為m

11、y_bak.0001。Trove實(shí)踐33）從主實(shí)例的備份創(chuàng)建兩個(gè)從實(shí)例，并且建立主從關(guān)系命令：trove create my_inst_slave 8 -size 10 -backup my_bak.0001 - replica_of my_inst_master -replica_count 2解釋：創(chuàng)建兩個(gè)數(shù)據(jù)庫實(shí)例，名字以mysql_inst_slave開頭，實(shí)例規(guī)格ID為8，硬盤 卷大小是10GB，并且用備份名為my_bak.0001的備份導(dǎo)入數(shù)據(jù)，且建立到實(shí)例my_inst_master的主從復(fù)制關(guān)系。4）動(dòng)態(tài)Resize主實(shí)例規(guī)格命令：trove resize-instance m

12、y_inst_master 2解釋：動(dòng)態(tài)調(diào)整實(shí)例my_inst_master的instance規(guī)格為2（內(nèi)存2GB大?。?命令：trove resize-volume my_inst_master 20解釋：動(dòng)態(tài)調(diào)整實(shí)例my_inst_master的硬盤卷大小為20GB與典型云數(shù)據(jù)庫的對(duì)比1數(shù)據(jù)庫服務(wù)對(duì)比計(jì)算資源存儲(chǔ)資源實(shí)例部署實(shí)例伸縮能力支持?jǐn)?shù)據(jù)庫類型OpenStack Trove虛擬機(jī)網(wǎng)絡(luò)塊設(shè)備實(shí)例與虛擬機(jī)一一對(duì)應(yīng)，基 于成熟的虛擬 機(jī)平臺(tái)進(jìn)行隔 離與調(diào)度采用云平臺(tái)成熟的虛擬機(jī)和 網(wǎng)絡(luò)卷技術(shù)動(dòng) 態(tài)調(diào)整實(shí)例規(guī) 格支持主流關(guān)系型 和非關(guān)系型數(shù)據(jù) 庫，接口統(tǒng)一典型云平臺(tái) DBaaS服務(wù)物理機(jī)本地

13、磁盤多實(shí)例共享單個(gè)物理機(jī)，基 于cgroups做 資源隔離主要通過遷移 實(shí)現(xiàn)規(guī)格調(diào)整， 效率不高主要支持mysql或postgresql或 redis，接口各 異Trove的優(yōu)勢(shì)搭建非常靈活，而且完 全基于云平 臺(tái)，充分利 用共享資源網(wǎng)絡(luò)存儲(chǔ)成本較低，天然超賣； 容災(zāi)能力好；隨 機(jī)大并發(fā)吞吐量 高隔離性好，環(huán)境一致性強(qiáng)， 與用戶的虛擬 機(jī)同網(wǎng)絡(luò)同子 網(wǎng)部署?？煽砍墒?，效 率較高豐富的數(shù)據(jù)庫類 型，擴(kuò)展性強(qiáng)， 方便遷移Trove的劣勢(shì)虛擬機(jī)性能 有一定的減 損有一定的網(wǎng)絡(luò)傳 輸延遲，對(duì)網(wǎng)絡(luò) 的可靠性依賴較 高實(shí)例數(shù)越多虛擬機(jī)越多，會(huì) 增大平臺(tái)運(yùn)營 壓力；另外小 實(shí)例過多也不 經(jīng)濟(jì)。每種數(shù)據(jù)庫類型

14、 的支持不夠細(xì)化與典型云數(shù)據(jù)庫的對(duì)比2數(shù)據(jù)庫服務(wù)對(duì)比主從HA支持分布式集群支 持?jǐn)?shù)據(jù)備份與回檔配置更新能力監(jiān)控統(tǒng)計(jì)OpenStack Trove暫時(shí)不支持支持 Percona， Mariadb， Mongodb 等分布式集 群對(duì)于mysql類數(shù)據(jù)庫，使用xtrabackup的物理備份（全量和增量）；mongodb則是dump出 數(shù)據(jù)文件然后再拷貝；基 于卷的快照備份也是一種 方式具備廣泛 的動(dòng)態(tài)更 新配置的 能力暫時(shí)沒有典型云平臺(tái) DBaaS服務(wù)通過LVS類似的接入代 理支持主從 透明切換暫時(shí)不支持對(duì)于mysql類數(shù)據(jù)庫，使 用dump方式的邏輯備份 或xtrabackup的物理備份具備一定

15、的配置管 理能力有比較好的監(jiān) 控統(tǒng)計(jì)，并配 合HA容災(zāi)Trove的優(yōu)勢(shì)依賴底層數(shù)據(jù)庫類型的 集群技術(shù)支 持除了各種數(shù)據(jù)庫類型自身的備份方式外，還能夠基 于卷快照做備份，速度很 快Trove的劣勢(shì)要盡量避免主從實(shí)例所 在的虛擬機(jī) 在同一個(gè)宿 主機(jī)上基于卷快照備份無法恢復(fù) 到任意時(shí)間點(diǎn)。當(dāng)實(shí)例發(fā)生故 障的時(shí)候，需 要用自己判斷 并進(jìn)行切換總結(jié)Trove的應(yīng)用情況介紹功能基本夠用，穩(wěn)定性依賴OpenStack基礎(chǔ)服務(wù)ebay、Rackspace、HP等公司已經(jīng)大規(guī)模使用有27%的OpenStack用戶在生產(chǎn)環(huán)境使用TroveTrove的當(dāng)前不足統(tǒng)計(jì)與監(jiān)控能力自動(dòng)容災(zāi)能力未來M和N兩個(gè)版本的計(jì)劃參考資料O