國外云計算創(chuàng)新與趨勢.docx

2012年國外云計算創(chuàng)新與趨勢2013已經(jīng)過去一個季度了，正是各個上市公司開始發(fā)布2012年年度財報的時候了，湊個熱鬧，也對國外云計算進(jìn)行一個整體盤點(diǎn)。從云計算IaaS、PaaS、SaaS三個層次而言，都可以用一句話來概括2012的表現(xiàn)，IaaS是波瀾不驚、穩(wěn)步向前，PaaS是逐漸成熟、百家齊放，SaaS是碩果累累、瓜熟蒂落.同時在2012年，還有另外三個趨勢值得關(guān)注，第一：XaaS的崛起，給各大IaaS、PaaS平臺帶來了強(qiáng)有力的補(bǔ)充，第二： 開源云計算平臺的隊伍不斷狀大，將有望打破現(xiàn)有的云計算格局，第三：Cross-Cloud的概念出現(xiàn)，體現(xiàn)了大家對各云平臺成熟的認(rèn)可與把雞蛋放在同一個籃子里的擔(dān)憂。IaaS Amazon AWS還是當(dāng)之無愧的公有云的領(lǐng)頭羊，不管是從用戶數(shù)、服務(wù)數(shù)、全球機(jī)房數(shù)，都是遙遙領(lǐng)先于各個對手。各大公有云平臺從目前來看，不管是微軟Azure,谷歌Compute Engine, Joyent, SoftLayer，HP Cloud，還是開源IaaS平臺,如OpenStack、 CloudStack等，都是采取了跟隨AWS的策略，并沒有什么可圈可點(diǎn)的服務(wù)與創(chuàng)新點(diǎn)出現(xiàn)，不得不說，天下云計算才氣十斗，AWS獨(dú)占七頭。2012年，AWS共推出了8個服務(wù)（2013截止到3月17號又推出了兩項服務(wù)）。如表一所示。服務(wù)名稱所屬類型上線時間服務(wù)特點(diǎn)DynamoDBDatabase2012.01.18K-V形式NoSQL 數(shù)據(jù)庫服務(wù)，按存儲空間與指定每秒讀、寫次數(shù)收費(fèi)。Storage GatewayStorage & Content Delivery2012.01.24私有云安全快速使用S3的工具。SWFApp Services2012.02.21Simple Workflow Service 是用于構(gòu)建可調(diào)節(jié)、靈活的應(yīng)用程序的工作流程服務(wù)。 Cloud SearchApp Services2012.04.11云搜索服務(wù)，讓客戶能夠輕松地將高度可擴(kuò)展的快速搜索功能集成到他們的應(yīng)用程序中。Marketplace無2012.04.19基于AWS的軟件、鏡像、中間件應(yīng)用市場GlacierStorage & Content Delivery2012.08.20離線存儲服務(wù)，是S3存儲的有力補(bǔ)充， 價格非常低廉，但是讀取數(shù)據(jù)需提前預(yù)約RedshiftDatabase2012.11.28數(shù)據(jù)倉庫服務(wù)?？蛻艨梢砸詷O其低廉的價格處理存儲T級別乃至P級別的數(shù)據(jù)。Data PipelineDeployment & Management2012.12.20一個自動進(jìn)行數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)服務(wù)?？梢詫崿F(xiàn)以數(shù)據(jù)為驅(qū)動的工作流，讓每一個任務(wù)的執(zhí)行依賴于上一個任務(wù)。Elastic TranscoderApp Services2013.01.18視頻轉(zhuǎn)碼云服務(wù)。Ops WorksDeployment & Management2013.02.18可擴(kuò)展的應(yīng)用管理解決方案。云端的Chef/Puppet服務(wù)表一： Amazon最近推出的服務(wù)列表從上表來看，AWS推出的服務(wù)還是趨向于迎合主流技術(shù)趨勢，并沒有大開大合地去引領(lǐng)下個時代的技術(shù)潮流。DynamoDB是在NoSQL概念炒的婦孺皆知的時候才推出，雖然也有些創(chuàng)新的地方，比如：按用戶存儲空間計費(fèi)，存儲空間沒有上限；用戶可以指定數(shù)據(jù)庫的每秒讀寫次數(shù)，并且按此性能指標(biāo)收，但不可否認(rèn)的是，在市場時機(jī)上確實落后了不少，廣大用戶已經(jīng)紛紛用上MongoDB, Cassandra等NoSQL解決方案了，連AWS頭號粉絲用戶Netflix都表示會繼續(xù)使用Cassandra，而不會將數(shù)據(jù)遷移到DynamoDB，雖然他們認(rèn)為DynamoDB也是一個非常優(yōu)秀的產(chǎn)品。Storage Gateway 是為了搶奪私有云的云存儲市場，而Glacier是離線存儲，相當(dāng)于傳統(tǒng)利用磁帶進(jìn)行海量數(shù)據(jù)的存儲，這兩款產(chǎn)品是AWS拳頭產(chǎn)品S3（云存儲）的補(bǔ)充，特別是Glacier，填補(bǔ)了云存儲市場的空白。Data Pipeline 、SWF應(yīng)該是AWS內(nèi)部使用服務(wù)正式云化對外提供服務(wù)了，Cloud Search讓用戶不再用自己搭建本地Solr搜索服務(wù)了。Elastic Transcoder也是移動端的發(fā)展帶來的需求，因為有不同分辨率的移動端，才需要對視頻進(jìn)行各種轉(zhuǎn)碼，Elastic Transcoder推出之前，國內(nèi)外都已經(jīng)有類似的服務(wù)了，但是轉(zhuǎn)碼服務(wù)可以提高用戶對S3的黏性，用戶可以將視頻以及轉(zhuǎn)碼后視頻都存儲在S3上，最后通過CloudFront（CDN） 進(jìn)行分發(fā)，這也是非常自然的事情，因此，哪怕是怕被別人說是拾人牙慧，AWS也順手就把這個服務(wù)給做了。Redshift是云端的數(shù)據(jù)倉庫服務(wù)，相比那些讓人望而卻步的數(shù)據(jù)倉庫服務(wù)價格，Redshift真可謂是白菜價，相信會吸引不少企業(yè)級的用戶的眼光，促進(jìn)企業(yè)級用戶入駐公有云的決心，那些在AWS里不斷成長的企業(yè)，當(dāng)大到需要進(jìn)行大規(guī)模數(shù)據(jù)分析的時候，也會很容易成為Redshift的用戶， Redshift不僅吸引高富帥，將來也可以為潛力股而服務(wù)，目前比較成熟穩(wěn)定的數(shù)據(jù)倉庫服務(wù)市場會因為Redshift產(chǎn)生不小的震蕩?？梢钥闯?，新出的服務(wù)中，與云存儲S3相關(guān)有Storage Gateway,、Glacier、 Elastic Transcoder， 基于IaaS上的服務(wù)云端化如SWF、CloudSearch、Data Pipeline、Ops Works、Elastic Transcoder，數(shù)據(jù)庫服務(wù)相關(guān)的有DynamoDB，Redshift，但是沒有推出看上去與更加底層的EC2關(guān)系非常相關(guān)的服務(wù)，是否意味著EC2已經(jīng)發(fā)展到比較成熟穩(wěn)定的階段了呢？從API的個數(shù)來看，EC2目前共有148個API，是所有服務(wù)當(dāng)中最多的，也是最復(fù)雜的，似乎也滿足了方方面面的需求，也許EC2目前真到了寸功難進(jìn)的階段了。當(dāng)大家的目光都被Amazon AWS推出的新服務(wù)所吸引的時候，往往忽略了AWS在2012年7月31號發(fā)布了對EBS的一個升級公告，宣布提供Provisioned IOPS for Amazon EBS，用戶可以創(chuàng)建指定IOPS的EBS卷（目前最大的IOPS為2000）。而就在今年的3月13號，AWS RDS（關(guān)系型數(shù)據(jù)庫服務(wù)）又宣布支持存儲空間為3TB 、30,000 Provisioned IOPS 的數(shù)據(jù)庫服務(wù)。而RDS服務(wù)是基于EC2和EBS，也就是意味著在RDS里，已經(jīng)有30，000 IOPS的EBS卷，那也就意味著將來30，000 IOPS的EBS服務(wù)完全有可能對所有人開放服務(wù)，而不僅僅是在RDS里進(jìn)行服務(wù)。DeviceTypeIOPSInterface7,200 rpm SATA drivesHDD75-100 IOPSSATA 3 Gb/s10,000 rpm SATA drivesHDD125-150 IOPSSATA 3 Gb/s10,000 rpm SAS drivesHDD140 IOPSSAS15,000 rpm SAS drivesHDD175-210 IOPSSASIntel X25-E (SLC)SSD5,000 IOPSSATA 3 Gb/sFusion-io ioDriveSSD135,000 IOPSPCIe表二： 常見硬盤設(shè)備的IOPS指數(shù)， 數(shù)據(jù)來源/wiki/IOPSEBS的性能一直是被廣大用戶所詬病，但EBS又是在AWS上解決虛擬機(jī)本機(jī)磁盤數(shù)據(jù)不夠持久化（當(dāng)虛擬機(jī)當(dāng)機(jī)后本地磁盤數(shù)據(jù)可能會丟失）的最好辦法，所以不得不用。這次AWS把性能問題解決了,對廣大用戶來說是莫大的福音,而且對那些需要很高IO的應(yīng)用服務(wù)而言,把服務(wù)搬到云上的條件已經(jīng)完全成熟了。這次性能的升級，不完全是Amazon工程師設(shè)計了一個結(jié)構(gòu)優(yōu)美性能良好的架構(gòu)的緣故，更多的原因是隨著SSD硬盤和萬兆網(wǎng)卡的穩(wěn)健發(fā)展和價格的逐漸下降，終于到了大型數(shù)據(jù)中心可以大規(guī)模采用的階段了，相信在2013年，萬兆網(wǎng)卡會慢慢成為機(jī)房建立中的主流，而SSD也會成為數(shù)據(jù)庫服務(wù)器的標(biāo)準(zhǔn)配置，同時這對云計算的軟件架構(gòu)設(shè)計也帶來了一些新思路和新想法，帶寬這么大的網(wǎng)絡(luò)，性能這么好的硬盤，總能想些什么東西能把特性利用起來吧！花開兩朵，各表一枝，當(dāng)AWS如日中天，推出各項服務(wù)的同時；開源云計算社區(qū)干的如火如荼，熱火朝天，比如：國內(nèi)外比較火熱的OpenStack社區(qū)發(fā)展的非常快，整個社區(qū)目前已經(jīng)有8000多名成員，來自80多個國家以及800家以上的公司，差不是2012年初的3倍了。OpenStack也在2012年發(fā)布了Essex和Folsom兩個大版本，同時計劃在2013的4月發(fā)布Grizzly版。但是總的來說，OpenStack還是AWS的小學(xué)徒，兩者目前還不是同一個量級的，也并沒有很多值得特別關(guān)注的創(chuàng)新點(diǎn)，但值得一提的是Quantum和Cinder。OpenStack服務(wù)名稱Amazon AWS對應(yīng)服務(wù)名稱NovaEC2QuantumEC2中的VPC服務(wù)SwiftS3GlanceEC2中的鏡像服務(wù)KeystoneAWS認(rèn)證中心DashboardAWS控制臺CinderEBS表三： OpenStack與AWS服務(wù)應(yīng)該關(guān)系Quantum不是SDN（Software Define Network），正如Cinder其實不是EBS，Quantum可以認(rèn)為是一組API，將底層的網(wǎng)絡(luò)模塊進(jìn)行包裝，讓用戶不需要知道太多的網(wǎng)絡(luò)細(xì)節(jié)，Quantum可以plugin各網(wǎng)絡(luò)模塊，其中包括SDN，Cinder也是類似的道理，它包裝了塊存儲設(shè)備的上層的API，無論是IP-SAN,FC-SAN, Sheepdog(EBS的開源實現(xiàn)產(chǎn)品),都可以做為plugin接入Cinder。2012年VMware花了12.6億美金收購了SDN領(lǐng)域的重量級公司 Nicira，這也掀起了SDN的一股熱潮。大規(guī)模虛擬化的數(shù)據(jù)中心以及復(fù)雜的公有云網(wǎng)絡(luò)問題促使了SDN的誕生，相信2013年，SDN還將是網(wǎng)絡(luò)方面是非常值得研究與學(xué)習(xí)的方向。PaaS與XaaS在前言提到,說PaaS是逐漸成熟、百家齊放。為什么這么說呢？其實國外的PaaS平臺感覺在整個2012并沒有出現(xiàn)特別出色的新公司新產(chǎn)品，其實也是因為PaaS這么多年發(fā)展下來，已經(jīng)慢慢成熟了，而且基于PaaS平臺也有了不少的成功案例，比如前段時間報道的SongPop，6人團(tuán)隊，僅1人全職后端，利用GAE(Google App Engine)支撐起日百萬活躍用戶的線上活動，同時Google博客上貼出了一些GAE的用例，其中包括：“Angry Birds”的擁有者Rovio，Ruzzle擁有者M(jìn)AG Interactive等。名稱公司類型發(fā)布時間Engine YardEngine Yard閉源2006年成立HerokuSalesforce閉源2007年6月Google App EngineGoogle閉源2008年Windows AzureMicroSoft閉源2009年AWS Elastic BeanstalkAmazon閉源2011年1月Cloud FoundryVmware開源2011年4月宣布開源OpenShiftRedHat開源2011年5月開源ParseParse移動方向2011年下半年MendixMendix移動方向2011年下半年表四:國外常見PaaS平臺但是又為什么說是百家齊放呢？ 沒有出現(xiàn)新面孔，又怎么稱的上是百家齊放呢？這個又得提到XaaS這個概念了。XaaS（一切皆服務(wù)）是一個統(tǒng)稱，代表“X as a service”、“anything as a service”或“everything as a service”。在Heroku提供第三方服務(wù)（Add-on）的有近百個，就可以知道XaaS這個市場有多繁榮了，這也代表云計算行業(yè)的一個趨勢，畢竟IaaS也好，PaaS也好，都是需要大投入才能有大產(chǎn)出，對于小型的創(chuàng)新公司而言，他們并沒有充足的資源去做這些事情，那么提供一個有特色而且有別于其它IaaS、PaaS的服務(wù)，做為各個公有云平臺的補(bǔ)充，顯然是一個不錯的選擇。先看看在Heroku上提供各種類型的服務(wù)l 數(shù)據(jù)存儲類名稱簡介Gridblaze文件存儲服務(wù)，類比于S3MongoLabMongoDB云Amazon RDS關(guān)系數(shù)據(jù)庫云Tempodb基于時間序列的數(shù)據(jù)存儲，內(nèi)建分析監(jiān)控預(yù)測功能Bucket文件存儲服務(wù)，類比于S3Treasure-Data大數(shù)據(jù)云平臺，只要提供數(shù)據(jù)庫引擎（raw）和分析方法，自動計算PgBackupsPostgreSQL 數(shù)據(jù)庫的備份方案Heroku-PostgresqlPostgreSQL 云服務(wù)RedisgreenRedis云Xeround分布式的Mysql云MongoHQMongo云Neo4j圖形數(shù)據(jù)庫云MemcachierMemchached緩存云ClearDBMysql云RedisCloudRedis 云CloudAntCouchDB云IronCache緩存云justonedbNewSQL 云OpenRedisRedis云MyRedisRedis云Cachely頁緩存RedistogoRedis云MemcachierMemchached 緩存云CDNSumoCDN服務(wù)Redisgreenredis可以看出，提供數(shù)據(jù)存儲類服務(wù)還是非常多的，各種主流NoSQL都被搬到云上來了，其中MySQL,Redis的云服務(wù)最多，說明關(guān)系型數(shù)據(jù)庫云服務(wù)還是以MySQL為主流，緩存基本上是Redis的天下了。l 檢索服務(wù)名稱簡介SwifType全文檢索服務(wù)Bonsai全文檢索服務(wù)FlyingSphinx基于Sphinx的全文檢索服務(wù)Searchify實時更新的全文檢索服務(wù)Indexden多語言的全文檢索服務(wù)SearchBox實時檢索服務(wù)Foundelasticsearch全文檢索服務(wù)WebSolr基于 Apache Solr的檢索服務(wù)服務(wù)l 日志服務(wù)名稱簡介Loggly云日志服務(wù)，日志保存在S3，部署簡單，豐富的報表，檢索快PaperTrail實時日志分析工具Logentries無存儲限制，使用簡單，支持移動端日志推送，可視化，檢索方便，強(qiáng)大，Heroku內(nèi)置log服務(wù)Flydata提供報警提醒，價格比較低廉，日志保存在S3l 郵件和SMS短信服務(wù)名稱簡介Mailtrap安全的郵件分發(fā)測試工具Intercom可設(shè)置條件，自動發(fā)郵件工具SendGrid可擴(kuò)展，能實時看報表的發(fā)郵件工具Blowerio發(fā)短信的Mandrill郵件分發(fā)和分析工具M(jìn)ailGun郵件分發(fā)工具CloudMailin郵件分發(fā)工具l 隊列和workerPubnub數(shù)據(jù)推送云服務(wù)Scheduler計劃任務(wù)云服務(wù)Rabbitmq-BigwigRabbitmq 云服務(wù)IronWorkerWorker云服務(wù)Pusher基于websocket的實時數(shù)據(jù)推送云服務(wù)Temporize計劃任務(wù)云服務(wù)CloudAMQPRabbitMQ云服務(wù)IronMQ消息隊列云服務(wù)l 分析測試工具名稱簡介NodeTimeNode.js的性能分析和監(jiān)控工具DBInsights數(shù)據(jù)庫的分析工具Blitzweb性能分析工具NodeflyNode.js性能分析和監(jiān)控工具HostedGraphite性能指標(biāo)監(jiān)控平臺Librato監(jiān)控分析平臺NewRelic跨平臺的監(jiān)控分析平臺CloudAssault壓力測試Loaderio壓力測試TinfoilSecurityWeb服務(wù)安全掃描StillAlive服務(wù)器監(jiān)控服務(wù)RangerApp監(jiān)控服務(wù)。Exceptional調(diào)查跟蹤異常服務(wù)Librato監(jiān)控應(yīng)用，調(diào)查跟蹤異常AirBrake異常監(jiān)控服務(wù)HoneyBadgerRuby and Rails的現(xiàn)代化異常管理這里不展開詳細(xì)介紹各個服務(wù)了，但是對于這些云服務(wù)而言，如何贏得用戶的信任以及如何面對公有云平臺巨頭也發(fā)布類似產(chǎn)品時帶來的影響，都是需要認(rèn)真考慮的。比如搜索的云服務(wù)都比較相像，Amazon AWS提供的CloudSearch對這些搜索云服務(wù)還是有一定的沖擊的。在這么多服務(wù)里，如果仔細(xì)研究還是可以發(fā)現(xiàn)不少創(chuàng)新點(diǎn)與趨勢，其中值得一提產(chǎn)品是：New Relic。New Relic在2013年獲得金額為8000萬美元的新一輪融資，目前估值7.5億美元，領(lǐng)投方為Insight Venture Partners。截至目前，New Relic已經(jīng)成功融資1.15億美元。為什么New Relic能值這么多錢呢？簡單分析下來有那么幾點(diǎn)。1. 跨平臺，支持Heroku, AWS, CloudFoundry, APPFog等知名主流云平臺2. 部署簡單，方便，迅速，幾分鐘搞定。對于PaaS平臺的應(yīng)用，都不需要寫任何代碼，就可以對應(yīng)用方方面面的進(jìn)行性能監(jiān)控3. 提供實時監(jiān)控，豐富的圖表展示，團(tuán)隊之間可以共享圖表4. 數(shù)據(jù)加密傳輸，同時權(quán)限系統(tǒng)功能完善 但是比較重要的一個非技術(shù)原因是，開發(fā)者對中立的第三方監(jiān)控平臺的強(qiáng)烈需求。開發(fā)者一般不會自己部署一套監(jiān)控系統(tǒng)，因為平臺提供方一般都會給開發(fā)者提供基本監(jiān)控，這個基本上夠用。但是也會有不少開發(fā)者會使用第三方的監(jiān)控平臺，因為第三方的監(jiān)控平臺會提供更加豐富的服務(wù)，比如，用戶在某IaaS平臺里使用了MONGODB，但是此平臺并沒有提供MONGODB云服務(wù)，那么他會選擇有提供MONGODB監(jiān)控的第三方。雖然第三方監(jiān)控平臺很難成為行業(yè)標(biāo)準(zhǔn)，但開發(fā)者不僅會使用平臺自帶的監(jiān)控，還是會大量使用第三方監(jiān)控，因為第三方監(jiān)控不僅是強(qiáng)有力的補(bǔ)充，豐富公有云平臺服務(wù)，也起到對公有云平臺的監(jiān)督作用。2012年還是開源PaaS平臺與移動云平臺興起的一年。CloudFoundry在VMware的大力宣傳下，不僅自家對外開放了CloudFoundry.Com的PaaS服務(wù)，也有不少基于CloudFoundry的PaaS平臺，如APPFog。隨著移動終端的爆發(fā)，專門給移動APP開發(fā)者服務(wù)的移動云平臺也順勢而起，提供模塊服務(wù)、測試服務(wù)、消息推送服務(wù)等。比如Parse，提供很多常見模塊，可以節(jié)省開發(fā)者非常多的時間，把精力放到業(yè)務(wù)上來。比如PerfectoMobile、TestDroid、DroidPilot等云測試平臺，專門給移動端進(jìn)行自動化測試，包括兼容性測試，Web APP測試、與設(shè)備在線交互,在一臺設(shè)備錄制測試腳本并可以在多臺不同分辨率的設(shè)備上重放測試腳本等，幾乎把移動測試的方方面面都給包括了?？v觀XaaS, 我們可以發(fā)現(xiàn)，只要是在軟件開放過程中需要的工具、流程、規(guī)范、設(shè)施，都慢慢地被搬到云上了，國外的云服務(wù)的市場嗅覺也非常靈敏，只要是可以減少開發(fā)者負(fù)擔(dān)，只要是開發(fā)者需要的東西，都會被搬到云上，做成一個服務(wù)。相信不久的將來還會產(chǎn)生不少像New Relic一樣估值過億的，專注于細(xì)分領(lǐng)域的云服務(wù)。SaaS在SaaS這個層次，成功的案例已經(jīng)是非常多了，Dropbox, Evernote, B等等，說是碩果累累、瓜熟蒂落一點(diǎn)也不為過，這里就不進(jìn)行盤點(diǎn)了，同時SaaS平臺過于廣泛，細(xì)分領(lǐng)域