Erlang零成本實(shí)現(xiàn)云計(jì)算講義

Erlang零成本實(shí)現(xiàn)云計(jì)算

余鋒（褚霸）淘寶網(wǎng)技術(shù)專(zhuān)家

中國(guó)軟件技術(shù)大會(huì)北京2010

議題1.Erlang天生適合云計(jì)算

2.Erlang并行計(jì)算的效率

3.Erlang云計(jì)算基礎(chǔ)構(gòu)件

4.Erlang集群管理和維護(hù)

5.討論Erlang是什么?通用的語(yǔ)言和運(yùn)行環(huán)境內(nèi)置并發(fā),集群,容錯(cuò)機(jī)制電信和互聯(lián)網(wǎng)行業(yè)大規(guī)模部署應(yīng)用

經(jīng)過(guò)時(shí)間驗(yàn)證的成熟商業(yè)系統(tǒng)Erlang的歷史很老的FP語(yǔ)言,始于80年代末愛(ài)立信投資10億美金主導(dǎo)開(kāi)發(fā)EPL版權(quán)方式開(kāi)源需要記住的幾個(gè)年份1987

ThefirstexperimentswithErlang.

1993

DistributionisaddedtoErlang.2006

SMPsupportisaddedtoErlang.云計(jì)算定義云計(jì)算就是應(yīng)用公共網(wǎng)絡(luò)設(shè)施對(duì)邏輯的組建，像水和電一樣融入大家的生活，為用戶(hù)提供海量一站式的服務(wù).-騰訊首席執(zhí)行官馬化騰

Cloud="CPU+Storage+Queues+Management"

-TheAmazonWebServicessaysessentiallyErlang的進(jìn)程,天上的云"Erlangwasbuiltfromthegroundupforconcurrency.

Notjustinasinglemachine,butinclustersofmachines.

Lotsofmachines.

Lostofmachinesrunningmanyprocesses.

Soundslikeacloud,right?"-ColinClark語(yǔ)言和虛擬機(jī)天生可伸縮

函數(shù)式語(yǔ)言，方便排錯(cuò)輕量級(jí)進(jìn)程異步消息機(jī)制軟實(shí)時(shí)代碼熱升級(jí)最COOL的語(yǔ)言特性:內(nèi)置集群和分布的基礎(chǔ)設(shè)施和庫(kù)進(jìn)程分布和名稱(chēng)同步管理進(jìn)程和節(jié)點(diǎn)容錯(cuò)管理rpcgen_servermnesia數(shù)據(jù)庫(kù)

穩(wěn)定性In1998,theEricssonAXD301switchwasannounced,containingoveramillionlinesofErlang,andreportedtoachieveareliabilityofnine"9"s.

-JoeArmstrongErlang零成本云計(jì)算適用的領(lǐng)域

互聯(lián)網(wǎng)應(yīng)用服務(wù)器消息推送系統(tǒng)

網(wǎng)關(guān)代理服務(wù)器軟實(shí)時(shí)的服務(wù)集群管理

Erlang社社區(qū)區(qū)快快速速壯壯大大,見(jiàn)見(jiàn)證證云云計(jì)計(jì)算算的的增增長(zhǎng)長(zhǎng)小結(jié)結(jié)Erlang天天生生適適合合特特定定領(lǐng)領(lǐng)域域的的云云計(jì)計(jì)算算議題題1.Erlang天天生生適適合合云云計(jì)計(jì)算算2.Erlang并并行行計(jì)計(jì)算算的的效效率率3.Erlang云云計(jì)計(jì)算算基基礎(chǔ)礎(chǔ)構(gòu)構(gòu)件件4.Erlang集集群群管管理理和和維維護(hù)護(hù)5.討討論論Erlang語(yǔ)語(yǔ)言言運(yùn)運(yùn)行行和和開(kāi)開(kāi)發(fā)發(fā)效效率率純Erlang的的運(yùn)運(yùn)行行效效率率大大概概是是C的的1/5，，編編碼碼效效率率是是C的的7倍倍，，在在腳腳本本語(yǔ)語(yǔ)言言中中屬屬于于中中等等水水平平.但但是是云云計(jì)計(jì)算算不不僅僅僅僅是是純純計(jì)計(jì)算算,任任務(wù)務(wù)調(diào)調(diào)度度和和集集群群管管理理是是Erlang的的強(qiáng)強(qiáng)項(xiàng)項(xiàng),從從而而拉拉升升系系統(tǒng)統(tǒng)的的整整體體表表現(xiàn)現(xiàn).第三三方方獨(dú)獨(dú)立立評(píng)評(píng)測(cè)測(cè)網(wǎng)網(wǎng)站站TheComputerLanguageBenchmarksGame摩托托羅羅拉拉C/Erlang開(kāi)開(kāi)發(fā)發(fā)效效率率比比較較Erlang對(duì)對(duì)SMP的的支支持持從2006年發(fā)發(fā)布布的的R11B開(kāi)開(kāi)始始.SMP開(kāi)開(kāi)發(fā)發(fā)人人員員的的信信條條:"SMPshouldbetransparenttoprogramersinmuchthewayaserlangdistribution."-UlfWiger,EricssonABErlang進(jìn)進(jìn)程調(diào)度度及策略略調(diào)度器看看起來(lái)很很像操作系統(tǒng)統(tǒng)，實(shí)際上上Erlang的第一一個(gè)進(jìn)程程名字叫叫做otp_ringFullloadornot多個(gè)運(yùn)行行隊(duì)列，，動(dòng)態(tài)遷遷移進(jìn)程程Erlang調(diào)調(diào)度器的的伸縮性性小消息，，大計(jì)算算原則架構(gòu)設(shè)計(jì)計(jì)方面的的考慮不共享沒(méi)有顯式式的同步步并發(fā)導(dǎo)向向的編程程進(jìn)程是低低廉的,和現(xiàn)實(shí)實(shí)世界對(duì)對(duì)象1:1模型型所有無(wú)依依賴(lài)的任任務(wù),都都抽象為為進(jìn)程并并發(fā)執(zhí)行行終止的進(jìn)進(jìn)程,一一切都是是垃圾,資源集集中回收收簡(jiǎn)潔為王王Erlang技技術(shù)發(fā)展展路線(xiàn)圖圖虛擬機(jī)的的運(yùn)行期期持續(xù)改改進(jìn)計(jì)劃劃涵蓋了了對(duì)眾核和NUMA體系結(jié)構(gòu)構(gòu)的支持持，保證證了它在在未來(lái)新新的硬件件體系結(jié)結(jié)構(gòu)下能能持續(xù)獲獲得更好好的性能能。小結(jié)Erlang并并行計(jì)算算效率高高議題1.Erlang天天生適合合云計(jì)算算2.Erlang并并行計(jì)算算的效率率3.Erlang云云計(jì)算基基礎(chǔ)構(gòu)件件4.Erlang集集群管理理和維護(hù)護(hù)5.小小結(jié)從Vmware收購(gòu)談?wù)勂?..Vmware計(jì)算虛擬擬化Redis存儲(chǔ)RabbitMQ消息交換換系統(tǒng)我們可以以清楚的的看到云云計(jì)算的的三個(gè)基基礎(chǔ)設(shè)施施!存儲(chǔ)系統(tǒng)統(tǒng)(noSQL)CouchDBRiakMembase消息交換換系統(tǒng)RabbitMQEjabberdWEB服服務(wù)器MochiwebErlywebMap/Reduce系統(tǒng)Disco小結(jié)Erlang基基礎(chǔ)設(shè)施施齊全,開(kāi)發(fā)成本低低議題1.Erlang天生適合合云計(jì)算2.Erlang并行計(jì)算算的效率3.Erlang云計(jì)算基基礎(chǔ)構(gòu)件4.Erlang集群管理理和維護(hù)5.討論論集群特點(diǎn)及及規(guī)模集群全連通通或者分區(qū)區(qū)連通訪(fǎng)問(wèn)授權(quán):nothingorall策策略節(jié)點(diǎn)規(guī)?？煽蓮?qiáng)力伸縮縮節(jié)點(diǎn)熱插拔拔規(guī)?？蛇_(dá)上上千臺(tái)典型系統(tǒng)的的集群進(jìn)程程組織圖異構(gòu)性不同的平臺(tái)臺(tái)Windows（smp支持持的有待改改進(jìn)）*nix不同的體系系結(jié)構(gòu)無(wú)需關(guān)心endianess問(wèn)題工業(yè)級(jí)協(xié)議議的支持（（asn.1,snmp等等）強(qiáng)大的交互互性,與與其他遺留留系統(tǒng)整合合NIFC節(jié)點(diǎn)（ei)Java(jinterface)CobraTCP/HTTP內(nèi)置RPC部署Standalone發(fā)布，，無(wú)需單獨(dú)獨(dú)安裝Erlang運(yùn)行期不停機(jī)維護(hù)護(hù)在線(xiàn)升級(jí)，，系統(tǒng)同時(shí)時(shí)運(yùn)行新舊舊代碼發(fā)現(xiàn)問(wèn)題在在線(xiàn)降級(jí)工具化,一一切自動(dòng)動(dòng)化代碼安全代碼可遠(yuǎn)程程從網(wǎng)絡(luò)加加載,Diskless減減少維護(hù)的的成本代碼可加密密,強(qiáng)加加密防止反反編譯遠(yuǎn)程維護(hù)強(qiáng)大的內(nèi)置置shellssh/sftp可集中管理理的日志系系統(tǒng)監(jiān)控功能OSmonSNMPHTTP小結(jié)Erlang集群管管理成本低低議題1.Erlang天生適合合云計(jì)算2.Erlang并行計(jì)算算的效率3.Erlang云計(jì)算基基礎(chǔ)構(gòu)件4.Erlang集群管理理和維護(hù)5.討