灰度發(fā)布經(jīng)驗(yàn)交流-張遠(yuǎn)敏-綠點(diǎn)

1、灰度發(fā)布經(jīng)驗(yàn)交流灰度發(fā)布經(jīng)驗(yàn)交流2013年10月2提綱灰度發(fā)布介紹灰度發(fā)布介紹灰度發(fā)布部署的幾種方式灰度發(fā)布部署的幾種方式手機(jī)營(yíng)業(yè)廳客戶端灰度發(fā)布實(shí)現(xiàn)方式說(shuō)明手機(jī)營(yíng)業(yè)廳客戶端灰度發(fā)布實(shí)現(xiàn)方式說(shuō)明架構(gòu)預(yù)設(shè)、應(yīng)用方案討論架構(gòu)預(yù)設(shè)、應(yīng)用方案討論統(tǒng)一門戶客戶端承載60項(xiàng)全網(wǎng)業(yè)務(wù)，提供42項(xiàng)服務(wù)功能覆蓋三大智能終端平臺(tái)更新12個(gè)版本，適配17套主流機(jī)型HD版WP版Android/iOS版4采用統(tǒng)一規(guī)劃思路實(shí)現(xiàn)版本快速迭代5灰度發(fā)布的定義定義在傳統(tǒng)軟件產(chǎn)品發(fā)布過(guò)程中（例如微軟的Windows 7的發(fā)布過(guò)程中），一般都會(huì)經(jīng)歷Pre-Alpha、Alpha、Beta、Release candidate（RC）

2、、RTM、General availability or General Acceptance （GA）等幾個(gè)階段（參考Software release life cycle）?？梢钥闯鰝鹘y(tǒng)軟件的發(fā)布階段是從公司內(nèi)部-外部小范圍測(cè)試外部大范圍測(cè)試-正式發(fā)布，涉及的用戶數(shù)也是逐步放量的過(guò)程。在互聯(lián)網(wǎng)產(chǎn)品的發(fā)布過(guò)程中也較多采用此種發(fā)布方式：產(chǎn)品的發(fā)布過(guò)程不是一蹴而就，而是逐步擴(kuò)大使用用戶的范圍，從公司內(nèi)部用戶-忠誠(chéng)度較高的種子用戶-更大范圍的活躍用戶-所有用戶。在此過(guò)程中，產(chǎn)品團(tuán)隊(duì)根據(jù)用戶的反饋及時(shí)完善產(chǎn)品相關(guān)功能。此種發(fā)布方式，按照中國(guó)特色的叫法被冠以“灰度發(fā)布”、“灰度放量”、“分流發(fā)布”。關(guān)

3、于“灰度發(fā)布”叫法的來(lái)源無(wú)從考察。只不過(guò)按照中國(guó)傳統(tǒng)哲學(xué)的說(shuō)法來(lái)看，很符合中國(guó)人中庸的思維模式：自然界所有的事物總是以對(duì)稱、互補(bǔ)、和諧的形式存在，例如黑與白、陰與陽(yáng)、正與負(fù)、福與禍。在二元對(duì)立的元素間存在相互過(guò)渡的階段，所謂“禍兮福所倚，福兮禍所伏”。具體到黑與白，在非黑即白中間還有中間色灰色。于是出現(xiàn)了很多關(guān)于灰色的說(shuō)法：灰盒測(cè)試，灰色管理（極力推薦任正非：管理的灰度），灰色收入，灰色地帶等等。因此對(duì)于灰度發(fā)布實(shí)際上就是從不發(fā)布，然后逐漸過(guò)渡到正式發(fā)布的一個(gè)過(guò)程。6灰度發(fā)布的作用作用l 及早獲得用戶的意見(jiàn)反饋，完善產(chǎn)品功能，提升產(chǎn)品質(zhì)量；l 讓用戶參與產(chǎn)品測(cè)試，加強(qiáng)與用戶互動(dòng)；l 降低產(chǎn)品升

4、級(jí)所影響的用戶范圍；l 降低技術(shù)上風(fēng)險(xiǎn)，在放出小范圍后去發(fā)現(xiàn)、解決問(wèn)題。7灰度發(fā)布實(shí)施要素實(shí)施灰度發(fā)布，主要需要考慮策略和部署兩個(gè)層面的問(wèn)題。分支策略設(shè)計(jì)分支策略組合整體策略部署實(shí)施方案設(shè)計(jì)部署實(shí)施8灰度發(fā)布的一般步驟1.定義目標(biāo)2.選定策略：包括用戶規(guī)模、發(fā)布頻率、功能覆蓋度、回滾策略、運(yùn)營(yíng)策略、新舊系統(tǒng)部署策略等3.篩選用戶：包括用戶特征、用戶數(shù)量、用戶常用功能、用戶范圍等4.部署系統(tǒng)：部署新系統(tǒng)、部署用戶行為分析系統(tǒng)（web analytics）、設(shè)定分流規(guī)則、運(yùn)營(yíng)數(shù)據(jù)分析、分流規(guī)則微調(diào)5.發(fā)布總結(jié)：用戶行為分析報(bào)告、用戶問(wèn)卷調(diào)查、社會(huì)化媒體意見(jiàn)收集、形成產(chǎn)品功能改進(jìn)列表6.產(chǎn)品完善7.

5、新一輪灰度發(fā)布或完整發(fā)布9提綱灰度發(fā)布介紹灰度發(fā)布介紹灰度發(fā)布部署的幾種方式灰度發(fā)布部署的幾種方式手機(jī)營(yíng)業(yè)廳客戶端灰度發(fā)布實(shí)現(xiàn)方式說(shuō)明手機(jī)營(yíng)業(yè)廳客戶端灰度發(fā)布實(shí)現(xiàn)方式說(shuō)明架構(gòu)預(yù)設(shè)、應(yīng)用方案討論架構(gòu)預(yù)設(shè)、應(yīng)用方案討論10負(fù)載均衡層部署方式可以只配置一套軟負(fù)載，硬負(fù)載將所有請(qǐng)求都轉(zhuǎn)發(fā)到這套軟負(fù)載上，由軟負(fù)載代替硬負(fù)載實(shí)現(xiàn)負(fù)載均衡功能；甚至可以去掉硬負(fù)載，直接將互聯(lián)網(wǎng)上請(qǐng)求由從防火墻映射到軟負(fù)載上。并發(fā)較少的系統(tǒng)并發(fā)較多的系統(tǒng)部署了兩套軟負(fù)載，每個(gè)軟負(fù)載都能控制到下面所有Web服務(wù)器節(jié)點(diǎn)。且因?yàn)橹笆褂糜藏?fù)載進(jìn)行了分流，每個(gè)軟負(fù)載只分?jǐn)?0%的請(qǐng)求，降低了性能要求。另外，這種部署方式的容災(zāi)能力也要更

6、好。不分并發(fā)這種場(chǎng)景可建立在，由于特殊的網(wǎng)絡(luò)條件，服務(wù)器A、B與C、D在不同機(jī)房且無(wú)法互通，這時(shí)可以將兩套軟負(fù)載分別部署在兩個(gè)機(jī)房。（還需建立在硬負(fù)載能分別到達(dá)兩邊機(jī)房的基礎(chǔ)上）。11使用會(huì)話保持分流技術(shù)實(shí)現(xiàn)無(wú)縫升級(jí) 無(wú)縫升級(jí)是指在升級(jí)過(guò)程中，不中斷用戶的業(yè)務(wù)連續(xù)性。直接進(jìn)行服務(wù)節(jié)點(diǎn)的切換，用戶不僅會(huì)丟失會(huì)話信息，還有可能因新節(jié)點(diǎn)上流程的變更導(dǎo)致業(yè)務(wù)無(wú)法繼續(xù)進(jìn)行。因此建議采取對(duì)舊會(huì)話用戶采用會(huì)話保持分流技術(shù)來(lái)實(shí)現(xiàn)無(wú)縫升級(jí)。具體步驟如下：l 在軟負(fù)載中采用會(huì)話保持技術(shù)，對(duì)用戶的請(qǐng)求進(jìn)行會(huì)話管理。l 當(dāng)判斷請(qǐng)求為新會(huì)話時(shí)，根據(jù)規(guī)則校驗(yàn)、負(fù)載均衡策略，獲取Web服務(wù)節(jié)點(diǎn)的物理訪問(wèn)地址。按照該地址進(jìn)行

7、數(shù)據(jù)轉(zhuǎn)發(fā)，并同時(shí)將地址保存在會(huì)話中。l 當(dāng)判斷請(qǐng)求為舊會(huì)話時(shí)，直接從會(huì)話取出物理訪問(wèn)地址，以此進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)。l 一個(gè)會(huì)話永遠(yuǎn)只對(duì)應(yīng)一個(gè)物理訪問(wèn)地址。不會(huì)因分流規(guī)則變化而跳轉(zhuǎn)到其它Web服務(wù)節(jié)點(diǎn)。12灰度環(huán)境獨(dú)立于現(xiàn)網(wǎng)環(huán)境部署方案灰度環(huán)境獨(dú)立于現(xiàn)網(wǎng)環(huán)境部署，是指在原有的生產(chǎn)環(huán)境服務(wù)器以外，單獨(dú)安排若干臺(tái)服務(wù)器，并在這些單獨(dú)的服務(wù)器上部署灰度版本的應(yīng)用，提供給內(nèi)部或外部的體驗(yàn)用戶使用。灰度體驗(yàn)完成后，再對(duì)生產(chǎn)使用的服務(wù)器進(jìn)行常規(guī)方式的部署發(fā)布。這種部署方案下的灰度環(huán)境類似于傳統(tǒng)測(cè)試中使用的預(yù)發(fā)布環(huán)境，但不同的是此環(huán)境和生產(chǎn)環(huán)境共用正式生產(chǎn)環(huán)境的后臺(tái)接口和數(shù)據(jù)庫(kù)數(shù)據(jù)等。這種部署方式有以下優(yōu)點(diǎn)：1、對(duì)

8、現(xiàn)網(wǎng)系統(tǒng)的改造較小，灰度環(huán)境成本要求較低，較容易實(shí)現(xiàn)。2、對(duì)原有的常規(guī)發(fā)布方式的改變較小，在灰度體驗(yàn)完成后，還是可以使用原有的發(fā)布方式對(duì)公眾生產(chǎn)環(huán)境進(jìn)行發(fā)布。但是這種部署方式也有一些局限性：1、在灰度體驗(yàn)結(jié)束后，無(wú)法平滑地將灰度版本推廣到全網(wǎng)用戶，還是需要對(duì)公眾環(huán)境進(jìn)行一次傳統(tǒng)的中斷業(yè)務(wù)的發(fā)布。2、由于是獨(dú)立于公眾生產(chǎn)環(huán)境的環(huán)境，一般提供的服務(wù)器的數(shù)量和性能會(huì)比較有限，因此相關(guān)的灰度體驗(yàn)用戶的數(shù)量也會(huì)有所限制，無(wú)法進(jìn)行大面積用戶的灰度體驗(yàn)。優(yōu)缺點(diǎn)部署方式13A、B雙路分服務(wù)器部署方案A、B雙路分服務(wù)器部署就是將原有的生產(chǎn)使用服務(wù)器進(jìn)行分組，分成A、B兩個(gè)集群，然后在不同的服務(wù)器集群上分別部署公

9、眾環(huán)境和灰度環(huán)境，然后通過(guò)負(fù)載均衡層（前置的軟件或者硬件負(fù)載均衡器）根據(jù)相關(guān)規(guī)則，將目標(biāo)用戶分別引導(dǎo)至不同的服務(wù)器集群。A、B雙路分服務(wù)器部署有以下的優(yōu)點(diǎn)：1、灰度環(huán)境和現(xiàn)網(wǎng)環(huán)境從物理上隔離開(kāi)，如果灰度版本存在影響系統(tǒng)性能的問(wèn)題時(shí)，比如內(nèi)存泄露、程序死循環(huán)耗盡CPU資源等故障，不會(huì)對(duì)現(xiàn)網(wǎng)環(huán)境產(chǎn)生影響。2、減少操作復(fù)雜度，在同一臺(tái)服務(wù)器上只有一個(gè)版本的應(yīng)用，在執(zhí)行進(jìn)程停止、更新、啟動(dòng)等操作時(shí)，不容易出現(xiàn)誤操作。但同時(shí)該部署方式也有以下的不足：對(duì)資源投入要求大；如集群不能保證自身可用性，則將影響現(xiàn)網(wǎng)或者灰度環(huán)境的正常使用。另外按照公眾服務(wù)器與灰度服務(wù)器的使用范圍及切換方式，可以按比例分配資源或?qū)Φ?/p>

10、分配資源，這兩種方式各有優(yōu)缺點(diǎn)：1）按比例分配資源：公眾服務(wù)器承載大部分用戶訪問(wèn)量，灰度服務(wù)器僅對(duì)小量用戶提供服務(wù)。需要向全網(wǎng)用戶開(kāi)放使用時(shí)，再對(duì)公眾服務(wù)器進(jìn)行傳統(tǒng)的上線操作。此類型對(duì)硬件要求不高，成本也較低，但是當(dāng)灰度服務(wù)發(fā)布至公共服務(wù)器時(shí)會(huì)有短暫的業(yè)務(wù)停頓 。2）對(duì)等分配資源：公眾服務(wù)器與灰度服務(wù)器資源對(duì)等，灰度服務(wù)器資源也可以承載全量用戶。公眾環(huán)境的用戶全面平滑引導(dǎo)到灰度環(huán)境，完成灰度環(huán)境全面公眾化。如果后續(xù)有新的發(fā)布上線，原公眾環(huán)境又變?yōu)榛叶拳h(huán)境，兩套環(huán)境可以互相交替使用，方便版本迭代發(fā)布；如果后續(xù)沒(méi)有新的上線，就將原公眾版本的應(yīng)用也同步成灰度版本，共同向全網(wǎng)提供服務(wù)。這種方式的優(yōu)點(diǎn)是

11、兩套環(huán)境可以互相平滑切換，快速發(fā)布和回退，不中斷業(yè)務(wù)。缺點(diǎn)是需要較多的資源，且灰度發(fā)布過(guò)程中，會(huì)有部分資源閑置。14灰度環(huán)境和現(xiàn)網(wǎng)環(huán)境在相同服務(wù)器上部署灰度環(huán)境和現(xiàn)網(wǎng)環(huán)境部署在相同的服務(wù)器上，使用不同的端口,也通過(guò)負(fù)載均衡層實(shí)現(xiàn)分流。此種方案有如下的優(yōu)點(diǎn)：1、能充分利用硬件資源，在硬件資源不足的情況下也能進(jìn)行灰度發(fā)布的部署，且不影響正常生產(chǎn)；2、對(duì)用戶業(yè)務(wù)請(qǐng)求實(shí)現(xiàn)訪問(wèn)資源上的隔離；3、便于系統(tǒng)的上線活動(dòng)，兩個(gè)版本彼此影響較小； 4、根據(jù)各版本訪問(wèn)量的大小，可以靈活分配系統(tǒng)資源。5、單一集群或者單機(jī)出現(xiàn)硬件問(wèn)題，灰度環(huán)境及公眾環(huán)境依然承載能力受到影響，但依然具備一定的可用性。但是這種方案也有一些

12、缺點(diǎn)：1、多個(gè)系統(tǒng)運(yùn)行在同一套服務(wù)器上，在系統(tǒng)忙時(shí)易出現(xiàn)搶占資源的情況；2、一旦出現(xiàn)硬件問(wèn)題，將會(huì)影響所有版本。優(yōu)缺點(diǎn)部署方式15應(yīng)用層灰度發(fā)布中的版本管理灰度版本管理，是集中管理所有系統(tǒng)的升級(jí)包文件、版本號(hào)、以實(shí)現(xiàn)應(yīng)用程序的升級(jí)、備份、回退。功能上主要分為三大部分，包括：版本備份，校驗(yàn)等基礎(chǔ)功能、應(yīng)用版本管理和灰度版本的分析與查詢?；叶劝姹竟芾淼年P(guān)鍵部分在于，在版本升級(jí)和回退時(shí)，不能影響到用戶端業(yè)務(wù)的連續(xù)性。16提綱灰度發(fā)布介紹灰度發(fā)布介紹灰度發(fā)布部署的幾種方式灰度發(fā)布部署的幾種方式手機(jī)營(yíng)業(yè)廳客戶端灰度發(fā)布實(shí)現(xiàn)方式說(shuō)明手機(jī)營(yíng)業(yè)廳客戶端灰度發(fā)布實(shí)現(xiàn)方式說(shuō)明架構(gòu)預(yù)設(shè)、應(yīng)用方案討論架構(gòu)預(yù)設(shè)、應(yīng)用方

13、案討論17統(tǒng)一門戶客戶端手機(jī)營(yíng)業(yè)廳原有灰度發(fā)布系統(tǒng)架構(gòu)版本數(shù)量開(kāi)發(fā)版本發(fā)布平臺(tái)維護(hù)平臺(tái)維護(hù)難度/成本 統(tǒng)一門戶客戶端的應(yīng)用支撐平臺(tái)只有一個(gè)版本，需要同時(shí)支撐4個(gè)正式版本和多個(gè)不同功能的灰度版本。 這一版本發(fā)布架構(gòu)對(duì)于應(yīng)用支撐平臺(tái)的版本兼容性及可靠性要求非常高。而且會(huì)隨著版本數(shù)量持續(xù)增加開(kāi)發(fā)，版本發(fā)布和平臺(tái)維護(hù)的成本。18統(tǒng)一門戶客戶端手機(jī)營(yíng)業(yè)廳-硬件拓普現(xiàn)狀19客戶端灰度發(fā)布方案系統(tǒng)架構(gòu)優(yōu)化-進(jìn)程獨(dú)立實(shí)現(xiàn)正式版本與灰度版本的相對(duì)獨(dú)立，在保障正式版本服務(wù)支撐質(zhì)量的前提下，滿足灰度版本發(fā)布的需要。實(shí)現(xiàn)正式版本之間的相互獨(dú)立。通過(guò)獨(dú)立的端口通信，實(shí)現(xiàn)進(jìn)程與版本的一 一對(duì)應(yīng)。20客戶端灰度發(fā)布（多版本

14、并行發(fā)布）架構(gòu) 針對(duì)客戶端各版本，在應(yīng)用支撐平臺(tái)建立與其一對(duì)一關(guān)聯(lián)的服務(wù)端版本。應(yīng)用支撐平臺(tái)側(cè)的服務(wù)端版本，通過(guò)端口獨(dú)立實(shí)現(xiàn)進(jìn)程獨(dú)立，每個(gè)獨(dú)立進(jìn)程對(duì)一個(gè)或多個(gè)客戶端版本提供服務(wù)支撐，某個(gè)版本發(fā)生的問(wèn)題不會(huì)對(duì)其它版本產(chǎn)生影響。21客戶端灰度發(fā)布（多版本并行發(fā)布）架構(gòu)詳解 單一進(jìn)程和端口實(shí)現(xiàn)對(duì)所有灰度版本的支撐，以控制灰度版本對(duì)系統(tǒng)的影響。 一個(gè)客戶端版本對(duì)應(yīng)一個(gè)應(yīng)用支撐平臺(tái)服務(wù)端版本。服務(wù)端版本間通過(guò)進(jìn)程和端口實(shí)現(xiàn)相互獨(dú)立。 由于已經(jīng)上線正式運(yùn)行，且用戶規(guī)模較大，因此仍然采用原有的服務(wù)端程序，以保證服務(wù)支撐的連續(xù)性和穩(wěn)定性。歷史版本當(dāng)前版本灰度版本22客戶端灰度發(fā)布優(yōu)化-系統(tǒng)改造點(diǎn)說(shuō)明 統(tǒng)一門戶

15、客戶端的灰度發(fā)布系統(tǒng)改造過(guò)程涉及貫穿到軟、硬件系統(tǒng)的各個(gè)方面，這包括：防火墻負(fù)載均衡設(shè)備WAS接入服務(wù)業(yè)務(wù)支撐服務(wù)數(shù)據(jù)庫(kù)/BOSS接口服務(wù)23客戶端灰度發(fā)布優(yōu)化-系統(tǒng)改造點(diǎn)說(shuō)明-接入部分 所有灰度版本使用9053端口，以和正式版本實(shí)現(xiàn)端口通信的相互獨(dú)立。通過(guò)部署配置新的WAS應(yīng)用服務(wù)程序，為灰度測(cè)試版本提供接入服務(wù)。此灰度版本的應(yīng)用服務(wù)程序獨(dú)立與原有正式版的接入服務(wù)程序，擁有獨(dú)立的進(jìn)程、端口、響應(yīng)資源和線程池。 已上線版本不做任何變動(dòng)，仍通過(guò)端口9043接入，原有WAS應(yīng)用服務(wù)器01為其提供接入服務(wù)24客戶端灰度發(fā)布優(yōu)化-系統(tǒng)改造點(diǎn)說(shuō)明-接入服務(wù)器同一宿主機(jī)對(duì)外提供多個(gè)服務(wù)。25客戶端灰度發(fā)布

16、優(yōu)化-系統(tǒng)改造點(diǎn)說(shuō)明31.新客戶端版本發(fā)布時(shí)，需建立與之對(duì)應(yīng)的應(yīng)用支撐平臺(tái)版本，應(yīng)用支撐平臺(tái)發(fā)布新版本時(shí)，需要部署包括與新版本對(duì)應(yīng)的所有服務(wù)端程序，這包括：接入部分/業(yè)務(wù)應(yīng)用服務(wù)程序、BOSS接口服務(wù)程序、數(shù)據(jù)庫(kù)服務(wù)程序；2.配置管理的工作量增加；與客戶端有多個(gè)版本一樣，服務(wù)端程序編譯時(shí)，需要以應(yīng)用支撐平臺(tái)版本號(hào)予以區(qū)分，同時(shí)需要建立多個(gè)開(kāi)發(fā)分支；3.規(guī)劃版本策略，適時(shí)停用舊有/灰度版本。26提綱灰度發(fā)布介紹灰度發(fā)布介紹灰度發(fā)布部署的幾種方式灰度發(fā)布部署的幾種方式手機(jī)營(yíng)業(yè)廳客戶端灰度發(fā)布實(shí)現(xiàn)方式說(shuō)明手機(jī)營(yíng)業(yè)廳客戶端灰度發(fā)布實(shí)現(xiàn)方式說(shuō)明架構(gòu)預(yù)設(shè)、應(yīng)用方案討論架構(gòu)預(yù)設(shè)、應(yīng)用方案討論27架構(gòu)預(yù)設(shè)自動(dòng)化部署（發(fā)布）業(yè)務(wù)網(wǎng)管核心調(diào)度模塊（軟負(fù)載）灰度發(fā)布管理門戶灰度發(fā)布引擎接口集成統(tǒng)一登錄灰度發(fā)布系統(tǒng) (Multi-phase Release System)28整體解決方案灰度發(fā)布引擎規(guī)則解