在線系統(tǒng)遷移與升級方案概要.ppt

1、在線系統(tǒng)遷移與升級,練習(xí)題,QQMAIL系統(tǒng)提供 域名的郵件服務(wù)，原來是的網(wǎng)站部維護，后來轉(zhuǎn)由廣州研發(fā)中心維護 廣州研發(fā)中心為了日常維護方便，建議將QQMail從深圳樞紐機房搬遷到廣州電信較場西機房,請用15分鐘設(shè)計一個系統(tǒng)搬遷方案,提綱,搬遷和割接的風(fēng)險 廣研的搬遷方案 在線系統(tǒng)平滑升級 小版本迭代升級,遷移割接的目標,用戶體驗更好 減低搬遷的費用及風(fēng)險 不采用任何可能做成錯誤或損失的遷移方式,搬遷和割接的風(fēng)險,設(shè)備遷移?,結(jié)果可能是 撥錯線（電線、網(wǎng)線） 整柜跳線 搬錯設(shè)備 運輸過程摔壞,錯綜復(fù)雜的機房,數(shù)據(jù)遷移？,IDC1,有限的專線網(wǎng)絡(luò)帶寬,結(jié)果是 全套的設(shè)備投入 漫長的等待 復(fù)雜的增

2、量同步 不可遇見的風(fēng)險,海量的數(shù)據(jù),失敗案例 (1),某運營商原來的用戶數(shù)據(jù)是集中式處理，需要按省處理，新系統(tǒng)在各省已建設(shè)完成，需要通過網(wǎng)絡(luò)進行數(shù)據(jù)遷移操作。 方案：用10Mbit的網(wǎng)絡(luò)帶寬分批傳輸5Gbytes的數(shù)據(jù)，計劃數(shù)據(jù)傳輸需要時間1個多小時，共停止系統(tǒng)3個小時，結(jié)果 網(wǎng)絡(luò)質(zhì)量抖動，傳輸用了3個多小時 數(shù)據(jù)倒入數(shù)據(jù)庫，完成倒入接近85%時，數(shù)據(jù)庫崩潰 數(shù)據(jù)庫修復(fù)用了3個多小時 繼續(xù)倒入直到完成為止(幸運的是當(dāng)時設(shè)備及數(shù)據(jù)庫都沒有大的損壞),如果事情可能出錯，就一定會出錯。,一刀切遷移？,新系統(tǒng),有BUG會導(dǎo)致數(shù)據(jù)丟失、支撐不了壓力,數(shù)據(jù)庫缺少必要數(shù)據(jù),新Server,新DB,新clie

3、nt,結(jié)果是 回滾 新系統(tǒng)無法上線測試,失敗案例 (2),某美國軟件開發(fā)商給日本網(wǎng)絡(luò)運營商開發(fā)了新的郵件系統(tǒng)，需要用新的系統(tǒng)替換舊的系統(tǒng) 方案：將所有用戶數(shù)據(jù)及郵件倒入新系統(tǒng)，結(jié)果 用戶數(shù)據(jù)開始遷移順利，新系統(tǒng)運行正常了幾天 運行一周后，出現(xiàn)造成用戶全部郵件丟失的bug 開發(fā)商以最快的速度修復(fù)軟件bug，但用戶郵件已經(jīng)丟失，找不回來 運營商威脅不支付軟件費用 開發(fā)商用一年時間才使運營商恢復(fù)信心(幸運的是數(shù)據(jù)是分批倒入的),新系統(tǒng)存在bug是難以避免。,廣研的搬遷方案,廣研的搬遷方案,方案一： 搬遷前準備，QQMAIL數(shù)據(jù)與應(yīng)用完成備份； QQMAIL系統(tǒng)停服務(wù)； 修改DNS指向； 設(shè)備停機、下

4、架、裝車、由深圳搬運至廣州、上架、開機； QQMAIL在廣州重新架設(shè)，重新提供服務(wù)；,沒回退性，風(fēng)險太大，絕對不可行,廣研的搬遷方案,方案二： 在廣州IDC機房架設(shè)基本滿足QQMAIL系統(tǒng)運營和存所有QQMAIL數(shù)據(jù)的設(shè)備 在新設(shè)備上架設(shè)QQMAIL應(yīng)用 使用工具軟件讓深圳與樞紐的數(shù)據(jù)進行同步 保證兩地數(shù)據(jù)一致和應(yīng)用一致后，修改DNS指向 QQMAIL服務(wù)由廣州設(shè)備接替,一次遷移所有用戶數(shù)據(jù)，操作時間長，風(fēng)險不可控，沒長期需要而臨時擴充帶寬浪費資源,廣研的搬遷方案,方案三： 同樣需要架設(shè)一套基本與現(xiàn)有QQMAIL相同的系統(tǒng)：在廣州架設(shè)服務(wù)器，安裝QQMAIL應(yīng)用模塊(WEBMAIL、SMTP/

5、POP3等)； 在深圳樞紐架設(shè)服務(wù)器，安裝QQMAIL后臺存儲； 利用樞紐帶寬，把舊系統(tǒng)數(shù)據(jù)同步到樞紐新存儲上； 搬遷安裝后臺存儲的服務(wù)器到廣州，修改廣州新系統(tǒng)的配置，讓應(yīng)用與后臺存儲完成接合 再使用工具軟件進行深廣新舊系統(tǒng)數(shù)據(jù)增量同步； DNS切換，新系統(tǒng)提供服務(wù)；,物理搬遷，容易做成物理損壞 任一臺機器物理損壞都會導(dǎo)致遷移失敗,總結(jié)廣研的方案,物理搬遷，風(fēng)險大，而且勞民傷財。,在線系統(tǒng)平滑升級,在線系統(tǒng)升級要求,盡量保持724小時服務(wù) 用戶不受任何影響或影響很小,DB平滑擴容,QQGame的DB分裂，不需停止用戶的游戲過程,S1,Db11 db12,S2,db12,請用5分鐘設(shè)計一個平滑擴

6、容的方案,DB平滑擴容,QQGame的DB分裂,S1,Db11 db12,S2,db12,DBSrv11/12,DBSrv12,Proxy,修改路由指到新的DBSrv,Insert到DB,作應(yīng)用級Cache,主鍵保證唯一,只讀不改,多版本支持,Client v1.0,Server v1.1,Server v1.0,Client v1.1,請用5分鐘設(shè)計一個多版本兼容方案,QQGame軟件版本升級，不需強制用戶升級Client,多版本支持,Client v1.0 1.0邏輯,Server v1.1 1.0邏輯 1.1邏輯,Server v1.0 1.0邏輯,Client v1.1 1.0邏輯 1

7、.1邏輯,Server假裝v1.0,“協(xié)議跑得比server快，server跑得比client快”,同時包括v1.0和v1.1的邏輯代碼,Server拒絕非v1.0特性,Client屏蔽v1.1特性,QQServer代碼例子,int CheckPassword(CONFIG* pstConfig, char *sPasswdHash, char *sMd5Value) if (pstConfig-stCinfo.shVersion 900) if (OicqDecrypt3() else return 0; else if (OicqDecrypt3() else return 0; retu

8、rn 1; ,多版本支持,多版本不兼容 RTX3.61和RTX2005 多版本兼容 QQServer QQGame,RTX2005不兼容RTX3.61,QQServer支持超過100個Client版本 QQGame支持超過6個Client版本,灰度割接,舊Server,舊系統(tǒng),舊client,新系統(tǒng),再用少部分用戶壓力，方便測試新系統(tǒng),100%,先割一少部分用戶,新Server,新client,5%,95%,90%,好處是 用戶體驗影響最小 設(shè)備投入少 不存在大風(fēng)險，隨時可以回滾 容易對新系統(tǒng)的測試及問題定位,灰度割接,分時間的逐步升級步驟 有10臺server 有100萬個client,小版本迭代升級,單機軟件發(fā)布,時間,W1,W2,W3,W4,W5,W6,W7,W8,W9,Wn,單機,1,2,3,4,5,6,7,8,9,n,盒裝軟件,1,2,3,Golden,發(fā)行軟件,build50次,制作光盤，RTM,代碼越多，出錯的機會越大,“千里走鋼絲”,固定時間出版,一旦出錯，付出的成本非常高,網(wǎng)絡(luò)軟件快速驗證,時間,W1,W2,W3,W4,W5,W6,W7,W8,W9,Wn,版本,1,2,3,4,5,6,7,8,9,n,版本,1,2,3,系統(tǒng)測試,