MySQL高可架構(gòu)設(shè)計(jì)方案

可架構(gòu)設(shè)計(jì)方案 高可用（ 兩種不同的含義，在廣義環(huán)境中，是指整個(gè)系統(tǒng)的高可用特性，在狹義方面，一般指主機(jī)的冗余接管，如主機(jī) 們目前的產(chǎn)品及相關(guān)系統(tǒng)平臺(tái)主要都傾向于廣義上的高可用。一個(gè)良好的高可用環(huán)境，不僅僅能避免系統(tǒng)本身的問題，還能防止天災(zāi)人禍，并且有一個(gè)簡單可靠的系統(tǒng)維護(hù)方法，同時(shí)能在最小的成本資源下產(chǎn)生最大的效益。 高可用的計(jì)算方法一般以年在線率來計(jì)算，例如規(guī)定整個(gè)系統(tǒng)一年之中的可用環(huán)境要達(dá)到 那么 24*365*（ = 時(shí)（包括計(jì)劃內(nèi)維護(hù)時(shí)間）。另外，子系統(tǒng)的可用性一定會(huì)高于整個(gè)系統(tǒng)的可用性，如整個(gè)系統(tǒng)的可用性為 則對于子系統(tǒng)，可用性可能就是要求達(dá)到 可用性級別 = 計(jì)劃外與計(jì)劃內(nèi)停機(jī)可用性級別99 . 999 %每年停機(jī)時(shí)間99 . 99 %99 . 9 %99 . 0 %95 . 0 %5 分鐘53 分鐘8 . 8 小時(shí)87 . 6 小時(shí)438 小時(shí)圖 2可用級別對照表 在實(shí)際產(chǎn)品開發(fā)中，很難達(dá)到 100%的在線能力，即使真的達(dá)到，代價(jià)會(huì)非常大。 一般能達(dá)到 上的可用性的環(huán)境，都可以認(rèn)為是比較高的可用環(huán)境 。 成 本在 線 率業(yè) 務(wù) 中 斷 損 失高 可 用 環(huán) 境 成 本9 9 . 0 % 9 9 . 9 % 9 9 . 9 5 % 9 9 . 9 9 % 9 9 . 9 9 9 %圖 2益與成本 在 公司收益與投入成本計(jì)算方面取得一個(gè)平衡，則是最終所希望的在線效率，但是收益與成本的計(jì)算方法則是決策者與實(shí)施者需要著重考慮的問題，適合自己的高可用環(huán)境即是最好的，不能盲目地追逐過高的可用性。 在一個(gè)高可用的環(huán)境中，會(huì)遇到各種風(fēng)險(xiǎn)，主要的風(fēng)險(xiǎn)如下 系統(tǒng)失敗或崩潰 （ 應(yīng)用層或中間層錯(cuò)誤 （ 網(wǎng)絡(luò)失敗 （ 介質(zhì)失效，一般指存放數(shù)據(jù)的媒體介質(zhì)故障 （ 人為失誤 （ 分級與容災(zāi) （ 計(jì)劃宕機(jī)與維護(hù) （ 使用 C 服務(wù)器來構(gòu)建高可用的 群會(huì)遇到一些主要的問題，這些問題如果忽略了或者沒有去解決好，是會(huì)對高可用造成影響的，設(shè)置直接影響到整個(gè)產(chǎn)品及系統(tǒng)的穩(wěn)定運(yùn)行。 丟數(shù)據(jù)嗎 身的穩(wěn)定性怎么樣 性能怎么樣 何快速自動(dòng)切換 何進(jìn)行可靠的容災(zāi) 備庫數(shù)據(jù)的一致性校驗(yàn) 庫同步延遲，備庫跟不上主庫 線 表（阻塞寫）怎么解決 相比商業(yè)軟件成熟的解決方案， C 架構(gòu)其高可用性如何保證 3. 據(jù)可靠性 例 會(huì)不會(huì)丟數(shù)據(jù) 務(wù)器 （比如斷電、 存損壞等）會(huì)不會(huì)丟數(shù)據(jù) 硬盤壞掉會(huì)不會(huì)丟數(shù)據(jù) 說明： 數(shù)據(jù)更多地是指， 用 務(wù)器， 務(wù)器存在硬件損壞的可能性（比如 存、硬盤壞掉），從而導(dǎo)致丟數(shù)據(jù)。 1、傳統(tǒng)思路 共享存儲(chǔ) 2、非共享存儲(chǔ)思路 可以分開對 應(yīng)用兩個(gè)方面進(jìn)行一定的設(shè)置和處理，相當(dāng)于是雙保險(xiǎn)的方式，使數(shù)據(jù)不丟失。 對于 設(shè)置 1 設(shè)置為 1：每個(gè)事務(wù)日志都 磁盤 設(shè)置為 2：每個(gè)事務(wù)刷到 ，每秒 磁盤 設(shè)置 1 設(shè)置為 0：事務(wù)提交后， 做 類的磁盤同步命令刷新 的數(shù)據(jù)到磁盤，而讓文件系統(tǒng)自行決定什么時(shí)候同步，或 了 后才同步到磁盤。 設(shè)置為 1：事務(wù)提交后， 將 的數(shù)據(jù)強(qiáng)制寫入磁盤，是最安 全的設(shè)置。 設(shè)置 設(shè)置為 1：是否支持分布式事務(wù)（默認(rèn)是打開） 設(shè)置為 0：不支持分布式事務(wù) 如果確認(rèn)應(yīng)用中不需要使用分布式事務(wù)，可關(guān)閉該參數(shù) 程 過 保證數(shù)據(jù)不丟失， 時(shí)傳送到遠(yuǎn)程 果主備庫之間的網(wǎng)絡(luò)較好的話，一般的（依賴于 備庫的時(shí)間基本上在毫秒之內(nèi)。 半同步復(fù)制（ 半同步復(fù)制總體上可以保證數(shù)據(jù)的零丟失，但是可能對性能會(huì)有少許影響，會(huì)造成約 20%的 降。 說明： 1、 個(gè)參數(shù)的設(shè)置在保證數(shù)據(jù)安全性和可靠性的同時(shí)，對性能是有一定的犧牲的。 為 0 時(shí)，性能比其中一個(gè)設(shè)置為 1 高出約幾百倍； 為 1 時(shí)，性能比其中一個(gè)設(shè)置為 1 相差約幾倍； 0 和 1 時(shí)的系統(tǒng)寫入性能差距 可能會(huì)達(dá)到 5 倍或更多 對于應(yīng)用 應(yīng)用雙寫（寫兩份） 應(yīng)用將同一記錄寫兩份到不同的庫中 應(yīng)用通過記錄 實(shí)現(xiàn) 可以通過應(yīng)用程序（ C+）自己寫?yīng)毩⒌娜罩緛碛涗洈?shù)據(jù)，也可以通過開源的消息中間件來實(shí)現(xiàn)日志記錄。 4. 據(jù)一致性 庫異常 ，會(huì)導(dǎo)致主備庫之間的數(shù)據(jù)不一致 備切換后，備庫成為主庫，數(shù)據(jù)存在不一致 邏輯復(fù)制理論上是有風(fēng)險(xiǎn)的，極端情況下可能存在主備數(shù)據(jù)不一致 設(shè)置 1 設(shè)置 1 設(shè)置 半同步復(fù)制（ 主備庫盡量采用 式復(fù)制，不要采用 式復(fù)制 主備庫定期數(shù)據(jù)一致性校驗(yàn) 數(shù)據(jù)生命周期內(nèi)的 量保存下來 機(jī)后，有三個(gè)選擇 即提供服務(wù)，存在數(shù)據(jù)不一致風(fēng)險(xiǎn) 提供服務(wù)，等待 復(fù)，保證數(shù)據(jù)一致 供部分服務(wù)（比如只能新建，不允許修改），等待 復(fù)后，保持?jǐn)?shù)據(jù)一致 對于我們的 可用環(huán)境，我們采用的處理策略 1、 即提供服務(wù) 2、 ） ） 3、 ） 、 ） ） 5、 ） a s t e rR o l l b a c kS l a v eR e p l a y 滾，保持與 致 重新恢復(fù)主備復(fù)制關(guān)系 放，減少數(shù)據(jù)丟失 沖突檢測機(jī)制 5. 災(zāi) 互聯(lián)網(wǎng)應(yīng)用以普通的 務(wù)器為主 通過業(yè)務(wù)功能的寫入主庫通常只有一個(gè)，造成單點(diǎn) 意外操作 導(dǎo)致數(shù)據(jù)丟失 會(huì)遇到不可抗力因素或異常導(dǎo)致 宕機(jī) 應(yīng)用寫入數(shù)據(jù)時(shí)，記錄應(yīng)用日志，日志可以用來恢復(fù)丟失的數(shù)據(jù) 制模式是 換時(shí)只需修改 布式數(shù)據(jù)中間層 志 從采用半同步復(fù)制（ 為備庫， 是備庫，作為容災(zāi)庫 6. 動(dòng)切換 互聯(lián)網(wǎng)應(yīng)用以普通的 務(wù)器為主 主庫 后，需要保持提供高可用的服務(wù) 人工調(diào)整切換時(shí)間太長 多個(gè) 主庫 后，需要及時(shí)切換 1、整體架構(gòu) 說明： 頁面化操作管理切換，目前暫時(shí)不實(shí)現(xiàn)，采用 態(tài)數(shù)據(jù)源直接與 行通信。 2、詳細(xì)架構(gòu) 態(tài)數(shù)據(jù)源 A P PM a s t e r S l a v eZ o o K e e p e r m a s t e 性能損失 20 % ， 用的比較多A g e n tA g e n a s t e r 狀態(tài) ， 定期更新Z o o k e e p e r 上的鎖的時(shí)間 ， 聲明自己可用 。定期檢查 Z o o k e e p e r 上的鎖更新時(shí)間 ， 如果 M a s t e r 更新超時(shí) ， 那么把 S l a v e 狀態(tài)變成m a s t e r , r e a d o n l y 屬性關(guān)閉同時(shí)更新 z o o k e e p e r 上的 M a s t e 為原來 S l a v e 的地址/ 0 . 10 . 10 . 1 : 5000 10 . 10 . 10 . 1 : 5000 0 . 10 . 10 . 1 : 50000 . 10 . 10 . 2 : 500110 . 10 . 10 . 210 . 10 . 10 . 1連接管理器 ， 連接不可用 ， 或者監(jiān)控到的主備地址變化時(shí) （ 通過事件的方式可以獲得 ， 無需定時(shí)檢查 ）， 從取新的數(shù)據(jù)庫 址 ， 建立新的連接管理工具1 . 監(jiān)控主從狀態(tài)2 . 主動(dòng)主從切換 （ 當(dāng)主恢復(fù)的時(shí)候 ， 需要此功能 ）3、整體思路 主備庫構(gòu)成分布式環(huán)境，但是有狀態(tài) 確保 以重啟，可以任意次重啟，但是有超時(shí)限制 主庫切換邏輯可以通過 現(xiàn) 鎖的升級實(shí)現(xiàn) 切換時(shí)， 設(shè)置很重要 切換時(shí)，需要將異常的故障節(jié)點(diǎn) +據(jù)源一起切換 1、首先在 始化，創(chuàng)建 對應(yīng)的節(jié)點(diǎn)，寫入模塊信息、數(shù)據(jù)庫源名稱、數(shù)據(jù)庫 據(jù)庫端口信息等 ，然后寫入下面的數(shù)據(jù)庫子節(jié)點(diǎn) 中，并添加 加監(jiān)視事件。 2、創(chuàng)建 節(jié)點(diǎn)，不需要設(shè)置 果當(dāng)前 當(dāng)前最小的節(jié)點(diǎn)，則獲得了 出。否則繼續(xù)等待，如果 存在，則創(chuàng)建子節(jié)點(diǎn) 3、當(dāng)發(fā)生異常 機(jī)后，則 件觸發(fā)，然后從當(dāng)前 列中得到最小的該節(jié)點(diǎn)置為新的 時(shí)將 為 證可以讀寫 流程 1： 動(dòng) 流程 2：數(shù)據(jù)庫監(jiān)控正常 根據(jù) 傳入的參數(shù) 在 注冊 節(jié)點(diǎn) 啟動(dòng)數(shù)據(jù)庫監(jiān)視 器 檢查 工作環(huán)境 是否滿足 工作要求 滿足 退出 注冊成功 告警 ，等待手工處理 開始修改本地監(jiān)控狀態(tài)是否 Ma o ： 數(shù)據(jù)庫監(jiān)控 數(shù)據(jù)庫 始修改本地監(jiān)控狀態(tài)I f p r e _ s t a t = a c t i v e t h e n n o w _ s t a t = a c t i v e 2 d o w nI f p r e _ s t a t = r u n n i n g t h e n n o w _ s t a t = r u n n i n g 2 d o w nE l s e n o w _ s t a t = d o w c t i v e 2 d o w l o c k 節(jié)點(diǎn)是否結(jié)束流程 4： 正常停止 開始刪除 應(yīng)用啟動(dòng)，初始化 數(shù)據(jù)庫 連接池 流程 六： 應(yīng)用 監(jiān)聽到 據(jù)庫 宕機(jī) d f d D a t a F l o o k e e p e K 讀取數(shù)據(jù)源信息建立 Z K L O C K 節(jié)點(diǎn)的監(jiān)聽構(gòu)建數(shù)據(jù)源組結(jié)束讀取數(shù)據(jù)源組信息否是 目前我們連接池重建連接的過程是當(dāng)在連接上執(zhí)行 作時(shí)發(fā)生特定異常時(shí)觸發(fā)連接池關(guān)閉不可用連接，重新向數(shù)據(jù)源獲取連接。在使用 置特性時(shí)， 不可用則嘗試從另外一個(gè)數(shù)據(jù)源獲取連接， 復(fù)制機(jī)制（非共享存儲(chǔ)）決定了其驅(qū)動(dòng)層不能支持當(dāng)主庫出問題時(shí)自動(dòng)連接到從庫上，因此我們考慮使用實(shí)現(xiàn)類似 動(dòng)做的事情，即數(shù)據(jù)源組中的首選數(shù)據(jù)源不可用時(shí)，我們嘗試同組中的其他數(shù)據(jù)源來獲取連接，對于連接池來說這個(gè)過程是透明的。連接池還是保持之前當(dāng)連接異常時(shí)，觸發(fā)執(zhí)行關(guān)閉不可用連接并重新獲取連接即可。 主備切換和按權(quán)重選擇、按優(yōu)先級選擇數(shù)據(jù)源的選擇策略是不一樣的，因此設(shè)計(jì)描述數(shù)據(jù)源的選擇策略，不同的選擇策略在同一數(shù)據(jù)源組中會(huì)同時(shí)存在，一個(gè) 括寫數(shù)據(jù)源選擇策略、讀數(shù)據(jù)源選擇策略和運(yùn)行時(shí)切換策略，使用何種具體策略取決于組數(shù)據(jù)源的配置。待選擇的數(shù)據(jù)源要求是對等的，即讀數(shù)據(jù)源選擇策略只針對標(biāo)識為讀的數(shù)據(jù)源，不能把讀寫數(shù)據(jù)源混在一起選擇。 引入了 后，我們可以通過 知到主數(shù)據(jù)庫的狀態(tài)。 用程序收到通知后，需要關(guān)閉連接池中之前已建立的主數(shù)據(jù)庫連接，重新創(chuàng)建新的主庫連接?；?通知機(jī)制，我們在 接收數(shù)據(jù)源配置變化的信息 ,收到變化通知后更新數(shù)據(jù)源本身的狀態(tài)，同時(shí)建立 制，把數(shù)據(jù)源狀態(tài)變化發(fā)布給連接池等對象進(jìn)行相應(yīng)的處理。 1、類圖： 2、獲取連接時(shí)序圖 c l a s s D a t a S o u r c eG r o u p D a t a S o u r c e+ g e t C o n n e ct i o n ( ) : C o n n e ct i o n+ g e t N a m e ( )+ a d d D s L i s t e n e r ( D s L i s t e n e r ) : vo i d i n t e r f a N a m e d D a t a S o u r c e+ g e t C o n n e ct i o n ( ) : C o n n e ct i o n+ g e t C o n n e ct i o n ( S t r i n g , S t r i n g ) : C o n n e ct i o n+ g e t N a m e ( )Z k W a t c h e r+ p r o ce s s ( ) : vo i d i n t e r f a S t a t e D a t a S o u r c e+ g e t C o n n e ct i o n ( ) : C o n n e ct i o n+ g e t S t a t e ( ) : D s S t a t e+ i s A va i l a b l e ( ) : b o o l e a n+ i s R e a d a b l e ( ) : b o o l e a n+ i s W r i t a b l e ( ) : b o o l e a b je i n t e r f a D a t a S o u r c e+ g e t C o n n e ct i o n ( ) : C o n n e ct i o n+ g e t C o n n e ct i o n ( S t r i n g , S t r i n g ) : C o n n e ct i o n e n u m e r a t i o n D s S t a t A I T A D _ W R I T i n t e r f a D s S e l e c t o r+ s e l e ) : D a t a S o u r k S t a t e D a t a S o u r c e+ g e t C o n n e ct i o n ( ) : C o n n e ct i o n+ g e t S t a t e ( ) : D s S t a t e+ i s A va i l a b l e ( ) : b o o l e a n+ i s R e a d a b l e ( ) : b o o l e a n+ i s W r i t a b l e ( ) : b o o l e a n+ a d d D s L i s t e n e r ( D s L i s t e n e r ) : vo i d n o t i f yD s L i s t e n e r s ( ) : vo i d i n t e r f a D s L i s t e n e r+ o n C h a n g e ( D s C h a n g e E ve n t ) : vo i dC o n n e c t i o n P o o lA c t i v e D s S e l e c t o r+ s e l e ) : D a t a S o u r i n t e r f a D s C h a n g e E v e n t+ g e t O l d V a l u e ( ) : + g e t N e w V a l u e ( ) : + g e t S o u r ) : D a t a S o u r s S t a t e C h a n g e E v e n t + g e t O l d V a l u e ( ) : D s S t a t e+ g e t N e w V a l u e ( ) : D s S t a t e+ g e t S o u r ) : D a t a S o u r 、應(yīng)用監(jiān)聽到 發(fā)生切換時(shí)序圖： s d G e t C o n n e c t i o nC o n n e ct i o n P o o l G r o u p D a t a S o u r ct i b S e l e ct o r Z k S t a t e D a t a S o u r e t C o n n e ct i o n ( )s e l e )* i s A va i l a b l e ( ): t r u e* i s W r i t a b l e ( ): t r u e:a ct i a t a s o u r e t C o n n e ct i o n ( ): co n n e ct i o n: co n n e ct i o n s d A c t i v e S w i t c hZ k S t a t e D a t a S o u r o o K e e p e rZ k W a t ch e r C o n n e ct i o n P o o lD s L i s t e n e r 4 P o o lG r o u p D a t a S o u r M a s t e r i s n o n a va l i a b l e ( N A ) :p r o ce s s ( )g e t C h a n g e d D s ( d b N a m e ): t a t e D a t a S o u r o t i f yD s L i s t e n e r s ( )ch a n g e D s S t a t e T o N A ( )o n C h a n g e ( d s S t a t e C h a n g e E ve n t )n o t i f yC h e )cl o s e N a C o n n e ct i o n s ( ) M a s t e r h a s s w i t ch e d :p r o ce s s ( )g e t C h a n g e d D s ( d s N a m e ): t a t e D a t a S o u r o t i f yD s L i s t e n e r s ( )ch a n g e D s S t a t e T o W r i t a b l e ( )o n C h a n g e ( d s S t a t e C h a n g e E ve n t )i n i t P o o l ( )s d A c t i v e S w i t c hZ k S t a t e D a t a S o u r o o K e e p e rZ k W a t ch e r C o n n e ct i o n P o o lD s L i s t e n e r 4 P o o l M a s t e r i s n o n a va l i a b l e ( N A ) :p r o ce s s ( )n o t i f yD s L i s t e n e r s ( )ch a n g e D s S t a t e T o N A ( )o n C h a n g e ( d s S t a t e C h a n g e E ve n t )n o t i f yC h e )cl o s e N a C o n n e ct i o n s ( ) M a s t e r h a s s w i t ch e d :p r o ce s s ( )n o t i f yD s L i s t e n e r s ( )ch a n g e D s S t a t e T o W r i t a b l e ( )o n C h a n g e ( d s S t a t e C h a n g e E ve n t )i n i t P o o l ( ) 以下具體切換步驟是按 的架構(gòu)方式為基準(zhǔn)進(jìn)行的 主 庫 （ M a s t e r ） 宕 機(jī)宕 機(jī) 分 類 1 . 維 護(hù) 切 換 ， 如 換 機(jī) 器 、 內(nèi) 存 維 護(hù) 等2 . M a s t e r 異 常 直 接 掛 掉A g e n t 2 創(chuàng) 建 l o c k ， 獲 得 序 列 中 最 小 I DA g e n t 1 將 狀 況 匯 報(bào) 給 Z o o k e e p e r（ 如 果 網(wǎng) 絡(luò) 通 信 ， z k 感 知 ）A g e n t 2 得 知 W a t c h 事 件 ， 記 錄異 常 ， 創(chuàng) 建 異 常 節(jié) 點(diǎn)A g e n t 2 創(chuàng) 建 l o c k 成 功 ， 成 為 一 個(gè) 新 的M a s t e r ， 記 錄 在 Z o o k e e p e 庫 切 換 ： 推 送 動(dòng) 態(tài) 數(shù) 據(jù) 源 配 置 ， 將 新 主 庫 置 為 可 寫 （ 即 將 新 主 庫 的r e a d - o n l y 置 為 f a l s e ）Z o o k e e p e r 的 A g e n t 1 節(jié) 點(diǎn) 消 失主 庫 切 換 完 成 1、 常 常表現(xiàn) 觸發(fā)動(dòng)作 說明 常退出 要求在 時(shí)間內(nèi)可重啟，否則會(huì)進(jìn)行切換 需要記住 的 則進(jìn)行自動(dòng) 法設(shè)置 要第三方 通信異常 與 行讀寫測試，重試機(jī)制、重試次數(shù)、間隔可控制 若 常，通信問題可以忽略（同一臺(tái)機(jī)器） 間的網(wǎng)絡(luò)異常（設(shè)置 通 過 超 時(shí) 來 控 制 ， 大 于切換 由于 綁定無法恢復(fù)，需進(jìn)行切換 器死機(jī) （設(shè)置 與 間的通信中斷，在大于 后進(jìn)行自動(dòng)切換 2、 常 常表現(xiàn) 觸發(fā)動(dòng)作 說明 問異常 定 期 進(jìn) 行 讀 寫 （ 設(shè) 置 主庫：插入時(shí)間戳（可重試，重試間隔可設(shè)置） 從庫：讀取時(shí)間戳（同上） 若 接被 ，重新創(chuàng)建連接 若異常，認(rèn)為 掉，進(jìn)行切換 器死機(jī) 同 器的網(wǎng)絡(luò)異常 同 在的整個(gè)機(jī)房 掛掉，被踢出集群） 發(fā)起自動(dòng)切換 點(diǎn)設(shè)計(jì) / r u n t i m eZ o o k e e p e r 運(yùn) 行 節(jié) 點(diǎn) 設(shè) 計(jì)d a t a b a s e固 定 節(jié) 點(diǎn) ， 存 放 R u n T i m e 狀 態(tài)存 放 數(shù) 據(jù) 庫 狀 態(tài)m y s q M y S Q L 數(shù) 據(jù) 庫 狀 態(tài)b a s e d 源 名 稱b a s e d bm a s t e rm a s t e r 信 息l o c kA c t i v e 鎖 節(jié) 點(diǎn)s e r v i c 庫 實(shí) 例 目 錄1 0 . 1 0 . 1 2 . 1 0 : 5 0 0 0實(shí) 例 節(jié) 點(diǎn)1 0 . 1 0 . 1 2 . 1 0 : 5 0 0 1m a s t e rl o c ks e r v i c . 1 0 . 1 2 . 1 0 : 5 0 0 2說明： 1、 一級的節(jié)點(diǎn)，當(dāng)進(jìn)行分庫擴(kuò)展的時(shí)候，就在后面加上數(shù)值進(jìn)行區(qū)分，比如 對 行水平切分，拆分成很多套數(shù)據(jù)庫， 主備庫可以部署在不同機(jī)房 復(fù)制模式采用 數(shù)據(jù)庫中間層（動(dòng)態(tài)數(shù)據(jù)源包括在內(nèi)）部署在程序端，配置推送 采用 方式 采用可靠的 群保障， 以部署在三個(gè)機(jī)房 優(yōu)勢 多機(jī)房部署可實(shí)現(xiàn) 災(zāi) 不受限于 可以進(jìn)行全頁面操作的方式 在人工情況下可以將主庫切換到任意備庫 群中機(jī)器的可靠性可以保障，只要半數(shù)以上的機(jī)器存活即可，是穩(wěn)定的第三方。 群為了保證其自身的穩(wěn)定性，機(jī)器的最少數(shù)量為 3，因此對應(yīng)的 一個(gè)集群節(jié)點(diǎn)中的最少部署數(shù)量也為 3 個(gè)庫，兩個(gè) 分別為只讀和讀寫，一個(gè) 1、場景 1：單機(jī)房部署 主 庫 （ r e a d - o n l y ）主 庫 （ r w ） 從 庫 （ 容 災(zāi) r e a d - o n l y ）A g e n t 1 A g e n t 2 A g e n t 3I D C 1 機(jī) 房Z o o k e e p e r 1 Z o o k e e p e r 2Z o o k e e p e r 3Z o o k e e p e r 集 群 2、場景 2：多機(jī)房部署 主 庫 （ r e a d - o n l y ）主 庫 （ r w ） 從 庫 （ 容 災(zāi) r e a d - o n l y ）A g e n t 1 A g e n t 2 A g e n t 3I D C 1 機(jī) 房 I D C 2 機(jī) 房I D C 3 機(jī) 房Z o o k e e p e r 1 Z o o k e e p e r 2Z o o k e e p e r 3Z o o k e e p e r 集 群 目前暫時(shí)不實(shí)現(xiàn) 控 供一些簡單但是功能強(qiáng)大的 4 字命令，通過對這些 4 字命令的返回內(nèi)容進(jìn)行解析，可以獲取不少關(guān)于 行時(shí)的信息。 用 能獲取一些運(yùn)行的信息 開源的瀏覽器查看 件 測試環(huán)境 硬件環(huán)境 1臺(tái) 2個(gè)實(shí)例 1臺(tái) 2個(gè)實(shí)例 1臺(tái) 1個(gè)實(shí)例） 操作系統(tǒng) 24位 軟件環(huán)境 1進(jìn)制分發(fā)版 用例編號 試場景 接中斷 場景描述 間的連接中斷 測試目的 自動(dòng)重連機(jī)制及連接失敗后的切換處理 前提條件 1、 間的通信正常 2、 間的通信正常 3、 常運(yùn)行 4、 常運(yùn)行 5、 常運(yùn)行 測試方法 在 務(wù)器上殺掉 連接進(jìn)程 輸入 /動(dòng)作 在 連接進(jìn)程 期望的輸出 1、 設(shè)置的間隔時(shí)間內(nèi)進(jìn)行自動(dòng)重連，連續(xù)嘗試 5 次，如果沒有連接成功，則發(fā)起自動(dòng)切換，重連的間隔和時(shí)間是可以設(shè)置的 2、 果自動(dòng)重連成功，則返回成功的消息 3、 連接如果是被 了，則需要?jiǎng)?chuàng)建連接 用例編號 試場景 接超時(shí) 場景描述 一次連接超過設(shè)置的連接超時(shí)時(shí)間 測試目的 自動(dòng)重連機(jī)制及處理策略 前提條件 1、 間的通信正常 2、 間的通信正常 3、 常運(yùn)行 4、 常運(yùn)行 5、 常運(yùn)行 測試方法 將 連接超時(shí)時(shí)間設(shè)置的足夠小 輸入 /動(dòng)作 設(shè)置 數(shù) 期望的輸出 1、 設(shè)置的間隔時(shí)間內(nèi)進(jìn)行自動(dòng)重連，連續(xù)嘗試 5 次，如果沒有連接成功，則發(fā)起自動(dòng)切換，重連的間隔和時(shí)間是可以設(shè)置的 2、 果自動(dòng)重連成功，則返回成功的消息 用例編號 試場景 庫的單個(gè)實(shí)例掛掉 場景描述 庫上的 1 個(gè)實(shí)例直接掛掉了 測試目的 庫上的實(shí)例掛掉后能否及時(shí)切換并提供正常的服務(wù) 前提條件 1、 間的通信正常 2、 間的通信正常 3、 常運(yùn)行 4、 常運(yùn)行 5、 常運(yùn)行 測試方法 人為停掉 庫上的 1 個(gè)實(shí)例 輸入 /動(dòng)作 通過 閉 例 通過 9 殺掉 庫的實(shí)例 期望的輸出 1、 起