分布式架構(gòu)設計最佳實踐

1、 Page * MERGEFORMAT 14分布式架構(gòu)設計最佳實踐目 錄 TOC o 1-3 h z u HYPERLINK l _Toc44448767 一、前言 PAGEREF _Toc44448767 h 3 HYPERLINK l _Toc44448768 二、分布式架構(gòu)的發(fā)展歷史 PAGEREF _Toc44448768 h 3 HYPERLINK l _Toc44448769 三、分布式架構(gòu)發(fā)展的里程碑 PAGEREF _Toc44448769 h 4 HYPERLINK l _Toc44448770 四、分布式系統(tǒng)的意義 PAGEREF _Toc44448770 h 5 HYPE

2、RLINK l _Toc44448771 五、分布式架構(gòu)的常見概念 PAGEREF _Toc44448771 h 6 HYPERLINK l _Toc44448772 六、分布式領(lǐng)域中馮諾依曼模型的變化 PAGEREF _Toc44448772 h 8 HYPERLINK l _Toc44448773 七、分布式系統(tǒng)的難點 PAGEREF _Toc44448773 h 10 HYPERLINK l _Toc44448774 八、總結(jié) PAGEREF _Toc44448774 h 14一、前言我們都知道，當今無論在BAT這樣的大公司，還是各種各樣的小公司，甚至是傳統(tǒng)行業(yè)剛轉(zhuǎn)互聯(lián)網(wǎng)的企業(yè)都開始使用

3、分布式架構(gòu)。那么什么叫分布式架構(gòu)呢？分布式架構(gòu)有什么好處呢？分布式架構(gòu)經(jīng)過了怎樣的發(fā)展呢？是哪家企業(yè)開啟了分布式架構(gòu)的時代呢？讀完本文，你就會得到這些答案，下面讓我們一起來開啟分布式概述的奇妙之旅吧！二、分布式架構(gòu)的發(fā)展歷史1946年2.14日，那是一個浪漫的情人節(jié) , 世界上第一臺電子數(shù)字計算機在美國賓夕法尼亞大學誕生了，她的名字叫ENIAC。這臺計算機占地170平米、重達 30 噸，每秒可以進行 5000 次加法運算。第一臺電子計算機誕生以后，就意味著一個日新月異的 IT 時代到來了。單臺計算機的性能不斷得到提升，從最早的 8 位 CPU 到現(xiàn)在的 64 位 CPU；從早期的 MB 級內(nèi)存

4、到現(xiàn)在的 GB 級別內(nèi)存；從慢速的機械存儲到現(xiàn)在的固態(tài) SSD 硬盤存儲。ENIAC 之后，電子計算機就進入了 IBM 主導的大型機時代。1964 年 4 月 7 日，在吉恩.阿姆達爾(IBM 大型機之父, 被認為是有史以來最偉大的計算機設計師之一)的帶領(lǐng)下，耗費 50 億美元，歷時三年，第一臺 IBM 大型機 SYSTEM/360 誕生了。這使得 IBM 在 20 世紀 5060 年代統(tǒng)治著整個大型計算機工業(yè)，奠定了 IBM 計算機帝國的基礎。IBM 大型機曾支撐美國航天登月計劃，IBM 主機一直服務于金融等核心行業(yè)的關(guān)鍵領(lǐng)域。由于超強的計算能力和高可靠性，即使在 X86 和云計算高速發(fā)展的

5、背景下,IBM 的大型機依然牢牢占據(jù)著一定的高端市場份額。20 世紀 80 年代，在大型機霸權(quán)的時代下，計算機的架構(gòu)同時向兩個方向發(fā)展：以 CISC (微處理器執(zhí)行的計算機語言指令集) CPU 為架構(gòu)的面向個人、價格便宜的PC。以 RISC (精簡指令集計算機) CPU 為架構(gòu)的面向企業(yè)、價格昂貴的小型 UNIX 服務器。三、分布式架構(gòu)發(fā)展的里程碑大型主機憑借著大型機超強的計算和 I/O 處理能力、安全性、 穩(wěn)定性等，在很長一段時間內(nèi)，大型機引領(lǐng)著計算機行業(yè)及商業(yè)計算領(lǐng)域的發(fā)展。而集中式的計算機系統(tǒng)架構(gòu)也漸漸成為了主流。但是隨著社會的發(fā)展，這種架構(gòu)越來越難以適應企業(yè)的需求，比如說：大型主機復雜

6、性高，培養(yǎng)一個能夠熟練運維大型主機的人成本很高。大型主機很貴，一般只有土豪機構(gòu)(政府、電信、金融)才能用得起。會有單點問題，一旦大型主機出現(xiàn)故障，那整個系統(tǒng)就將處于不可用的狀態(tài)。而對于大型機的使用機構(gòu)來說，這種不可用導致的損失是非常具大的。由于科技的進步、技術(shù)的發(fā)展，PC 機性能得到了不斷提升，所以很多企業(yè)放棄大型機改用小型機及普通 PC 來搭建系統(tǒng)架構(gòu)。阿里巴巴發(fā)起的去 IOE運動開啟新時代IOE 指的是 IBM 小型機、Oracle 數(shù)據(jù)庫、EMC 的高端存儲。阿里巴巴2009 年“去 IOE”戰(zhàn)略技術(shù)總監(jiān)透露，截止到 2013 年 5 月 17 日阿里巴巴最后一臺 IBM 小型機在支付寶

7、下線。為啥要去 IOE?隨著業(yè)務的快速發(fā)展，阿里巴巴業(yè)務量和數(shù)據(jù)量呈爆發(fā)性增長，傳統(tǒng)集中式 Oracle 數(shù)據(jù)庫架構(gòu)在系統(tǒng)的擴展性方面遭遇到了瓶頸。傳統(tǒng)的商業(yè)數(shù)據(jù)庫軟件(Oracle,DB2)多以集中式架構(gòu)為主， 那么這些傳統(tǒng)數(shù)據(jù)庫軟件的最大特點就是將所有的數(shù)據(jù)都集中在 一個數(shù)據(jù)庫中，只能依靠大型高端設備來提供高處理能力和擴展性。集中式數(shù)據(jù)庫的擴展性主要采用向上擴展(Scale up)的方式， 通過增加 CPU、內(nèi)存、磁盤等方式提高系統(tǒng)處理能力。這種集中式數(shù)據(jù)庫的架構(gòu)，使得數(shù)據(jù)庫成為了整個系統(tǒng)的瓶頸，已經(jīng)越來越不能適應海量數(shù)據(jù)對計算能力的要求。四、分布式系統(tǒng)的意義之所以要發(fā)展分布式系統(tǒng)架構(gòu)，是

8、因為單機系統(tǒng)存在著如下諸多缺點等待被解決：升級單機處理能力的性價比越來越低我們知道單機的處理能力主要依靠 CPU、內(nèi)存、磁盤。通過升級硬件來這種垂直擴展的方式來提升性能，成本會越來越高。性價比會越來越低。單機處理能力存在瓶頸并且單機處理能力存在瓶頸，CPU、內(nèi)存、磁盤都會有自己的性能瓶頸， 就算你是土豪不惜成本去提升硬件，但是硬件的發(fā)展速度和性能也還是有限制的。穩(wěn)定性和可用性這兩個指標很難達到最后就是單機系統(tǒng)存在可用性和穩(wěn)定性的問題，這兩個指標又是我們亟待要去解決的問題。五、分布式架構(gòu)的常見概念1. 集群小張開了一家小飯店，剛開始的時候店里只有一個廚師，切菜洗菜備料炒菜全干。后來由于飯香甜可口

9、，人流量越來越多了，一個廚師忙不過來了，小張又請了兩個廚師，那么這時候三個廚師炒一樣的菜，做相同的切菜洗菜備料炒菜等工作，那這三個廚師的關(guān)系是集群。也就意味著來一個顧客，只有其中的一個廚師會為這個顧客服務。2. 分布式又經(jīng)過一段時間，店里的生意更加火爆了，小張為了讓廚師們能專心炒菜，把菜做到極致，又請了個配菜師負責切菜、備菜、備料，那么廚師和配菜師的關(guān)系是分布式，后來一個配菜師也忙不過來了，小張就又請了兩個配菜師，三個配菜師關(guān)系也是集群。3. 節(jié)點節(jié)點是指一個可以獨立按照分布式協(xié)議完成一組邏輯的程序個體。在具體的項目中，一個節(jié)點表示的是一個操作系統(tǒng)上的進程。 那這里的每一個配菜師和廚師都是一個

10、節(jié)點。4. 副本機制副本(replica/copy)是指在分布式系統(tǒng)中為數(shù)據(jù)或服務提供的冗余。 數(shù)據(jù)副本指在不同的節(jié)點上持久化同一份數(shù)據(jù)，當某一個節(jié)點出現(xiàn)數(shù)據(jù)丟失時，可以從副本上恢復數(shù)據(jù)。數(shù)據(jù)副本是分布式系統(tǒng)中解決數(shù)據(jù)丟失問題的唯一手段。 服務副本表示多個節(jié)點提供相同的服務，通過主從關(guān)系來實現(xiàn)服務高可用的方案。5. 中間件中間件位于操作系統(tǒng)提供的服務之外，但又不屬于應用，他是位于應用和系統(tǒng)層之間的、為開發(fā)者方便的處理通信、輸入輸出的一類軟件，能夠讓用戶只關(guān)心自己應用的部分。六、分布式領(lǐng)域中馮諾依曼模型的變化上圖是經(jīng)典理論-馮.諾依曼體系，計算機硬件由運算器、 控制器、存儲器、輸入設備、輸出設備

11、五大部分組成。不管架構(gòu)怎么變化，計算機仍沒有跳出該體系的范疇。輸入設備的變化分布式系統(tǒng)架構(gòu)中，輸入設備可以分兩類：第一類是互相連接的多個節(jié)點，在接收其他節(jié)點傳來的信息作為該節(jié)點的輸入;另一種就是傳統(tǒng)意義上的人機交互的輸入設備了。輸出設備的變化分布式系統(tǒng)架構(gòu)中，輸出也分兩類，一種是系統(tǒng)中的節(jié)點向其他節(jié)點傳輸信息時，該節(jié)點可以看作是輸出設備;另一種就是傳統(tǒng)意義上的人際交互的輸出設備，比如用戶的終端?？刂破鞯淖兓趩螜C中，控制器指的是 CPU 中的控制器，在分布式系統(tǒng)中，控制器主要的作用是協(xié)調(diào)或控制節(jié)點之間的動作和行為; 比如硬件負載均衡器;LVS 軟負載;規(guī)則服務器等等。運算器分布式系統(tǒng)中，運算器

12、是由多個節(jié)點來組成的。運用多個節(jié)點的計算能力來協(xié)同完成整個計算任務。存儲器分布式系統(tǒng)中，我們需要把承擔存儲功能的多個節(jié)點組織在一起， 組成一個整體的存儲器;比如數(shù)據(jù)庫、redis(key-value 存儲) 。七、分布式系統(tǒng)的難點毫無疑問，分布式系統(tǒng)對于集中式系統(tǒng)而言，在實現(xiàn)上會更加 復雜。分布式系統(tǒng)將會是更難理解、設計、構(gòu)建 和管理的，同 時意味著應用程序的根源問題更難發(fā)現(xiàn)。三態(tài)在集中式架構(gòu)中，調(diào)用一個接口返回的結(jié)果只有兩種， 成功或失敗。但是在分布式架構(gòu)中，會出現(xiàn)“超時”這個狀態(tài)。分布式事務這其實是一個老生常談的問題，我們都知道事務就是一系列操作的原子性保證，在單機的情況下，我們能夠依靠本

13、機的數(shù)據(jù)庫連接和組件很輕易的做到事務控制，但在分布式架構(gòu)下，業(yè)務原子性操作很可能是跨服務的，這樣就會導致分布式事務。比如 A 、B 操作分別是在不同服務下的同一個事務內(nèi)的操作，A 調(diào)用 B，如果A可以清楚的知道 B 是否成功提交從而控制自身提交還是回滾，但我們知道在分布式系統(tǒng)調(diào)用中會出現(xiàn)一個新狀態(tài)就是超時，就是 A 并無法知道 B 是成功還是失敗，這個時候 A 是提交本地事務還是執(zhí)行回滾呢？這其實是一個很難的問題，如果要強行保證事務一致性，可以采取分布式鎖，但那樣會增加系統(tǒng)復雜度而且會增大系統(tǒng)的開銷，而且事務跨越的服務越多， 消耗的資源越大，性能越低，那么最好的解決方案就是避免分布式事務。還有

14、一種解決方案就是重試機制，但是重試如果不是查詢接口， 久必然涉及到數(shù)據(jù)庫的變更。如果第一次調(diào)用成功但是沒返回成功結(jié)果，那調(diào)用方第二次調(diào)用對調(diào)用方來說依然是重試，但是此時對于被調(diào)用方來說是重復調(diào)用，例如 A 向 B 轉(zhuǎn)賬，A-100，B + 100，這樣會導致 A 扣了 100，而 B 增加 200。這樣的結(jié)果并不是我們期望的，因此需在要寫入的接口做冪等設計(多次調(diào)用和單次調(diào)用是一樣的效果)。通?？梢栽O置一個唯一鍵，在寫入的時候查詢是否已經(jīng)存在，避免重復寫入。但是冪等設計的一個前提就是服務高可用，否則無論怎么重試都不能調(diào)用返回一個明確的結(jié)果，那調(diào)用方會一直等待，雖然可以限制重試的次數(shù)，但是這已經(jīng)

15、進入異常狀態(tài)了，甚至到了極端情況還需要人肉補償處理。其實根據(jù) CAP 和 BASE 理論，不可能在高可用分布式情況下做到一致性，一般都是最終一致性保證。負載均衡為了達到服務高可用，每個服務至少是部署兩臺機器，因為互聯(lián)網(wǎng)公司一般使用可靠性不是很高的普通機器，長期運行宕機概率很高。所以兩臺機器能夠大大降低服務不可用的可能性，而大型項目往往會采用十幾臺甚至上百臺來部署一個服務。這不僅是保證服務的高可用，更是為了提升服務的 QPS， 但是這樣又帶來一個問題，一個請求過來到底路由到哪臺機器呢？路由算法很多，有 DNS 路由，如果 session 在本機，還會根據(jù)用戶 id 或則 cookie 等信息路由到固定的機器，當然現(xiàn)在應用服務器為了擴展的方便都會設計為無狀態(tài)的，session 會保存到專有的 session 服務器，所以一般不會涉及到拿不到 session 問 題。那路由規(guī)則是隨機獲取么？這是一個方法，但是據(jù)我所知， 實際情況肯定比這個復雜得多，在一定范圍內(nèi)隨機，但是在大范圍也會分為很多個域。比如如果為了保證異地多活的多機房， 夸機房調(diào)用的開銷太