文件分布式存儲方案

1、海量文件集群分布式存儲和負(fù)載均衡實(shí)戰(zhàn)。 講師：王承偉概述 隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展和普及,出現(xiàn)了越來越多像,“淘寶”,”京東”等大型電子商務(wù)網(wǎng)站。這類網(wǎng)站都保存有大量圖片資源。用戶在訪問這些站點(diǎn)網(wǎng)頁時(shí),網(wǎng)頁中圖片信息占到頁面數(shù)據(jù)流量的大部分。由于受客戶端瀏覽器限制,無法從一臺服務(wù)器上同時(shí)下載頁面中所有圖片信息,因此即使服務(wù)器有很高帶寬,用戶的訪問速度還是會受到很大影響。由于圖片保存在物理硬盤上,訪問圖片需要頻繁進(jìn)行I/O操作,因此當(dāng)并發(fā)用戶數(shù)越來越多時(shí),I/O操作就會成為整個系統(tǒng)的性能瓶頸。對于大型的網(wǎng)站系統(tǒng)來說，由于擁有雄厚的資金，可以使用 NFS、CDN、Lighttpd等技術(shù)提高用戶的訪

2、問速速。但這些技術(shù)需要龐大的資金支持,對于處于創(chuàng)業(yè)初期中等規(guī)模的商務(wù)網(wǎng)站,由于缺少必要的資金支持,因此無法采用這些技術(shù)提升網(wǎng)站的訪問速度 。今天我們講一個適用于中等規(guī)模商務(wù)網(wǎng)站的海量圖片數(shù)據(jù)分布式動態(tài)存儲及負(fù)載均衡的解決方案。該方案只需增加很少的硬件成本,即可提升網(wǎng)站的訪問速度,并且可以根據(jù)需要動態(tài)調(diào)整圖片服務(wù)器的數(shù)量及圖片的存儲目錄,確保系統(tǒng)具有可擴(kuò)展性和伸縮性。系統(tǒng)架構(gòu)設(shè)計(jì)對于Web服務(wù)器而言，用戶對圖片信息的訪問是很消耗服務(wù)器資源的。當(dāng)一個網(wǎng)頁被瀏覽時(shí),Web服務(wù)器與瀏覽器建立連接,每個連接表示一個并發(fā)。當(dāng)頁面包含多個圖片時(shí),Web服務(wù)器與瀏覽器會產(chǎn)生多個連接,同時(shí)發(fā)送文字和圖片以提高瀏

3、覽速度。因此,頁面中圖片越多Web服務(wù)器受到的壓力也就越大。對于小型網(wǎng)站,由于數(shù)據(jù)規(guī)模小,可以把網(wǎng)站所有頁面和圖片統(tǒng)一存放在一個主目錄下,這樣的網(wǎng)站對系統(tǒng)架構(gòu)、性能要求都很簡單 。但大中型網(wǎng)站都保存有海量級的圖片文件,所采用的技術(shù)更是涉及廣泛 ，因此,有必要設(shè)立單獨(dú)的圖片服務(wù)器來專門存放圖片,把圖片數(shù)據(jù)的流量從Web服務(wù)器上分離開,這樣的架構(gòu)可以有效緩解Web服務(wù)器的I/O性能瓶頸 ，提高用戶的訪問速速.系統(tǒng)架構(gòu)設(shè)計(jì)需要滿足以下4點(diǎn)要求:(1)圖片能進(jìn)行分布式存儲;(2)能實(shí)現(xiàn)負(fù)載均衡;(3)能根據(jù)用戶訪問量及網(wǎng)站圖片數(shù)據(jù)量的增加能動態(tài)添加圖片服務(wù)器節(jié)點(diǎn);(4)圖片服務(wù)器節(jié)點(diǎn)的動態(tài)調(diào)整對網(wǎng)站用

4、戶而言是透明的,并且不會中斷系統(tǒng)的正常運(yùn)行。 架構(gòu)說明客戶端是指IE、Firefox等常用的客戶端瀏覽器,用戶可以通過客戶端來瀏覽網(wǎng)站的圖片信息,也可以通過客戶端上傳圖片信息。Web服務(wù)器部署網(wǎng)站的Web頁面,用于響應(yīng)客戶端用戶的請求。當(dāng)用戶瀏覽網(wǎng)頁時(shí),Web服務(wù)器響應(yīng)請求并訪問數(shù)據(jù)庫服務(wù)器,獲得網(wǎng)頁中所有圖片的URL路徑,然后生成頁面并返回給客戶端,客戶端接收該頁面并根據(jù)頁面中的圖片URL路徑自動從不同的圖片服務(wù)器下載并顯示相應(yīng)圖片。當(dāng)用戶上傳圖片時(shí),Web服務(wù)器首先從數(shù)據(jù)庫服務(wù)器中獲取所有圖片服務(wù)器的當(dāng)前狀態(tài),并根據(jù)相關(guān)算法選擇一個圖片服務(wù)器及保存的目錄,再調(diào)用該圖片服務(wù)器的Web Ser

5、vice方法把圖片保存到該服務(wù)器,最后在數(shù)據(jù)庫服務(wù)器中紀(jì)錄該圖片的編號及URL路徑等信息。數(shù)據(jù)庫服務(wù)器用于記錄所有圖片的編號以及圖片的存放位置等信息,同時(shí)需要記錄所有圖片服務(wù)器的配置及當(dāng)前狀態(tài)信息。圖片服務(wù)器集群用于存放網(wǎng)站的所有圖片信息,該集群的服務(wù)器數(shù)量可以根據(jù)需要動態(tài)增加。系統(tǒng)實(shí)現(xiàn)及關(guān)鍵技術(shù)增加了圖片服務(wù)器后,對于客戶端而言,整個網(wǎng)站系統(tǒng)執(zhí)行過程應(yīng)該仍然是透明的,不會給用戶帶來任何影響。但后臺系統(tǒng)需要解決以下4個問題:(1)如何實(shí)現(xiàn)圖片的分布式部署,圖片上傳時(shí)如何動態(tài)確定保存到哪臺圖片服務(wù)器;(2)如何做到圖片服務(wù)器的負(fù)載均衡,既要保證所有圖片服務(wù)器都有均等的機(jī)會來保存圖片.(3)如何把

6、一臺圖片服務(wù)器上圖片均衡保存到多個子目錄中以便突破操作系統(tǒng)在同一個目錄中保存文件數(shù)的限制,對圖片進(jìn)行更好的管理和維護(hù);(4)如何能根據(jù)性能需要和圖片數(shù)量的增加實(shí)現(xiàn)圖片服務(wù)器的動態(tài)擴(kuò)充。數(shù)據(jù)庫設(shè)計(jì)Web服務(wù)器需要及時(shí)掌握所有圖片服務(wù)器的狀態(tài)和信息才能動態(tài)決定把圖片保存到哪一臺圖片服務(wù)器,因此,需要把所有的圖片服務(wù)器的狀態(tài)信息全部紀(jì)錄到數(shù)據(jù)庫服務(wù)器中,記錄圖片服務(wù)器信息和狀態(tài)的表格式如下.圖片文件上傳由于B/S架構(gòu)本身技術(shù)限制,圖片無法通過Web服務(wù)器直接上傳到不同的圖片服務(wù)器,因此需要在所有圖片服務(wù)器上部署一個Web Service以便Web服務(wù)器可通過調(diào)用不同圖片服務(wù)器上的Web Servic

7、e執(zhí)行保存。從狀態(tài)表篩選出可用的圖片服務(wù)器集合記作C,并獲取集合的總記錄數(shù)N。然后用隨機(jī)函數(shù)產(chǎn)生一個隨機(jī)數(shù)R1并用R1與N進(jìn)行取余運(yùn)算記作I=R1%N。則CI即為要保存圖片的圖片服務(wù)器圖片瀏覽客戶端用戶通過瀏覽器向Web服務(wù)器發(fā)出瀏覽某頁面的請求,Web服務(wù)器從數(shù)據(jù)庫服務(wù)器中獲取該頁面的所有圖片URL信息,并根據(jù)URL信息去搜索圖片服務(wù)器的狀態(tài)信息表,判斷該URL所指向的圖片服務(wù)器的狀態(tài)字段FlgUsable,若FlgUsable = false表示該圖片服務(wù)器當(dāng)前因某種原因處于不可用狀態(tài),則把該圖片的URL替換成Web服務(wù)器上保存的一個默認(rèn)圖片的URL,否則把該URL直接返回給客戶端。客戶端再根據(jù)圖片的URL路徑自動從不同的圖片服務(wù)器上下載并顯示相應(yīng)的圖片。由于圖片URL路徑直接指向具體的圖片服務(wù)器,因此需要在每個圖片服務(wù)器的保存圖片的主目錄上建