FASTDFS文件服務(wù)器架構(gòu)方案

FastDFS原理概述和介紹文件效勞器架構(gòu)方案摘要分布式文件系統(tǒng)的使命FastDFS如何應(yīng)對FastDFS基礎(chǔ)應(yīng)用總結(jié)：優(yōu)缺點(diǎn)其他文件系統(tǒng)的對比分布式文件系統(tǒng)的使命冗余備份；負(fù)載均衡；線性擴(kuò)容等機(jī)制；大量請求中高可用、高性能；容災(zāi)和可拓展性。FastDFS如何應(yīng)對FastDFS的根本架構(gòu)特征輕量級；分組方式；對等結(jié)構(gòu)。輕量級效勞端只有兩角色：跟蹤效勞器〔tracker〕和存儲效勞器〔storage〕responserequest分組方式Trackerservers對等結(jié)構(gòu)FastDFS基礎(chǔ)應(yīng)用根底操作，數(shù)據(jù)流程網(wǎng)絡(luò)拓?fù)?，?shí)際應(yīng)用容災(zāi)，優(yōu)化，版本升級文件上傳操作文件下載操作文件索引解析文件的存儲方式和返回文件名解析文件名包含：源頭storageIP地址和文件創(chuàng)立時(shí)間戳、文件大小、隨機(jī)數(shù)、文件拓展名。網(wǎng)絡(luò)拓?fù)?-實(shí)施部署方案說明：tracker1+squid-1+storage1使用一臺效勞器，共2臺效勞器2臺效勞器配置：centOS6.3x64位2核+4GB內(nèi)存+1TB存儲到達(dá)目標(biāo)：擴(kuò)充空間只需要再增加一組效勞器2臺效勞器可以均衡負(fù)荷訪問2臺效勞器的數(shù)據(jù)一致，解決了實(shí)時(shí)備份以HTTP方式下載文件FastDFS分組存儲方式，為HTTP方式下載提供了便利FastDFS支持HTTP方式下載文件，可以使用內(nèi)置webserver或者外部webserver需要解決文件同步延遲的問題可以采取如下兩種方式：tracker跳轉(zhuǎn)方式：通過Trackerserver跳轉(zhuǎn)非tracker跳轉(zhuǎn)方式：Storageserver直接提供文件下載HTTP下載方式一〔tracker跳轉(zhuǎn)〕HTTP下載方式一流程解讀通過Trackerserver解決文件同步延遲的問題Trackerserver上需使用內(nèi)置webserverStorageserver可以使用內(nèi)置webserver，也可以使用外部webserver。推薦使用外部webserver，如apache或nginxHTTP下方式二〔非tracker跳轉(zhuǎn)〕可以分為兩種方式：跳轉(zhuǎn)方式〔redirect〕代理方式〔proxy〕HTTP下載方式二〔redirect〕HTTP下載方式二〔proxy〕HTTP下載方式二流程解讀使用擴(kuò)展模塊來解決文件同步延遲問題如果請求文件在當(dāng)前storage上不存在，通過文件ID反解出源storage，直接請求源storagetrackerserver上不需要任何webserver在每臺storageserver上部署webserver，直接對外提供HTTP效勞目前已提供apache和nginx擴(kuò)展模塊推薦使用擴(kuò)展模塊方式總結(jié)：優(yōu)缺點(diǎn)優(yōu)缺點(diǎn)〔特性〕適用業(yè)務(wù)場景特性不記錄文件索引信息對等結(jié)構(gòu)，組內(nèi)所有storage存儲一致采用異步方式將源數(shù)據(jù)效勞器主動push到其他數(shù)據(jù)庫效勞器文件不進(jìn)行分片處理客戶端訪問時(shí)需通過tracker指定storage優(yōu)點(diǎn)支持同一文件只保存一份，節(jié)約磁盤空間下載文件支持HTTP協(xié)議，可以使用內(nèi)置WebServer，也可以和其他WebServer配合使用支持在線擴(kuò)容，支持主從文件storage上可以保存文件屬性〔meta-data〕文件不分塊存儲，上傳的文件和OS文件系統(tǒng)中的文件一一對應(yīng)〔實(shí)現(xiàn)了軟件RAID〕缺點(diǎn)自帶的server端支持缺乏，storage擴(kuò)展建議使用nginx；沒有支持python的接口；在效勞器配置不統(tǒng)一時(shí)不能很好的調(diào)節(jié)磁盤空間負(fù)載壓力〔非動態(tài)〕；需要客戶端自行記錄存儲信息，增加了客戶端的信息管理量。適用的業(yè)務(wù)場景某大型網(wǎng)盤〔有200個(gè)group，存儲容量到達(dá)了3PB，文件數(shù)近1億〕UC〔，存儲容量超過10TB〕支付寶〔〕飛信〔〕趕集網(wǎng)〔〕淘米網(wǎng)〔〕其他文件系統(tǒng)的對比mogileFS特點(diǎn)mooseFS特點(diǎn)TFS特點(diǎn)Hadoop特點(diǎn)MogileFS特點(diǎn)有三個(gè)角色：tracker、storage和存儲文件信息的mysqldb；使用mysql來存儲文件索引等信息，文件同步通過tracker調(diào)度和中轉(zhuǎn)；動態(tài)冗余，靈活性一般；不支持文件附加屬性〔metadata〕；不支持文件偏移下載。MooseFS特點(diǎn)MooseFS文件系統(tǒng)結(jié)構(gòu)包括以下四種角色：管理效勞器(master)，元數(shù)據(jù)日志效勞器〔Metalogger〕，數(shù)據(jù)存儲效勞器(chunkservers)，客戶端〔client〕；文件分片〔64Mb〕；多點(diǎn)備份，動態(tài)冗余備份；可以自定義文件存儲路徑；需要保持文件索引，內(nèi)存消耗較大；對小于64Kb的數(shù)據(jù)的存儲性能不高。TFS〔TaobaoFS〕特點(diǎn)完全扁平化的數(shù)據(jù)組織結(jié)構(gòu)，拋棄了傳統(tǒng)文件系統(tǒng)的目錄結(jié)構(gòu)。在塊設(shè)備根底上建立自有的文件系統(tǒng)，減少EXT3等文件系統(tǒng)數(shù)據(jù)碎片帶來的性能損耗。單進(jìn)程管理單塊磁盤的方式，摒除RAID5機(jī)制。帶有HA機(jī)制的中央控制節(jié)點(diǎn)，在平安穩(wěn)定和性能復(fù)雜度之間取得平衡。盡量縮減元數(shù)據(jù)大小，將元數(shù)據(jù)全部加載入內(nèi)存，提升訪問速度?？鐧C(jī)架和IDC的負(fù)載均衡和冗余平安策略。完全平滑擴(kuò)容。HDFS特點(diǎn)1擴(kuò)容能力〔Scalable〕：能可靠地〔reliably〕存儲和處理千兆字節(jié)〔PB〕數(shù)據(jù)。2本錢低〔Economical〕：可以通過普通機(jī)器組成的效勞器群來分發(fā)以及處理數(shù)據(jù)。這些效勞器群總計(jì)可達(dá)數(shù)千個(gè)節(jié)點(diǎn)。3高效率〔Efficient〕：通過分發(fā)數(shù)據(jù)，hadoop可以在數(shù)據(jù)所在的節(jié)點(diǎn)上并行地〔