淘寶海量圖片存儲(chǔ)與CDN系統(tǒng)

1章文嵩(正明)2erverCache3cation4erverCacheUploadServerAdminServerSnapMirrorSnapVault遠(yuǎn)程數(shù)據(jù)冗災(zāi)NearStoreR200DR:A+B+C+DSnapSnapShotSnapShotSCA:OnlineImageB:OnlineImageCSCCUploadServerAdminServerSnapMirrorSnapVault遠(yuǎn)程數(shù)據(jù)冗災(zāi)NearStoreR200DR:A+B+C+DSnapSnapShotSnapShotSCA:OnlineImageB:OnlineImageCSCC:OnlineImageD:OnlineImageShotSnapShotSnapMirror杭州網(wǎng)通IDImageServer濱江聯(lián)通備份中心。6?系統(tǒng)需求淘寶的影響越來(lái)越大，數(shù)據(jù)的安全也更加重要數(shù)據(jù)存儲(chǔ)量以每年二倍的速度增長(zhǎng)(即原來(lái)的三倍)?商用存儲(chǔ)產(chǎn)品對(duì)小文件的存儲(chǔ)無(wú)法優(yōu)化文件數(shù)量大，網(wǎng)絡(luò)存儲(chǔ)設(shè)備無(wú)法支撐連接的服務(wù)器越來(lái)越多，網(wǎng)絡(luò)連接數(shù)已經(jīng)到達(dá)了網(wǎng)絡(luò)存儲(chǔ)設(shè)備的極限單點(diǎn)，容災(zāi)和安全性無(wú)法得到很好的保證7TFSTFS1.0?2007年6月TFS(TaobaoFileSystem)1.0上線運(yùn)行單臺(tái)支持隨機(jī)IOPS200+，流量3MBps89?集群由一對(duì)NameServer和多臺(tái)DataServer構(gòu)成?每個(gè)DataServer運(yùn)行在一臺(tái)普通的Linux主機(jī)上?以block文件的形式存放數(shù)據(jù)文件(一般64M一個(gè)?block存多份保證數(shù)據(jù)安全?利用ext3文件系統(tǒng)存放數(shù)據(jù)文件?磁盤raid5做數(shù)據(jù)冗余?文件名內(nèi)置元數(shù)據(jù)信息，用戶自己保存TFS文件名與實(shí)際文件的對(duì)照關(guān)系TFSTFS1.3?2009年6月TFS(TaobaoFileSystem)1.3上線運(yùn)行?集群規(guī)模PCServerGSASKRPMDataServer持隨機(jī)IOPS900+，流量15MB+pplicationClientblockidpplicationClientblockid,fileid/veridlockidfileidMysqlMysqlDupStoreuntNameServerssagesageheartbeatmessageNameServerbeatNameServerssagesageheartbeatmessageNameServerbeattaServertaServertaServer hda hda hda hda hda hda hda hda?TFS1.3提供了一些重要的功能特性部都內(nèi)存化空洞衡策略余保證NameServer切換略?TFS2.0正在開(kāi)發(fā)中…………?TFS即將開(kāi)源，希望更多人來(lái)使用和改進(jìn)TFServerCache?現(xiàn)狀?改進(jìn)目的?ImageServer上處理方式?將圖片處理與緩存編寫(xiě)成基于Nginx的模塊–Nginx是目前性能最高的HTTP服務(wù)器(用戶空間)?使用GraphicsMagick進(jìn)行圖片處理?面向小對(duì)象的緩存文件系統(tǒng)?前端有LVS+Haproxy將原圖和其所有縮略圖請(qǐng)求都調(diào)度到同一臺(tái)ImageServer?從TFS存儲(chǔ)中讀取文件?將文件根據(jù)需要的尺寸進(jìn)行縮放?可根據(jù)需要將縮略圖按一定質(zhì)量壓縮保存(75%~94%)，通過(guò)配置文件設(shè)定–可有效地降低縮略圖的體積(30%~70%)?文件定位?寫(xiě)盤方式Cache因?yàn)镮mageServer和TFServerCache?CDN服務(wù)的圖片規(guī)模?CDN部署規(guī)模?主要解決現(xiàn)有的問(wèn)題?開(kāi)發(fā)完全自主的CDN系統(tǒng)…squid道…squid道IPIPHaproxy(L7)Haproxy(L7Haproxy(L7)Haproxy(L7)VIP1 LVSLLVS(L4)haproxy(L7)…squid對(duì)比項(xiàng)\節(jié)點(diǎn)squidsquid?擴(kuò)展能力：在一個(gè)VIP上新架構(gòu)可以擴(kuò)展到近100G的流量(當(dāng)然要用萬(wàn)兆Hash常方便，只有?改進(jìn)后的Squid可支持1T大小的COSS文件(blocksize為512Bytes)象，大約節(jié)省250M內(nèi)存，更多的內(nèi)存可以用作SquidMemoryCache?改進(jìn)Squid的對(duì)象淘汰策略，在不犧牲對(duì)象命中率的前提下，降低硬盤的寫(xiě)操作?用sendfile來(lái)發(fā)送緩存在硬盤上的對(duì)象?在Squid服務(wù)器上使用SSD作緩存，對(duì)數(shù)據(jù)量比較小的圖片非常有效?CDN系統(tǒng)的研發(fā)與運(yùn)維?CDN系統(tǒng)的建設(shè)一些”erverCache?低功耗硬件平臺(tái)PUIntelATOMVIANanosetSSDSATA?適用不