千萬級(jí)訪問量架構(gòu)

1、1、HTML靜態(tài)化其實(shí)大家都知道，效率最高、消耗最小的就是純靜態(tài)化的html 頁面，所以我們盡可能使我們的網(wǎng)站上的頁面采用靜態(tài)頁面來實(shí)現(xiàn)，這個(gè)最簡(jiǎn)單 的方法其實(shí)也是最有效的方法。但是對(duì)于大量?jī)?nèi)容并且頻繁更新的網(wǎng)站，我們無 法全部手動(dòng)去挨個(gè)實(shí)現(xiàn)，于是出現(xiàn)了我們常見的信息發(fā)布系統(tǒng)CMS，像我們常 訪問的各個(gè)門戶站點(diǎn)的新聞?lì)l道，甚至他們的其他頻道，都是通過信息發(fā)布系統(tǒng) 來管理和實(shí)現(xiàn)的，信息發(fā)布系統(tǒng)可以實(shí)現(xiàn)最簡(jiǎn)單的信息錄入自動(dòng)生成靜態(tài)頁面， 還能具備頻道管理、權(quán)限管理、自動(dòng)抓取等功能，對(duì)于一個(gè)大型網(wǎng)站來說，擁有 一套高效、可管理的CMS是必不可少的。除了門戶和信息發(fā)布類型的網(wǎng)站，對(duì) 于交互性要求很高的

2、社區(qū)類型網(wǎng)站來說，盡可能的靜態(tài)化也是提高性能的必要手 段，將社區(qū)內(nèi)的帖子、文章進(jìn)行實(shí)時(shí)的靜態(tài)化，有更新的時(shí)候再重新靜態(tài)化也是 大量使用的策略，像Mop的大雜燴就是使用了這樣的策略，網(wǎng)易社區(qū)等也是如 此。同時(shí)，html靜態(tài)化也是某些緩存策略使用的手段，對(duì)于系統(tǒng)中頻繁使用數(shù) 據(jù)庫查詢但是內(nèi)容更新很小的應(yīng)用，可以考慮使用html靜態(tài)化來實(shí)現(xiàn)，比如論 壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進(jìn)行后臺(tái)管理并且存 儲(chǔ)再數(shù)據(jù)庫中，這些信息其實(shí)大量被前臺(tái)程序調(diào)用，但是更新頻率很小，可以考 慮將這部分內(nèi)容進(jìn)行后臺(tái)更新的時(shí)候進(jìn)行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫訪問 請(qǐng)求。2、圖片服務(wù)器分離大家知道，對(duì)于

3、Web服務(wù)器來說，不管是Apache、IIS還是 其他容器，圖片是最消耗資源的，于是我們有必要將圖片與頁面進(jìn)行分離，這是 基本上大型網(wǎng)站都會(huì)采用的策略，他們都有獨(dú)立的圖片服務(wù)器，甚至很多臺(tái)圖片 服務(wù)器。這樣的架構(gòu)可以降低提供頁面訪問請(qǐng)求的服務(wù)器系統(tǒng)壓力，并且可以保 證系統(tǒng)不會(huì)因?yàn)閳D片問題而崩潰，在應(yīng)用服務(wù)器和圖片服務(wù)器上，可以進(jìn)行不同 的配置優(yōu)化，比如apache在配置ContentType的時(shí)候可以盡量少支持，盡可能 少的LoadModule，保證更高的系統(tǒng)消耗和執(zhí)行效率。3、數(shù)據(jù)庫集群和庫表散列大型網(wǎng)站都有復(fù)雜的應(yīng)用，這些應(yīng)用必須使用數(shù)據(jù)庫， 那么在面對(duì)大量訪問的時(shí)候，數(shù)據(jù)庫的瓶頸很快就能

4、顯現(xiàn)出來，這時(shí)一臺(tái)數(shù)據(jù)庫 將很快無法滿足應(yīng)用，于是我們需要使用數(shù)據(jù)庫集群或者庫表散列。在數(shù)據(jù)庫集 群方面，很多數(shù)據(jù)庫都有自己的解決方案，Oracle、Sybase等都有很好的方案， 常用的MySQL提供的Master/Slave也是類似的方案，您使用了什么樣的DB,就 參考相應(yīng)的解決方案來實(shí)施即可。上面提到的數(shù)據(jù)庫集群由于在架構(gòu)、成本、擴(kuò) 張性方面都會(huì)受到所采用DB類型的限制，于是我們需要從應(yīng)用程序的角度來考 慮改善系統(tǒng)架構(gòu)，庫表散列是常用并且最有效的解決方案。我們?cè)趹?yīng)用程序中安 裝業(yè)務(wù)和應(yīng)用或者功能模塊將數(shù)據(jù)庫進(jìn)行分離，不同的模塊對(duì)應(yīng)不同的數(shù)據(jù)庫或 者表，再按照一定的策略對(duì)某個(gè)頁面或者功能進(jìn)

5、行更小的數(shù)據(jù)庫散列，比如用戶 表，按照用戶ID進(jìn)行表散列，這樣就能夠低成本的提升系統(tǒng)的性能并且有很好 的擴(kuò)展性。sohu的論壇就是采用了這樣的架構(gòu)，將論壇的用戶、設(shè)置、帖子等 信息進(jìn)行數(shù)據(jù)庫分離，然后對(duì)帖子、用戶按照板塊和ID進(jìn)行散列數(shù)據(jù)庫和表， 最終可以在配置文件中進(jìn)行簡(jiǎn)單的配置便能讓系統(tǒng)隨時(shí)增加一臺(tái)低成本的數(shù)據(jù) 庫進(jìn)來補(bǔ)充系統(tǒng)性能。4、緩存緩存一詞搞技術(shù)的都接觸過，很多地方用到緩存。網(wǎng)站架構(gòu)和網(wǎng)站開發(fā) 中的緩存也是非常重要。這里先講述最基本的兩種緩存。高級(jí)和分布式的緩存在 后面講述。架構(gòu)方面的緩存，對(duì)Apache比較熟悉的人都能知道Apache提供了自 己的緩存模塊，也可以使用外加的Squ

6、id模塊進(jìn)行緩存，這兩種方式均可以有效 的提高Apache的訪問響應(yīng)能力。網(wǎng)站程序開發(fā)方面的緩存，Linux上提供的 Memory Cache是常用的緩存接口，可以在web開發(fā)中使用，比如用Java開發(fā)的 時(shí)候就可以調(diào)用MemoryCache對(duì)一些數(shù)據(jù)進(jìn)行緩存和通訊共享，一些大型社區(qū)使 用了這樣的架構(gòu)。另外，在使用web語言開發(fā)的時(shí)候，各種語言基本都有自己的 緩存模塊和方法，PHP有Pear的Cache模塊，Java就更多了，.net不是很熟悉， 相信也肯定有。5、鏡像鏡像是大型網(wǎng)站常采用的提高性能和數(shù)據(jù)安全性的方式，鏡像的技術(shù)可 以解決不同網(wǎng)絡(luò)接入商和地域帶來的用戶訪問速度差異，比如Chin

7、aNet和 EduNet之間的差異就促使了很多網(wǎng)站在教育網(wǎng)內(nèi)搭建鏡像站點(diǎn)，數(shù)據(jù)進(jìn)行定時(shí) 更新或者實(shí)時(shí)更新。在鏡像的細(xì)節(jié)技術(shù)方面，這里不闡述太深，有很多專業(yè)的現(xiàn) 成的解決架構(gòu)和產(chǎn)品可選。也有廉價(jià)的通過軟件實(shí)現(xiàn)的思路，比如Linux上的 rsync等工具。6、負(fù)載均衡負(fù)載均衡將是大型網(wǎng)站解決高負(fù)荷訪問和大量并發(fā)請(qǐng)求采用的終極 解決辦法。負(fù)載均衡技術(shù)發(fā)展了多年，有很多專業(yè)的服務(wù)提供商和產(chǎn)品可以選擇， 我個(gè)人接觸過一些解決方法，其中有兩個(gè)架構(gòu)可以給大家做參考。7、硬件四層交換第四層交換使用第三層和第四層信息包的報(bào)頭信息，根據(jù)應(yīng)用 區(qū)間識(shí)別業(yè)務(wù)流，將整個(gè)區(qū)間段的業(yè)務(wù)流分配到合適的應(yīng)用服務(wù)器進(jìn)行處理。 第

8、四層交換功能就象是虛IP，指向物理服務(wù)器。它傳輸?shù)臉I(yè)務(wù)服從的協(xié)議多種 多樣，有HTTP、FTP、NFS、Telnet或其他協(xié)議。這些業(yè)務(wù)在物理服務(wù)器基礎(chǔ)上， 需要復(fù)雜的載量平衡算法。在IP世界，業(yè)務(wù)類型由終端TCP或UDP端口地址來 決定，在第四層交換中的應(yīng)用區(qū)間則由源端和終端IP地址、TCP和UDP端口共 同決定。在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如Alteon、 F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性能和很靈活的 管理能力。Yahoo中國(guó)當(dāng)初接近2000臺(tái)服務(wù)器使用了三四臺(tái)Alteon就搞定了。8、軟件四層交換大家知道了硬件四層交換機(jī)的原理后，基于OS

9、I模型來實(shí)現(xiàn) 的軟件四層交換也就應(yīng)運(yùn)而生，這樣的解決方案實(shí)現(xiàn)的原理一致，不過性能稍差。 但是滿足一定量的壓力還是游刃有余的，有人說軟件實(shí)現(xiàn)方式其實(shí)更靈活，處理 能力完全看你配置的熟悉能力。軟件四層交換我們可以使用Linux上常用的LVS 來解決，LVS就是Linux Virtual Server，他提供了基于心跳線heartbeat的實(shí) 時(shí)災(zāi)難應(yīng)對(duì)解決方案，提高系統(tǒng)的魯棒性，同時(shí)可供了靈活的虛擬VIP配置和管 理功能，可以同時(shí)滿足多種應(yīng)用需求，這對(duì)于分布式的系統(tǒng)來說必不可少。一個(gè) 典型的使用負(fù)載均衡的策略就是，在軟件或者硬件四層交換的基礎(chǔ)上搭建squid 集群，這種思路在很多大型網(wǎng)站包括搜索引

10、擎上被采用，這樣的架構(gòu)低成本、高 性能還有很強(qiáng)的擴(kuò)張性，隨時(shí)往架構(gòu)里面增減節(jié)點(diǎn)都非常容易。這樣的架構(gòu)我準(zhǔn) 備空了專門詳細(xì)整理一下和大家探討。對(duì)于大型網(wǎng)站來說，前面提到的每個(gè)方法 可能都會(huì)被同時(shí)使用到，我這里介紹得比較淺顯，具體實(shí)現(xiàn)過程中很多細(xì)節(jié)還需 要大家慢慢熟悉和體會(huì)，有時(shí)一個(gè)很小的squid參數(shù)或者apache參數(shù)設(shè)置，對(duì) 于系統(tǒng)性能的影響就會(huì)很大，希望大家一起討論，達(dá)到拋磚引玉之效。 用squid做web cache server,而apache在squid的后面提供真正的web服務(wù)。 當(dāng)然使用這樣的架構(gòu)必須要保證主頁上大部分都是靜態(tài)頁面。這就需要程序員的 配合將頁面在反饋給客戶端之前將

11、頁面全部轉(zhuǎn)換成靜態(tài)頁面。基本看出sina和sohu對(duì)于頻道等欄目都用了相同的技術(shù)，即squid來監(jiān)聽這些 IP的80端口，而真正的web server來監(jiān)聽另外一個(gè)端口。從用戶的感覺上來 說不會(huì)有任何的區(qū)別，而相對(duì)于將web server直接和客戶端連在一起的方式， 這樣的方式明顯的節(jié)省的帶寬和服務(wù)器。用戶訪問的速度感覺也會(huì)更快。千萬級(jí)的注冊(cè)用戶，千萬級(jí)的帖子，nTB級(jí)的附件，還有巨大的日訪問量， 大型網(wǎng)站采用什么系統(tǒng)架構(gòu)保證性能和穩(wěn)定性？首先討論一下大型網(wǎng)站需要注意和考慮的問題。數(shù)據(jù)庫海量數(shù)據(jù)處理：負(fù)載量不大的情況下select、delete和update是 響應(yīng)很迅速的，最多加幾個(gè)索引就可

12、以搞定，但千萬級(jí)的注冊(cè)用戶和一個(gè) 設(shè)計(jì)不好的多對(duì)多關(guān)系將帶來非常嚴(yán)重的性能問題。另外在高UPDATE 的情況下，更新一個(gè)聚焦索引的時(shí)間基本上是不可忍受的。索引和更新是 一對(duì)天生的冤家。高并發(fā)死鎖：平時(shí)我們感覺不到，但數(shù)據(jù)庫死鎖在高并發(fā)的情況下的出現(xiàn) 的概率是非常高的。文件存儲(chǔ)的問題：大型網(wǎng)站有海量圖片數(shù)據(jù)、視頻數(shù)據(jù)、文件數(shù)據(jù)等等， 他們?nèi)绾未鎯?chǔ)并被有效索引？高并發(fā)的情況下IO的瓶頸問題會(huì)迅速顯 現(xiàn)。也許用RAID和專用存貯服務(wù)器能解決眼下的問題，但是還有個(gè)問題 就是各地的訪問問題，也許我們的服務(wù)器在北京，可能在云南或者*的 訪問速度如何解決?如果做分布式，那么我們的文件索引以及架構(gòu)該如何 規(guī)劃

13、。接下來討論大型網(wǎng)站的底層系統(tǒng)架構(gòu)，來有效的解決上述問題。毋庸置疑，對(duì)于規(guī)模稍大的網(wǎng)站來說，其背后必然是一個(gè)服務(wù)器集群來提 供網(wǎng)站服務(wù)，例如，2004年eBay的服務(wù)器有2400臺(tái)，估計(jì)現(xiàn)在更多。 當(dāng)然，數(shù)據(jù)庫也必然要和應(yīng)用服務(wù)分開，有單獨(dú)的數(shù)據(jù)庫服務(wù)器集群。對(duì) 于像淘寶網(wǎng)這樣規(guī)模的網(wǎng)站而言，就是應(yīng)用也分成很多組。Web狗蛇r Wab server廠緩存服務(wù)器碑C 亥納筮服務(wù)器群、療命服務(wù)器群數(shù)據(jù)掘從庫群inx全文檢索耶芳器商、數(shù)血障DB San/ar W婦 DB 知皿 DB Server下面，就從服務(wù)器操作系統(tǒng)與Web服務(wù)器、數(shù)據(jù)庫、服務(wù)器集群與負(fù)載 均衡、緩存、獨(dú)立的圖片服務(wù)器、其它等幾個(gè)

14、方面來分析大型網(wǎng)站的系統(tǒng) 架構(gòu)。服務(wù)器操作系統(tǒng)與Web服務(wù)器 最底層首先是操作系統(tǒng)。好的操作系統(tǒng)能提高好的性能、穩(wěn)定性和安全性， 而這些對(duì)大型網(wǎng)站的性能、安全性和穩(wěn)定性都是至關(guān)重要的。淘寶網(wǎng)（阿里巴巴）：Linux操作系統(tǒng)+ Web服務(wù)器：Apache新浪：FreeBSD + Web 服務(wù)器：ApacheYahoo： FreeBSD + Web服務(wù)器：自己的Google:部分Linux + Web服務(wù)器：自己的百度：Linux + Web 服務(wù)器：Apache網(wǎng)易：Linux + Web 服務(wù)器：ApacheeBay: Windows Server 2003/8 （大量）+ Web 服務(wù)器：M

15、icrosoft IIS MySpace: Windows Server 2003/8 + Web 服務(wù)器：Microsoft IIS由此可見，開源操作系統(tǒng)做Web應(yīng)用是首選已經(jīng)是一個(gè)既定事實(shí)。在開 源操作系統(tǒng)中Linux和FreeBSD差不太多，很難說哪個(gè)一定比另外一個(gè)要 優(yōu)秀很多、能夠全面的超越對(duì)手，應(yīng)該是各有所長(zhǎng)。但熟悉Linux的技術(shù) 人員更多些，利于系統(tǒng)管理、優(yōu)化等，所以Linux使用更廣泛。而Windows Server和IIS雖然有的網(wǎng)站使用，但不開源，而且需要購買微軟的一系列 應(yīng)用產(chǎn)品，限制了其使用?？傊?，開源操作系統(tǒng)，尤其是Linux做Web 應(yīng)用是首選已經(jīng)是一個(gè)既定事實(shí)。常

16、用的系統(tǒng)架構(gòu)是：Linux + Apache + PHP + MySQLLinux + Apache + Java （WebSphere） + OracleWindows Server 2003/2008 + IIS + C# HYPERLINK ASP.NET /ASP.NET + 數(shù)據(jù)庫數(shù)據(jù)庫因?yàn)槭乔f人同時(shí)訪問的網(wǎng)站，所以一般是有很多個(gè)數(shù)據(jù)庫同時(shí)工作的， 說明白一點(diǎn)就是數(shù)據(jù)庫集群和并發(fā)控制，數(shù)據(jù)分布到地理位置不同的數(shù)據(jù) 中心，以免發(fā)生斷電事故。主流的數(shù)據(jù)庫有Sun的是MySQL和Oracle。Oracle是一款優(yōu)秀的、廣泛采用的商業(yè)數(shù)據(jù)庫管理軟件。有很強(qiáng)大的功能 和安全性，可以處理相對(duì)海

17、量的數(shù)據(jù)。而MySQL是一款非常優(yōu)秀的開源 數(shù)據(jù)庫管理軟件，非常適合用多臺(tái)PC Server組成多點(diǎn)的存儲(chǔ)節(jié)點(diǎn)陣列（這 里我所指的不是MySQL自身提供的集群功能），每單位的數(shù)據(jù)存儲(chǔ)成本也 非常的低廉。用多臺(tái)PC Server安裝MySQL組成一個(gè)存儲(chǔ)節(jié)點(diǎn)陣列，通 過MySQL自身的Replication或者應(yīng)用自身的處理，可以很好的保證容錯(cuò) （允許部分節(jié)點(diǎn)失效），保證應(yīng)用的健壯性和可靠性?？梢赃@么說，在關(guān)系 數(shù)據(jù)庫管理系統(tǒng)的選擇上，可以考慮應(yīng)用本身的情況來決定。MySQL數(shù)據(jù)庫服務(wù)器的master-slave模式，利用數(shù)據(jù)庫服務(wù)器在主從服 務(wù)器間進(jìn)行同步，應(yīng)用只把數(shù)據(jù)寫到主服務(wù)器，而讀數(shù)據(jù)時(shí)

18、則根據(jù)負(fù)載選 擇一臺(tái)從服務(wù)器或者主服務(wù)器來讀取，將數(shù)據(jù)按不同策略劃分到不同的服 務(wù)器（組）上，分散數(shù)據(jù)庫壓力。服務(wù)器集群與負(fù)載均衡服務(wù)器群集中每個(gè)服務(wù)結(jié)點(diǎn)運(yùn)行一個(gè)所需服務(wù)器程序的獨(dú)立拷貝，而網(wǎng)絡(luò) 負(fù)載均衡則將工作負(fù)載在這些主機(jī)間進(jìn)行分配。負(fù)載均衡建立在現(xiàn)有網(wǎng)絡(luò) 結(jié)構(gòu)之上，它提供了一種廉價(jià)有效的方法擴(kuò)展服務(wù)器帶寬和增加吞吐量， 加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。它主要完成以下任 務(wù):解決網(wǎng)絡(luò)擁塞問題，服務(wù)就近提供，實(shí)現(xiàn)地理位置無關(guān)性；為用戶提 供更好的訪問質(zhì)量;提高服務(wù)器響應(yīng)速度;提高服務(wù)器及其他資源的利用 效率;避免了網(wǎng)絡(luò)關(guān)鍵部位出現(xiàn)單點(diǎn)失效。常用的服務(wù)器集群和數(shù)據(jù)庫集群負(fù)載均衡

19、實(shí)現(xiàn)方法：CitrixNetScaler的硬件負(fù)載均衡交換機(jī)做服務(wù)器集群的負(fù)載均衡。MySQL Proxy做MySQL服務(wù)器集群的負(fù)載均衡并實(shí)現(xiàn)讀寫分離。其實(shí)現(xiàn) 讀寫分離的基本原理是讓主數(shù)據(jù)庫處理事務(wù)性查詢，而從數(shù)據(jù)庫處理 SELECT查詢。數(shù)據(jù)庫復(fù)制被用來把事務(wù)性查詢導(dǎo)致的變更同步到集群中 的從數(shù)據(jù)庫。CDN:幾乎在各大網(wǎng)站都有使用該技術(shù)。例如，使得你的網(wǎng)站在各省市訪 問更快，其原理是采取了分布式網(wǎng)絡(luò)緩存結(jié)構(gòu)（即國(guó)際上流行的web cache技術(shù)），通過在現(xiàn)有的Internet中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站 的內(nèi)容發(fā)布到最接近用戶的cache服務(wù)器內(nèi)，通過DNS負(fù)載均衡的技術(shù)， 判斷用戶來源

20、就近訪問cache服務(wù)器取得所需的內(nèi)容，解決Internet網(wǎng)絡(luò) 擁塞狀況，提高用戶訪問網(wǎng)站的響應(yīng)速度，如同提供了多個(gè)分布在各地的 加速器，以達(dá)到快速、可冗余的為多個(gè)網(wǎng)站加速的目的。緩存眾所周知，使用緩存能有效應(yīng)對(duì)大負(fù)載，減少數(shù)據(jù)庫的壓力，并顯著提高 *應(yīng)用程序的性能，如果某個(gè)用戶多次請(qǐng)求同一資源，則可以從緩存返回 該資源，從而避免了重新從服務(wù)器或數(shù)據(jù)庫請(qǐng)求該資源而產(chǎn)生的系統(tǒng)開 銷。緩存可以通過減少獲取請(qǐng)求的資源所需的時(shí)間，提高應(yīng)用程序性能。 緩存還可以通過減少到服務(wù)器的往返次數(shù)，降低網(wǎng)絡(luò)通信量。盡管緩存可 以提高性能，但它也增加了返回到應(yīng)用程序的資源可能變得陳舊的風(fēng)險(xiǎn)。 這意味著，返回的資源

21、可能與假設(shè)沒有使用緩存的情況下，服務(wù)器有可能 發(fā)送的資源并不完全相同（即取得臟數(shù)據(jù)”）。即便如此，簡(jiǎn)單的緩存策略也能大大提升網(wǎng)站性能。例如，Youtube把首 頁最新的視頻列表緩存60秒，也就是說60秒內(nèi)并發(fā)的request都是從緩 存讀取的，大大減少了數(shù)據(jù)庫壓力。再加上CDN，使得Youtube首頁的 并發(fā)訪問速度很快。單機(jī)內(nèi)存緩存、文件緩存、數(shù)據(jù)庫緩存等的策略都是可以很簡(jiǎn)單的實(shí)現(xiàn)的， 例如可以使用微軟的Caching Application Block，但如何在集群環(huán)境中使 多個(gè)緩存、*緩存并保存同步是個(gè)重大問題。大型網(wǎng)站一般都使用緩存服 務(wù)器群，并使用*緩存。業(yè)內(nèi)最常用的有：Squidcache，Squid服務(wù)器群，把它作為web服務(wù)器端前置cache服務(wù)器 緩存相關(guān)請(qǐng)求來提高web服務(wù)器速度。Squid將大部分靜態(tài)資源（圖片， js，css等）緩存起來，直接返回給訪問者，減少應(yīng)用服務(wù)器的負(fù)載 memcache，memcache服務(wù)器群，一款分布式緩存產(chǎn)品，很多大型網(wǎng)站 在應(yīng)用；它可以應(yīng)對(duì)任意多個(gè)連接，使用非阻塞的網(wǎng)絡(luò)IO