大型網(wǎng)站平臺優(yōu)化方案

平臺優(yōu)化方案大型網(wǎng)站，在面對大量用戶訪問、高并發(fā)懇求方面，根本的解決方案集中在有高性能的Web載和高并發(fā)問題。度來說說我的一些閱歷.HTML靜態(tài)化由于效率最高、消耗最小的就是純靜態(tài)化的html頁面，所以盡可能使網(wǎng)站上的頁面承受靜態(tài)頁面來實(shí)現(xiàn)，這個最簡潔的方法其實(shí)也是最有效的方法.但是對還能具備頻道治理、權(quán)限治理、自動抓取等功能，對于一個大型網(wǎng)站來說，擁有一套高效、可治理的CMS是必不行少的。態(tài)化，有更的時候再重靜態(tài)化也是大量使用的策略，如Mop的大雜燴就是使用了這樣的策略，網(wǎng)易社區(qū)等也是如此.同時，html靜態(tài)化也是某些緩存策略使用的手段,對于系統(tǒng)中頻繁使用數(shù)據(jù)html數(shù)據(jù)庫中,這些信息其實(shí)大量被前臺程序調(diào)用，但是更頻率很小，可以考慮將這局部內(nèi)容進(jìn)展后臺更的時候進(jìn)展靜態(tài)化，這樣避開了大量的數(shù)據(jù)庫訪問懇求.圖片效勞器分別對于Web效勞器來說，不管是Apache、IIS還是其他容器，圖片是最消耗資源在應(yīng)用效勞器和圖片效勞器上，可以進(jìn)展不同的配置優(yōu)化，比方apache在配置ContentType的時候可以盡量少支持,盡可能少的LoadModule，保證更高的系統(tǒng)消耗和執(zhí)行效率。CPUIO均衡在一個網(wǎng)站供給的全部功能中,有的功能可能需要消耗大量的效勞器端IO資源，像下載，視頻播放等，而有的功能則可能需要消耗大量的效勞器CPU資源,像視頻格式轉(zhuǎn)換，LOG統(tǒng)計(jì)等。在一個效勞器集群中,當(dāng)覺察某些機(jī)器上CPU和IO的利用率相差很大的時候，例如CPU負(fù)載很高而IO負(fù)責(zé)很低，可以考慮將該效勞器上的某些耗CPU資源的進(jìn)程換成耗IO的進(jìn)程，以到達(dá)均衡的目的。均衡每一臺機(jī)器的CPU和IO消耗，不僅可以獲得更充分的效勞器資源利用，而且還能夠支持臨時的過載，遇到突發(fā)大事，訪問流量劇增的時候， 實(shí)現(xiàn)得體的性能下降(Gracefulperformancedegradation〕，而不是馬上崩潰。讀寫分別Linux下使用軟件RAID-0〔磁盤冗余陣列0級〕。RAID-0在獲得硬盤IO提升的同時，也RAID或〔甚至幾個讀寫效率不如RAID—0。而特地用來讀的硬盤，則不用如此麻煩，可以使用一般的效勞器硬盤,以降低開銷。一般的文件系統(tǒng),會綜合考慮各種大小和格式的文件的讀、寫效率，因而對特定的文件讀或?qū)懙男什皇亲顑?yōu).假設(shè)有必要，可以通過選擇文件系統(tǒng)，以及修改文件系統(tǒng)的配置參數(shù)來到達(dá)對特定文件的讀或?qū)懙男首畲蠡１确秸f,假設(shè)文件系統(tǒng)中需要存儲大量的小文件，則可以使用ReiserFS來替代Linux操作系統(tǒng)默認(rèn)的ext3ReiserFSext3快。ReiserFSext3中常見的無法回收巨型名目占用的磁盤空間的狀況。ReiserFS里小文件〔<4K)可以直接存儲進(jìn)樹，小文件讀取和寫入的速度更快,樹內(nèi)節(jié)點(diǎn)是按字節(jié)對齊的，多個小文件可共享同一個硬盤塊，ext34K要占據(jù)4K的空間,導(dǎo)致的空間鋪張比較嚴(yán)峻。但ReiserFS對很多Linux內(nèi)核支持的不是很好，假設(shè)網(wǎng)站想要使用它，就必需要安裝與它協(xié)作的較好的內(nèi)核。ReiserFSext3來說有一個ReiserFS磁盤分區(qū)。所以在選擇使用的時候，需要權(quán)衡取舍。數(shù)據(jù)庫集群和庫表散列大型網(wǎng)站都有簡單的應(yīng)用，這些應(yīng)用必需使用數(shù)據(jù)庫，那么在面對大量訪問于是需要使用數(shù)據(jù)庫集群或者庫表散列。有很好的方案，常用的MySQL供給的Master/Slave也是類似的方案，使用了什么樣的DB，就參考相應(yīng)的解決方案來實(shí)施即可。功能進(jìn)展更小的數(shù)據(jù)庫散列，比方用戶表，依據(jù)用戶ID進(jìn)展表散列,這樣就能夠低本錢的提升系統(tǒng)的性能并且有很好的擴(kuò)展性.如sohu的論壇就是承受了這樣的板塊和ID系統(tǒng)隨時增加一臺低本錢的數(shù)據(jù)庫進(jìn)來補(bǔ)充系統(tǒng)性能。緩存Apache供給Squid模塊進(jìn)展緩存,這兩種方式均可以有效的提高Apache的訪問響應(yīng)力量。網(wǎng)站程序開發(fā)方面的緩存，Linux上供給的MemoryCache是常用的緩存接口，可以在web開發(fā)中使用，比方用Java開發(fā)的時候就可以調(diào)用MemoryCache對一些數(shù)據(jù)進(jìn)展緩存和通訊共享。另外,在使用web語言開發(fā)的時候，各種語言根本都有自己的緩存模塊和方法。硬盤級緩存硬盤級別的緩存是指將需要動態(tài)生成的內(nèi)容臨時緩存在硬盤上,在一個可承受的延遲時間范圍內(nèi),同樣的懇求不再動態(tài)生成，以到達(dá)節(jié)約系統(tǒng)資源，提高網(wǎng)站承受力量的目的。Linux環(huán)境下硬盤級緩存一般使用Squidcache。Squid是一個高性能的代理緩存效勞器。和一般的代理緩存軟件不同,Squid用一個單獨(dú)的、非模塊化的、I/O驅(qū)動的進(jìn)程來處理全部的客戶端懇求。它承受來自客戶端對目標(biāo)對象的懇求并適當(dāng)?shù)靥幚磉@些懇求。比方說,用戶通過掃瞄器想下載〔即掃瞄〕一個web頁面，掃瞄器懇求Squid為它取得這個頁面。Squid隨之連接到頁面所在的原始效勞器并向效勞器發(fā)出取得該頁面的懇求。取得頁面后，SquidSquid本地緩存名目里保存一份Squid可以處理，F(xiàn)TP，GOPHER,SSL和WAIS等協(xié)議.Squid默認(rèn)通過檢測協(xié)議頭的Expires和Cache-Control字段來打算緩存的時間。在實(shí)際應(yīng)用中，可以顯式的在效勞器端腳本中輸出頭,也可以通過配置apache的mod_expires模塊，讓apache自動的給每一個網(wǎng)頁加上過期時間?！矓U(kuò)展名〕Squid的refresh_pattern來指定緩存時間。SquidhashObject。Object分布的狀況。假設(shè)要表〕，用來存儲其它Squid上的Object摘要。當(dāng)用戶端想要的資料本地硬盤上沒有時，可以很快的知道應(yīng)當(dāng)去集群中的哪一臺機(jī)器獲得.在硬盤空間快要到達(dá)〔默認(rèn)使用LRULeastRecentlyUsed-最近最少用)刪除一些Object，從而騰出空間。之間可以有兩種關(guān)系：第一種關(guān)系是：Child和Server沒有資料時,會直接向ParentSquidServer要資料，然后始終等，直到Parent給它資料為止。其次種關(guān)系是：Sibling和Sibling.當(dāng)SquidServer沒有資料時，會先向Sibling的SquidServer要Sibling沒資料，就跳過它向Parent要或直接上原始網(wǎng)站去拿。默認(rèn)配置的Squid50%的命中率。Squid到達(dá)90%以上的緩存命中率。Squid處理TCP連接消耗的效勞器資源比真正的效勞器要小的多,當(dāng)Squid內(nèi)存級緩存內(nèi)存級別的緩存是指將需要動態(tài)生成的內(nèi)容臨時緩存在內(nèi)存里,在一個可承受的延遲時間范圍內(nèi),同樣的懇求不再動態(tài)生成,而是直接從內(nèi)存中讀取。Linux環(huán)境下內(nèi)存級緩存Memcached是一個不錯的選擇。Memcached是danga開發(fā)的一套格外優(yōu)秀的分布式內(nèi)存對象緩存系統(tǒng),用于在動態(tài)系統(tǒng)中削減數(shù)據(jù)庫負(fù)載,提升性能。和Squid吸引人的一個特性就是支持分布式部署；也就是說可以在一群機(jī)器上建立一堆Memcached效勞,每個效勞可以依據(jù)具體效勞器的硬件配置使用不同大小的內(nèi)存塊,這樣，理論上可以建立一個無限大的基于內(nèi)存的緩存系統(tǒng)。Memcached是以守護(hù)程序方式運(yùn)行于一個或多個效勞器中，隨時承受客戶端的連接操作，客戶端可以由各種語言編寫，目前的客戶端 API包括Perl/PHP/Python/Ruby/Java/C＃/C等等。客戶端首先與Memcached效勞建立均通過這個key進(jìn)展保存的時候還可以設(shè)置有效期保存在Memcached中的對象實(shí)際上是放置在內(nèi)存中的，而不是在硬盤上。Memcached進(jìn)程運(yùn)行之后,會預(yù)申請一塊較大的內(nèi)存空間自己進(jìn)展治理用完之后再申請一塊而不是每需要的時候去向操作系統(tǒng)申請.Memcached將對象保存在一個巨大的Hash表中它還使用NewHash算法來治理Hash表,從而獲得進(jìn)一步的性能提升。所以當(dāng)安排給的內(nèi)存足夠大的時候，Memcached的時間消耗根本上只是網(wǎng)絡(luò)Socket連接的時間了。Memcached也有它的缺乏。首先它的數(shù)據(jù)是保存在內(nèi)存當(dāng)中的，一旦效勞進(jìn)〔Memcached以root權(quán)限運(yùn)行,而且MemcachedMemcachedMemcached我們可以將Memcached效勞綁定在內(nèi)網(wǎng)IP上,通過Linux防火墻進(jìn)展防護(hù).鏡像ChinaNet和EduNet之間更.〔如效勞器故障，網(wǎng)絡(luò)故障或者網(wǎng)速太慢等〕，仍能通過鏡像效勞器獲得效勞.不便之的。在用戶選擇的過程中，缺乏必要的可控性。是很大.鏡像網(wǎng)站技術(shù)在這種狀況下作為一種有效解決方案，被廣泛承受。隨著-下載的內(nèi)容是靜態(tài)的,更頻率較低，對帶寬,速度要求又比較高，如國外的SourceForge〔：//www。SourceF，著名開源軟件托管網(wǎng)站〕，F(xiàn)edora〔“://fedoraproject/“://，RedHat贊助的Linux發(fā)行版)，國內(nèi)的華等，還在使用這項(xiàng)技術(shù)。和產(chǎn)品可選。也有廉價的通過軟件實(shí)現(xiàn)的思路，比方Linux上的rsync等工具。CDN內(nèi)容分發(fā)網(wǎng)絡(luò)DeliveryNetwork,即內(nèi)容分發(fā)網(wǎng)絡(luò)。其目的是通過在現(xiàn)有的互聯(lián)網(wǎng)中增加一層的網(wǎng)絡(luò)架構(gòu),將網(wǎng)站的內(nèi)容公布到最接近用戶的網(wǎng)絡(luò)“邊緣”，使用戶可以就近取得所需的內(nèi)容,分散效勞器的壓力，解決互聯(lián)網(wǎng)擁量大、網(wǎng)點(diǎn)分布不均等緣由所造成的用戶訪問網(wǎng)站響應(yīng)速度慢的問題。CDN與鏡像網(wǎng)站技術(shù)的不同之處在于網(wǎng)站代替用戶去選擇最優(yōu)的內(nèi)容效勞CDN其實(shí)是夾在網(wǎng)頁掃瞄者和被訪問的效勞器中間的一層鏡URL器的域名解析來實(shí)現(xiàn)的。使用CDN技術(shù)的域名解析效勞器需要維護(hù)一個鏡像效勞器列表和一份來訪IP到鏡像效勞器的對應(yīng)表.當(dāng)一個用戶的懇求到來的時候，依據(jù)用戶的IP，查詢對應(yīng)表,得到最優(yōu)的鏡像效勞器的IP地址，返回給用戶。這的時候,可以很便利的設(shè)置將用戶的訪問轉(zhuǎn)到另外一個地方。這樣就增加了可掌握性。圖2CDN原理示意圖CDN求不是很高的網(wǎng)站；其次，DNS解析有緩存，當(dāng)某一個鏡像網(wǎng)站的訪問需要轉(zhuǎn)移DNS效勞器更改了IPDNS效勞器緩存更會滯后一段時間，這段時間內(nèi)用戶的訪問仍舊會指向該效勞器，可掌握性照舊有缺乏.CDN但論壇，郵箱等更頻繁，實(shí)時性要求高的頻道,則不適合使用這種技術(shù)。負(fù)載均衡。負(fù)載均衡主要應(yīng)用技術(shù)1、DNS負(fù)載均衡最早的負(fù)載均衡技術(shù)是通過DNSDNS中為多個地址配置同一個名DNS但是它不能區(qū)分效勞器的差異,也不能反映效勞器的當(dāng)前運(yùn)行狀態(tài)。2、代理效勞器負(fù)載均衡可以提升靜態(tài)網(wǎng)頁的訪問速度.然而，也可以考慮這樣一種技術(shù)，使用代理效勞器將懇求均勻轉(zhuǎn)發(fā)給多臺效勞器，從而到達(dá)負(fù)載均衡的目的.3、地址轉(zhuǎn)換網(wǎng)關(guān)負(fù)載均衡IP地址映射為多個內(nèi)部IP地TCP連接懇求動態(tài)使用其中一個內(nèi)部地址，到達(dá)負(fù)載均衡的目的。4、協(xié)議內(nèi)部支持負(fù)載均衡例如協(xié)議中的重定向力量等,運(yùn)行于TCP連接的最高層.5、NATNAT〔NetworkAddressTranslation網(wǎng)絡(luò)地址轉(zhuǎn)換〕IP地址轉(zhuǎn)換為另一個IPIP地址間進(jìn)展轉(zhuǎn)換.適用于解決InternetIP地址緊急、不想讓網(wǎng)絡(luò)外部知道內(nèi)部網(wǎng)絡(luò)構(gòu)造等的場合下。6、反向代理負(fù)載均衡一般代理方式是代理內(nèi)部網(wǎng)絡(luò)用戶訪問internet上效勞器的連接懇求,客戶端必需指定代理效勞器,并將原來要直接發(fā)送到internet上效勞器的連接懇求發(fā)送給代理效勞器處理。反向代理〔ReverseProxy〕方式是指以代理效勞器來承受internetinternetinternet上的連接懇求以反衡的目的。7、混合型負(fù)載均衡在有些大型網(wǎng)絡(luò)〔即把這多個效勞器群當(dāng)做一個的效勞器群〕，從而到達(dá)最正確的性能.我們將這種方式稱之為混合型負(fù)下。負(fù)載均衡的分類1、軟/硬件負(fù)載均衡軟件負(fù)載均衡解決方案是指在一臺或多臺效勞器相應(yīng)的操作系統(tǒng)上安裝一等,它的優(yōu)點(diǎn)是基于特定環(huán)境,配置簡潔，使用敏捷，本錢低廉,可以滿足一般的負(fù)載均衡需求。操作系統(tǒng)的限制；由于操作系統(tǒng)本身的Bug，往往會引起安全問題。，可到達(dá)最正確的負(fù)載均衡需求。Internet網(wǎng)絡(luò)適配器將這一功能集成到PC中，一塊連接到Internet上,一塊連接到后端效勞器群的內(nèi)部網(wǎng)絡(luò)上.2、本地/全局負(fù)載均衡負(fù)載均衡從其應(yīng)用的地理構(gòu)造上分為本地負(fù)載均衡〔LocalLoadBalance)LoadBalance，也叫地域負(fù)載均衡)，本地負(fù)載均衡是置、有不同網(wǎng)絡(luò)構(gòu)造的效勞器群間作負(fù)載均衡?；ㄙM(fèi)昂貴開支購置性能卓越的效勞器，充分利用現(xiàn)有設(shè)備,避開效勞器單點(diǎn)故障群內(nèi)的效勞器共同負(fù)擔(dān)。即使是再給現(xiàn)有效勞器擴(kuò)大升級,也只是簡潔地增加一個的效勞器到效勞群中，而不需轉(zhuǎn)變現(xiàn)有網(wǎng)絡(luò)構(gòu)造、停頓現(xiàn)有的效勞。全局負(fù)載均衡主要用于在一個多區(qū)域擁有自己效勞器的站點(diǎn),為了使全球用IP來到達(dá)資源統(tǒng)一合理安排的目的。全局負(fù)載均衡有以下的特點(diǎn):A、實(shí)現(xiàn)地理位置無關(guān)性,能夠遠(yuǎn)距離為用戶供給完全的透亮效勞。BISP引起的單點(diǎn)失效。訪問質(zhì)量。硬件四層交換能就象是虛IP,指向物理效勞器.它傳輸?shù)臉I(yè)務(wù)聽從的協(xié)議多種多樣，有、IP世界,業(yè)務(wù)類型由終端TCP或UDP端口地址來打算,在第四層交換中的應(yīng)用區(qū)間則由源端和終端IP地址、TCP和UDP端口共同打算.AlteonF5等，.Yahoo中國當(dāng)時接近2000臺效勞器使用了三四臺Alteon就搞定了.軟件四層交換大家知道了硬件四層交換機(jī)的原理后，