大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案

大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案實用文檔大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案目錄1 網(wǎng)站的性能瓶頸分析 12 系統(tǒng)架構(gòu)設(shè)計 32.1 總體思路 32.1.1 負載均衡 32.1.2 WEB應(yīng)用開發(fā)架構(gòu)思路 32.1.3 數(shù)據(jù)存儲的設(shè)計思路 32.1.4 不同網(wǎng)絡(luò)用戶訪問考慮 42.2 總體架構(gòu) 52.2.1 網(wǎng)站的系統(tǒng)分層架構(gòu) 52.2.2 網(wǎng)站的物理架構(gòu) 62.2.3 網(wǎng)站的開發(fā)架構(gòu) 72.2.4 網(wǎng)絡(luò)拓撲結(jié)構(gòu) 82.3 架構(gòu)涉及技術(shù)的詳解 92.3.1 負載均衡 92.3.2 緩存 152.3.3 頁面靜態(tài)化 192.3.4 數(shù)據(jù)庫配置及優(yōu)化 202.3.5 文件存儲 212.3.6 網(wǎng)絡(luò)問題解決方案 242.3.7 WEB應(yīng)用開發(fā)架構(gòu)設(shè)計思路 262.4 系統(tǒng)軟件參數(shù)優(yōu)化 302.4.1 操作系統(tǒng)優(yōu)化 302.4.2 tomcat服務(wù)器優(yōu)化 312.4.3 apache服務(wù)器優(yōu)化 332.4.4 Nginx服務(wù)器的優(yōu)化 333 Web服務(wù)架構(gòu)評測 343.1 測試環(huán)境 343.1.1 網(wǎng)絡(luò)環(huán)境 343.1.2 服務(wù)器配置 353.1.3 軟件環(huán)境 353.2 測試結(jié)果 403.2.1 單個TOMCAT的WEB服務(wù)器 403.2.2 Nginx+2個TOMCAT的WEB服務(wù)器 413.2.3 Nginx+2個TOMCAT的WEB服務(wù)器+緩沖 423.3 測試結(jié)果分析 433.4 評測結(jié)果 444 配置選型 454.1 網(wǎng)絡(luò)帶寬 454.2 架構(gòu)和硬件配置選型 464.2.1 硬件配置參考 464.2.2 Web架構(gòu)和硬件選型 474.3 硬件擴容策略 484.3.1 增加服務(wù)器 484.3.2 增加存儲 484.3.3 升級服務(wù)器 484.3.4 網(wǎng)絡(luò)擴容 485 附錄：一些主流網(wǎng)站的真實數(shù)據(jù) 49第頁測試結(jié)果分析系統(tǒng)參數(shù)的影響分析worker_processes參數(shù)對Nginx性能的影響測試過程中分別設(shè)定worker_processes為8、4、2、1時發(fā)現(xiàn)，該參數(shù)對nginx性能影響不大，對服務(wù)器資源消耗也沒有太大影響，相關(guān)資料顯示，該參數(shù)的值最好跟cpu核數(shù)相等，能夠發(fā)揮最大性能，本次測試nginx所在服務(wù)器為2顆雙核cpu，因此最終測試設(shè)定為4。MaxThread參數(shù)對tomcat并發(fā)性的影響本次測試tomcat的MaxThread參數(shù)設(shè)定為500，進行13000條/秒并發(fā)測試時，tomcat啟動并發(fā)線程過多，將服務(wù)器cpu耗盡。分析MaxThread雖能夠提高tomcat并發(fā)能力，但前提是在一個合理的范圍內(nèi)，要確保服務(wù)器負載不會因為并發(fā)線程過多而急劇升高，從而停止響應(yīng)。-Xmx最大內(nèi)存值對Tomcat能夠持續(xù)響應(yīng)高并發(fā)的影響持續(xù)高并發(fā)請求狀態(tài)下，有6次測試是因為tomcat內(nèi)存達到指定最大值導(dǎo)致響應(yīng)變慢，直至內(nèi)存溢出停止響應(yīng)，因此，Tomcat最大內(nèi)存對tomcat能夠持續(xù)響應(yīng)高并發(fā)請求有很大的影響，調(diào)整該值，應(yīng)該可以增加Tomcat響應(yīng)高并發(fā)請求的總數(shù)，進而延長WEB服務(wù)能夠支撐峰值的時間。各架構(gòu)下的性能分析Nginx+2Tomcat的最大并發(fā)性低于單Tomcat，Nginx+2Tomcat最快為8980條/秒，單Tomcat為12986條/秒，分析可能是受nginx所在服務(wù)器性能影響所致。單tomcat在配置1.7g最大內(nèi)存時，在持續(xù)超過1479條/秒的并發(fā)請求下，在穩(wěn)定支撐約240萬次響應(yīng)后，Tomcat內(nèi)存達到1.7上限，之后Tomcat響應(yīng)會急劇變慢，錯包急劇上升。Nginx+2tomcat架構(gòu)下，2個tomcat分別配置1.7g最大內(nèi)存時，在持續(xù)超過2900條/秒的并發(fā)請求下，能夠穩(wěn)定支撐約540萬次左右響應(yīng)，之后兩個Tomcat內(nèi)存都會達到1.7上限，響應(yīng)會急劇變慢，但錯包情況并未出現(xiàn)。在Nginx+2tomcat，同時配置了緩存的情況下，可以達到1.5萬以上的并發(fā)處理能力評測結(jié)果單個tomcat的處理能力在500條/秒左右單個tomcat能穩(wěn)定支持每秒500左右的并發(fā)請求。Nginx+Tomcat比單個Tomcat更穩(wěn)定，不易出現(xiàn)錯包，可以通過擴充tomcat集群（新增tomcat服務(wù)器）來提升系統(tǒng)的并發(fā)能力單個tomcat在超出并發(fā)能力的提求下，處理能力大大下降，并出現(xiàn)大量錯包，而采用Nginx+2Tomcat架構(gòu)在各種測試下，均未出現(xiàn)錯包，但處理能力也會下降。單個tomcat能穩(wěn)定支持每秒500左右的并發(fā)請求，而Nginx+2Tomcat能支持每秒1000左右的并發(fā)請求。所以可以通過新加tomcat服務(wù)器來提升系統(tǒng)的并發(fā)能力，但在tomcat的總體處理能力超過nginx的處理能力時無效。Nginx+2Tomcat配置了緩存后，靜態(tài)頁面的并發(fā)能力不再受tomcat的限制，單個nginx的并發(fā)處理能力能達到1.5萬以上。配置了緩存后，nginx+2tomcat的處理能力實測數(shù)據(jù)超過了1.5萬次/秒，而單個tomcat可以支撐500次/秒，則從理論上計算一組Nginx+30個Tomcat集群可以支撐1.5萬次/秒的并發(fā)處理。注：為tomcat均分配1.7G內(nèi)存。配置選型網(wǎng)絡(luò)帶寬只考慮門戶訪問的帶寬占用，后臺管理頁面等其他業(yè)務(wù)訪問與門戶訪問相差2-3個數(shù)量級，這一部分網(wǎng)絡(luò)流量占用忽略。同時考慮網(wǎng)絡(luò)帶寬利用率（70%）根據(jù)業(yè)務(wù)設(shè)計能力，每秒網(wǎng)絡(luò)流量=WEB網(wǎng)站每秒鐘訪問流量=（每次訪問占用的帶寬×每秒訪問次數(shù)）/帶寬利用率=(200K*8*n)/0.7注：一般門戶的首頁大小>1M、平均200K/頁面，我們以平均值來計算。并發(fā)能力占用的網(wǎng)絡(luò)帶寬100次/秒228M200次/秒457M500次/秒1442M1000次/秒2286M架構(gòu)和硬件配置選型硬件配置參考序號產(chǎn)品功能參考型號、配置TPMC1主機設(shè)備1.1數(shù)據(jù)庫服務(wù)器IBMSystemx3850M2,4個處理器，每處理器為6核，共計24核。內(nèi)存大小16G。SAS硬盤，硬盤大小587GB。4U機架，集成雙千兆以太網(wǎng)接口，兩塊千兆的光纖網(wǎng)卡。6845081.2WEB服務(wù)器IBMSystemx3850M2,4個處理器，每處理器為6核，共計24核。內(nèi)存大于8G。SAS硬盤，硬盤大小587GB。4U機架，集成雙千兆以太網(wǎng)接口，兩塊千兆的光纖網(wǎng)卡。6845081.3管理終端IBMSystemx3560，1個IntelXeonE5450處理器，內(nèi)存大小2G，2U機架。326002網(wǎng)絡(luò)設(shè)備2.1負載均衡器RADWARE應(yīng)用負載均衡設(shè)備,型號:為ODS-504,有，4個可選的千兆位電端口,1G主內(nèi)存,500M處理能力(最大可通過License升級為4G)2.2防火墻CISCOASA5520防火墻

并發(fā)連接：280000

網(wǎng)絡(luò)吞吐：450

安全過濾：225MB

網(wǎng)絡(luò)端口：4個千兆以太網(wǎng)接口+1個快速

用戶數(shù)限：無用戶數(shù)限制用戶

VPN支持：支持2.2交換機QuidwayS3952P-EI

傳輸速率：10Mbps/100Mbps/1000Mbps

網(wǎng)絡(luò)標準：IEEE802.1Q、IEEE802.1D

端口數(shù)量：48

接口介質(zhì)：10/100Base-T、1000Base-X

傳輸模式：全雙工/半雙工自適應(yīng)

背板帶寬：32Gbps3存儲設(shè)備3.1光纖存儲柜光纖存儲柜（EVA4100）3.2光纖交換機光纖交換機（4/32BSANSwitch）注：上表為硬件的參考配置，根據(jù)網(wǎng)站規(guī)模的不同，在初期可以不用硬件負載均衡器。服務(wù)器性能也可以作適當(dāng)縮減，達到一定規(guī)模后硬件的擴容請參考“4.3硬件擴容策略”Web架構(gòu)和硬件選型并發(fā)能力Web服務(wù)器架構(gòu)服務(wù)器配置備注<200次/秒1)

Apache+n個Tomcat（n>=2）；2臺web服務(wù)

2臺數(shù)據(jù)庫服務(wù)器1臺web服務(wù)器同時部署apache（nginx）和tomcat；

另1臺部署tomcat。一起實現(xiàn)web負載均衡。

1臺生產(chǎn)數(shù)據(jù)庫，1臺查詢數(shù)據(jù)庫2)

Nginx+n個Tomcat（n=2）；200~500次/秒1)

Apache+n個Tomcat（n>=2）；3臺web服務(wù)

2臺數(shù)據(jù)庫服務(wù)器

2臺緩存服務(wù)器1臺web服務(wù)器裝apache（nginx）；

另2臺web服務(wù)器tomcat；

1臺生產(chǎn)數(shù)據(jù)庫，1臺查詢數(shù)據(jù)庫2)

Nginx+n個Tomcat（n=2）；注：同時配置緩沖>500次/秒Nginx+n個Tomcat（n>=2）；

注：同時配置緩沖n臺web服務(wù)（n>5）

m臺數(shù)據(jù)庫服務(wù)器

2臺緩存服務(wù)器

2臺負載均衡器1臺web服務(wù)器裝nginx；

其他web服務(wù)器tomcat；在web服務(wù)器>4臺的時侯可以考慮劃成多個nginx+tomcat集群。

生產(chǎn)數(shù)據(jù)庫用ORACLE的RAC集群，也可考慮多種數(shù)據(jù)庫并存如用mysql.>1.5萬次多個Nginx+n個Tomcat（n>=2）組合；

注：同時配置緩沖n臺web服務(wù)（n>30）

m臺數(shù)據(jù)庫服務(wù)器

2臺緩存服務(wù)器

2臺負載均衡器組成多個nginx+tomcat集群（1臺ngix+5臺tomcat）,通過負載均衡器分流。

數(shù)據(jù)庫用ORACLE的RAC集群。說明：1）理論上單個tomcat可以支持500的并發(fā)，考慮到門戶的高可用性，可以考慮用Nginx+n個Tomcat（n>=2）的負載均衡架構(gòu)。2）當(dāng)并發(fā)>500時可以考慮增加tomcat服務(wù)器，當(dāng)tomcat增加達到30個時理論可以支撐1.5萬次的并發(fā)請求。3）當(dāng)并發(fā)>1.5萬次時則需要考慮增加一套Nginx+tomcat的組合，多個Nginx+tomcat通過硬件或是軟件負載均衡器來實現(xiàn)平載均衡。4）以上的硬件配置沒考慮其他復(fù)雜的應(yīng)用需求，如有其他應(yīng)用（大容量的文件存儲、接口服務(wù)、復(fù)雜的計算等）需求則需要配置相應(yīng)的硬件。硬件擴容策略當(dāng)網(wǎng)站發(fā)展到一定階段，隨著用戶量不斷擴大，現(xiàn)有的網(wǎng)絡(luò)資源和服務(wù)器資源不能滿足用戶需要的時候，就需要對平臺進行服務(wù)器和網(wǎng)絡(luò)的擴容。以下是兩種平臺擴容的方式：增加服務(wù)器對于web的并發(fā)處理有瓶頸時，新增的web服務(wù)器，把新增的web服務(wù)器填加到Web服務(wù)器集群中，以增加WEB的并發(fā)處理能力。對于數(shù)據(jù)庫有處理壓力時，可以增加數(shù)據(jù)庫服務(wù)器，增加數(shù)據(jù)庫服務(wù)器加入數(shù)據(jù)庫的集群中。增加存儲對于存儲容量不能滿足業(yè)務(wù)需要時，可以考慮在磁盤柜中新增加硬盤，甚至考慮新增磁盤柜。升級服務(wù)器可以升級服務(wù)器的內(nèi)存、硬盤，甚至考慮用新的性能更高的服務(wù)器來替換。網(wǎng)絡(luò)擴容申請更大的網(wǎng)絡(luò)帶寬引入CDN升級內(nèi)網(wǎng)交換機。附錄：一些主流網(wǎng)站的真實數(shù)據(jù)taobao 服務(wù)中心200臺服務(wù)器承載了70億/天的請求維基百科alexa訪問量排名第6的維基百科，每天有3.4億個PV，但其最高峰的HTTP請求數(shù)也只有五六萬左右。facebook120M+activeusers50B+PVspermonth50B+PVspermonth10B+Photos1B+connections50K+PlatformApps400K+AppDevelopersLAMP+Services AdServer Search NetworkSelector NewsFeed Blogfeeds PHP Memcache MySQLBlogfeeds CSSParser Mobile ShareScraperAmzon的一組數(shù)據(jù)：超過5500萬活動顧客的帳號和賬單信息；世界范圍內(nèi)超過100萬個活動零售商；構(gòu)建一個頁面所需要訪問的服務(wù)API在100至150個；每天數(shù)十億的用戶訪問。這是一組龐大的數(shù)字豆瓣網(wǎng)的一些數(shù)據(jù)： 2.8M注冊用戶，約1/4活躍用戶 千萬級非注冊用戶 20M動態(tài)請求/天，峰值500~600/sec 23臺普通PC服務(wù)器(1U*15/2U*8) 12臺提供線上服務(wù) 38Gmemcachedebay2