高并發(fā)下的網(wǎng)站架構(gòu)

高并發(fā)下的網(wǎng)站架構(gòu)

阿里巴巴中國站性能調(diào)優(yōu)實踐

何崚(阿里巴巴中國站架構(gòu)師)旺旺ID：maxheling E-mail：【內(nèi)部講座資料，請勿外傳】中國站性能現(xiàn)狀中國站網(wǎng)站的正常流量情況并發(fā)〔單臺〕，頂峰期<10吞吐量〔TPS，單臺〕頂峰期，<60CPU負載Load頂峰期，<2,大局部效勞器<1CPU使用率，一般只占1顆核，平均60%左右效勞器平均響應(yīng)時間頂峰期，<150ms圖片總流量帶寬1.8G〔各網(wǎng)站總合〕高并發(fā)下的風險網(wǎng)絡(luò)帶寬耗盡效勞器Load飆高，停止響應(yīng)數(shù)據(jù)庫癱瘓高并發(fā)下的事故事故：網(wǎng)站運營旺旺推廣頁面彈出，1兆大圖片導(dǎo)致帶寬耗盡增加審核機制：運營推廣增加的圖片流量不能超過現(xiàn)有流量的30%合作媒體推廣：迅雷，暴風影音浮出廣告，導(dǎo)致旺鋪集群Crash秒殺1688開業(yè)88小時不間斷秒殺活動高并發(fā)對網(wǎng)站性能的影響并發(fā)數(shù)對吞吐量的影響并發(fā)數(shù)對效勞器平均請求響應(yīng)時間的影響并發(fā)數(shù)對用戶平均請求等待時間的影響高并發(fā)實例：1688開業(yè)秒殺活動商業(yè)需求為慶祝1688開業(yè)退出88小時不間斷秒殺活動每小時整點推出8款商品，拖拉機，牛，馬桶，沙發(fā)……每款商品供168件，每人限批3件，成交人數(shù)56人CCTV黃金廣告時間，各種網(wǎng)絡(luò),平面媒體轟炸，總廣告費：1.5億接到運營通知，距秒殺開始僅僅5天時間技術(shù)挑戰(zhàn)瞬間高并發(fā)8000并發(fā)：預(yù)估秒殺在線人數(shù)可達8000人風險：帶寬耗盡效勞器：崩潰，可以理解成自己給自己準備的攻擊秒殺器第一種：秒殺前不斷刷新秒殺頁面，直到秒殺開始，搶著下單第二種：跳過秒殺頁面，直接進入下單頁面，下單1688秒殺系統(tǒng)：效勞器和網(wǎng)絡(luò)準備效勞器準備〔距秒殺開始僅五天時間來不及采購〕style效勞器〔Ligd集群〕：5臺圖片效勞器〔Nginx集群〕：5臺靜態(tài)效勞器〔Apache集群〕：10臺交易效勞器〔JBoss動態(tài)集群〕：10臺帶寬準備圖片出口帶寬上限：2.5G〔出口帶寬支持10G，但圖片效勞器集群的處理能力：圖片效勞集群最大并發(fā)處理能力X網(wǎng)站平均圖片大小=2.5G〕CDN準備：Chinacache溝通；借用TaobaoCDN1688秒殺系統(tǒng)：架構(gòu)目標1.圖片網(wǎng)絡(luò)帶寬：1.0G 新增圖片帶寬：必須控制在1.0G左右 每件商品秒殺頁面的圖片總大小不得超過：1000000/(1000*8)=125K/每商品2.網(wǎng)站并發(fā)： 單件商品并發(fā)：1000【來自運營的預(yù)估】 總并發(fā):8〔件商品〕X1000〔人/商品〕=8000

1688秒殺系統(tǒng)：組成簡單系統(tǒng)：

三個頁面組成：秒殺商品列表，秒殺商品介紹，下單【1688靜態(tài)集群】【中國站交易動態(tài)集群china.alibaba】下單成功后，進入支付寶系統(tǒng)，走支付流程1688秒殺系統(tǒng)：設(shè)計原那么靜態(tài)化采用JS自動更新技術(shù)將動態(tài)頁面轉(zhuǎn)化為靜態(tài)頁面并發(fā)控制，防秒殺器設(shè)置閥門，只放最前面的一局部人進入秒殺系統(tǒng)簡化流程砍掉不重要的分支流程，如下單頁面的所有數(shù)據(jù)庫查詢以下單成功作為秒殺成功標志。支付流程只要在1天內(nèi)完成即可。前端優(yōu)化采用YSLOW原那么提升頁面響應(yīng)速度

1688秒殺系統(tǒng)：靜態(tài)化(1)秒殺商品list和Detail是靜態(tài)Html頁面1688秒殺系統(tǒng)：靜態(tài)化(2)秒殺商品列表/秒殺商品介紹頁面，如何判斷秒殺開始否答案：

valid-offer.js三道閥門的設(shè)計閥門：基于TT的計數(shù)器序號閥門上限1限制進入秒殺頁面，10002限制進入下單頁面，1003限制進入支付寶系統(tǒng)，56秒殺器的預(yù)防秒殺Detail頁面URL：隨機秒殺前2秒放出,腳本生成，秒殺前1000次訪問上限控制【每件商品只能放入1000人瀏覽】下單頁面：訂單ID，隨機不能直接跳過秒殺Detail頁面進入每個秒殺商品，帶預(yù)先生成的隨機Token作URL參數(shù)如果秒殺過，直接跳到秒殺結(jié)束頁面100次訪問上限控制【每件商品只能放入1000人下單】WebServer調(diào)優(yōu)–Apache調(diào)優(yōu)KeepAlive相關(guān)參數(shù)調(diào)優(yōu)其他參數(shù)調(diào)優(yōu)HostnameLookups設(shè)為off，對allowfromdomain等后的域名不進行正向和反向的dns解析關(guān)閉cookies-log日志翻開Linuxsendfile()關(guān)閉無用的modulemod_Gzip(秒殺頁面，非圖片html文本所占流量比重可忽略不計，zip意義不大),mod_Beacon,mod_hummock〔等待反響過來，秒殺已經(jīng)over了〕WebServer調(diào)優(yōu)–JBoss調(diào)優(yōu)Mod-jkworker調(diào)優(yōu)JBossAJPConnectorTomcatAPR設(shè)定秒殺靜態(tài)頁面優(yōu)化圖片合并8張圖片合并成1張，css偏移展示減少HTTP請求數(shù)，減少請求等待數(shù)減少發(fā)送cookies的量HTML內(nèi)容壓縮圖片壓縮：圖片Bytes<長X寬/2250HTMLHeaderCache-Control設(shè)置CSS，JS精簡CSS,JS精簡到極致，局部直接寫在頁面中，減少Http請求次數(shù)下單頁面優(yōu)化數(shù)據(jù)庫操作：全部砍掉原下單頁面要訪問8次數(shù)據(jù)庫，全部砍掉秒殺流程精簡砍掉填寫或選擇收貨地址，放在秒殺成功后填寫砍掉調(diào)用是否開通支付寶接口，秒殺首頁文案提示必須開通采用內(nèi)存緩存秒殺Offer數(shù)據(jù)，支付寶相關(guān)信息，緩存交易系統(tǒng)性能優(yōu)化交易系統(tǒng)調(diào)優(yōu)目標：關(guān)閉KeepAlive〔分析交易系統(tǒng)accesslog，用戶在短時間內(nèi)連續(xù)點擊概率很低〕JVM優(yōu)化 優(yōu)化CMS垃圾回收器的參數(shù)消滅Top10BottlenecksVelocity參數(shù)調(diào)優(yōu)采用DBCP1.4替換C3P0Offer產(chǎn)品參數(shù)的XML解析并發(fā)TPS下單頁面（優(yōu)化前）20100下單頁面（優(yōu)化后）40400二跳頁面的優(yōu)化1688其他頁面前端優(yōu)化：Yslow規(guī)那么調(diào)優(yōu)減少請求，合并JS,CSS,圖片，充分利用瀏覽器緩存圖片壓縮，公式：防止發(fā)送cookies交易系統(tǒng)優(yōu)化普通訂單管理列表和1688秒批訂單管理列表別離禁止用模糊查詢功能應(yīng)急預(yù)案域名別離，獨立域名，不影響中國站原有業(yè)務(wù)Style集群：圖片效勞器集群：靜態(tài)頁面集群：出問題直接把1688相關(guān)域名卡掉，所有請求跳到萬能出錯頁面機動效勞器10臺，備用拆東墻補西墻戰(zhàn)略5天時間來不及采購效勞器，因此SA待命，隨時準備將非核心應(yīng)用集群的冗余效勞器下線，參加到秒殺集群壁虎斷尾策略所有方法均失效的情況下，例如流量耗盡非核心應(yīng)用集群統(tǒng)統(tǒng)停止效勞，如資訊，論壇，博客等社區(qū)系統(tǒng)保住首頁，OfferDetail,旺鋪頁面等核心應(yīng)用的可用性萬能出錯頁面：秒殺活動已經(jīng)結(jié)束任何出錯都302跳轉(zhuǎn)到此頁面位于另外集群萬幸：最終所有的預(yù)案都沒有用上秒殺活動結(jié)果88小時秒殺，堅守陣地，大獲成功秒殺還是被秒殺？終于有了答案三道閥門設(shè)計非常有效，攔住了秒殺器1688靜態(tài)集群總并發(fā)情況〔首頁，秒殺列表，秒殺商品頁面〕交易系統(tǒng)集群總并發(fā)情況〔下單頁面〕改進一：采用更輕量/快速的效勞器〔1〕采用Ligd替代Apache殺手锏〔AIO〕改進一：采用更輕量/快速的效勞器〔1〕小頁面性能〔100K〕大頁面性能〔10M〕改進一：采用更輕量/快速的效勞器〔1〕性能關(guān)鍵：WebServer的高性能I/OLigd1.5Apache2.2支持Apache1.3注意：sendfile〔〕和AIO的操作系統(tǒng)相關(guān)性：依賴高版本Linux操作系統(tǒng)改進一：采用更輕量/快速的效勞器〔2〕中國站應(yīng)用效勞器升級工程，采用Jetty7.1.5替代中國站應(yīng)用效勞器升級工程：Apache2.2+Mod-Proxy+Jetty7.1.5與中國站現(xiàn)有架構(gòu)性能比照性能大幅提升，中國站全站下線1/3應(yīng)用效勞器約一百臺，明年不用采購新機器

架構(gòu)更輕量，配置更簡單應(yīng)用更無狀態(tài)化，開發(fā)和維護的福音更加平安改進二：前端優(yōu)化自動化中國站效勞器響應(yīng)時間<150ms,但OfferDetail頁面用戶等待時間5s,大局部時間耗在路上〔資源請求和網(wǎng)絡(luò)傳輸)圖片自動壓縮〔CMS自動壓縮〕Cookies效勞化〔控制cookies的大小〕中國站前端延遲加載框架SmartLoad〔只加載首屏數(shù)據(jù)〕Googlemod_pagespeedmodule自動壓縮圖片，靜態(tài)資源，智能瀏覽器緩存技術(shù)GoogleDiffable〔增量下載靜態(tài)資源技術(shù)〕改進三：架設(shè)鏡像站組建山寨CDN中國站青島鏡像站工程改進四：采用反向代理加速核心頁面在Offer集群前部署Squid反向代理集群OfferDetail的Squid