BluecoatSPHTTP反向代理和CDN技術(shù)方案建議jun

1、xxx用戶用戶 反向代理和反向代理和 cdn 技術(shù)方案建議書技術(shù)方案建議書 2007 年年 7 月月 17 日日 目目 錄錄 1前言前言.4 2用戶需求分析用戶需求分析.5 3方案設(shè)計原則方案設(shè)計原則.6 4技術(shù)方案建議技術(shù)方案建議.7 4.1反向代理網(wǎng)絡(luò)的總體設(shè)計.7 4.1.1在同一數(shù)據(jù)中心部署反向代理節(jié)點.7 4.1.2異地部署反向代理節(jié)點.9 4.2adn + cdn 業(yè)務(wù)（動態(tài)和靜態(tài)網(wǎng)頁同時加速業(yè)務(wù)） .10 4.2.1設(shè)計概述.10 4.2.2動態(tài)網(wǎng)頁加速流程.11 4.2.3設(shè)備選型.13 4.2.4https 加密動態(tài)網(wǎng)頁加速業(yè)務(wù).14 4.2.5reflect client

2、ip(用戶 ip 地址傳送).17 4.2.6保留用戶原有域名.17 4.3bluecoat http 業(yè)務(wù)特點.18 4.3.1https 源服務(wù)器卸載.19 4.3.2http 壓縮.19 4.3.3多線程下載.20 4.3.4典型 http 策略設(shè)置.20 4.4bluecoat網(wǎng)絡(luò)安全設(shè)計 .20 4.4.1bluecoat 抗ddos攻擊和port scanning.20 4.4.2sgos 操作系統(tǒng).21 4.4.3bluecoat 協(xié)議檢測.22 4.4.4防止反向代理服務(wù)器成為open proxy .22 4.4.5管理員訪問限制和安全.23 4.5用戶行為分析和統(tǒng)計及錯誤定位

3、用戶的追蹤.23 4.6全局網(wǎng)絡(luò)管理.24 4.7未來擴展.25 5bluecoat http 緩存技術(shù)特點緩存技術(shù)特點.27 5.1pipelining：快速的內(nèi)容抓取 .27 5.2自適應(yīng)的刷新：快速、新鮮的內(nèi)容.28 5.3自適應(yīng)的刷新：對帶寬消耗的影響.30 5.4新鮮度測量和報告.31 5.5blue coat 存儲子系統(tǒng).32 5.6http 策略控制引擎.33 5.6.1blue coat 可視化策略管理器.34 1 前言前言 本文是 bluecoat 對 xxx 用戶 http 反向代理工程的技術(shù)方案建議。 我們期待著和 xxx 用戶進行進一步的深入交流。 2 用戶需求分析用戶

4、需求分析 xxx 用戶目前的網(wǎng)站站點設(shè)計有 http apache 服務(wù)器，主要服務(wù)的內(nèi)容是 大量新聞和圖片及一些 flash 視頻類的節(jié)目。 采用 apache 服務(wù)器帶來的主要挑戰(zhàn)有三方面，一方面系統(tǒng)運行在通用操 作系統(tǒng)上，網(wǎng)站安全性存在風(fēng)險。另一方面 apache 服務(wù)器的性能受限，通常一 臺服務(wù)器只能處理 3000-5000 個并發(fā) http 客戶連接。性能上存在瓶頸。最后還 有在后臺存儲 xxx 用戶使用基于 fc san 的磁盤陣列。當(dāng)為了提升網(wǎng)站性能而增 加前面的 apache 服務(wù)器時，后臺存儲的共享也成為了一個復(fù)雜的技術(shù)問題。 為了解決上述的一些實際問題。xxx 用戶需要在

5、http web server 前端增 加硬件反向代理服務(wù)器，利用其安全和高性能的特性來降低 apache 服務(wù)器的負 載和被黑客攻擊的風(fēng)險。同時由于主要的負載都被反向代理服務(wù)器所承擔(dān)，源 服務(wù)器只需要保持一個基本的 ha 服務(wù)器就可以，也無需涉及復(fù)雜的 fc san 共 享問題。 3 方案設(shè)計原則方案設(shè)計原則 考慮 xxx 用戶的實際情況，在方案設(shè)計時需要遵循如下原則： 1標(biāo)準(zhǔn)性 現(xiàn)在構(gòu)建的 http 反向代理網(wǎng)絡(luò)應(yīng)當(dāng)符合網(wǎng)絡(luò)業(yè)界的主流標(biāo)準(zhǔn)，保證系統(tǒng) 和已有的 web server 的兼容性。 2合理的性能價格比 在滿足當(dāng)前的業(yè)務(wù)需求的同時，還考慮到今后業(yè)務(wù)發(fā)展的需求，確保在 未來擴容時能夠

6、擴展到更多的性能和容量支持。同時盡量選擇經(jīng)濟的設(shè)備，做 到最優(yōu)的性價比。 3高可靠性 在確保系統(tǒng)可靠工作和數(shù)據(jù)的可靠性的原則基礎(chǔ)上，盡可能的做到高起 點，選用先進的技術(shù)和設(shè)備，使構(gòu)建的反向代理系統(tǒng)有較高的可靠性，以適應(yīng) 今后的發(fā)展。 4可管理性和可維護性 反向代理設(shè)備可以通過多種技術(shù)和方式實現(xiàn)了高可靠性，同時也增加了系 統(tǒng)的復(fù)雜性，從而容易導(dǎo)致維護和管理的復(fù)雜性。因此在方案設(shè)計中在提供高 可靠性的同時，也要注重提供反向代理系統(tǒng)的可管理性和可維護性。 整個系統(tǒng)應(yīng)該能夠采用基于 web 的界面對存儲設(shè)備進行配置管理。系統(tǒng)配 置工作應(yīng)該簡單明了，流程清晰。系統(tǒng)應(yīng)該能夠提供遠程告警。 5. 高性能 整

7、個反向代理系統(tǒng)應(yīng)該提供較高的 http 和 https 性能，能夠滿足大量 用戶同時使用時的性能要求。 4 技術(shù)方案建議技術(shù)方案建議 4.1反向代理網(wǎng)絡(luò)的總體設(shè)計反向代理網(wǎng)絡(luò)的總體設(shè)計 使用 bluecoat sg 設(shè)備作為反向代理的方式對源服務(wù)器進行加速，利用 bluecoat 設(shè)備的安全性和強大的性能來實現(xiàn)對源服務(wù)器的卸載和安全防護。同 時可以部署多臺 bluecoat sg 設(shè)備在前端，實現(xiàn)高速性能負載均衡和系統(tǒng)高可 用性。并且會降低后臺源服務(wù)器的部署數(shù)量，解決存儲共享的問題。 .1 在同一數(shù)據(jù)中心部署反向代理節(jié)點在同一數(shù)據(jù)中心部署反向代理節(jié)點 在同一數(shù)據(jù)中心的條件下，部

8、署反向代理的結(jié)構(gòu)如下圖所示： slb設(shè)備設(shè)備/ 四層交換機四層交換機 internet sgsg 內(nèi)網(wǎng)內(nèi)網(wǎng) ocs 源服務(wù)器源服務(wù)器 用戶用戶 sg 實際部署在源服務(wù)器的前端，緩存用戶訪問的內(nèi)容，因此大部分的服 務(wù)壓力都會被 sg 所承擔(dān)，而不需要源服務(wù)器具有高性能的處理能力。同時由于 sg 和源服務(wù)器之間是通過內(nèi)部私網(wǎng)地址的連接，這樣保證了內(nèi)部的源服務(wù)器是 絕對安全的，因為沒有黑客能夠從公網(wǎng)上訪問到源服務(wù)器。 后臺的源服務(wù)器還可以使用多臺 web server 來實現(xiàn)冗余和可靠性。在 bluecoat 的方案中，后臺的源服務(wù)器組并不需要使用四/七層交換機來實施負 載均衡，因為 sg 設(shè)備本身

9、可以具有負載均衡能力。在從 sg 向源服務(wù)器請求未 命中的內(nèi)容時會根據(jù)幾種不同的算法進行負責(zé)均衡，包括：round-robin, 最少 連接，用戶源地址關(guān)聯(lián)，根據(jù)用戶被加速設(shè)備設(shè)置的 cookie 關(guān)聯(lián)等。bluecoat sg 設(shè)備還可以對后臺的源服務(wù)器實施健康檢查，檢查的方法包括四層協(xié)議和 http 協(xié)議等。如果發(fā)現(xiàn)某一臺源服務(wù)器出現(xiàn)故障，sg 則會自動將流量切換到別 的服務(wù)器上。 bluecoat sg 也提供了性能上的顯著提升，通常的 web server 具有二方 面的性能瓶頸：http 并發(fā)連接數(shù)，http 吞吐量。盡管可以給這些服務(wù)器配置較 大的內(nèi)存和更新的 cpu，但是其性能依

10、然無法令人滿意。而作為對比， bluecoat 的設(shè)備 sg810-c 可以支持 12000 個客戶端的并發(fā) http 連接，并且在 典型環(huán)境下支持 150mbps 到 200mbps 的反向 http 代理吞吐量。因此同樣的性能 要求條件下，會使用數(shù)量很少的 sg 設(shè)備就可以滿足用戶的性能要求，并由此節(jié) 省了大量的機房空間，電源消耗和空調(diào)消耗等相關(guān)資源。從維護成本的角度上 來考慮，是更為節(jié)省的一個方案。 在反向代理的方案中，對于靜態(tài)網(wǎng)頁的性能提升效果是非常明顯的。因為 大部分的靜態(tài)網(wǎng)頁會緩存在本地。而對于動態(tài)網(wǎng)頁而言，由于不能緩存在代理 服務(wù)器內(nèi)部，所以必須代理回源服務(wù)器，此時對源服務(wù)器的服

11、務(wù)并沒有性能卸 載的能力。對于這種動態(tài)網(wǎng)頁的加速，可以參考后續(xù)章節(jié)的方案，bluecoat 提 供了一種獨到的 adn 加速方案來對動態(tài)網(wǎng)頁進行加速。這一方案的范圍已經(jīng)超 出了反向代理的概念，而是和 cdn 的方案融合在一起。 .2 異地部署反向代理節(jié)點異地部署反向代理節(jié)點 整個反向代理網(wǎng)絡(luò)組件包括：gslb 和 slb 設(shè)備，http 緩存設(shè)備，web 源 服務(wù)器等。這種部署實際上已經(jīng)成為了 cdn 的部署。下圖表示了整體的網(wǎng)絡(luò)架 構(gòu)： sg 數(shù)據(jù)中心數(shù)據(jù)中心 加速動態(tài)網(wǎng)頁加速動態(tài)網(wǎng)頁 wan sg 加速動態(tài)網(wǎng)頁加速動態(tài)網(wǎng)頁 sg 加速靜態(tài)網(wǎng)頁加速靜態(tài)網(wǎng)頁 sg 加速流媒體加

12、速流媒體 sg 加速流媒體加速流媒體 鏡像服務(wù)器鏡像服務(wù)器 gslb設(shè)備設(shè)備slb設(shè)備設(shè)備 slb設(shè)備設(shè)備 內(nèi)容分發(fā)內(nèi)容分發(fā) 字節(jié)緩存比較字節(jié)緩存比較 源服務(wù)器源服務(wù)器 數(shù)據(jù)中心數(shù)據(jù)中心 新建新建cdn節(jié)點節(jié)點 動態(tài)網(wǎng)頁源服務(wù)器動態(tài)網(wǎng)頁源服務(wù)器 在新建反向代理節(jié)點中部署 4 臺 sg 緩存設(shè)備，其中 2 臺主要用于加速流 媒體業(yè)務(wù)，1 臺主要用于加速靜態(tài)網(wǎng)頁和 flash 視頻的業(yè)務(wù)，1 臺主要用于加速 動態(tài)網(wǎng)頁的業(yè)務(wù)?？紤]到業(yè)務(wù)安全的需要，2 臺加速 http 網(wǎng)頁的 sg 緩存設(shè)備 可以通過 slb 設(shè)備進行負載均衡。2 臺加速流媒體業(yè)務(wù)的 sg 緩存設(shè)備通過 slb 設(shè)備進行負載均衡。

13、這里假定緩存設(shè)備中已經(jīng)存有用戶需要訪問的內(nèi)容（用戶訪問命中的情況） ，其中第 1 步是 dns 解析，用戶解析過一次后就可以把 dns 記錄緩存在本機上， 下次可以不用再去 gslb 設(shè)備進行解析。如果用戶訪問的內(nèi)容未命中，則會由 cache 去源服務(wù)器抓取。 對于較簡單的單個節(jié)點異地反向代理方案，可以不使用 gslb 設(shè)備，只使 用 dns 解析到反向代理服務(wù)器即可。 4.2adn + cdn 業(yè)務(wù)（動態(tài)和靜態(tài)網(wǎng)頁同時加速業(yè)務(wù)）業(yè)務(wù)（動態(tài)和靜態(tài)網(wǎng)頁同時加速業(yè)務(wù)） .1 設(shè)計概述設(shè)計概述 在中心和邊緣節(jié)點部署的 sg 緩存設(shè)備和網(wǎng)絡(luò)的總體架構(gòu)如下圖所示： internet gs

14、lb設(shè)備設(shè)備 slb 設(shè)備設(shè)備 slb設(shè)備設(shè)備 靜態(tài)對象靜態(tài)對象 （http,ftp） 源服務(wù)器源服務(wù)器 中心節(jié)點中心節(jié)點 (全國和北京全國和北京) 邊緣邊緣cdn節(jié)點節(jié)點 動態(tài)網(wǎng)頁源服務(wù)器動態(tài)網(wǎng)頁源服務(wù)器 sg 加速動態(tài)加速動態(tài)/靜態(tài)網(wǎng)頁靜態(tài)網(wǎng)頁 sg 加速動態(tài)加速動態(tài)/靜態(tài)網(wǎng)頁靜態(tài)網(wǎng)頁 sg 數(shù)據(jù)中心數(shù)據(jù)中心 加速動態(tài)網(wǎng)頁加速動態(tài)網(wǎng)頁 內(nèi)容分發(fā)內(nèi)容分發(fā) 字節(jié)緩存比較字節(jié)緩存比較 director cdn管理和管理和 內(nèi)容分發(fā)內(nèi)容分發(fā) 考慮到冗余的設(shè)計要求。在中心節(jié)點放置二臺 sg 加速設(shè)備，這二臺加速 設(shè)備并不需要一定連接在 slb 設(shè)備之后來實施負載均衡。因為 bluecoat 的 ad

15、n sg 數(shù)據(jù)中心數(shù)據(jù)中心 加速動態(tài)網(wǎng)頁加速動態(tài)網(wǎng)頁 加速方案里提供了不需要 slb 的中心點負載均衡。因此只需要給這二臺設(shè)備各 一個公網(wǎng) ip 地址就可以。二臺中心點的設(shè)備會設(shè)置 adn 路由表，自動把源服務(wù) 器的網(wǎng)段地址廣播給所有的邊緣的 sg 設(shè)備。 在邊緣節(jié)點，如果有多臺 sg 設(shè)備的話，則可以放置在 slb 負載均衡設(shè)備 后面，使用私網(wǎng)地址，然后在 slb 上映射為公網(wǎng)的 vip。此時 slb 負載均衡設(shè) 備的算法建議使用基于用戶源地址 hash 的，來保證每個用戶的連接都達到同一 臺 sg 設(shè)備中進行處理。這樣加速效果更好。邊緣節(jié)點的 sg 設(shè)備和中心節(jié)點的 sg 設(shè)備之間會形成

16、peer 關(guān)系，并建立 adn 隧道進行加速。二者的字節(jié)緩存是 完全同步的。邊緣節(jié)點的 sg 會根據(jù)目的地網(wǎng)段的 adn 路由進行數(shù)據(jù)包轉(zhuǎn)發(fā)選擇。 如果發(fā)現(xiàn)去往目的地的網(wǎng)段有多臺 sg peer 都可以通達，則會根據(jù)自己的設(shè)備 id 采用 hash 的方式自動選擇一個 peer 作為下一跳。由于邊緣節(jié)點有眾多 sg 設(shè)備，因此最終會使得流量較為平均的轉(zhuǎn)到中心節(jié)點的 2 臺 sg 設(shè)備上。如果中 心節(jié)點有一臺 sg 設(shè)備故障，則邊緣節(jié)點的 sg 設(shè)備會自動切換到另外一臺中心 節(jié)點 sg 上。 director 分發(fā)設(shè)備需要一個獨立的公網(wǎng) ip 地址來管理所有的 sg 設(shè)備。 為了管理的目的，每個

17、邊緣節(jié)點的 sg 也需要配置一個單獨的公網(wǎng) ip 地址用于 管理。director 使用 ssh 協(xié)議管理 sg 設(shè)備。director 設(shè)備也可以被配置為冗 余的來保證可靠性。 .2 動態(tài)網(wǎng)頁加速流程動態(tài)網(wǎng)頁加速流程 下圖表示了用戶訪問動態(tài)網(wǎng)頁時的數(shù)據(jù)包流程： sg 全國數(shù)據(jù)中心全國數(shù)據(jù)中心 加速動態(tài)網(wǎng)頁加速動態(tài)網(wǎng)頁 internet sg 加速動態(tài)加速動態(tài)/靜態(tài)網(wǎng)頁靜態(tài)網(wǎng)頁 gslb設(shè)備設(shè)備slb設(shè)備設(shè)備 slb設(shè)備設(shè)備 內(nèi)容分發(fā)內(nèi)容分發(fā) 字節(jié)緩存比較字節(jié)緩存比較 源服務(wù)器源服務(wù)器 邊緣邊緣cdn節(jié)點節(jié)點 動態(tài)網(wǎng)頁源服務(wù)器動態(tài)網(wǎng)頁源服務(wù)器 1 2 3 4 5 6 7 8 s

18、g 加速動態(tài)加速動態(tài)/靜態(tài)網(wǎng)頁靜態(tài)網(wǎng)頁 中心節(jié)點中心節(jié)點 (全國和北京全國和北京) 這些流程可以分步驟解釋如下： 1）用戶請求內(nèi)容 http:/ dns 解析請 求會達到 gslb 設(shè)備。 2）gslb 設(shè)備作出就近性判斷把用戶的請求重定向到離用戶最近的 adn 節(jié)點(邊 緣節(jié)點)的 slb 設(shè)備上 3）邊緣節(jié)點 slb 把用戶請求 http:/ 發(fā)送給邊 緣 sg。 4）sg 設(shè)備根據(jù)自己的加速策略判斷需要進行 adn 加速，把用戶的請求通過 adn 隧道發(fā)給對端的 sg 設(shè)備（中心節(jié)點）。這一請求過程本身也會被加速， 因為通常一個 http request 數(shù)據(jù)包在幾百個字節(jié)，如果加速后，

19、則可能只 傳送 12 個字節(jié)，因此大大縮短了在廣域網(wǎng)上的傳送延時。 5）sg 中心節(jié)點收到數(shù)據(jù)包后，向動態(tài)網(wǎng)頁的源服務(wù)器發(fā)起請求 6）動態(tài)網(wǎng)頁的源服務(wù)器響應(yīng)給 sg 中心節(jié)點真正的用戶數(shù)據(jù)，如數(shù)據(jù)庫表單查 詢或網(wǎng)上購物明細等頁面。 7）sg 中心節(jié)點收到響應(yīng)后和自己的字節(jié)緩存數(shù)據(jù)庫進行比對，將差量數(shù)據(jù)傳 送到對端的邊緣節(jié)點 sg，這一傳送過程的速度會較未加速前大大加快。 8）sg 邊緣節(jié)點收到響應(yīng)后，根據(jù)自己的字節(jié)緩存，把源服務(wù)器的響應(yīng)還原并 發(fā)送給用戶。 上述流程就是一個完整的用戶請求動態(tài)網(wǎng)頁加速的流程。如果用戶請求的一 個域名下的內(nèi)容是既有動態(tài)網(wǎng)頁，又有靜態(tài)網(wǎng)頁。則 sg 加速的流程如下：

20、 1）sg 判斷是否是可緩存的頁面，如果是，則檢查 a) 是否已經(jīng)在本地的 http 對象緩存中且未過期，如果是則直接給用戶服 務(wù) b) 如果已經(jīng)在本地的 http 對象緩存中但對象已經(jīng)過期，則向源服務(wù)器發(fā) 送 ims 請求要求最新的對象。這一請求過程同樣會經(jīng)過 adn 加速。 c) 如果不在本地的 http 對象緩存中，則向源服務(wù)器發(fā)送內(nèi)容請求。這一 請求過程同樣會經(jīng)過 adn 加速。 2）sg 判斷此網(wǎng)頁為不可緩存，則會直接把請求發(fā)給源服務(wù)器并且這一請求過 程會經(jīng)過 adn 加速。 .3 設(shè)備選型設(shè)備選型 這里給出了不同設(shè)備型號之間的硬件參數(shù)對比： sg8100-gsg81

21、0fsg810esg510b 磁盤 6x300g 15k4x300g scsi4x144gb scsi1x300gb sata 內(nèi)存 4gb4gb4gb1gb 網(wǎng)絡(luò)接口2 個 ge 標(biāo)配， 可擴展到 6 個 ge 2 個 ge 標(biāo)配， 可擴展到 6 個 ge 2 個 ge 標(biāo)配， 可擴展到 6 個 ge 2 個 ge 標(biāo)配， 可擴展到 6 個 ge .4 httpshttps 加密動態(tài)網(wǎng)頁加速業(yè)務(wù)加密動態(tài)網(wǎng)頁加速業(yè)務(wù) 在實際的網(wǎng)站類型的客戶中，很多網(wǎng)站是使用 https 進行加密的業(yè)務(wù)處理。 而且這些 https 的頁面往往是個性化的動態(tài)的頁面。這就要求 cdn/adn 業(yè)務(wù)能

22、 夠提供針對 https 的動態(tài)網(wǎng)頁加速能力。而傳統(tǒng)的 adn 加速方案是無法直接加 速 https 的業(yè)務(wù)的。這一問題的原因在于 adn 的字典壓縮算法對于加密的數(shù)據(jù) 流是沒有顯著效果的。 bluecoat 的 adn/cdn 解決方案提供了一個完整的解決方案可以對 https 類型的動態(tài)網(wǎng)頁進行加速。從而擴展 cdn/adn 加速的適應(yīng)范圍。它的工作原理 是利用 ssl proxy 來截取 https 的流量并對未加密的頁面進行字典壓縮，然后 再把壓縮后的流量進行 ssl 加密傳送到 adn 對端設(shè)備。這里也分為二種情況： 1）源服務(wù)器使用了 https 加密，用戶也使用 https 協(xié)議

23、請求內(nèi)容。 2）用戶使用 https 協(xié)議請求內(nèi)容，但是源服務(wù)器只使用普通的未加密 http。從 sg 邊緣節(jié)點到源服務(wù)器之間使用加密的數(shù)據(jù)傳送。 第一種情況的工作原理如下圖所示： 邊緣節(jié)點的 sg 會直接向 https 源服務(wù)器發(fā)送請求，并得到源服務(wù)器頒發(fā) 的證書。邊緣節(jié)點的 sg 和中心節(jié)點的 sg 之間會形成一個聯(lián)合工作的 ssl proxy。bluecoat 稱之為 ssl split proxy。邊緣節(jié)點的 sg 會把證書傳遞給中 心節(jié)點，由中心節(jié)點作為客戶端和 https 源服務(wù)器進行直接通訊，并形成一個 完整的 https 連接。中心節(jié)點的 sg 在得到 ssl 內(nèi)容后可以解密，

24、從而得到了解 密后的 http 內(nèi)容，能夠直接對這些不加密的內(nèi)容實施高效的字典壓縮。而在邊 緣節(jié)點和中心節(jié)點之間，二者使用自己預(yù)裝的有效證書進行認(rèn)證和傳輸加密。 這保證了數(shù)據(jù)傳輸?shù)陌踩?。在邊緣?jié)點的 sg 會自動根據(jù)源服務(wù)器頒發(fā)證書的 信息仿真一個新的證書頒發(fā)給客戶端。 對于 xxx 用戶來說，這樣的技術(shù)方案帶來的優(yōu)勢是，由于在 xxx 用戶 cdn 托管的互聯(lián)網(wǎng)公司會有非常多的源服務(wù)器，每個源服務(wù)器頒發(fā)的證書都是不同 的。而采用了證書仿真和 ssl split proxy 技術(shù)后，整個 cdn/adn 網(wǎng)絡(luò)的管理 會變得異常簡單。bluecoat sg 設(shè)備會自動為每個源服務(wù)器創(chuàng)建一個新的

25、用于 用戶端的證書。這種技術(shù)可以大大節(jié)省 xxx 用戶的維護成本。 第二種情況的工作原理如下圖所示： internet sg中心節(jié)點中心節(jié)點sg邊緣節(jié)點邊緣節(jié)點 http 源服務(wù)器源服務(wù)器 動態(tài)網(wǎng)頁動態(tài)網(wǎng)頁 建立https連接 https 請求 在adn隧道中請求http對象, 字典壓縮，并且可以使用ssl加密 頒發(fā)證書（預(yù)裝） 請求http內(nèi)容 返回http內(nèi)容在adn隧道中返回http內(nèi)容, 字典壓縮，并且可以使用ssl加密 返回https內(nèi)容 在這個部署方式下，邊緣節(jié)點的 sg 預(yù)裝了已經(jīng)簽過的數(shù)字證書。當(dāng)用戶訪 問 https 內(nèi)容時，邊緣節(jié)點的 sg 會把預(yù)裝的數(shù)字證書發(fā)給用戶。然后

26、邊緣節(jié)點 sg 可以把用戶的解密內(nèi)容進行字典壓縮，并通過加密 adn 隧道傳送給對端的中 心節(jié)點設(shè)備。中心節(jié)點設(shè)備會以 http 的方式和源服務(wù)器進行通信。這種方式源 服務(wù)器不需要支持 https，可以節(jié)省大量源服務(wù)器的計算資源。這種方式實際 上是對源服務(wù)器的 https 卸載。 上面的二種部署方案可以共存在邊緣節(jié)點 sg 中，sg 設(shè)備可以根據(jù)用戶的訪 問條件，如域名，url 路徑，http header 等多種信息來定義，定義部分用戶請 求需要是全程使用 https 加密，部分是需要做 https 卸載的。 .5 reflectreflect clientclient ip

27、(ip(用戶用戶 ipip 地址傳送地址傳送) ) 如果有網(wǎng)站客戶需要統(tǒng)計用戶的源 ip 地址，或者有特別的認(rèn)證需求是基于 源 ip 地址的。此時需要把用戶的源地址發(fā)送給源服務(wù)器。bluecoat 中心節(jié)點 的 sg 設(shè)備此時需要打開 reflect client ip 選項，并使用用戶真正的源地址連 接到源服務(wù)器來請求內(nèi)容。 但這里需要注意的是，需要增加四層交換機或設(shè)置路由器上的 wccp 流量把 源服務(wù)器送回的流量重定向到中心節(jié)點的 sg 上。否則會無法建立完整的 tcp 連 接。 .6 保留用戶原有域名保留用戶原有域名 在實際的 cdn 運營中，會有客戶提出這樣的需求，他

28、們的原有網(wǎng)站已經(jīng)申 請了域名，不想放棄，同時又想通過 cdn 的方案部署新的服務(wù)，并使用全新的 域名。此時 bluecoat 可以提供一個非常好的方案自動的幫助用戶實施全新域名 的 cdn，同時用戶原有網(wǎng)站的域名和內(nèi)容都不需要更改。這里舉例如下： 用戶原有的域名和網(wǎng)站 url 為：http:/http:/, 希望通過 xxx 用戶的 cdn 部署為 https:/https:/, 實際客戶訪問到 https:/https:/ 時是訪問 xxx 用戶的 cdn，然后再作反向代理，其 源服務(wù)器是 http:/http:/ 。這樣 xxx 用戶給其用戶的網(wǎng)站提供了 ssl 卸載服務(wù)和 cdn 服務(wù)。

29、而用戶原有的 http:/http:/ 可以繼續(xù)保 留，用于測試或繼續(xù)服務(wù)的目的。 這里面需要注意的一個技術(shù)問題是在原有的 http:/http:/ 網(wǎng)站 中其頁面內(nèi)容中還會嵌入大量的連接，都是基于 域名的鏈接。 如果對這樣的網(wǎng)頁實施 cdn 加速，用戶點擊其中 cdn 加速頁面的鏈接時會直接 訪問 ，這樣會繞過 cdn 網(wǎng)絡(luò)而直接訪問源服務(wù)器。為了避免 這個問題，通常是需要源網(wǎng)站改寫其中的頁面，這樣的工作量是相當(dāng)大的。 bluecoat sg 緩存設(shè)備提供了一個功能叫做 two way url rewriting，可以解決 這個問題，它可以自動改寫網(wǎng)頁內(nèi)部嵌入的鏈接，如果源網(wǎng)站中頁面嵌入的鏈

30、 接為 http:/ 則 bluecoatsg 設(shè)備在接受到 源服務(wù)器響應(yīng)后，把頁面中的這個鏈接自動的改寫為： https:/ 這一功能可以避免用戶在源網(wǎng)站側(cè) 保留域名的同時還需要對自己的網(wǎng)站內(nèi)容進行大量改寫。是一個提高用戶滿意 度的非常好的功能。 這里面需要注意的是 bluecoat sg 的 two way url rewriting 功能目前不 能對網(wǎng)頁中的 activex 控件中的鏈接進行改寫。如果用戶的網(wǎng)站大量使用了 acitvex 控件則此功能目前還無法實施。 4.3bluecoat http 業(yè)務(wù)特點業(yè)務(wù)特點 http 緩存是整個反向代理的基礎(chǔ)業(yè)務(wù)。bluecoat proxys

31、g 提供了非常豐 富的 http 業(yè)務(wù)服務(wù)功能，包括： 非常靈活的 http 策略設(shè)置 支持認(rèn)證，授權(quán)，sso 靈活的對象刷新機制 支持 http 壓縮 支持多線程下載 https 加速和緩存 帶寬管理 內(nèi)容安全的保證 對用戶上傳內(nèi)容進行病毒掃描 這里需要指出的是，http 壓縮功能也是免費提供的。下面就其中的一些 具體業(yè)務(wù)進行詳細描述： .1 httpshttps 源服務(wù)器卸載源服務(wù)器卸載 使用 bluecoat sg 設(shè)備作為反向代理的方式對源服務(wù)器進行加速，可利用 bluecoat 設(shè)備的安全性和強大的性能來實現(xiàn)對源服務(wù)器的卸載和安全防護。如 果直接在源服務(wù)器上部署 ht

32、tps 的業(yè)務(wù)，則會給源服務(wù)器帶來很大的壓力和資 源開銷。如果一個基于軟件的 http 服務(wù)器上實施 https 服務(wù)，其性能通常只有 4-5mbps 的 ssl 吞吐量，并且能夠處理的每秒請求數(shù)量也是非常有限的。 而如果在 http 源服務(wù)器前端部署 bluecoat sg 設(shè)備，則可以利用 bluecoat 的設(shè)備內(nèi)置的 ssl 硬件加速卡實現(xiàn)對 http 源服務(wù)器的 ssl 加速功能， 從而使得源服務(wù)器專注于 http 服務(wù)，而將 ssl 加密的任務(wù)交給 sg 設(shè)備來處理。 在 bluecoat sg 設(shè)備上，可以通過二種方式裝入數(shù)字證書用于頒發(fā)給用戶 的訪問。一種是在 bluecoat

33、 設(shè)備上自己簽發(fā)的證書，這種證書不需要去互聯(lián)網(wǎng) 上的證書發(fā)放機構(gòu)進行簽署，但是用戶的瀏覽器可能沒有直接設(shè)置為信任 bluecoat 簽發(fā)的證書并彈出一個提升窗口讓用戶確認(rèn)是否信任這個證書。另一 種方式是裝入經(jīng)過互聯(lián)網(wǎng)上證書發(fā)放機構(gòu)發(fā)放的標(biāo)準(zhǔn)數(shù)字證書，如 verisign，baltimore 等公司簽發(fā)的數(shù)字證書，這些證書通常是被用戶客戶端 所信任的。 .2 httphttp 壓縮壓縮 bluecoat sg 設(shè)備支持標(biāo)準(zhǔn)的 http1.1 壓縮，可以支持的 http 壓縮算法 是 gzip 和 deflate。對于 bluecoat sg 來說，如果源服務(wù)器沒有使用 http

34、壓 縮，而 client 端請求壓縮對象，則可以把未壓縮的 http 對象壓縮后緩存在本 地，對于后續(xù)的 http 訪問則直接提供壓縮后的對象進行服務(wù)，不需要再去源服 務(wù)器拿去內(nèi)容和重新壓縮。 bluecoat http 壓縮功能是可以根據(jù)策略設(shè)定來啟用的，例如，可以根據(jù) 用戶訪問 url 的不同來確定是否啟用 http 壓縮。另外如果用戶請求的是非壓縮 的對象，則 bluecoat 會缺省給用戶非壓縮的對象。對于一些不能壓縮的對象， 如 gif 圖像文件和 jpg 圖像文件，此時盡管 http 策略設(shè)定壓縮這些對象，但是 bluecoat 設(shè)備也會自動忽略這些請求而給用戶服務(wù)非壓縮的對象。

35、.3 多線程下載多線程下載 bluecoat sg 設(shè)備支持標(biāo)準(zhǔn)的 http byte-range 字頭，可以被多線程下載 程序如 flashget 用于多線程下載。因此利用 bluecoat 設(shè)備可以支持常見的多 線程下載程序。但是目前 bluecoat 設(shè)備還不能限制單個用戶同時使用的多線程 下載的線程個數(shù)。 .4 典型典型 httphttp 策略設(shè)置策略設(shè)置 bluecoat 的 http 策略引擎提供了非常豐富的 http 策略控制功能，常見 的應(yīng)用案例包括： 1） 去除用戶請求的 no-cache header 來保證源服務(wù)器的安全。 2） 根據(jù)用戶的

36、 user agent header 來判斷用戶的瀏覽器版本和類型來判 斷用戶是否能夠得到理想的頁面效果 3） 進行 http 重定向來實現(xiàn)用戶訪問轉(zhuǎn)向 4） 強制緩存指定的內(nèi)容 5） 對 http 源服務(wù)器的錯誤代碼響應(yīng)提供定制的出錯提示頁面 6） 拒絕某些指定用戶對內(nèi)容的訪問 4.4bluecoat網(wǎng)絡(luò)安全設(shè)計網(wǎng)絡(luò)安全設(shè)計 4.4.1bluecoat 抗抗 ddos 攻擊和攻擊和 port scanning blue coat 提供了完整的抗 ddos 攻擊能力，包括如下的技術(shù)特性： sg 可以限制單個客戶地址的 http/tcp 連接數(shù)量，并且對超過了連接數(shù)量 限制的客戶連接請求進行拒絕

37、和復(fù)位。對于被限制訪問的客戶，可以設(shè)定限制 訪問的時間間隔，時間到期后恢復(fù)這些客戶的訪問權(quán)限。這一防護能力是針對 tcp 以上的協(xié)議。 對于常見的底層 ddos 攻擊如 icmp flood, tcp syn flood，sg 可以進行安 全防護并且不會因此而消耗系統(tǒng)資源。對于 icmp flood，bluecoat 的設(shè)備可以 實施限速，保證不會因為大量的 ping 響應(yīng)而導(dǎo)致系統(tǒng)資源過載。對于 tcp syn flood，可以對不完整的 tcp 連接不分配資源，從而不會導(dǎo)致系統(tǒng)資源過載。 對于端口掃描的攻擊，缺省 bluecoat 設(shè)備不會打開任何端口。只有提供 http 服務(wù)的 80 端

38、口和 ssh 及 https 管理端口。對于這些提供服務(wù)的端口還可 以實施訪問控制，只有信任的客戶才可以訪問這些端口。 4.4.2sgos 操作系統(tǒng)操作系統(tǒng) blue coat 專用設(shè)備的操作系統(tǒng) sgos 是一個專門為高速對象緩存應(yīng)用而開 發(fā)的操作系統(tǒng)，它通過了國際著名的安全認(rèn)證：icsa labs 安全認(rèn)證。表示這 個操作系統(tǒng)是一個非常安全和沒有后門的操作系統(tǒng)。黑客不會知道真正的源服 務(wù)器地址，也無法通過 bluecoat 的反向代理設(shè)備而去篡改源網(wǎng)站的內(nèi)容和攻擊 源服務(wù)器。 而作為對比，一個運行在通用操作系統(tǒng)上的 web server 程序，它的安全性 是受限于操作系統(tǒng)的安全性的。在 w

39、ww.cert.org 網(wǎng)站上，可以搜索到成千上 萬的關(guān)于 windows, linux, unix 操作系統(tǒng)的安全漏洞。運行在這樣的操作系統(tǒng) 之上的網(wǎng)站是非常不安全的。如果把這個 web 服務(wù)器直接暴露在 internet 上實 際是一個很危險的部署方式。 在對象存儲方面，bluecoat 使用的是按照對象 url 產(chǎn)生高速索引的存儲機 制，在硬盤上沒有文件系統(tǒng)。即使黑客獲取了 bluecoat 代理服務(wù)器的硬盤，由 于其不了解 bluecoat 的專有存儲格式，也無法讀出其中存儲的數(shù)據(jù)內(nèi)容，更不 用說篡改其中的內(nèi)容。 美國軍方的很多網(wǎng)站都采用 bluecoat 的設(shè)備作為反向代理作為安全設(shè)

40、備部 署在網(wǎng)站的前面，避免其網(wǎng)站遭到黑客的攻擊和篡改。 4.4.3bluecoat 協(xié)議檢測協(xié)議檢測 blue coat sg 可以檢測到 80 或 443 端口訪問的流量是否為真正的 http 或 https 流量。只有真正的 http 或 https 流量才會被 sg 進行處理，轉(zhuǎn)發(fā)回源服 務(wù)器或在本地命中。 這種技術(shù)可以防止黑客利用 80 和 443 端口對反向代理設(shè)備或源服務(wù)器進行 攻擊。對于標(biāo)準(zhǔn) https 協(xié)議來說，客戶機會使用 http connect method 來連接 服務(wù)器，通過對這些方法的檢測，bluecoat sg 設(shè)備可以清楚地感知是否是真 正的 https 客戶端

41、在使用 443 端口還是偽裝的 https 流量。 4.4.4防止反向代理服務(wù)器成為防止反向代理服務(wù)器成為 open proxy blue coat 反向代理設(shè)備可以被同時用作正向代理設(shè)備，因此當(dāng) sg 被部署 在公網(wǎng)上的時候，需要增加相應(yīng)的安全策略保證 sg 設(shè)備不會被作為一個公用的 代理服務(wù)器來被其他非法用戶用于訪問 internet 上的內(nèi)容。 典型的配置包括： 1）在反向代理服務(wù)器上不要配置 dns 服務(wù)器。這樣非法設(shè)定 sg 為代理 服務(wù)器的客戶將無法訪問 internet 上的內(nèi)容。 2）在反向代理服務(wù)器上配置 acl 控制策略。檢查用戶請求的 http host header 是

42、否匹配正在加速的域名，匹配的進行處理，不匹配 的則拒絕其訪問。 通過上述的二個反向代理上的配置可以保證沒有用戶或黑客使用代理服務(wù) 器訪問 internet 上的內(nèi)容。 4.4.5管理員訪問限制和安全管理員訪問限制和安全 為了防止在公網(wǎng)上的黑客掃描 sg 的管理端口和進行破壞，在 sg 設(shè)備上可 以設(shè)置管理員訪問控制列表，限制只能有特定的工作站才能訪問 bluecoat sg 的管理端口。 同時為了保證設(shè)備管理的安全，bluecoat sg 設(shè)備使用的是 https 和 ssh 協(xié)議進行管理。并且可以定義使用一個專用的 https 端口而非標(biāo)準(zhǔn)的 443 端口。 4.5用戶行為分析和統(tǒng)計及錯誤定

43、位用戶的追蹤用戶行為分析和統(tǒng)計及錯誤定位用戶的追蹤 bluecoat proxysg 提供了多種方式的系統(tǒng)訪問日志信息，包括：http access log, streaming access log 等。bluecoat proxysg 的系統(tǒng)訪問日志可 以被集中的送往 syslog / ftp 服務(wù)器進行存儲，也可以以實時的方式輸出到一 個獨立的 log 服務(wù)器上進行實時監(jiān)控。為了確保 log 日志的安全性，proxysg 還可以把日志信息進行數(shù)字簽名，確保 proxysg 的日志不會被黑客攻擊。典型 的 proxysg http access log 格式為 w3c，squid 等標(biāo)準(zhǔn)格

44、式。 同時 bluecoat 提供了 reporter 工具軟件來分析所有 bluecoat 設(shè)備的用 戶訪問日志。reporter 工具可以位于一個數(shù)據(jù)中心，集中地分析反向代理網(wǎng)絡(luò) 中所有的 log 信息，也可以在每個省網(wǎng)部署一個 reporter 工具。 對于 xxx 用戶來說，由于實際運營商網(wǎng)絡(luò)條件的限制，如果由于錯誤配置 或設(shè)備故障引起的電信用戶跨網(wǎng)訪問 xxx 用戶地址內(nèi)容的情況出現(xiàn)，則會給用 戶的訪問效果來很大的影響，甚至影響后續(xù)業(yè)務(wù)的發(fā)展。為了避免這個情況的 出現(xiàn)，需要反向代理的管理員能夠具有追蹤和定位能力，把錯誤定位用戶的 ip 地址迅速定位。避免這種跨運營商訪問的情況出現(xiàn)。

45、proxysg 提供了基于策略的 log 能力?？梢援a(chǎn)生一個獨立的 log 文件，把 符合條件的錯誤定位的用戶記錄在這個 log 中，供反向代理系統(tǒng)管理員來進行 追蹤和分析。例如：假定電信的用戶 ip 地址為 /16 網(wǎng)段，xxx 用戶 的用戶 ip 地址為 /16 網(wǎng)段，cache 上為電信用戶提供服務(wù)的 ip 地址 是 , cache 上為 xxx 用戶用戶提供服務(wù)的 ip 地址是 。如 果電信的用戶錯誤定位到了為 xxx 用戶用戶服務(wù)的 ip 地址，則 proxysg 上則會 產(chǎn)生出用戶訪問記錄，記錄 c-ip 和

46、cache 服務(wù) ip 地址。這樣對于反向代理管 理員來說，只需要察看這個 log 的文件就能追查到任何錯誤定位的用戶訪問。 4.6全局網(wǎng)絡(luò)管理全局網(wǎng)絡(luò)管理 bluecoat 提供了 bluecoat director 設(shè)備用于 bluecoat proxysg 專用設(shè)備 的功能強大的集中配置管理、更新管理、策略管理平臺。director 是一個專用 的硬件可以支持集中管理和內(nèi)容分發(fā)。 blue coat director 集中管理設(shè)備實現(xiàn)對 blue coat proxysg 系列專用設(shè) 備的可伸展的更新管理、配置管理和策略管理。產(chǎn)品的設(shè)計基于可擴充的管理 專用設(shè)備，director 減少了

47、管理成本和復(fù)雜性。它為管理員提供了強大的平臺， 來對分布的、遠程的 sg 系列專用設(shè)備進行中心化的集中管理。配置信息和安全 策略都可通過任何一臺 pc 或工作站上，通過瀏覽器在一個易于使用的界面來生 成和管理。 現(xiàn)在，企業(yè)能夠采用管理成百上千的設(shè)備所必須的工具，在他們的整個網(wǎng) 絡(luò)的全球分支機構(gòu)內(nèi)部署 proxysg 專用設(shè)備，對地理位置分布的遠程系統(tǒng)進行 安裝配置和策略更新和耗時且成本很高的工作。director 集中管理設(shè)備使這個 改變過程自動化，通過為企業(yè)提供快速地實施配置、資源和策略修改所必須的 實質(zhì)性的工具來有效地管理 blue coat sg 系列專用設(shè)備。 blue coat di

48、rector 集中管理設(shè)備使企業(yè)能夠： o中心化的、全企業(yè)范圍內(nèi)的、基于策略的管理 o軟件升級自動化 o備份配置，并在災(zāi)難時恢復(fù) o強大的自動化任務(wù)定時安排 o管理專用設(shè)備，簡化安裝和日常維護的難度 o通過安全的 gui 或 cli 進行遠程管理 o中心化管理策略，進行全局策略分發(fā) o可從任何帶有 web 瀏覽器的 pc 或工作站上啟動管理 下圖表述了 bluecoat director 管理的方式： 4.74.7未來擴展未來擴展 目前 xxx 用戶的一期工程只考慮了二個節(jié)點，未來可以考慮隨著業(yè)務(wù)的發(fā) 展擴展為更大規(guī)模的反向代理和 adn。 具體的擴展方式非常簡單。在每個地方 的新建 pop

49、點，然后增加 slb 設(shè)備，再根據(jù)用戶的業(yè)務(wù)量增加緩存設(shè)備和廣域 網(wǎng)加速設(shè)備。 廣域網(wǎng)加速設(shè)備在擴展時，通常只需要擴展 pop 節(jié)點設(shè)備就可以了，因為 廣域網(wǎng)加速設(shè)備中心節(jié)點設(shè)備可以和多個邊緣節(jié)點設(shè)備形成 1 對多的伙伴關(guān)系。 5 bluecoat http 緩存技術(shù)特點緩存技術(shù)特點 下面詳細介紹 bluecoat sg 緩存設(shè)備針對 http 緩存的高級特性。 5.1pipelining：快速的內(nèi)容抓?。嚎焖俚膬?nèi)容抓取 當(dāng)瀏覽器請求內(nèi)容時，在瀏覽器和遠端的 web 服務(wù)器之間將有許多的往返 通訊發(fā)生，這是因為一個 web 頁面通常由許多對象組成，而對于每個對象的獲 取都必須首先有一個 tcp

50、 會話建立，然后進行 http “get”請求，如下圖： 這種串行的對象獲取對于最終用戶來說就意味著大量的延時，blue coat proxysg 設(shè)備的運用，將消除這種延遲的大部分；用戶連接將終結(jié)在 blue coat proxysg 設(shè)備，該設(shè)備運行 sgos，包含了針對延遲的算法；這些算法之一就是 pipeline 抓取，該專利算法將打開盡可能多的到源服務(wù)器的 tcp 連接，并發(fā)地 獲取 web 對象，這些對象將在瀏覽器請求它們時，被直接從專用設(shè)備快速地傳 遞到用戶桌面系統(tǒng)，如下圖： object 1 object 2 object n pipeline 抓取的作用，使 blue coa

51、t 產(chǎn)品能夠?qū)?web 頁面的首次訪問速度提 高 2 倍，這種性能的改善對最終用戶來說是直觀、生動的。 5.2自適應(yīng)的刷新：快速、新鮮的內(nèi)容自適應(yīng)的刷新：快速、新鮮的內(nèi)容 由于在 web 服務(wù)器上的內(nèi)容在不斷變化，blue coat proxysg 設(shè)備必須保持 緩存內(nèi)容的更新；對于 blue coat 專用設(shè)備在將內(nèi)容從其存儲傳遞給用戶時， 必須確信內(nèi)容是新鮮的，那么，一個“refresh check”必須被發(fā)給源服務(wù)器； 然而，為了快速地提供內(nèi)容，那就不能等到用戶請求時才實現(xiàn)“refresh”操作。 如果“refresh”檢查只在用戶請求內(nèi)容時進行，用戶就必須忍受使得網(wǎng)絡(luò)變慢 的延時，w

52、eb 頁面的響應(yīng)時間必然也得不到很大的改善。 傳遞快速、新鮮的 web 頁面的唯一可行的方法是將“refresh”操作與實際 的用戶訪問分開處理；blue coat 專用設(shè)備實現(xiàn)這個操作是通過另一個針對延 遲的算法自適應(yīng)的刷新算法；該專利算法根據(jù) web 對象的需要進行有選擇 地刷新，刷新操作與實際的用戶請求是異步進行的。 選擇哪些對象、何時進行刷新要求專用設(shè)備理解對象的變化規(guī)律；web 對象 以不同的節(jié)奏變化，一部分變化很頻繁、一部分很少變化，而大多數(shù)介于兩者 之間。下圖是 blue coat systems 設(shè)備在全球不同地區(qū)提取的數(shù)據(jù)，可以發(fā)現(xiàn) 對象變化比例最高的 24 小時內(nèi)。（該柱狀

53、圖并不代表對象如何變化的絕對模型； 它只是說明在分析時的變化比率） 自適應(yīng)的刷新算法是業(yè)界唯一為緩存的每個 web 對象建立“變化模型”的 技術(shù)，它還根據(jù)這些對象被用戶訪問的歷史情況建立其“使用模型”，然后， 綜合這兩方面信息來確定適合于這些對象的刷新模式（刷新產(chǎn)生的結(jié)果將隨這 些模型的變化不斷調(diào)整）。 通過自適應(yīng)的刷新算法，blue coat proxysg 專用設(shè)備自動與源服務(wù)器實現(xiàn) “新鮮度檢查”，從而保證舊的內(nèi)容被刪除，并用新鮮的內(nèi)容替代。例如，如 果在 首頁中的對象，對于通過 blue coat 專用設(shè)備訪問的用戶群， 是訪問量很大的；blue coat sgos 將更新那些變化的對

54、象（例如：“top story”對象），而不刷新那些不變化的對象（例如：“cnn logo”對象）；這 樣保證當(dāng)前內(nèi)容被快速地傳遞給用戶。 并發(fā)抓取能夠改善 web 頁面的第一次請求的響應(yīng)，同時，動態(tài)刷新由于使 用戶不必等待對象的刷新時的延遲，從而巨大地改善對象的后續(xù)請求的響應(yīng)。 只有通過 blue coat systems 獨創(chuàng)的針對延遲的算法，才能對首次及多次請求 基于 web 的通訊進行加速；通過“快速、新鮮”地傳遞內(nèi)容，blue coat sgos 成為業(yè)界領(lǐng)先的互聯(lián)網(wǎng) proxysg 的基礎(chǔ)。 5.3自適應(yīng)的刷新：對帶寬消耗的影響自適應(yīng)的刷新：對帶寬消耗的影響 自適應(yīng)的刷新技術(shù)是關(guān)鍵

55、技術(shù)，用于將常用的 web 內(nèi)容保存在靠近用戶的 地方，并在不引入不必要的網(wǎng)絡(luò)流量前提下保持內(nèi)容更新。測量 blue coat proxysg 對 wan 或互聯(lián)網(wǎng)連接帶寬的影響，一種有效方法就是區(qū)分出提供給用 戶內(nèi)容的流量和 proxysg 消耗的流量，這兩者的差被稱為“帶寬增益”；當(dāng)一 個 proxysg 傳遞給用戶的通訊量超過他從主干獲取內(nèi)容的通訊量時，帶寬增益 就產(chǎn)生了。下圖是 blue coat systems 產(chǎn)品典型應(yīng)用環(huán)境中的帶寬增益情況： 其中，出口連接上的帶寬為 3000kbps，與用戶通訊帶寬為大約 4000kbps，blue coat 專用設(shè)備的安裝有效地將網(wǎng)絡(luò)通道能力

56、提高了 33%。 由于自適應(yīng)的刷新算法能夠高效地選擇對那些對象及在何時進行刷新， blue coat sgos 使已有帶寬的使用更高效。 5.4新鮮度測量和報告新鮮度測量和報告 blue coat 專用設(shè)備自動測量和報告?zhèn)鬟f給用戶的內(nèi)容的新鮮度，這種報告 的功能基于自適應(yīng)的刷新算法所跟蹤的 web 對象屬性。 測量功能首先跟蹤存儲在 blue coat 專用設(shè)備中的對象，從上次被檢查新 鮮度之后被用戶訪問的次數(shù)，然后與自適應(yīng)的刷新操作相比較；當(dāng)一個刷新操 作發(fā)生時不同的結(jié)果將會產(chǎn)生： 如果一個對象在服務(wù)器上沒有改變，那么該對象前面的傳遞被記錄為“新 鮮的”；如果該對象在服務(wù)器上已經(jīng)變化了，sg

57、os 將依據(jù)該對象在源服務(wù)器上 改變的時間來計算該對象新鮮傳遞的比率和是否傳遞了“陳舊的”內(nèi)容。 這些信息將報告在 blue coat 管理終端的統(tǒng)計部分，如下圖： 通過這種實際的報告機制，網(wǎng)絡(luò)管理員能夠確定用戶獲得的內(nèi)容是他們生 成請求時 web 上存在的內(nèi)容。 5.5blue coat 存儲子存儲子系統(tǒng)系統(tǒng) 在磁盤上存儲對象的方法對于實現(xiàn)高性能和高擴展能力是至關(guān)重要的，存 儲方法將決定(1) 當(dāng)一個對緩存對象的用戶請求到達時，該對象將以多快的速 度被訪問到，(2) 新的對象將多快被確認(rèn)并存儲到磁盤上，(3) 每個磁盤能對 用戶請求提供服務(wù)的速率。 blue coat 專用設(shè)備的對象存儲系統(tǒng)

58、不是文件系統(tǒng)，它是對象的緩存，在該 專用設(shè)備中沒有目錄，對象的訪問是通過內(nèi)存中的 hash 表進行的，從而保證任 何對象的獲取只需一次磁盤讀操作；傳統(tǒng)的文件系統(tǒng)在滿的時候運行性能很差， 而 blue coat proxysg 能夠在滿的時候保持高性能。 blue coat 專用設(shè)備中，每個磁盤依據(jù) url 的名字部分存儲對象，訪問被自 動平衡到各個可用的磁盤上；緩存通常運行于磁盤存滿對象的狀態(tài)下，舊的、 很少被使用的對象將不斷被刪除，為新進入的對象騰出空間；操作系統(tǒng)中這種 磁盤布局和刪除算法使得新對象寫入磁盤的速度等到優(yōu)化；在磁盤意外失效時， 那部分 url 名字空間的對象被自動重映射到其它磁

59、盤上；新磁盤可以加到專用 設(shè)備中增加其存儲能力；沒有使用 raid，對于 web 專用設(shè)備它沒有實際的用處， 而會浪費磁盤資源。 5.6http 策略控制引擎策略控制引擎 bluecoat 獨特的 web 知識架構(gòu)使 sg 能夠處理所有的 web 協(xié)議，包括 http、https、ftp、microsoft 流媒體（mms 和 http streaming）、real 流媒 體（rtsp 和 http streaming）、quicktime 流媒體（通過 rtsp）、 mp3、flash、和幾百種其它的 web 對象類型。 blue coat 擁有專利的策略處理引擎（ppepolicy process engine）提供 強大的策略定義能力，用戶可以定義一系列的、全面的規(guī)則來保護、控制和加 速用戶的