外文翻譯---網(wǎng)絡子系統(tǒng)設計 中文版.doc

網(wǎng)絡子系統(tǒng)設計單純使用技術(shù)來避免工作站上CPU和存儲器的瓶頸是不夠的，必須要把技術(shù)集成起來。PeterDruschel,MarkB.Abbott,MachaelA.Pagels,LarryL.Peterson新興的網(wǎng)絡技術(shù)期望給終端工作站提供接近1Gbps的傳輸帶寬，這樣的帶寬足以帶動一類新的應用火熱起來。然而，這些得益于高速網(wǎng)絡的應用受到一些因素的制約，其中的一個重要因素就是運行在工作站上的操作系統(tǒng)。操作系統(tǒng)必須將良好的網(wǎng)絡吞吐率轉(zhuǎn)換為良好的應用程序間吞吐率。Arizona大學的網(wǎng)絡系統(tǒng)研究小組（NetworkSystemsResearchGroup,以下簡稱NSRG）正在研究操作系統(tǒng)支持高速網(wǎng)絡的相關(guān)問題。這些實驗性的工作是在MachOS操作系統(tǒng)的x核心1環(huán)境下完成的。研制的系統(tǒng)運行在DecStation5000/200以及HP9000/720工作站上，這些工作站連接著ATM網(wǎng)絡和FDDI網(wǎng)絡。大體來講，Mach系統(tǒng)提供了一個基于微內(nèi)核的操作系統(tǒng)框架，而x內(nèi)核相當于其中的網(wǎng)絡子系統(tǒng)。我們先在邏輯上將所有的網(wǎng)絡協(xié)議集中于單個x內(nèi)核協(xié)議樹中，然后在物理上將這個圖結(jié)構(gòu)分布在整個系統(tǒng)中，包括操作系統(tǒng)和應用程序保護域（applicationprotectiondomain）。例如，圖1描述了一個協(xié)議樹，它連接了一個應用程序、一臺專用網(wǎng)絡服務器，以及內(nèi)核。一個特定的協(xié)議屬于哪個保護域要等到配置時（不是操作系統(tǒng)設計時間）才能決定，從而也能夠根據(jù)系統(tǒng)配置員對于性能和信任處理的意愿程度。要優(yōu)化這種結(jié)構(gòu)的性能，就必須解決工作站的存儲器結(jié)構(gòu)限制。問題在于工作站存儲器性能的提升跟不上處理其性能和網(wǎng)絡帶寬提升的步伐。例如，Hennessy和Patterson報告指出，自從1985年以來，處理器的性能一直以每年50%-100%的速率提升，而存儲器的性能提升速率只有7%。而且，我們希望這種趨勢能夠持續(xù)下去，因為處于開銷的考慮，我們將會避免在這類機器上使用非常快的主存和互聯(lián)技術(shù)。應當記住我們考慮的是數(shù)據(jù)在一個基于微內(nèi)核的系統(tǒng)中的流動，在這種系統(tǒng)中，設備驅(qū)動程序、網(wǎng)絡協(xié)議以及應用軟件都可能駐留在不同的保護域中。我們相信把話題集中于此是很適合基于微內(nèi)核的系統(tǒng)的優(yōu)點的（可配置性、可分布性以及可移植性），也適合于當前商業(yè)領(lǐng)域中對這類系統(tǒng)的支持趨勢。我們想說明的是，在不考慮操作系統(tǒng)結(jié)構(gòu)的情況下，取得高的應用帶寬也是可能的。本文討論了工作站CPU/存儲器的帶寬和網(wǎng)絡的帶寬將保持在同一個數(shù)量級，從而，網(wǎng)絡子系統(tǒng)必須要致力于使網(wǎng)絡數(shù)據(jù)在CPU/存儲器數(shù)據(jù)路徑上的跳步數(shù)最小。本文也對一些應用于這些問題的技術(shù)進行了研究，得到的一個重要結(jié)論是單純的應用這些技術(shù)對取得應用程序間吞吐率是不夠的，也必須把從一個源設備，通過操作系統(tǒng)，到達應用程序，還可能到達終端設備的整個數(shù)據(jù)路徑集成起來。本文在總結(jié)中列出了一個使端對端吞吐率得到最優(yōu)化的完整數(shù)據(jù)路徑。工作站硬件的性能在這一節(jié)中我們分析桌面工作站硬件影響輸入輸出數(shù)據(jù)流量的性能參數(shù)，包括了對目前商用工作站的測試以及下一代工作站相關(guān)參數(shù)的預測。表1中給出了四種商用工作站存儲子系統(tǒng)的存儲器峰值帶寬（取自于硬件規(guī)格），以及部分CPU/存儲器帶寬測量數(shù)據(jù)。存儲器峰值帶寬是存儲子系統(tǒng)在突發(fā)模式傳輸下能夠達到的帶寬。括號中給出的是測量到的帶寬對峰值帶寬的比例。圖1:分布式協(xié)議圖表1：一些工作站的存儲器帶寬表1中的CPU/存儲器帶寬數(shù)值是使用一個普通測試臺程序測算得到的。該測試臺程序測試的是一組讀、寫、復制操作過程中支持的帶寬。測試臺程序用C語言編寫，在各工作站自身的C編譯器下編譯，并得到了最高級的優(yōu)化，但是C源代碼或者生成的機器代碼沒有針對特定機器進行改寫?！白x”、“寫”兩列測試的是對一個數(shù)組中單元素進行讀（寫），而“復制”列使用了兩種方法測量：一種是數(shù)組元素形式的賦值，另一個是調(diào)用庫函數(shù)bcopy（）。測試臺程序使用了int類型（32位）和double類型（64位）數(shù)組，給出的數(shù)據(jù)都是各自條件下所能取得的最佳值。測試的主要結(jié)果是標準帶寬僅為峰值帶寬的一小部分，特別是讀帶寬為峰值帶寬的15%38%，復制帶寬僅為10%19%。帶寬的下降是由兩方面局限性綜合影響的結(jié)果：第一，編譯器生成的機器代碼和廠家提供的bcopy()函數(shù)對于執(zhí)行基準程序故意設定的工作是不夠理想的。但是我們盡量不排除它，因為這個局限性對真實程序同樣會有影響。第二，硬件強制性會限制帶寬，即CPU能支持的帶寬是有限的。盡管動態(tài)RAM存在很大的相關(guān)訪問延遲，所有存儲子系統(tǒng)都使用了某些形式的流水線（交叉式/頁式）來獲得高帶寬。在傳輸時間中初始化延遲是比較大的，所以對于少量數(shù)據(jù)傳輸其平均帶寬會降低。由于傳輸線路寬度限制，Cache和存儲器之間的數(shù)據(jù)傳輸不能獲得大部分的峰值帶寬。由此我們得出，當前工作站的CPU/存儲器帶寬不超過其網(wǎng)絡帶寬的規(guī)定量級幾百Mbps。下一代工作站將支持1Gbps網(wǎng)絡適配器，它可以以網(wǎng)絡速率將數(shù)據(jù)傳送到主存。持續(xù)增長的CPU速度不久將允許以該速率處理軟件數(shù)據(jù)。例如，DEC公司的Alpha處理器首次運行，允許以1Gbps帶寬傳輸數(shù)據(jù)流，每個機器字包含1224條可執(zhí)行的CPU指令。然而，人們沒有把希望寄托在CPU/存儲器帶寬的急劇增加上。存儲器峰值帶寬可以通過增加存儲器寬度來提高，但是，Cache的線寬必須成比例的增加才能實質(zhì)性的增加CPU帶寬。因此，就是要找到一個理想的合適的比率，很明顯如果太小就不能獲得大部分的峰值帶寬。另一個方法是降低傳輸延遲，但是動態(tài)RAM（DRAM）的訪問時間被認為已經(jīng)接近其技術(shù)極限。幾個最近公布的器件在DRAM上集成了Cache來降低平均訪問延遲4。這些集成的二級Cache使用大線寬，用寬數(shù)據(jù)通路與DRAM相連。對于任何Cache，其合適的比率的設定依賴于它們所處的位置。我們下邊將要談到數(shù)據(jù)I/O訪問表現(xiàn)很差。因此，我們希望下一代桌面工作站的CPU/存儲器帶寬和網(wǎng)絡帶寬處于同一量級。數(shù)據(jù)Cache的作用工作站使用Cache來緩沖CPU與主存之間的速度差。該思想是在CPU附近設置一個高速存儲器，用來存儲主存中部分數(shù)據(jù)。Cache通過降低數(shù)據(jù)和指令的平均訪問延遲來提高系統(tǒng)性能，也降低了在共享存儲器的多處理器系統(tǒng)中對存儲器的爭奪。然而，Cache的效果受到一些因素的影響：如Cache的大小和組織，數(shù)據(jù)訪問的位置和處理器調(diào)度。假設系統(tǒng)支持處理全部應用級高帶寬數(shù)據(jù)，處理數(shù)據(jù)時需要CPU對數(shù)據(jù)單元的每個字進行檢查和可能的修改，潛在的多次訪問。（下一節(jié)將確定幾個數(shù)據(jù)可能通過CPU/存儲器數(shù)據(jù)通道的原因。）本節(jié)討論數(shù)據(jù)Cache在避免CPU/存儲器間傳輸上效果不明顯?？紤]以下重要因素：處理器調(diào)度CPU調(diào)度可能導致在執(zhí)行其它程序時插入對數(shù)據(jù)單元的處理進程，當返回重新執(zhí)行時，很可能緩沖的數(shù)據(jù)已經(jīng)被替換。在一個多處理器系統(tǒng)上，進程可能被擁有自己數(shù)據(jù)緩沖的不同的CPU重新調(diào)度。在處理數(shù)據(jù)單元時有幾種情況會發(fā)生調(diào)度：當數(shù)據(jù)單元要被傳遞給另外的線程（如隊列），處理器必須調(diào)度執(zhí)行該線程；在某種協(xié)議下，隊列典型性的產(chǎn)生在用戶和系統(tǒng)接口處，在設備驅(qū)動的中斷句柄和驅(qū)動的頂層之間；在最差的情況下，在協(xié)議層之間會產(chǎn)生附加隊列；還有硬件中斷及信號觸發(fā)處理器重新調(diào)度的事件。寫策略多處理器數(shù)據(jù)Cache通常采用寫穿透策略，即每個寫操作都要寫回主存。寫緩沖與寫穿透Cache一起被使用來減少CPU回寫存儲器的時間。但是，許多連續(xù)寫如要對一個數(shù)據(jù)單元讀寫每一個字時將發(fā)生仍然會造成CPU執(zhí)行存儲指令時等待。Cache查找Cache實際上是索引和標記，訪問Cache中的數(shù)據(jù)不需要虛存地址到物理地址的譯碼。以這種方法，從虛擬共享頁來的緩沖數(shù)據(jù)若超過保護域邊界就不能保持其有效，物理上標記的緩沖不存在這樣的問題。但是，需要一個包含參考數(shù)據(jù)的輔助翻譯緩沖（TLB）處于活躍狀態(tài)。Cache容量數(shù)據(jù)Cache速度很快，容量有限。因為留在Cache中的數(shù)據(jù)檢查和修改的過程包括讀取和存儲每個字，所以Cache必須至少是數(shù)據(jù)單元的兩倍大。在實際情況下，由于Cache有限的連接產(chǎn)生線路沖突和在數(shù)據(jù)處理過程中要訪問程序變量使得對Cache容量的要求進一步增加了。為了量化數(shù)據(jù)Cache處理網(wǎng)絡數(shù)據(jù)的效果，我們進行了一些初步的實驗，測量了在操作系統(tǒng)運轉(zhuǎn)以后駐留內(nèi)存的網(wǎng)絡數(shù)據(jù)量。這個值反映了由于緩沖網(wǎng)絡數(shù)據(jù)，避免了CPU/存儲器數(shù)據(jù)傳輸給用戶進程帶來的潛在的好處。它給出了Cache在沒有網(wǎng)絡數(shù)據(jù)復制情況下能提供的最大好處。這些實驗是在裝有Mach3.0（MK67）的HP9000/720工作站上運行的。這些工作站配有256KB虛擬索引物理標記的數(shù)據(jù)Cache。Mach3.0運行著稱為via的UNIX操作系統(tǒng)和稱為UnixServer的用戶進程。UnixServer接收用戶進程的請求UNIX系統(tǒng)調(diào)用信息，并由Mach的微內(nèi)核來使能設備請求的的處理。到達的網(wǎng)絡報文被微內(nèi)核通過中斷服務機制接收，復制并壓縮為一個Mach信息，然后發(fā)送給UnixServer通過其協(xié)議棧來處理。如果一個網(wǎng)絡報文包含的數(shù)據(jù)被另一個用戶進程預定，它必須從UnixServer的地址空間復制到目標地址空間。由于Mach的Unixserver包含了典型UNIX單片機上的全部網(wǎng)絡代碼，所以它接收網(wǎng)絡數(shù)據(jù)信息并將其復制到最終用戶這個過程接近于模擬了UNIX單片機處理網(wǎng)絡報文的過程。實驗測量了在UnixServer將網(wǎng)絡數(shù)據(jù)復制到其用戶地址空間之前，駐留Cache的網(wǎng)絡數(shù)據(jù)量。如果UnixServer執(zhí)行一個隨意復制的網(wǎng)絡數(shù)據(jù)系統(tǒng)，UnixServer在復制點所能看到的在Cache中的駐留部分也將被接收用戶進程看到。公布的結(jié)果是在關(guān)閉UDP校驗時獲得的，若打開校驗，Cache中的駐留部分將會增加，因為上下文切換的機會將降低并且校驗碼會導致對大量緩沖報文數(shù)據(jù)的讀取。對于MachUnixServer在收集數(shù)據(jù)方面的修改細節(jié)見參考文獻5。收集實驗數(shù)據(jù)會出現(xiàn)兩種情況：第一，接收處