計系第六章-存儲-

存儲器層次結(jié)構(gòu)

存儲技術(shù)及其趨勢局部性存儲器層次結(jié)構(gòu)中的高速緩存存儲器

層次結(jié)構(gòu)舉例寄存器L1高速緩存(SRAM)主存(DRAM)本地二級存儲(本地磁盤)更大,更慢,更廉價

(每字節(jié))的存儲器遠(yuǎn)程二級存儲(分布式文件系統(tǒng)、Web服務(wù)器)本地磁盤保存著從遠(yuǎn)程網(wǎng)絡(luò)服務(wù)器磁盤上取出的文件L2高速緩存(SRAM)L1高速緩存保存著從L2高速緩存取出的緩存行.CPU寄存器保存著從高速緩存存儲器取出的字L2高速緩存保存著從L3高速緩存取出的緩存行

L0:L1:L2:L3:L4:L5:更小,更快,更貴(每字節(jié))的存儲器L3高速緩存(SRAM)L3高速緩存保存著從主存高速緩存取出的緩存行L6:主存保存著從本地磁盤取出的磁盤塊隨機(jī)訪問存儲器(RAM)關(guān)鍵特征RAM

封裝在芯片上.基本存儲單位成為一個單元

(每個單元存儲1比特).RAM的兩種類型:SRAM(靜態(tài)RAM——StaticRAM)DRAM(動態(tài)RAM——DynamicRAM)需要不斷刷新SRAMvsDRAM總結(jié)芯片類型晶體管數(shù)相對訪問時間持續(xù)的敏感的相對花費(fèi)應(yīng)用SRAM4或6個1X是否100X高速緩存存儲器DRAM1個10X否是1X主存，幀緩沖區(qū)增強(qiáng)版DRAMs自1966年DRAM發(fā)明以來，其基本單元從未改變。Intel公司于1970將其推向市場。DRAM集成了更好的邏輯接口和更快的I/O傳輸接口:同步DRAM(SDRAM)采用常見的時鐘信號代替異步控制信號允許復(fù)用行地址(比如：RAS,CAS,CAS,CAS)雙倍數(shù)據(jù)速率同步DRAM(DDRSDRAM)每個周期每個引腳使用兩個時鐘沿傳送兩比特的控制信號通過使用提高有效帶寬的預(yù)取緩沖區(qū)的大小來劃分DDRSDRAM類型:DDR(2bits),DDR2(4bits),DDR3(8bits)截止到2010,多數(shù)服務(wù)器和桌面系統(tǒng)均支持該標(biāo)準(zhǔn)IntelCorei7僅支持DDR3SDRAM非易失性存儲器DRAM和SRAM為易失性存儲器斷電數(shù)據(jù)丟失非易失性存儲器斷電后，仍然保存數(shù)據(jù)只讀存儲器(ROM):生產(chǎn)時寫入程序，只能寫一次ProgrammableROM(PROM):可以重新一次編程EraseablePROM(EPROM):可用紫外線或X光整塊擦除ElectricallyeraseablePROM(EEPROM):可用電子整塊擦除Flashmemory:EEPROMs.以塊為單位進(jìn)行擦除10,0000次擦除后即磨損壞非易失性存儲器的應(yīng)用存儲固件程序的ROM(BIOS,磁盤控制器,網(wǎng)卡,圖形加速器,安全子系統(tǒng),…)固態(tài)硬盤(閃存盤,智能手機(jī),mp3播放器,平板電腦,筆記本電腦,…)磁盤高速緩沖存儲器典型的連接CPU和主存的總線結(jié)構(gòu)一條總線是由多條并排的電線組成的一束線，其傳輸?shù)刂?、?shù)據(jù)和控制信號多個設(shè)備共享多條總線主存I/O橋接口總線接口算術(shù)邏輯單元寄存器文件CPU芯片系統(tǒng)總線存儲器總線磁盤驅(qū)動器里有什么?旋轉(zhuǎn)軸傳動臂驅(qū)動器盤片電子器件(包括處理器和內(nèi)存!)SCSI接口圖片由SeagateTechnology提供磁盤結(jié)構(gòu)磁盤由雙面的盤片組成每張盤面上密集地排布著環(huán)形磁道每條磁道上有多個扇區(qū)，每個扇區(qū)由間隙隔開旋轉(zhuǎn)軸盤面磁道磁道k扇區(qū)間隙磁盤結(jié)構(gòu)(多個盤片)

對齊的磁道形成一個柱面盤面0盤面1盤面2盤面3盤面4盤面5柱面k旋轉(zhuǎn)軸盤片0盤片1盤片2磁盤容量容量:可存儲的最多比特數(shù).銷售商以10進(jìn)制度量存儲大小，即1GB=109Bytes.容量由以下參數(shù)度量:記錄密度(位/英寸):磁道一英寸的段可放入的位數(shù)磁道密度(道/英寸):從盤片中心出發(fā)半徑上一英寸的段內(nèi)可以有的磁道數(shù)面密度(位/平方英寸):記錄密度與磁道密度的乘積

計算磁盤容量磁盤容量=(字節(jié)數(shù)/扇區(qū))x(平均扇區(qū)數(shù)/磁道)x (磁道數(shù)/盤面)x(盤面數(shù)/盤片)x (盤片/磁盤)Example:512字節(jié)/扇區(qū)300扇區(qū)/磁道(平均值)20,000磁道/盤面2盤面/盤片5盤片/磁盤容量=512x300x20000x2x5 =30,720,000,000=30.72GB磁盤操作(單盤片視圖)磁盤表面以固定旋轉(zhuǎn)速率旋轉(zhuǎn)通過在半徑方向上移動，傳動臂可以將讀寫頭定位在任何磁道上讀寫磁頭連到傳動臂的末端，在磁盤表面上一層薄薄的氣墊上飛翔spindlespindlespindlespindle轉(zhuǎn)動軸磁盤操作（多盤片視圖）傳動臂多個讀寫磁頭從一個柱面移動到另一個柱面旋轉(zhuǎn)軸磁道分成若干扇區(qū)磁盤結(jié)構(gòu)——單盤片俯視圖盤面由多條磁道組成磁盤訪問磁頭在磁道上磁盤訪問逆時針旋轉(zhuǎn)磁盤訪問——讀操作讀取藍(lán)色扇區(qū)磁盤訪問——讀操作讀完藍(lán)色扇區(qū)后讀完藍(lán)色扇區(qū)后磁盤訪問——讀操作讀完藍(lán)色扇區(qū)后請求讀取紅色扇區(qū)磁盤訪問——讀操作藍(lán)色讀完后尋找紅色扇區(qū)尋找紅色所在磁道磁盤訪問——旋轉(zhuǎn)延遲讀完藍(lán)色扇區(qū)后尋找紅色扇區(qū)旋轉(zhuǎn)延遲旋轉(zhuǎn)到紅色扇區(qū)處磁盤訪問——讀操作藍(lán)色扇區(qū)讀完后尋找紅色扇區(qū)旋轉(zhuǎn)延遲讀完紅色扇區(qū)后完成紅色扇區(qū)讀操作磁盤訪問——服務(wù)時間的組成讀完藍(lán)色扇區(qū)后尋找紅色扇區(qū)旋轉(zhuǎn)延遲讀完紅色扇區(qū)后數(shù)據(jù)傳輸尋道旋轉(zhuǎn)延遲數(shù)據(jù)傳輸（讀/寫時間）磁盤訪問時間訪問某個扇區(qū)的平均時間為:訪問時間=尋道時間+旋轉(zhuǎn)時間+數(shù)據(jù)傳輸時間尋道時間磁頭由一個柱面移動到另一個柱面的時間通常尋道時間為：3—9ms旋轉(zhuǎn)時間經(jīng)過磁盤旋轉(zhuǎn)，目標(biāo)扇區(qū)到達(dá)磁頭下的時間最大旋轉(zhuǎn)延遲=1/RPMsx60sec/1min平均旋轉(zhuǎn)延遲=0.5x最大旋轉(zhuǎn)延遲

通常旋轉(zhuǎn)時間=7200RPMs數(shù)據(jù)傳輸時間傳輸每個扇區(qū)所需時間數(shù)據(jù)傳輸時間=1/RPMx1/(平均扇區(qū)數(shù)/磁道)x60秒/1分鐘.磁盤訪問時間示例給定條件:旋轉(zhuǎn)速度=7,200RPM平均尋道時間=9ms.平均扇區(qū)數(shù)/磁道=400.計算結(jié)果:平均旋轉(zhuǎn)時間=1/2x(60secs/7200RPM)x1000ms/sec=4ms.數(shù)據(jù)傳輸時間=60/7200RPMx1/400secs/trackx1000ms/sec=0.02ms服務(wù)總時間=9ms+4ms+0.02ms=13.02ms重點(diǎn):訪問時間主要由尋道時間和旋轉(zhuǎn)時間組成.訪問扇區(qū)的第一個bit比較消耗時間，剩余bit較快.SRAM訪問時間為4ns/雙字,DRAM為60ns/雙字磁盤比SRAM慢4,0000倍,磁盤比DRAM慢2500倍.邏輯磁盤塊現(xiàn)代磁盤將復(fù)雜的物理結(jié)構(gòu)轉(zhuǎn)換成簡單的抽象視圖:一組連續(xù)扇區(qū)被封裝成一個b-sized大小的邏輯盤塊邏輯塊與物理塊之間的映射由磁盤控制器（硬件和固件組成）來維護(hù)將讀寫請求地址轉(zhuǎn)換成三元組：(盤面,磁道,扇區(qū)).允許控制器從每個區(qū)域中保留一部分空閑柱面區(qū)分“格式化容量”和“最大容量I/O總線主存I/O橋接器總線接口算術(shù)邏輯單元寄存器文件CPU芯片系統(tǒng)總線存儲器總線磁盤控制器圖形適配器USB控制器鼠標(biāo)鍵盤顯示器磁盤I/O總線針對諸如網(wǎng)絡(luò)適配器這樣的其他設(shè)備的擴(kuò)展插槽讀取一個磁盤扇區(qū)(1)主存算術(shù)邏輯單元寄存器文件CPU芯片磁盤控制器圖形適配器USB控制器鼠標(biāo)鍵盤顯示器磁盤I/O總線總線接口CPU通過將命令、邏輯塊號和目的存儲器地址寫到與磁盤相關(guān)聯(lián)的存儲器映射地址，發(fā)起一個磁盤讀請求操作讀取一個磁盤扇區(qū)(2)主存算術(shù)邏輯單元寄存器文件CPU芯片磁盤控制器圖形適配器USB控制器鼠標(biāo)鍵盤顯示器磁盤I/O總線總線接口磁盤控制器讀取扇區(qū)，并執(zhí)行到主存的DMA傳送讀取一個磁盤扇區(qū)(3)主存算術(shù)邏輯單元寄存器文件CPUchip磁盤控制器圖形適配器USB控制器鼠標(biāo)鍵盤顯示器磁盤I/O總線總線接口當(dāng)DMA傳送完成時，磁盤控制器用中斷方式通知CPU(需要一個特殊引腳與CPU相連)固態(tài)硬盤(SSD)頁大小:512Bto4KB,塊大小:32to128pages數(shù)據(jù)以頁單位讀寫。只有在某頁所屬塊整個被擦除后，才可寫該頁。在進(jìn)行大約10,0000次重復(fù)寫后，塊會磨損壞。閃存翻譯層I/O總線頁0頁1頁P(yáng)-1…塊0…頁0頁1頁P(yáng)-1…塊B-1閃存固態(tài)硬盤(SSD)讀寫邏輯磁盤塊固態(tài)硬盤性能特點(diǎn)順序訪問比隨機(jī)訪問塊典型存儲器層次結(jié)構(gòu)問題隨機(jī)寫會較慢擦除塊需要較長時間(~1ms)修改一頁需要塊內(nèi)所有頁復(fù)制到新塊中早起固態(tài)硬盤讀寫時間差距更大順序讀速度550MB/s 順序?qū)懰俣?70MB/s隨機(jī)讀速度365MB/s 隨機(jī)寫速度303MB/s平均讀時間50us 平均寫時間60us來源:IntelSSD730產(chǎn)品參數(shù)固態(tài)硬盤vs機(jī)械磁盤優(yōu)勢無移動部件隨機(jī)訪問快,低功耗,更結(jié)實(shí)劣勢會磨損在flashtranslationlayer閃存轉(zhuǎn)換層用算法減少平均磨損率比如IntelSSD730保證在其磨損壞前可寫入128petabyte(128x1015bytes)在2015年,每byte比磁盤貴30倍應(yīng)用MP3播放器,智能手機(jī),筆記本電腦開始在臺式機(jī)和服務(wù)器中應(yīng)用存儲技術(shù)及其趨勢局部性存儲器層次結(jié)構(gòu)中的高速緩存用局部性原理來解決!

解決CPU-存儲速度差距問題的關(guān)鍵是利用程序中特有的局部性特點(diǎn)。局部性局部性原理:

程序傾向于使用最近一段時間，距離其較近地址的數(shù)據(jù)和指令。時間局部性:最近被訪問的數(shù)據(jù)或指令在未來可能還會被訪問空間局部性:當(dāng)前訪問地址附近的區(qū)域在不久還有可能被訪問存儲器層次結(jié)構(gòu)軟硬件的基礎(chǔ)穩(wěn)定特性:高速存儲器技術(shù)費(fèi)用高，容量小，且耗電量大，易發(fā)熱.CPU與主存的速度差別越來越大.設(shè)計良好的程序有更好的局部性.這些基礎(chǔ)特性相互補(bǔ)充.以上特性給出一條組織主存和存儲系統(tǒng)的途徑，稱作存儲器層次結(jié)構(gòu).存儲技術(shù)及其趨勢局部性存儲器層次結(jié)構(gòu)中的高速緩存存儲器

層次結(jié)構(gòu)舉例寄存器L1高速緩存(SRAM)主存(DRAM)本地二級存儲(本地磁盤)更大,更慢,更廉價

(每字節(jié))的存儲器遠(yuǎn)程二級存儲(分布式文件系統(tǒng)、Web服務(wù)器)本地磁盤保存著從遠(yuǎn)程網(wǎng)絡(luò)服務(wù)器磁盤上取出的文件L2高速緩存(SRAM)L1高速緩存保存著從L2高速緩存取出的緩存行.CPU寄存器保存著從高速緩存存儲器取出的字L2高速緩存保存著從L3高速緩存取出的緩存行

L0:L1:L2:L3:L4:L5:更小,更快,更貴(每字節(jié))的存儲器L3高速緩存(SRAM)L3高速緩存保存著從主存高速緩存取出的緩存行L6:主存保存著從本地磁盤取出的磁盤塊CachesCache:

一種更小，速度更快的存儲設(shè)備。作為更大、更慢存儲設(shè)備的緩沖區(qū).解決CPU與主存之間速度匹配的問題存儲器層次結(jié)構(gòu)的基本思想:對于每個k，位于k層的更快更小的存儲設(shè)備作為位于k+1等的更大更慢的存儲設(shè)備的緩存為什么存儲器層次結(jié)構(gòu)行得通?由于局部性原理，程序訪問第k層的數(shù)據(jù)比第k+1層的數(shù)據(jù)要頻繁因此，第k+1層存儲設(shè)備更慢且更大、更廉價.重要觀點(diǎn):存儲器層次結(jié)構(gòu)構(gòu)建了一個大容量的存儲池，像底層存儲器一樣低廉，而又可以達(dá)到頂層存儲器的速度。高速緩存基本概念012345678910111213141589143高速緩存主存第k+1層更大、更慢、更便宜的設(shè)備被劃分成塊數(shù)據(jù)以塊大小為傳輸單元在層與層之間拷貝第k層更小、更快、更昂貴的設(shè)備緩存著第k+1層塊的一個子集444101010基本高速緩存概念:命中012345678910111213141589143高速緩存主存需要塊b中的數(shù)據(jù)請求:1414塊b在高速緩存中:命中!基本高速緩存概念:不命中012345678910111213141589143高速緩存主存需要塊b中的數(shù)據(jù)請求:12塊b不在高速緩存中:不命中!塊b從主存中讀取請求:12121212塊b存儲在高速緩存中替換策略:

決定塊b去向替換策略:

決定哪一塊被換出存儲器結(jié)構(gòu)層次中高速緩存應(yīng)用舉例HardwareMMU0On-ChipTLBAddresstranslationsTLBWebbrowser10,000,000LocaldiskWebpagesBrowsercacheWebcacheNetworkbuffercacheBuffercache虛擬內(nèi)存L2cacheL1cache寄存器Cache類型WebpagesPartsoffilesPartsoffiles4-KBpages64-byteblocks64-byteblocks4-8byteswordscache中存儲內(nèi)容Web代理服務(wù)器1,000,000,000RemoteserverdisksOS100MainmemoryHardware4On-ChipL1Hardware10On-ChipL2NFSclient10,000,000LocaldiskHardware+OS100MainmemoryCompiler0CPUcore管理程序延遲

(周期)被緩存的位置磁盤

cache DisksectorsDiskcontroller100,000Disk固件存儲器層次結(jié)構(gòu)概念小結(jié)CPU，主存和大容量存儲設(shè)備之間的速度差距繼續(xù)增大.設(shè)計良好的程序體現(xiàn)出局部性特點(diǎn).利用局部性特點(diǎn)，基于高速緩存的存儲器結(jié)構(gòu)有利于縮小速度差距存儲趨勢Metric19851990199520002005201020152015