計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)第五

第五章重疊、流水和向量處理機(jī)概述本章著重講述在計(jì)算機(jī)組成設(shè)計(jì)中，如何通過采用重疊和流水等控制方式來提高解釋機(jī)器語言程序的速度。介紹這些控制方式的基本原理，所用的控制機(jī)構(gòu)，實(shí)現(xiàn)中要解決的問題和辦法，以及對(duì)其性能的分析。目標(biāo)：采取什么方式可以加快機(jī)器指令的解釋速度。本章的基本要求(1)領(lǐng)會(huì)重疊方式的工作原理；采用重疊方式工作時(shí)，對(duì)計(jì)算機(jī)在組成設(shè)計(jì)上的要求；“一次重疊”方式的定義及好處。在給出了指令之間各種微操作時(shí)間重疊關(guān)系的要求之后，能夠熟練地計(jì)算出連續(xù)執(zhí)行完N條指令需要花費(fèi)的全部時(shí)間。本章的基本要求(2)領(lǐng)會(huì)流水方式的工作原理。了解從不同角度對(duì)流水線的分類和定義。熟練掌握有關(guān)流水線時(shí)空?qǐng)D的畫法。在給出的流水線上，能夠計(jì)算出流水的最大吞吐率，及解具體題目所達(dá)到的實(shí)際吞吐率、效率和加速比。掌握為消除流水線速度性能瓶頸可采用兩種不同途徑的時(shí)空?qǐng)D畫法、吞吐率和效率的計(jì)算。在雙功能靜態(tài)流水線上，根據(jù)給出的具體計(jì)算式，能調(diào)整其操作的流入順序；在滿足盡可能高的性能條件下，畫出執(zhí)行此計(jì)算式相應(yīng)的流水時(shí)空?qǐng)D；計(jì)算出此時(shí)的實(shí)際吞吐率、效率和加速比。本章的基本要求(3)

熟練掌握在單功能非線性流水線上所采用的任務(wù)流入流水線的最佳調(diào)度方案，求出此時(shí)的極限吞吐率。按最佳調(diào)度方案實(shí)際調(diào)入流水線若干個(gè)任務(wù)，能畫出在此情況下流水線工作的時(shí)空?qǐng)D，并計(jì)算出實(shí)際的吞吐率和效率。一、重疊解釋方式1提高指令執(zhí)行速度的途徑有如下三種：提高處理機(jī)的工作頻率；采用更好的算法；如采用RISC技術(shù)以減少執(zhí)行指令的平均周期數(shù)；多條指令并行執(zhí)行；

也稱為指令級(jí)并行技術(shù)，是目前和將來的主要途徑，其中又有三種基本方法：重疊技術(shù)；流水技術(shù)；超長(zhǎng)指令字技術(shù)；一、重疊解釋方式2指令的執(zhí)行過程：取指：按PC的內(nèi)容訪存，取指令到指令寄存器中；分析：對(duì)指令操作碼譯碼，利用地址字段通過尋址方式產(chǎn)生操作數(shù)真地址，并取回操作數(shù)，形成下條指令的地址；執(zhí)行：對(duì)操作數(shù)運(yùn)算，并存儲(chǔ)運(yùn)算結(jié)果。取指分析執(zhí)行05二月2023第五章重疊、流水和向量處理機(jī)8一、重疊解釋方式3順序解釋指令的順序解釋方式指的是指令與指令之間順序串行，指令內(nèi)的各個(gè)微操作之間也是順序串行的。即：只有當(dāng)前指令執(zhí)行完后，才能開始下條指令的運(yùn)行。優(yōu)點(diǎn)：每條指令轉(zhuǎn)入下條指令的時(shí)間關(guān)系是確切的，指令間相互的關(guān)聯(lián)關(guān)系易于得到控制和處理。缺點(diǎn)：程序解釋的速度低，系統(tǒng)內(nèi)各部件的時(shí)間利用率低。執(zhí)行k分析k取指k執(zhí)行k+1分析k+1取指k+1取指分析執(zhí)行05二月2023第五章重疊、流水和向量處理機(jī)9一、重疊解釋方式4重疊解釋指令的重疊解釋方式是在相鄰的指令之間，讓取指令、分析、執(zhí)行各部分的操作在時(shí)間上錯(cuò)開重疊地進(jìn)行，而指令內(nèi)部的微操作仍然是順序串行的。重疊解釋不能加快每條指令的解釋速度，但在硬件增加不多的情形下，可以加快相鄰兩條指令以及整段程序的解釋，使系統(tǒng)的性能價(jià)格比有顯著提高。取指k分析k執(zhí)行k取指k+2分析k+2執(zhí)行k+2有什么缺點(diǎn)？如何改進(jìn)？取指k+1分析k+1執(zhí)行k+105二月2023第五章重疊、流水和向量處理機(jī)10一、重疊解釋方式缺點(diǎn)：會(huì)造成訪存沖突；解決辦法：思路一：分別設(shè)置各自獨(dú)立編址的數(shù)據(jù)存貯器和指令存貯器，讓存、取操作數(shù)和取指令可同時(shí)訪存；思路二：讓主存用邏輯上統(tǒng)一編址的多分體交叉訪問的并行組成方式。思路三：在硬件上，增設(shè)有一定容量的指令緩沖器和數(shù)據(jù)緩沖器，讓主存抽空將預(yù)取的指令存入指令緩沖器，或?qū)⒁獙懭氲臄?shù)據(jù)暫時(shí)存入數(shù)據(jù)緩沖器中?，F(xiàn)狀：目前多采用第二、三種辦法的組合，形成一次重疊。05二月2023第五章重疊、流水和向量處理機(jī)11一、重疊解釋方式5一次重疊一次重疊：任何時(shí)刻都只有指令K的執(zhí)行過程與指令K+1的分析過程相互重疊。采用“一次重疊”的好處是系統(tǒng)只需要一套指令分析部件和一套指令執(zhí)行部件，節(jié)省了硬件，也簡(jiǎn)化了指令之間的相關(guān)控制。為了使“一次重疊”方式的系統(tǒng)能有較高的重疊效率，應(yīng)使“分析”和“執(zhí)行”的時(shí)間盡可能調(diào)整成一樣的。分析k執(zhí)行k分析k+1執(zhí)行k+105二月2023第五章重疊、流水和向量處理機(jī)12一、重疊解釋方式6“一次重疊”方式的相關(guān)控制1）主存空間數(shù)據(jù)相關(guān)主存空間數(shù)相關(guān)是在相鄰指令之間出現(xiàn)了對(duì)主存同一單元要求在先的指令必須先完成寫，在后的指令才能讀的“先寫后讀”相關(guān)。例如：K:addA1,A2,A3K+1:addA4,A1,A505二月2023第五章重疊、流水和向量處理機(jī)13一、重疊解釋方式6“一次重疊”方式的相關(guān)控制1）主存空間數(shù)據(jù)相關(guān)解決方法：采取推后后續(xù)指令對(duì)相關(guān)單元的讀操作的辦法來解決。理論依據(jù)：發(fā)生主存空間數(shù)相關(guān)的概率很低，犧牲時(shí)間換取空間具體措施：對(duì)訪存申請(qǐng)進(jìn)行排隊(duì)時(shí)，讓訪存的“寫”申請(qǐng)優(yōu)先于“讀”申請(qǐng)。05二月2023第五章重疊、流水和向量處理機(jī)14一、重疊解釋方式2）通用寄存器相關(guān)通用寄存器相關(guān)相關(guān)是指在相鄰指令之間出現(xiàn)了對(duì)同一寄存器要求在先的指令必須先完成寫，在后的指令才能讀的“先寫后讀”相關(guān)。例如：K:opR1,A2K+1:opR1,R2其中：源操作數(shù)（k+1）=目的操作數(shù)（k）05二月2023第五章重疊、流水和向量處理機(jī)15一、重疊解釋方式2）通用寄存器相關(guān)解決方法：采用設(shè)置R1和R2的相關(guān)專用通路來解決。理論依據(jù)：通用寄存器組的數(shù)相關(guān)發(fā)生的概率很高，犧牲空間換取時(shí)間。05二月2023第五章重疊、流水和向量處理機(jī)16二、流水方式“流水線”(pipeline)是Intel首次在486芯片中開始使用的。流水線的工作方式就像工業(yè)生產(chǎn)上的裝配流水線。在CPU中由5～6個(gè)不同功能的電路單元組成一條流水線來處理指令，然后將一條指令分成5～6步，再由這些電路單元分別執(zhí)行，這樣就能實(shí)現(xiàn)在一個(gè)CPU時(shí)鐘周期內(nèi)完成一條指令，因此可大大提高CPU的運(yùn)算速度。05二月2023第五章重疊、流水和向量處理機(jī)17二、流水方式早期的486只有一條流水線，通過流水線中取指令、譯碼、產(chǎn)生地址、執(zhí)行指令和數(shù)據(jù)寫回五個(gè)電路單元，分別同時(shí)執(zhí)行那些已經(jīng)分成五步的指令，從而實(shí)現(xiàn)在每個(gè)時(shí)鐘周期中完成一條指令的目的。進(jìn)入Pentium時(shí)代后，設(shè)計(jì)人員在CPU中設(shè)置了兩條或多條具有各自獨(dú)立電路單元的流水線，這樣CPU在工作時(shí)就可以通過這兩條或多條流水線來同時(shí)執(zhí)行多條指令，因此在理論上就可以實(shí)現(xiàn)在一個(gè)時(shí)鐘周期中完成多條指令的目的。05二月2023第五章重疊、流水和向量處理機(jī)18二、流水方式超流水線“超流水線”(superpipelined)是指某型號(hào)的CPU內(nèi)部的流水線超過通常的5～6步，例如PentiumPro的流水線就長(zhǎng)達(dá)14步。流水線設(shè)計(jì)的步(級(jí))數(shù)越多，其完成指令的速度就越快，因此就能適應(yīng)主頻更高的CPU。05二月2023第五章重疊、流水和向量處理機(jī)19二、流水方式1）定義：流水是重疊的引申流水則是把指令的解釋分成更多個(gè)(m個(gè))子過程，讓相鄰的m條指令的解釋在時(shí)間上錯(cuò)開重疊。05二月2023第五章重疊、流水和向量處理機(jī)20二、流水方式2）流水線的特點(diǎn)（1）流水線處理連續(xù)的任務(wù)時(shí)才能發(fā)揮其效率；（2）把一個(gè)任務(wù)（一條指令或一個(gè)操作）分解為幾個(gè)有聯(lián)系的子任務(wù)，每個(gè)子任務(wù)由一個(gè)專門的部件來完成；（3）在流水線的每個(gè)功能部件后面都有一個(gè)鎖存器，用于保存本段的執(zhí)行結(jié)果和平滑各部件之間的時(shí)間差異，所有鎖存器都受同一時(shí)鐘信號(hào)控制，實(shí)現(xiàn)各部件信息流的同步推進(jìn)；05二月2023第五章重疊、流水和向量處理機(jī)21二、流水方式2）流水線的特點(diǎn)（4）流水線中各段的時(shí)間應(yīng)盡量相等，否則將影響流水線的效率；（5）流水線需要有裝入時(shí)間和排空時(shí)間；05二月2023第五章重疊、流水和向量處理機(jī)22二、流水方式2流水線的分類1）按照流水技術(shù)用于系統(tǒng)的等級(jí)不同分為：部件級(jí)流水：部件內(nèi)務(wù)子部件間的流水，如分析部件內(nèi)部的取指、譯碼、地址形成和取數(shù)之間的流水，浮點(diǎn)運(yùn)算器內(nèi)的求階差、對(duì)階、尾數(shù)加/減和尾數(shù)規(guī)格化之間的流水，以及Cache存貯器內(nèi)查地址映象表進(jìn)行地址變換與訪物理Cache之間的流水；處理機(jī)級(jí)流水：部件間的流水，如取指、分析、執(zhí)行部件間的流水；系統(tǒng)級(jí)流水：處理機(jī)之間的流水，如宏流水。05二月2023第五章重疊、流水和向量處理機(jī)23二、流水方式2）按流水線具有功能的多少將流水線分成：?jiǎn)喂δ芰魉€：?jiǎn)喂δ芰魉€指的是流水線內(nèi)各段固定連接，只能完成單一的一種功能。多功能流水線：多功能流水線指的是流水線中各個(gè)段可以有多種不同的連接，以實(shí)現(xiàn)多種不同的功能。05二月2023第五章重疊、流水和向量處理機(jī)24二、流水方式3）多功能流水線又可分為：靜態(tài)流水線：靜態(tài)流水線指的是在流水線內(nèi)各個(gè)段于同一時(shí)間里只能按其中的一種功能流水，只有等各個(gè)段全部空閑后，才能切換成按另一種功能的連接來流水。靜態(tài)流水線要求編譯生成的目的指令串應(yīng)盡可能調(diào)整成都是同一種功能，之后才是另一種功能的指令串。05二月2023第五章重疊、流水和向量處理機(jī)25二、流水方式3）多功能流水線又可分為：動(dòng)態(tài)流水線：動(dòng)態(tài)流水線的各個(gè)段可以同時(shí)為不同的功能服務(wù)。相比而言，動(dòng)態(tài)流水的控制較靜態(tài)流水的要復(fù)雜些。靜態(tài)流水是把功能負(fù)擔(dān)加到軟件調(diào)整上，動(dòng)態(tài)流水則是把功能負(fù)擔(dān)加到硬件控制上。05二月2023第五章重疊、流水和向量處理機(jī)26二、流水方式4）按流水線處理機(jī)是否具有向量數(shù)據(jù)表示分成：向量流水機(jī)：向量流水機(jī)是向量數(shù)據(jù)表示和流水線的結(jié)合。標(biāo)量流水機(jī)：標(biāo)量流水機(jī)則只有流水線，沒有向量數(shù)據(jù)表示，處理向量、數(shù)組時(shí)需要借用程序的循環(huán)和變址，所以標(biāo)量流水機(jī)對(duì)向量、數(shù)組處理的支持不如向量處理機(jī)的好。05二月2023第五章重疊、流水和向量處理機(jī)27二、流水方式4）按流水線功能段之間有無反饋回路將流水線分為：線性流水線：線性流水線中各個(gè)段之間串行地連接，無反饋也無跳越，每個(gè)任務(wù)流經(jīng)流水線中各個(gè)段均只有一次；反之，則就是非線性流水線。05二月2023第五章重疊、流水和向量處理機(jī)28二、流水方式3流水線處理機(jī)的主要性能

吞吐率和效率是反映流水機(jī)器性能的主要指標(biāo)。1）吞吐率極限吞吐率TPmax

：是流水線連續(xù)流動(dòng)時(shí)的最大吞吐率。實(shí)際吞吐率TP：指在單位時(shí)間內(nèi)，流水線完成的任務(wù)數(shù)和輸出的結(jié)果數(shù)。05二月2023第五章重疊、流水和向量處理機(jī)29二、流水方式２）效率流水線的效率是指流水線中設(shè)備(部件)的時(shí)間利用率。它是程序在執(zhí)行過程中，流水線設(shè)備(部件)有效工作的時(shí)間與總的加電時(shí)間的比值。05二月2023第五章重疊、流水和向量處理機(jī)30二、流水方式3）加速比（SP）表示流水線方式相對(duì)于非流水線順序方式速度提高的比值。設(shè)某流水線分m段，每段用時(shí)t，完成n個(gè)任務(wù)所需時(shí)間為：順序方式：T1=n*m*t流水方式：T2=m*t+(n-1)*t則：SP=T1/T2=m/(1+(m-1)/n)當(dāng)n>>m時(shí)，SP→m05二月2023第五章重疊、流水和向量處理機(jī)31二、流水方式４消除流水線性能瓶頸的方法１）瓶頸子過程再細(xì)分；２）將多個(gè)瓶頸子過程并聯(lián)。分析：前者所增加的設(shè)備量少，成本低，控制簡(jiǎn)單。若實(shí)在不能細(xì)分時(shí)，再考慮將多個(gè)瓶頸子過程并聯(lián)，此時(shí)，需要解決任務(wù)在并聯(lián)的各段之間如何輪流地分配和同步的問題，因此所增加的設(shè)備量較多，成本較高。05二月2023第五章重疊、流水和向量處理機(jī)32二、流水方式例3有一個(gè)4段的流水線如下圖所示。（1）求其Tpmax和完成3個(gè)任務(wù)時(shí)的TP和效率。（2）用瓶頸子過程再細(xì)分的方法消除流水線性能瓶頸后，求其完成3個(gè)任務(wù)時(shí)的TP和效率。（3）用將多個(gè)瓶頸子過程并聯(lián)的方法消除流水線性能瓶頸后，求其完成3個(gè)任務(wù)時(shí)的TP和效率。Δt１２３４入出３ΔtΔtΔt05二月2023第五章重疊、流水和向量處理機(jī)33二、流水方式例1向量A和B各有6個(gè)元素，計(jì)算A·B=a1b1+a2b2+…+a6b6(1)若在順序方式下，一次加需4Δt，一次乘需3Δt，則執(zhí)行完A·B需多少時(shí)間？(2)在如圖所示的靜態(tài)雙功能流水線上計(jì)算，其中1→2→3→4為加法流水線，1→5→4為乘法流水線，輸出可以直接返回輸入，功能切換的時(shí)間忽略不計(jì)，設(shè)計(jì)合理的算法，使完成A·B的時(shí)間最少。①畫出流水時(shí)空?qǐng)D；②求其吞吐率TP；③求其效率。12345ΔtΔtΔtΔtΔt輸入輸出05二月2023第五章重疊、流水和向量處理機(jī)34問題：非線形流水線如何實(shí)現(xiàn)不發(fā)生沖突又盡可能地提高其效率呢？設(shè)有由5個(gè)功能段組成的單功能非線形流水線，每任務(wù)經(jīng)過流水線需要9拍，其預(yù)約表如下表所示：1234567891√√2√√√3√4√√5√√1延遲禁止表：F={1,5,6,8}2沖突向量：C=（10110001）拍號(hào)n部件k二、流水方式6流水線的調(diào)度05二月2023第五章重疊、流水和向量處理機(jī)351延遲禁止表：F={1,5,6,8}2沖突向量：C=（10110001）3流水線狀態(tài)轉(zhuǎn)移圖二、流水方式6流水線的調(diào)度05二月2023第五章重疊、流水和向量處理機(jī)36調(diào)度方案平均間隔拍數(shù)(2,2,7)3.67(2,7)4.5(3,4)3.5(4,3)3.5(3,4,7)4.67(3,7)5(4,3,7)4.67(4,7)5.5(7)74各種調(diào)度方案的平均間隔拍數(shù)5最佳調(diào)度方案：（3，