操作系統對多核處理器的支持方法課件

8.1多核簡介8.2操作系統對多核處理器的支持方法8.3操作系統基于多核平臺的優(yōu)化第八章多核操作系統

18.1多核簡介8.1.1概述

多內核是指在一枚處理器中集成兩個或多個完整的計算引擎（內核）。

多核處理器是單枚芯片（也稱為“硅核”），能夠直接插入單一的處理器插槽中，但操作系統會利用所有相關的資源，將它的每個執(zhí)行內核作為分立的邏輯處理器。通過在兩個執(zhí)行內核之間劃分任務，多核處理器可在特定的時鐘周期內執(zhí)行更多任務。

多核架構能夠使目前的軟件更出色地運行，并創(chuàng)建一個促進未來的軟件編寫更趨完善的架構。隨著向多核處理器的移植，已有軟件無需被修改就可支持多核平臺。操作系統專為充分利用多個處理器而設計，且無需修改就可運行。為了充分利用多核技術，應用開發(fā)人員需要在程序設計中融入更多思路，但設計流程與目前對稱多處理（SMP）系統的設計流程相同，并且現有的單線程應用也將繼續(xù)運行。

多核技術能夠使服務器并行處理任務，而在以前，這可能需要使用多個處理器，多核系統更易于擴充，并且能夠在更纖巧的外形中融入更強大的處理性能，這種外形所用的功耗更低、計算功耗產生的熱量更少。多核技術是處理器發(fā)展的必然。28.1.2發(fā)展多核的原因功耗問題限制了單核處理器不斷提高性能的發(fā)展途徑。作為計算機核心的處理器就是將輸入的數字化的數據和信息，進行加工和處理，然后將結果輸出。假定計算機的其他子系統不存在瓶頸的話，那么影響計算機性能高低的核心部件就是處理器。反映在指令上就是處理器執(zhí)行指令的效率。

處理器性能=主頻*IPC從上面的公式可以看出，衡量處理器性能的主要指標是每個時鐘周期內可以執(zhí)行的指令數（IPC:InstructionPerClock）和處理器的主頻。提高處理器性能就是兩個途徑：提高主頻和提高每個時鐘周期內執(zhí)行的指令數（IPC）。處理器微架構的變化可以改變IPC，效率更高的微架構可以提高IPC從而提高處理器的性能。但是，對于同一代的架構，改良架構來提高IPC的幅度是非常有限的，所以在單核處理器時代通過提高處理器的主頻來提高性能就成了唯一的手段。不幸的是，給處理器提高主頻不是沒有止境的，從下面的推導中可以看出，處理器的功耗和處理器內部的電流、電壓的平方和主頻成正比，而主頻和電壓成正比。

因為：“處理器功耗正比于電流*電壓*電壓*主頻”，“主頻正比于電壓”，所以：“處理器功耗正比于主頻的三次方”。3

如果通過提高主頻來提高處理器的性能，就會使處理器的功耗以指數（三次方）而非線性（一次方）的速度急劇上升，很快就會觸及所謂的“頻率的墻”（frequencywall）。過快的能耗上升，使得業(yè)界的多數廠商尋找另外一個提高處理器性能的因子，提高IPC。提高IPC可以通過提高指令執(zhí)行的并行度來實現，而提高并行度有兩種途徑：一是提高處理器微架構的并行度；二是采用多核架構。在采用同樣的微架構的情況下，為了達到處理器IPC的目的，我們可以采用多核的方法，同時有效地控制功耗的急劇上升。因為：“處理器功耗正比于電流*電壓*電壓*主頻”，“IPC正比于電流”，所以：“處理器功耗正比于IPC”。由單核處理器增加到雙核處理器，如果主頻不變的話，IPC理論上可以提高一倍，功耗理論上也就最多提高一倍，因為功耗的增加是線性的。而實際情況是，雙核處理器性能達到單核處理器同等性能的時候，前者的主頻可以更低，因此功耗的下降也是指數方（三次方）下降的。反映到產品中就是雙核處理器的起跳主頻可以比單核處理器更低，性能更好。

4由此可見，將來處理器發(fā)展的趨勢是：為了達到更高的性能，在采用相同微架構的情況下，可以增加處理器的內核數量同時維持較低的主頻。這樣設計的效果是，更多的并行提高IPC，較低的主頻有效地控制了功耗的上升。處理器實際性能是處理器在每個時鐘周期內所能處理器指令數的總量，因此增加一個內核，理論上處理器每個時鐘周期內可執(zhí)行的單元數將增加一倍。原因很簡單，因為它可以并行的執(zhí)行指令，含有幾個內核，單位時間可以執(zhí)行的指令數量上限就會增加幾倍。而在芯片內部多嵌入幾個內核的難度要遠遠比加大內核的集成度要簡單很多。于是，多核就能夠在不提高生產難度的前提下，用多個低頻率核心產生超過高頻率單核心的處理效能，特別是服務器產品需要面對大量并行數據，多核心分配任務更能夠提高工作效率?？梢钥醋饕环N多處理器協作的微縮形式，并且達到更加的性能價格比，一套系統達到多套系統的性能。58.1.3多核的出現是技術發(fā)展的必然性1.晶體管時代即將到來根據摩爾定律，微處理器的速度以及單片集成度每18個月就會翻一番。經過發(fā)展，通用微處理器的主頻已經突破了4GHz，數據寬度也達到64位。在制造工藝方面也同樣以驚人的速度在發(fā)展，0.13um工藝的微處理器已經批量生產，90nm工藝以下的下一代微處理器也已問世。照此下去，到2010年左右，芯片上集成的晶體管數目預計超過10億個。因此，體系結構的研究又遇到新的問題：如何有效地利用數目眾多的晶體管？國際上針對這個問題的研究方興未艾。多核通過在一個芯片上集成多個簡單的處理器核充分利用這些晶體管資源，發(fā)揮其最大的能效。2．門延遲逐漸縮短，而全局連線延遲卻不斷加長

隨著VLSI工藝技術的發(fā)展，晶體管特征尺寸不斷縮小，使得晶體管門延遲不斷減少，但互連線延遲卻不斷變大。當芯片的制造工藝達到0.18微米甚至更小時，線延遲已經超過門延遲，成為限制電路性能提高的主要因素。在這種情況下，由于CMP（單芯片多處理器）的分布式結構中全局信號較少，與集中式結構的超標量處理器結構相比，在克服線延遲影響方面更具優(yōu)勢。63．符合Pollack規(guī)則按照Pollack規(guī)則，處理器性能的提升與其復雜性的平方根成正比。如果一個處理器的硬件邏輯提高一倍，至多能提高性能40％，而如果采用兩個簡單的處理器構成一個相同硬件規(guī)模的雙核處理器，則可以獲得70％～80％的性能提升。同時在面積上也同比縮小。4．能耗不斷增長隨著工藝技術的發(fā)展和芯片復雜性的增加，芯片的發(fā)熱現象日益突出。多核處理器里單個核的速度較慢，處理器消耗較少的能量，產生較少的熱量。同時，原來單核處理器里增加的晶體管可用于增加多核處理器的核。在滿足性能要求的基礎上，多核處理器通過關閉（或降頻）一些處理器等低功耗技術，可以有效地降低能耗。5．設計成本的考慮

隨著處理器結構復雜性的不斷提高，和人力成本的不斷攀升，設計成本隨時間呈線性甚至超線性的增長。多核處理器通過處理器IP等的復用，可以極大降低設計的成本。同時模塊的驗證成本也顯著下降。6．體系結構發(fā)展的必然

超標量（Superscalar）結構和超長指令字（VLIW）結構在高性能微處理器中被廣泛采用。但是它們的發(fā)展都遇到了難以逾越的障礙。Superscalar結構使用多個功能部件同時執(zhí)行多條指令，實現指令級的并行（Instruction-LevelParallelism，ILP）。但其控制邏輯復雜，實現困難，研究表明，Superscalar結構的ILP一般不超過8。VLIW結構使用多個相同功能部件執(zhí)行一條超長的指令，但也有兩大問題：編譯技術支持和二進制兼容問題。78.1.4單芯片多處理器與多線程處理器未來的主流應用需要處理器具備同時執(zhí)行更多條指令的能力，但是從單一線程中已經不太可能提取更多的并行性，主要有以下兩個方面的原因：一是不斷增加的芯片面積提高了生產成本；二是設計和驗證所花費的時間變得更長。在目前的處理器結構上，更復雜化的設計也只能得到有限的性能提高。對單一控制線程的依賴限制了多數應用可提取的并行性，而主流商業(yè)應用，一般都具有較高的線程級并行性。為此研究人員提出了兩種新型體系結構:單芯片多處理器（CMP）與同時多線程處理器（SimultaneousMultithreading，SMT），這兩種體系結構可以充分利用這些應用的指令級并行性和線程級并行性，從而顯著提高了這些應用的性能。從體系結構的角度看，SMT比CMP對處理器資源利用率要高，在克服線延遲影響方面更具優(yōu)勢。CMP相對SMT的最大優(yōu)勢還在于其模塊化設計的簡潔性。復制簡單設計非常容易，指令調度也更加簡單。同時SMT中多個線程對共享資源的爭用也會影響其性能，而CMP對共享資源的爭用要少得多，因此當應用的線程級并行性較高時，CMP性能一般要優(yōu)于SMT。此外在設計上，更短的芯片連線使CMP比長導線集中式設計的SMT更容易提高芯片的運行頻率，從而在一定程度上起到性能優(yōu)化的效果。88.1.5從多處理器到多核為了更清楚地理解多操作系統、多核與虛擬化趨勢，需回到多處理器系統和多核的關系上。多處理器離多核的應用只有一步之遙。不過，多核與多處理器也有不少區(qū)別，其中有一些挑戰(zhàn)你必須面對。如多處理器系統中的軟件并不能直接拿到多核系統中運行。在采用多核技術的時候，操作系統管理內核的基本方式有兩種：第一種是對稱多處理（SMP），這是由一個操作系統來控制多個內核。只要有一個內核空閑可用，操作系統就在線程等待隊列中分配下一個線程給這個空閑內核來運行。第二種是非對稱多處理（AMP），每個內核上都運行各自的操作系統。多核系統并不是直接把多個芯片的多處理器濃縮到單一芯片之中這么簡單。實際上，多核系統和多處理器系統之間存在著許多重要的區(qū)別，導致不能把多處理器系統上的軟件直接移植到多核系統上來。多處理器系統和多核系統的主要區(qū)別之一就是，在多處理器系統中，CPU之間的界線是比較清晰的。在典型的多處理器情況下，多個CPU通過總線連接起來，即便是共享外部存儲器，這些CPU基本上都是獨立運行的。在多核系統中，情況就有所不同。不論采用何種架構，在多核系統中被共享的東西非常多。運行在多處理器系統中的程序是多線程的程序。這種程序必須是可重入的，即程序代碼能夠被重疊地啟動并且同時運行在多個上下文中，這些運行上下文構成多個線程。98.1.6多核微處理器1）英特爾酷睿2雙核處理英特爾率先揭開了多核計算時代的帷幕。酷睿2雙核處理器的價值在于，它締造了一個范圍涵蓋核心硬件生產商、周邊硬件制造商、軟件開發(fā)商、整機廠商乃至系統集成商等產業(yè)參與者的全新產業(yè)鏈。對于用戶來說，英特爾酷睿2雙核處理器堪稱有史以來最令人興奮的個人電腦核心引擎。根據多個獨立調查組織提供的數據顯示，該處理器在各種服務器、臺式機和游戲基準測試中遙遙領先于其它處理器產品，器能夠滿足用戶不斷升級的多元需求。2）英特爾酷睿2四核處理器從雙核到四核，再到集成80計算核心、性能堪比超級計算機的原型處理器，英特爾對多內核技術的不懈探索總能夠挺立于技術和產業(yè)的最前沿。已上市的酷睿2四核處理器為通用服務器和工作站提供了非凡的速度與響應能力—受益領域還包括追求絕對性能的數字媒體創(chuàng)建、高端游戲以及其它市場。45納米四核時代的普及，進入2009年，處理器已經由雙核升級到四核時代。103）未來的多核微處理器作為多內核技術的先導者，英特爾于2007年初煅制出了內含80內核的可編程處理器，它提供了足以與超級計算機匹敵的強勁性能，且功耗僅62瓦，較大多數家用電器更低。毫無疑問，凝聚了英特爾深厚技術積淀、創(chuàng)新前瞻力及精湛制程工藝的80內核處理器預示了計算/通信技術領域未來的發(fā)展趨向—它還證明，在可以預見的未來，摩爾定律定能繼續(xù)驅動整個IT產業(yè)高速發(fā)展。多核時代到來Intel發(fā)布6核至強處理器，2008年09月，英特爾終于按計劃發(fā)布了Xeon（至強）7400處理器。該處理器開發(fā)代號為“Dunnington”，是英特爾首顆基于X86架構的六核處理器，主要面向注重多線程運算的高端市場。英特爾表示，Xeon7400在虛擬機和數據庫應用方面進行了很多優(yōu)化。其二級緩存高16MB，每個核心都支持虛擬化技術，其虛擬化性能跟以往產品相比提高達50%。118.2操作系統對多核處理器的支持方法8.2.1并行計算機訪存模型8.2.2調度8.2.3中斷8.2.4存儲管理8.2.5虛擬化技術12

UMA（均勻存儲訪問）模型物理存儲器被所有節(jié)點共享；所有節(jié)點訪問任意存儲單元的時間相同；發(fā)生訪存競爭時，仲裁策略平等對待每個節(jié)點，即每個節(jié)點機會均等；各節(jié)點的CPU可帶有局部私有高速緩存；外圍I/O設備也可以共享，且每個節(jié)點有平等的訪問權利。當前對稱多處理器共享存儲并行計算機SMP均采用這種模型（一臺機器上多個CPU）13

NUMA（非均勻存儲訪問）模型物理存儲器被所有節(jié)點共享，任意節(jié)點可以直接訪問任意內存模塊；節(jié)點訪問內存模塊的速度不同，訪問本地存儲模塊的速度一般是訪問其它節(jié)點內存模塊的3倍以上；發(fā)生訪存競爭時，仲裁策略對節(jié)點可能是不等價的；各節(jié)點的CPU可帶有局部私有高速緩存（cache）；外圍I/O設備也可以共享，但對各節(jié)點是不等價的。SGIOrigin系列并行計算機，采用基于cache目錄一致性的非均勻訪存模型（CC－NUMA），設計了專門的硬件，保證在任意時刻各節(jié)點cache中數據與全局內存數據的一致性。14

COMA（全高速緩存存儲訪問）模型各處理器節(jié)點中沒有存儲層次結構，全部高速緩存組成了全局地址空間；利用分布的高速緩存目錄D進行遠程高速緩存的訪問；COMA中的高速緩存容量一般都大于2級高速緩存容量使用COMA時，數據開始時可以任意分配，因為在運行時它最終會被遷移到要用到它的地方。15

NORMA（非遠程存儲訪問）模型所有存儲器都是私有的，僅能由其本地處理器訪問；

基于消息傳遞的并行計算機，每個節(jié)點都是由一臺處理器、本地存儲器和I/O外設組成的自治計算機。絕大多數NORMA都不支持遠程存儲器的訪問；在DSM（分布式共享內存）中，NORMA就消失了。16多核操作系統中進程的分配與調度進程的分配將進程分配到合理的物理核上，因為不同的核在共享性和歷史運行情況下都是不同的。有的物理核能夠共享二級cache，而有的卻是獨立的。進程間數據共享－>分配給有共享二級cache的核，提升命中率。17多核下操作系統調度的研究熱點程序的并行研究；多進程的時間相關性研究；任務的分配與調度；緩存的錯誤共享；一致性訪問研究；進程間通信；多處理器核內部資源競爭；18任務的分配單核：只有一個核的資源可以使用－>不存在核的任務分配問題；多核：多個進程如何在各個核中分配？均勻分配？一起分配到一個核？按照一定的算法分配？受底層系統結構影響SMP架構－>只共享內存CMP架構－>也會共享二級緩存19任務的調度各個核一致的調度算法各個核獨立的調度算法進程是否一直運行在同一個核？還是遷移？怎樣調度實時任務和普通任務（優(yōu)先級不同）？系統是否要進行負載均衡？調度策略（單核）－>多核呢？先來先服務FCFS最短作業(yè)優(yōu)先SJF優(yōu)先級調度輪轉法RR多級隊列調度20Linux2.6內核的調度算法時間復雜度O(1)(1)系統為每個處理器都維護一個單獨的就緒隊列活動的就緒隊列：包含當前時間片還有剩余的就緒任務擴展的就緒隊列：包含那些時間片已經用完的，重新分配時間片的就緒任務。(2)任務的調度是基于優(yōu)先級調度的每個處理器上的任務共有140個優(yōu)先級，每個就緒任務的優(yōu)先級通過散列函數直接映射到處理器的位圖數據結構上，通過位圖的find-first-bit可以找到優(yōu)先級最高的執(zhí)行(3)活動就緒隊列和擴展就緒隊列通過指針轉換(4)負載均衡一個core的任務結束，轉而處理其他最忙core上的任務若所有core都有任務，則每200ms檢查是否均衡21多核調度算法對任務的分配進行優(yōu)化。使同一應用程序的任務盡量在一個核上執(zhí)行，以便達到有共享數據的任務盡量在一個核上面運行，而共享數據量少或者沒有的任務在不同核上進行。對任務的共享數據優(yōu)化。由于CMP體系結構共享二級緩存，可以考慮改變任務在內存中的數據分布，使任務在執(zhí)行時盡量增加二級緩存的命中率。對任務的負載均衡優(yōu)化。當任務在調度時，出現了負載不均衡，考慮將較忙處理器中與其他任務最不相關的任務遷移，以達到數據的沖突量小。22高級編程中斷控制器APIC是基于中斷控制器分散在兩個基礎功能單元—本地單元以及I/O單元的分布式體系結構。在多核系統中，多個本地和I/OAPIC單元能夠作為一個整體通過ICC總線互相操作。

APIC發(fā)揮的功能有：接受來自處理器中斷引腳中的內部或外部I/OAPIC的中斷，然后將這些中斷發(fā)送給處理器核處理。在多核處理器系統中，接收發(fā)送核內中斷消息。多核體系處理器中，必須將中斷處理分發(fā)給一組核處理。當系統中有多個核在并行執(zhí)行時，必須有一個能夠接收到的中斷分發(fā)給能夠提供服務的核的機制。23APIC通過中斷命令寄存器（ICR）來接收和發(fā)送IPI消息，ICR提供如下功能：發(fā)送中斷到其他處理器核允許處理器核轉發(fā)收到的其不服務的中斷到其他處理器核來服務給處理器核自身發(fā)送中斷（一次自中斷）傳遞特殊IPI（核內中斷）到其他處理器核，比如啟動IPI消息IPI消息可以用來啟動處理器核或者分配工作任務到不同的處理器核IPI消息能夠用來在系統時或者系統執(zhí)行的廣泛功能單元中分發(fā)中斷到不同的處理器核。24多核高級可編程中斷控制器APIC25構建并行機系統的不同存儲結構26多核下存儲管理相對變化較少，主要改進為了充分使用多核的運算能力，很多庫函數都要做成非阻塞調用方式的，但這樣會導致數據沖突或不同步的問題，所以必須保證數據同步機制。事務內存管理機制：能夠協調程序，在并行運行的同時，保證數據的同步。為了提供內存分配的效率，可以使用多線程內存分配，這樣可以提高效率，降低cache沖突，特別有利于空間核時間關聯性強的內存操作。27虛擬化技術：是指對計算機資源進行的抽象，是在系統、應用或用戶與資源進行交互時，對計算機資源的物理特性進行隱藏的一種技術。分類：（1）平臺虛擬化：由指定硬件平臺上的宿主軟件來實行，為其他軟件提供一個模擬的計算機環(huán)境。其他軟件通常都是完整的操作系統，就像安裝在獨立的硬件平臺上一樣運行。

（2）資源虛擬化：它是被擴展到具體系統資源的虛擬化，它涉及資源的合并、劃分以及簡化的模擬等作用。28平臺虛擬化—模擬模擬：虛擬機模擬完成的硬件，允許針對完全不同的CPU的未經修改的操作系統直接運行。模擬的實現需要廣泛的技術，從狀態(tài)機到全虛擬平臺的動態(tài)編譯。這種方法長期以來被用來在新處理器可用之前對軟件進行開發(fā)。VirtualPC、QEMU等29平臺虛擬化原始虛擬和全虛擬虛擬機模擬足夠的硬件來保證未修改的為相同CPU設計的操作系統獨立運行。VMware、Win4BSD等部分虛擬虛擬機模擬多個但并非所有底層硬件環(huán)境，特別是地址空間這樣的環(huán)境支持資源共享和進程獨立，但是不允許獨立的客體操作系統實例Windows、Linux等類虛擬操作系統級虛擬應用程序虛擬30資源虛擬化針對平臺虛擬化到具體系統資源的虛擬化的擴展；涉及資源的合并、劃分以及簡化的模擬合并單個資源形成更大的資源或者資源地RAID：多個磁盤－>大的邏輯磁盤物理儲存資源－>存儲池計算機集群，網格計算和虛擬服務器使用上述技術將多個具體計算機合并成大型的計算機。分區(qū)是對單一資源劃分成同種形式更易于管理的資源（磁盤空間、網絡帶寬等）封裝通過創(chuàng)建簡化的接口來隱藏資源的復雜性318.3操作系統基于多核平臺的優(yōu)化

8.31.多核多線程技術的發(fā)展1）內存與處理器速度的差距導致cpu浪費時間等待訪存獲取數據，兩種基本的方法可以從物理上進行一定的改進：增大緩存；提高時鐘頻率。但是，緩存成本較大，在物理上也有一定限制；時頻的提高，可以在相同時間完成更多的操作，但隨之也帶來問題：程序間的相關性和延遲的影響隨之增加。2）于是，人們想到，不只有突破物理上的限制來提高性能，在空間和時間上并行，增加吞吐量也是一種途徑。因為雖然用戶最關心的是交互性程序的響應時間，管理者關心單位時間的任務完成量；但最終都是在最短時間內完成最多任務。既然原來的瓶頸在于訪問時處理器需阻塞等待而浪費硬件資源，那么可以讓cpu在這個延遲時間內干其它的事，譬如從其它的指令流讀取指令運行已經準備就緒的進程或線程。328.3.2多核多線程與傳統程序運行的不同帶來的問題

1)傳統系統運行的程序只需很少的改變便可以運行在cmt系統中，但不可避免的某些線程會影響到另外線程的執(zhí)行，這該如何處理？2)負載平衡與熱緩存有時矛盾，如何處理？比如為了減少資源的爭用，將爭用少的放到一個核，導致這個核負載大。3)進程與其包含的線程的調度分別在什么時候，兩者有何關系？4)多核的調度與核內多線程的調度分別配合？先將任務調到核，再在核內調度個線程還是怎樣？5)如果任務很少，是只讓部分cpu工作，避免調度分發(fā)帶來的復雜冗余的工作，還是依舊負載平衡？338.33.solaris對多核的支持

1）solaris中線程的體系結構a.分為用戶級和內核級；用戶級也可以在核內或核外運行。但是核外需要上下文切換開銷很大；核內更有利于并發(fā)使用cpu，同時成為多個用戶線程的調度。b.