計算機仿真論文(計算機仿真-論文)：高效能計算機互連網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的建模與仿真

計算機仿真論文(計算機仿真-論文)：高效能計算機互連網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的建模與仿真計算機仿真論文（計算機仿真論文）：高效能計算機互連網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的建模與仿真摘要:該論文主要論述了高效能已成為超級計算機的追求目標(biāo),影響計算機效能的因素很多,其中一項重要因素就是互連網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),其直接決定著互連網(wǎng)絡(luò)中數(shù)據(jù)傳輸?shù)男?論文基于此,首先對結(jié)點內(nèi)部的處理器、適配器、鏈路和交換機進行抽象、提取主要特性、設(shè)置參數(shù)并建立模型;在此基礎(chǔ)上,針對高效能計算機互連網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的選擇問題,以O(shè)pnet網(wǎng)絡(luò)仿真軟件為平臺,建立了Mesh結(jié)構(gòu)、Torus結(jié)構(gòu)以及Fat-tree結(jié)構(gòu)3種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的模型,從網(wǎng)絡(luò)延時、接收有效包的比例以及靜態(tài)結(jié)構(gòu)等方面,對網(wǎng)絡(luò)性能進行分析,通過仿真結(jié)果的對比與總結(jié),確定Torus結(jié)構(gòu)網(wǎng)絡(luò)性能最優(yōu).關(guān)鍵詞:計算機互連網(wǎng)絡(luò);Opnet仿真;高效能計算機;拓?fù)浣Y(jié)構(gòu);建模與仿真Modelingandsimulationonhighproductivitycomputer′sinterconnectingnetworktopologyAbstract:Presently,high-productivityhasbecomeoneofthegoalsthatsupercomputerspursue.Amongthemanyfactors,topologyoftheinterconnectionnetworkisanimportantonewhichdirectlydeterminestheefficiencyofthedatatransportationintheinterconnectionnetwork.Thisarticle,first-ly,abstractstheprocessors,adapters,linksandswitches,extractthemajorcharacters,點之間通過InfiniBand總線互連,物理結(jié)構(gòu)上,Infiniband適配器發(fā)送的數(shù)據(jù)通過QDRSwitch進行轉(zhuǎn)發(fā),屬于星型拓?fù)浣Y(jié)構(gòu),由于一種物理拓?fù)浣Y(jié)構(gòu)可以對應(yīng)多種邏輯拓?fù)浣Y(jié)構(gòu),邏輯結(jié)構(gòu)上,結(jié)點之間的互連有Mesh,Torus以及Fat-tree[13]3種拓?fù)浣Y(jié)構(gòu)可供選擇.為了分析與物理拓?fù)鋵?yīng)的3種邏輯拓?fù)鋵τ诟咝苡嬎銠C通信性能的影響,本文以該項目為背景,運用網(wǎng)絡(luò)仿真軟件對高效能計算機進行建模與仿真.3系統(tǒng)分析與實現(xiàn)3.1系統(tǒng)分析在本系統(tǒng)中,雖然結(jié)點間的拓?fù)浣Y(jié)構(gòu)有多種選擇,從數(shù)據(jù)流的傳輸角度考慮,仍然存在一些共性.結(jié)點內(nèi)部的16個loongson3ACPU既為發(fā)送節(jié)點又是接收節(jié)點,CPU創(chuàng)建數(shù)據(jù)包,按X-Y路由協(xié)議將數(shù)據(jù)包傳送給結(jié)點內(nèi)部的目的CPU,或者通過Infiniband適配器轉(zhuǎn)發(fā)到網(wǎng)絡(luò)上,之后通過Switch轉(zhuǎn)發(fā)給其他的Infiniband適配器,進而傳送給相應(yīng)的目的結(jié)點,最后通過X-Y路由協(xié)議到達(dá)正確的目的CPU.目的CPU接收數(shù)據(jù)包,記錄需要的統(tǒng)計信息量后銷毀該包,完成一次傳輸.包的傳輸流程包傳輸流程圖由于同種類型的節(jié)點功能相同,抽象到模型的層面上存在很多的共性,因此采用面向?qū)ο蟮臋C制進行建模,同種類型的節(jié)點建立一種模型,如所有的loongson3ACPU建立一種模型,每個節(jié)點都是一種模型的實例化,每個節(jié)點都可以擁有自己特有的屬性,從而使節(jié)點之間保持了各自的不同性.使用loongson3ACPU的新型節(jié)點機最大的特點在于將過去用于CPU間通信的HT總線用于系統(tǒng)間的互連,從而使得CPU間通信也成為互連網(wǎng)絡(luò)中系統(tǒng)間通信的一部分.因此,在設(shè)計高效能計算機互連網(wǎng)絡(luò)仿真模型時,必須將處理器的通信模型作為一項重點.本文用IP/端口地址對標(biāo)示一個CPU,IP地址標(biāo)示該CPU所在的節(jié)點機,端口地址標(biāo)示該CPU.另外,由于要對整個互連網(wǎng)絡(luò)進行仿真,因此,需要對網(wǎng)絡(luò)交換機進行建模,以精確模擬網(wǎng)絡(luò)中數(shù)據(jù)包的轉(zhuǎn)發(fā)過程.特別地,對于Fat-tree拓?fù)浣Y(jié)構(gòu)的互連網(wǎng)絡(luò),交換機分為葉交換機和主干交換機2種,其轉(zhuǎn)發(fā)策略有所不同:葉交換機的主要工作是接受主干交換機發(fā)來的數(shù)據(jù)包并轉(zhuǎn)發(fā)給目的主機和查看各主干交換機的工作狀態(tài),并將數(shù)據(jù)包發(fā)送給空閑的主干交換機;而主干交換機的主要工作是根據(jù)數(shù)據(jù)包的目的地址將其轉(zhuǎn)發(fā)給相應(yīng)的葉交換機.因此,對這2種交換機需要分別建模和仿真.綜上所述,從數(shù)據(jù)包的傳輸流程分析,總共需要建立4種模型:處理器模型、Infiniband適配器模型、葉交換機模型和主干交換機模型,模型與網(wǎng)絡(luò)實際對象的對應(yīng)模型與網(wǎng)絡(luò)的對應(yīng)關(guān)系網(wǎng)絡(luò)對象對應(yīng)模型Loongson3ACPU處理器模型Infiniband互連網(wǎng)絡(luò)Infiniband適配器節(jié)點模型Fat-tree結(jié)構(gòu)中第一層交換機主干交換機模型Fat-tree結(jié)構(gòu)中第二層交換機葉交換機模型3.2系統(tǒng)實現(xiàn)3.2.1處理器模型處理器模型是對loongson3ACPU的一種抽象和實現(xiàn),分為10個模塊,主要實現(xiàn)了3種功能:產(chǎn)生數(shù)據(jù)包、加工數(shù)據(jù)包以及轉(zhuǎn)發(fā)數(shù)據(jù)包,其中包括1個數(shù)據(jù)包產(chǎn)生模塊、1個包處理模塊、1個隊列模塊、1個轉(zhuǎn)發(fā)模塊、3個收信機以及3個包發(fā)送模塊.數(shù)據(jù)包產(chǎn)生模塊按照設(shè)置的時間間隔創(chuàng)建指定分布大小的數(shù)據(jù)包(包A),并發(fā)送出去;包處理模塊接收包A,并為其添加目的IP地址、目的端口地址、包序列號等相關(guān)信息,在該模塊中維護有一個大小為50的滑動窗口,用以記錄已發(fā)送的數(shù)據(jù)包的信息,當(dāng)計時器計時到達(dá)時,檢查滑動窗口內(nèi)的信息,重傳仍未收到反饋信息的數(shù)據(jù)包;收信機用于接收外部數(shù)據(jù)流中到達(dá)的數(shù)據(jù)包,它會丟棄出錯的包,將正確的包發(fā)送到隊列模塊中;隊列模塊中設(shè)置4個工作單元,任何空閑的工作單元都會從隊列頭部取出數(shù)據(jù)進行處理;轉(zhuǎn)發(fā)模塊取出隊列模塊中的數(shù)據(jù)包進行處理,若本節(jié)點為包的目的節(jié)點,則記錄相關(guān)的信息后銷毀包;若本節(jié)點不是包的目的節(jié)點,則按照X-Y路由協(xié)議的方式,查找節(jié)點內(nèi)的路由表,將包發(fā)按正確的方向送出去;包發(fā)送模塊一方面承擔(dān)數(shù)據(jù)包的發(fā)送功能,另一方面監(jiān)視當(dāng)前鏈路狀態(tài),并將這些鏈路狀態(tài)信息返回給轉(zhuǎn)發(fā)模塊,用于數(shù)據(jù)包轉(zhuǎn)發(fā)決策.轉(zhuǎn)發(fā)模塊的具體實現(xiàn)轉(zhuǎn)發(fā)進程模型塊初始化,首先創(chuàng)建自己的路由表.每個轉(zhuǎn)發(fā)模塊的路由表中保存著與其相連的鄰節(jié)點地址.B.初始化完畢后無條件轉(zhuǎn)移到st-1狀態(tài).當(dāng)有包到達(dá)時,滿足PK-ARRVL轉(zhuǎn)移條件,轉(zhuǎn)發(fā)模塊首先判斷包的時效性.若包的創(chuàng)建時間距離當(dāng)前仿真時間超過限制,則丟棄該包,否則檢查包所攜帶的信息.檢驗時將分3種情況進行處理:a.若本節(jié)點為包的目的節(jié)點,則記錄包的源IP地址,源端口地址,包的標(biāo)識號,重傳標(biāo)志以及創(chuàng)建時間等信息,收集包的端對端時延后,觸發(fā)反饋自中斷;b.若本節(jié)點為包的目的節(jié)點,且該包是ACK反饋包,則銷毀該包,將滑動窗口對應(yīng)該ACK包的標(biāo)號的窗口占用狀態(tài)置為無效,說明該包已經(jīng)被成功接受;c.本節(jié)點只是該包的中轉(zhuǎn)節(jié)點,包的轉(zhuǎn)發(fā)采用X-Y路由協(xié)議.C.st-1狀態(tài)滿足情況a,即滿足Self-Intrpt條件時,從st-1跳轉(zhuǎn)到ACK強制狀態(tài):創(chuàng)建ACK反饋包,將原包的IP地址,端口號,重傳標(biāo)志及創(chuàng)建時間等信息復(fù)制到本包中,并發(fā)送該包.D.st-1狀態(tài)滿足情況c,即滿足FREE條件時,進入send狀態(tài):將等待隊列中的所有數(shù)據(jù)包一一發(fā)送出去,發(fā)送完畢后返回st-1狀態(tài).E.轉(zhuǎn)發(fā)前,通過發(fā)信機到轉(zhuǎn)發(fā)模塊的狀態(tài)線檢查要轉(zhuǎn)發(fā)的鏈路的狀態(tài),若鏈路上已有數(shù)據(jù)傳輸,則實現(xiàn)BUSY轉(zhuǎn)移條件,進入wait等待狀態(tài);直到鏈路空閑,狀態(tài)線上產(chǎn)生下降沿出發(fā)的狀態(tài)中斷,滿足GOESFREE條件,轉(zhuǎn)移到send狀態(tài),將本節(jié)點積累的數(shù)據(jù)包傳輸出去,返回st-1狀態(tài).3.2.2InfiniBand適配器模型Infiniband適配器節(jié)點模型是對Infiniband芯片的抽象,其主要完成了數(shù)據(jù)包的轉(zhuǎn)發(fā)功能,其由16個模塊組成:5個收信機模塊;5個發(fā)信機模塊;5個先進先出的隊列,每個隊列對應(yīng)一個收信機,收信機將到達(dá)的包被放到隊列中,隊列滿時包被丟棄;一個轉(zhuǎn)發(fā)模塊,轉(zhuǎn)發(fā)模塊中維護一張轉(zhuǎn)發(fā)表,記錄了與本節(jié)點模型相連的其他節(jié)點的IP地址以及對應(yīng)的轉(zhuǎn)發(fā)端口號.轉(zhuǎn)發(fā)模塊將信用度數(shù)值的變化通知給各隊列模塊.當(dāng)信用值低于原值的一半時,轉(zhuǎn)發(fā)模塊通過狀態(tài)線產(chǎn)生下降沿中斷,隊列接收到中斷后將處理速度降低為原來的1/2,從而減少需要轉(zhuǎn)發(fā)的數(shù)據(jù)包.直到信用值恢復(fù),再次產(chǎn)生上升沿中斷,隊列將恢復(fù)原來的處理速度,從而恢復(fù)原來的處理狀態(tài).3.2.3葉交換機模型在Fat-tree拓?fù)浣Y(jié)構(gòu)中,Infiniband適配器通過兩層交換機互連實現(xiàn),分別為葉交換機和主干交換機.葉交換機節(jié)點模型主要由收信機、發(fā)信機及轉(zhuǎn)發(fā)模塊構(gòu)成.收信機模塊用于接收Infini-band適配器節(jié)點模型或主干交換機模型發(fā)送的數(shù)據(jù)包;發(fā)信機模塊用于將數(shù)據(jù)包發(fā)送給Infini-band適配器節(jié)點模型或主干交換機模型;轉(zhuǎn)發(fā)模塊用于判斷數(shù)據(jù)包需發(fā)送的模型類別和端口號.轉(zhuǎn)發(fā)模塊內(nèi)部進程設(shè)計轉(zhuǎn)發(fā)進程a.進程模型入口為init狀態(tài)入口程序.在進程中定義了轉(zhuǎn)發(fā)路由表和包等待隊列.路由表用數(shù)據(jù)結(jié)構(gòu)鏈表實現(xiàn),每條數(shù)據(jù)項保存與本節(jié)點特定發(fā)送機相連的節(jié)點的IP地址和與該發(fā)送機對應(yīng)的轉(zhuǎn)發(fā)端口號.b.初始化完畢,從init狀態(tài)轉(zhuǎn)移到idle狀態(tài).在idle狀態(tài)時,轉(zhuǎn)發(fā)模塊等待包的到達(dá),當(dāng)產(chǎn)生流中斷,即滿足PK-ARRVL條件時,若包是從主干交換機發(fā)往本節(jié)點,將該數(shù)據(jù)包發(fā)送至下一層;若包是從葉節(jié)點發(fā)送到本節(jié)點,則查詢主干交換機的工作狀態(tài):若得知目前某個主干交換機處于空閑狀態(tài),則將數(shù)據(jù)包發(fā)送到該交換機對應(yīng)的端口,并將該交換機的工作狀態(tài)設(shè)置為忙狀態(tài);若所有的交換機都處于忙狀態(tài),并且包等待隊列已滿,則丟棄該包;若包等待隊列不滿,則將包儲存到等待隊列中,然后觸發(fā)自中斷.c.產(chǎn)生自中斷,即滿足Self-intrpt條件,從而沿路徑轉(zhuǎn)移到st-2狀態(tài).在該狀態(tài),若有包到達(dá),等待隊列滿則丟棄包,不滿則將包插入隊列中;若包等待隊列中還有未發(fā)送的包,則檢測主干交換機的工作狀態(tài),一旦交換機空閑就將包發(fā)送出去.之后產(chǎn)生預(yù)定義自中斷,相當(dāng)于計時器.當(dāng)包等待隊列空閑時,滿足Unfull條件,返回idle狀態(tài).3.2.4主干交換機模型主干交換機的節(jié)點模型也是由收信機、發(fā)信機和轉(zhuǎn)發(fā)模塊組成的.主干交換機模型的功能是接收葉交換機模型傳送的數(shù)據(jù)包,并將該包轉(zhuǎn)發(fā)給與目的結(jié)點聯(lián)通的葉交換機模型.該功能主要由轉(zhuǎn)發(fā)模塊實現(xiàn).轉(zhuǎn)發(fā)模塊內(nèi)維護一張轉(zhuǎn)發(fā)表,的每條信息記錄了與該主干交換機相連的葉交換機的IP地址和對應(yīng)的端口號.轉(zhuǎn)發(fā)模塊接收到數(shù)據(jù)包后,根據(jù)數(shù)據(jù)包的目的IP地址查詢轉(zhuǎn)發(fā)表,獲得正確的轉(zhuǎn)發(fā)端口,將數(shù)據(jù)包轉(zhuǎn)發(fā)給與其目的地址相連接的葉交換機.收信機丟棄出錯的數(shù)據(jù)包時會通知轉(zhuǎn)發(fā)模塊,使其恢復(fù)到空閑狀態(tài).3.2.5網(wǎng)絡(luò)模型為了對比不同網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)下的通信性能,創(chuàng)建了3個場景,結(jié)點間互連結(jié)構(gòu)依次為Mesh結(jié)構(gòu)、Torus結(jié)構(gòu)和Fat-tree結(jié)構(gòu).圓形節(jié)點代表了一個結(jié)點,結(jié)點是一個子網(wǎng),內(nèi)部放置了16個處理器節(jié)點模型,通過HT總線相連成Mesh結(jié)構(gòu),方形節(jié)點為InfiniBand適配器節(jié)點模型.這里所指的Mesh,Torus以及Fat-tree結(jié)構(gòu)是指InfiniBand適配器模型之間的互連結(jié)構(gòu).結(jié)果分析對網(wǎng)絡(luò)性能進行定量研究,需要選擇合適的網(wǎng)絡(luò)性能指標(biāo).評價信息網(wǎng)絡(luò)性能好壞的主要技術(shù)指標(biāo)包括網(wǎng)絡(luò)吞吐量、鏈路利用率、響應(yīng)時間、包延遲時間、延遲抖動、丟包率等.針對本實驗中以包傳輸為基礎(chǔ)的計算機通信網(wǎng)絡(luò)的特征,通過靜態(tài)結(jié)構(gòu)分析網(wǎng)絡(luò)的傳輸效率,以收包率和鏈路吞吐率評價數(shù)據(jù)包的傳輸特性,以各種延時評價交互式通信網(wǎng)絡(luò)對時間的要求.從結(jié)構(gòu)上進行分析,靜態(tài)的對比3種拓?fù)浣Y(jié)構(gòu)的特征,.網(wǎng)絡(luò)直徑是評價網(wǎng)絡(luò)通信性能的一種重要指標(biāo),2個節(jié)點之間的距離越短,其傳輸延時就越低.因此,從網(wǎng)絡(luò)直徑分析,Torus結(jié)構(gòu)最具優(yōu)勢.靜態(tài)結(jié)構(gòu)對比分析表結(jié)構(gòu)節(jié)點度網(wǎng)絡(luò)直徑網(wǎng)絡(luò)總連接數(shù)對剖寬度二維Mesh結(jié)構(gòu)16×1652(16-1)2416二維Torus結(jié)構(gòu)16×1652[16/2]32216胖樹結(jié)構(gòu)4元2樹InfiniBand芯片的節(jié)點度恒為2,葉交換機的節(jié)點度為8,主干交換機的節(jié)點度為44328目前結(jié)點內(nèi)部16個CPU將設(shè)置在2塊相同的PCB板子上,2塊PCB板間采用高速連接器對插方式實現(xiàn)互連,對剖寬度反映了流經(jīng)上下板接插件的信號數(shù)量,Torus結(jié)構(gòu)和胖樹結(jié)構(gòu)相對于Mesh結(jié)構(gòu)有較大的優(yōu)勢.網(wǎng)絡(luò)總連接數(shù),反映了網(wǎng)絡(luò)成本的高低,連接數(shù)越多,網(wǎng)絡(luò)越復(fù)雜,網(wǎng)絡(luò)的成本越高.Mesh結(jié)構(gòu)的總連接數(shù)最低,Torus結(jié)構(gòu)和Fat-tree結(jié)構(gòu)次之.不同的拓?fù)浣Y(jié)構(gòu)對于包的延時有很大影響,延時越大網(wǎng)絡(luò)響應(yīng)速度越慢,用戶等待時間越長,性能和應(yīng)用性越差.實驗結(jié)果表明:Mesh結(jié)構(gòu)中包的端對端平均延時為0.004331s;Torus結(jié)構(gòu)包的端對端平均延時為0.003675s;的端對端平均延時為0.005682s.在Infiniband適配器中設(shè)置有接收隊列和發(fā)送隊列,數(shù)據(jù)包從到達(dá)隊列,等待隊列中優(yōu)先于該數(shù)據(jù)包到達(dá)隊列的數(shù)據(jù)被處理完發(fā)送出去,到處理該數(shù)據(jù)包,數(shù)據(jù)包等待了隊列的排隊延時的時間,隊列延時體現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)耐〞承?在3種拓?fù)浣Y(jié)構(gòu)中,實驗研究結(jié)果表明:Mesh結(jié)構(gòu)隊列延時為0.000104s;Torus結(jié)構(gòu)的隊列延時與Mesh結(jié)構(gòu)幾近重合為0.000104s;Fat-tree結(jié)構(gòu)的隊列延時相對比較高為0.000105s.收包率一方面反映了網(wǎng)絡(luò)傳輸?shù)耐〞承?另一方面反映了網(wǎng)絡(luò)的利用率.隨著網(wǎng)絡(luò)拓?fù)涞母淖?網(wǎng)絡(luò)的性能也會不同程度改變.分別顯示了3種拓?fù)浣Y(jié)構(gòu)下的收包率,橫軸為單位時間發(fā)送的包的個數(shù),縱軸為單位時間接收到的有效包的個數(shù).單位時間接收到的有效包的比例可以通過曲線上任意點的縱坐標(biāo)與橫坐標(biāo)之比獲得,曲線的斜率反映了隨著發(fā)包總數(shù)的增多接收到的有效包的比例的變化趨勢.,Mesh結(jié)構(gòu)中曲線斜率為0.611960,起點收包率為0.654989,終點收包率為0.616460.Torus結(jié)構(gòu)中曲線斜率為0.617213,起點收包率為0.633860,終點收包率為0.619013.隨著發(fā)包個數(shù)的增多,2種結(jié)構(gòu)的收包率均有所下降,但Torus結(jié)構(gòu)比Mesh結(jié)構(gòu)收包率下降趨勢略微平緩.在Fat-tree結(jié)構(gòu)中,如圖9所示,起初曲線斜率為0.108673,該段收包率迅速下降,起點收包率為0.617688,第一個轉(zhuǎn)折點收包率為0.412394,之后曲線斜率迅速提高,達(dá)到1.622682,收包率逐漸增高,在第二個轉(zhuǎn)折點回升至0.613179,最后曲線斜率下降至0.184250,終點收包率下降至0.447180,雖然中間有段時間收包率增加,但很快恢復(fù),各點的收包率都不高于Torus結(jié)構(gòu)中的收包率,因而沒有起到改善作用.整體比較如表3所示,Torus結(jié)構(gòu)下的收包率優(yōu)于Fat-tree結(jié)構(gòu)和Mesh結(jié)構(gòu).3種拓?fù)湫阅軐Ρ萂esh結(jié)構(gòu)Torus結(jié)構(gòu)Fat-tree結(jié)構(gòu)網(wǎng)絡(luò)延時中低高隊列延時中中高收包率中中低網(wǎng)絡(luò)直徑高低中對剖寬度低高高總連接數(shù)低高高