Infiniband子網(wǎng)管理PPT課件

.,1,Infiniband子網(wǎng)管理&OpenSM,.,2,Infiniband子網(wǎng)管理子網(wǎng)管理基礎(chǔ)子網(wǎng)探測(cè)LID分配路由計(jì)算Infiniband子網(wǎng)管理器OpenSM分析OpenSM總體介紹OpenSM數(shù)據(jù)模型OpenSM運(yùn)行模型拓?fù)涮綔y(cè)實(shí)現(xiàn)分析LID分配實(shí)現(xiàn)分析路由計(jì)算實(shí)現(xiàn)分析,outline,.,3,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理模型（1）,.,4,物理模型子網(wǎng)管理器SM可以存在于任何一個(gè)CA、交換機(jī)或路由器的任何一個(gè)端口，一個(gè)子網(wǎng)中可以存在多個(gè)SM，但在子網(wǎng)運(yùn)行時(shí)只能有一個(gè)主SM，其它的成為備份SM。子網(wǎng)管理代理SMA存在于每一個(gè)CA、交換機(jī)或路由器中。,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理模型（2）,.,5,邏輯模型子網(wǎng)管理的實(shí)質(zhì)是子網(wǎng)管理器和子網(wǎng)管理代理之間的信息交換。信息交換通過(guò)子網(wǎng)管理數(shù)據(jù)包完成。子網(wǎng)管理器通過(guò)查詢子網(wǎng)管理代理，得到節(jié)點(diǎn)的部分信息。子網(wǎng)管理器綜合所有從子網(wǎng)管理代理獲得的信息后，可以生成每個(gè)節(jié)點(diǎn)的部分信息。子網(wǎng)管理代理也可以直接發(fā)送信息給子網(wǎng)管理器。子網(wǎng)管理數(shù)據(jù)包是信息交換的標(biāo)準(zhǔn)數(shù)據(jù)格式，還包括一套標(biāo)準(zhǔn)操作。,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理模型（3）,.,6,子網(wǎng)管理數(shù)據(jù)包SMP為子網(wǎng)管理提供基礎(chǔ)通信機(jī)制。為子網(wǎng)管理提供子網(wǎng)配置、檢測(cè)和查詢子網(wǎng)節(jié)點(diǎn)信息的功能。有兩類SMP：LID路由SMP和直接路由SMP。LID路由SMP：交換機(jī)在轉(zhuǎn)發(fā)這些SMP是根據(jù)其目的LID確定要轉(zhuǎn)發(fā)的端口。使用LID路由SMP需要節(jié)點(diǎn)已經(jīng)分配LID，經(jīng)過(guò)的交換機(jī)必須已經(jīng)配置正確的轉(zhuǎn)發(fā)表。直接路由SMP：交換機(jī)轉(zhuǎn)發(fā)這些SMP時(shí)根據(jù)SMP自帶的路徑字段確定要轉(zhuǎn)發(fā)的端口。,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理數(shù)據(jù)包（1）,.,7,LID路由SMP用于子網(wǎng)初始化以后,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理數(shù)據(jù)包（2）,.,8,直接路由SMP主要用于子網(wǎng)在初始化以前，發(fā)現(xiàn)子網(wǎng)拓?fù)浣Y(jié)構(gòu),子網(wǎng)管理基礎(chǔ)子網(wǎng)管理數(shù)據(jù)包（3）,.,9,直接路由可以包含LID路由段，直接路由在路由的每一個(gè)中間節(jié)點(diǎn)都要經(jīng)過(guò)子網(wǎng)管理接口SMI的處理，LID路由在路由的中間過(guò)程不需要經(jīng)過(guò)SMI直接路由SMP有關(guān)的算法發(fā)起的直接路由SMP初始化SMI處理發(fā)起的直接路由SMP，需要填寫返回路徑字段響應(yīng)直接路由SMP的初始化SMI處理響應(yīng)直接路由SMP,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理數(shù)據(jù)包（4）,.,10,如果將每個(gè)節(jié)點(diǎn)（CA，交換機(jī)或路由器）看成是一個(gè)對(duì)象：子網(wǎng)管理代理SMA可以理解成節(jié)點(diǎn)對(duì)象的公共接口。SM通過(guò)這個(gè)接口可以設(shè)置（Set方法）或查詢（Get方法）節(jié)點(diǎn)對(duì)象的屬性（節(jié)點(diǎn)的信息）。SMA還可以主動(dòng)向SM報(bào)告節(jié)點(diǎn)上的異常事件。,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理代理（1）,.,11,主要操作SubnGet（）由SM發(fā)起，用于獲取節(jié)點(diǎn)屬性SubnSet（）由SM發(fā)起，用于設(shè)置節(jié)點(diǎn)屬性SubnGetResp（）SMA對(duì)SM的響應(yīng)SubnTrap（）SMA主動(dòng)向SM報(bào)告異常事件SubnTrapRepress（）SM對(duì)SMA報(bào)告異常事件的響應(yīng),子網(wǎng)管理基礎(chǔ)子網(wǎng)管理代理（2）,.,12,主要屬性節(jié)點(diǎn)信息，交換機(jī)信息，GUID信息，端口信息，SM信息，密鑰信息SL到VL的映射表，VL仲裁表，線性轉(zhuǎn)發(fā)表，隨機(jī)轉(zhuǎn)發(fā)表，組播轉(zhuǎn)發(fā)表事件類型，節(jié)點(diǎn)描述，廠家信息,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理代理（3）,.,13,相對(duì)于以太網(wǎng)的分布式管理，在Infiniband網(wǎng)絡(luò)中，SM通過(guò)SMA對(duì)子網(wǎng)進(jìn)行集中管理。這種方式結(jié)構(gòu)簡(jiǎn)單易于管理。為了防止單點(diǎn)失效問(wèn)題，在Infiniband中可存在多個(gè)SM，一個(gè)主SM，多個(gè)備份SM。備份SM檢測(cè)到主SM死亡時(shí)，會(huì)選擇一個(gè)備份SM成為主SM，接管子網(wǎng)管理權(quán)。,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理器（1）,.,14,SM狀態(tài)機(jī),子網(wǎng)管理基礎(chǔ)子網(wǎng)管理器（2）,.,15,主SM是IB子網(wǎng)初始化和配置的關(guān)鍵因素。主SM的選擇也是初始化過(guò)程的一部分。主SM的主要作用是：發(fā)現(xiàn)子網(wǎng)的物理拓?fù)浣Y(jié)構(gòu)。為每個(gè)端節(jié)點(diǎn)，交換機(jī)和路由器分配本地標(biāo)識(shí)符LID。確定各端節(jié)點(diǎn)之間的合理路徑。掃描子網(wǎng)，發(fā)現(xiàn)拓?fù)涓淖兲幚砉?jié)點(diǎn)加入和節(jié)點(diǎn)刪除。,子網(wǎng)管理基礎(chǔ)子網(wǎng)管理器（3）,.,16,子網(wǎng)探測(cè)主要是指在Infiniband子網(wǎng)初始化時(shí)，SM通過(guò)SMA獲得子網(wǎng)內(nèi)各節(jié)點(diǎn)信息。主要的信息就是各個(gè)節(jié)點(diǎn)的GUID，節(jié)點(diǎn)類型，端口信息以及各節(jié)點(diǎn)之間的連接關(guān)系。在子網(wǎng)初始化完畢后，SM還會(huì)定時(shí)的檢查網(wǎng)絡(luò)拓?fù)涫欠癜l(fā)生變化（某個(gè)交換機(jī)端口的狀態(tài)發(fā)生改變）。交換機(jī)檢測(cè)到自己的某個(gè)端口狀態(tài)發(fā)生改變，可以通過(guò)Trap機(jī)制主動(dòng)向SM報(bào)告拓?fù)涓淖儭?子網(wǎng)探測(cè),.,17,子網(wǎng)發(fā)現(xiàn)的過(guò)程：子網(wǎng)啟動(dòng)時(shí)，SM發(fā)送包含Get方法的直接路由SMP，SMA收到后會(huì)響應(yīng)一個(gè)SMP，從而找到一個(gè)新的節(jié)點(diǎn)，然后SM通過(guò)這個(gè)新節(jié)點(diǎn)向外輻射只到找到所有的設(shè)備。,子網(wǎng)探測(cè)子網(wǎng)發(fā)現(xiàn),.,18,對(duì)于一個(gè)已經(jīng)初始化的子網(wǎng)，如果SM發(fā)現(xiàn)某一個(gè)交換機(jī)的一個(gè)端口的狀態(tài)從DOWN變?yōu)閁P，則說(shuō)明有設(shè)備加入到子網(wǎng)中。,子網(wǎng)探測(cè)增加設(shè)備,.,19,對(duì)于一個(gè)已經(jīng)初始化的子網(wǎng)，如果SM發(fā)現(xiàn)某一個(gè)交換機(jī)的一個(gè)端口的狀態(tài)從UP變?yōu)镈OWN，則說(shuō)明有設(shè)備從子網(wǎng)中移除。,子網(wǎng)探測(cè)刪除設(shè)備,.,20,LID（16位）由SM分配，在子網(wǎng)內(nèi)唯一，不能在子網(wǎng)間使用LID地址空間分為保留空間，單播地址空間，組播地址空間LID在LRH（本地路由報(bào)頭）中使用由于子網(wǎng)中兩個(gè)節(jié)點(diǎn)中存在多條路徑，可以通過(guò)在目的節(jié)點(diǎn)上綁定多個(gè)LID實(shí)現(xiàn)，每條路徑使用一個(gè)LID。為了簡(jiǎn)化實(shí)現(xiàn)方式，LID的分配采用baselid+LMC的方式，baselid最后LMC位必須為0例：baselid=4，LMC=2，則分配的LID4,7,LID性質(zhì),.,21,在規(guī)范中，并沒(méi)有規(guī)定LID的分配規(guī)則，只要滿足上述的性質(zhì)即可。具體實(shí)現(xiàn)時(shí)，LID的分配與特定的路由算法有關(guān)。最簡(jiǎn)單的分配方式是按照設(shè)備的發(fā)現(xiàn)順序，從1開始連續(xù)分配。,LID分配,.,22,路由計(jì)算主要是指SM在得到子網(wǎng)拓?fù)湟院?，確定每?jī)蓚€(gè)節(jié)點(diǎn)之間的路徑的過(guò)程。SM將這個(gè)計(jì)算結(jié)果以轉(zhuǎn)發(fā)表的形式發(fā)布給交換機(jī)，使數(shù)據(jù)包沿著計(jì)算好的路徑傳遞。轉(zhuǎn)發(fā)表是一個(gè)LID,PORT組成的表，交換機(jī)接收到一個(gè)LID路由的數(shù)據(jù)包時(shí)，通過(guò)查找目的LID對(duì)應(yīng)的表項(xiàng)，從而確定應(yīng)該從那個(gè)端口轉(zhuǎn)發(fā)這個(gè)數(shù)據(jù)包。,路由計(jì)算,.,23,OpenSM支持的功能特點(diǎn)開放源代碼代碼使用C語(yǔ)言編寫，面向?qū)ο蟮乃枷肭揖哂锌蓴U(kuò)展性程序內(nèi)含由Robodoc編寫的說(shuō)明文檔可方便用于其他平臺(tái)和InfiniBand接口，當(dāng)前運(yùn)行在linux用戶空間之上支持SM的主要特性，包括多路徑傳輸、子網(wǎng)分區(qū)、多點(diǎn)傳送組和SM選舉機(jī)制等在任何拓?fù)浣Y(jié)構(gòu)中，保證兩個(gè)端節(jié)點(diǎn)間的最佳路徑支持通用的子網(wǎng)查詢方便傳送各個(gè)層的各種類型的管理數(shù)據(jù)報(bào)MADOpenSM不支持的功能特點(diǎn)不支持交換機(jī)的隨機(jī)路由轉(zhuǎn)發(fā)表不支持子網(wǎng)間的路由不支持完整的SA詢問(wèn)機(jī)制不支持虛擬通道機(jī)制不支持GUI,OpenSM總體介紹,.,24,OpenSM采用面向?qū)ο蟮乃枷?，將Infiniband網(wǎng)絡(luò)中的現(xiàn)實(shí)事物抽象成程序中的一系列類（結(jié)構(gòu)），例如節(jié)點(diǎn)，交換機(jī)，端口，SM，分區(qū)等。這些現(xiàn)實(shí)事物之間的關(guān)聯(lián)在通過(guò)類與類之間的關(guān)系反映出來(lái)。例如，在一個(gè)節(jié)點(diǎn)對(duì)象中包含若干個(gè)端口對(duì)象，每個(gè)端口對(duì)象又指向另一個(gè)端口對(duì)象，另一個(gè)端口對(duì)象可能是屬于某各交換機(jī)對(duì)象的。,OpenSM數(shù)據(jù)模型（對(duì)象模型）,.,25,OpenSM數(shù)據(jù)模型層次,.,26,Subnet類是OpenSM中保存子網(wǎng)信息的一個(gè)類，最重要的就是子網(wǎng)的拓?fù)湫畔?。在Subnet類中保存了子網(wǎng)中所有CA，交換機(jī)，路由器的信息，以及這些節(jié)點(diǎn)的端口的連接信息（拓?fù)洌?。子網(wǎng)的初始化和運(yùn)行一個(gè)重要部分就是構(gòu)造和維護(hù)Subnet類：子網(wǎng)啟動(dòng)以后，SM每發(fā)現(xiàn)一個(gè)設(shè)備，就構(gòu)造一個(gè)對(duì)應(yīng)的類，并將這個(gè)類加入到Subnet類中；子網(wǎng)運(yùn)行過(guò)程中，SM也會(huì)根據(jù)子網(wǎng)的變化同步Subnet類，使得Subnet類中的拓?fù)浜蛯?shí)際拓?fù)浔３忠恢隆Ｗ泳W(wǎng)的配置也是根據(jù)Subnet類中保存的信息綜合以后進(jìn)行的，例如每個(gè)交換機(jī)的轉(zhuǎn)發(fā)表就是根據(jù)Subnet中的拓?fù)湫畔⑸傻摹?OpenSM數(shù)據(jù)模型Subnet類,.,27,OpenSM運(yùn)行模型,.,28,從外界獲取程序運(yùn)行所需的配置參數(shù)創(chuàng)建各種數(shù)據(jù)結(jié)構(gòu)，如日志對(duì)象，Opensm對(duì)象，sm對(duì)象，子網(wǎng)對(duì)象，以及用于保存程序運(yùn)行信息的圖表，如節(jié)點(diǎn)表，交換機(jī)表等。初始化各對(duì)象，如根據(jù)參數(shù)設(shè)置對(duì)象屬性，初始化相關(guān)的定時(shí)器，線程，信號(hào)等。創(chuàng)建發(fā)送線程，接收線程，掃描線程，分配器工作線程等。循環(huán)等待，直到程序遇到結(jié)束標(biāo)志。,程序基本流程,.,29,.,30,發(fā)現(xiàn)子網(wǎng)分配LID構(gòu)造每個(gè)交換機(jī)的LID矩陣構(gòu)造每個(gè)交換機(jī)的轉(zhuǎn)發(fā)表將轉(zhuǎn)發(fā)表分發(fā)到對(duì)應(yīng)的交換機(jī)將端口置為準(zhǔn)備狀態(tài)將端口置為活動(dòng)狀態(tài),子網(wǎng)配置過(guò)程,.,31,發(fā)送一個(gè)直接路徑長(zhǎng)度為0的SMP，獲取本地的節(jié)點(diǎn)信息。發(fā)送直接路徑長(zhǎng)度為1的SMP，如果SM所在節(jié)點(diǎn)為CA或路由器，則只需要發(fā)送一個(gè)，如果節(jié)點(diǎn)為交換機(jī)，則需要構(gòu)造多個(gè)SMP，每個(gè)SMP的直接路徑為交換機(jī)的一個(gè)活動(dòng)端口。當(dāng)收到響應(yīng)時(shí)，判斷響應(yīng)節(jié)點(diǎn)是否是新設(shè)備，如果是新設(shè)備，則繼續(xù)向外探測(cè)，直到?jīng)]有新的設(shè)備發(fā)現(xiàn)為止（子網(wǎng)發(fā)現(xiàn)完成）。,發(fā)現(xiàn)子網(wǎng)子網(wǎng)啟動(dòng),.,32,向每個(gè)交換機(jī)發(fā)送包含Get方法的SMP，更新每個(gè)交換機(jī)的信息。對(duì)于每個(gè)交換機(jī)的每個(gè)端口：如果端口的狀態(tài)不是down，但是這個(gè)端口不指向一個(gè)端口，說(shuō)明子網(wǎng)中新加入了設(shè)備，構(gòu)造一個(gè)直接路由SMP（包含一段LID路由）獲取這個(gè)端口連接的節(jié)點(diǎn)信息。如果發(fā)現(xiàn)有交換機(jī)的端口狀態(tài)發(fā)生改變（拓?fù)涓淖儯?，程序?huì)重新掃描整個(gè)網(wǎng)絡(luò)。掃描完成后，還會(huì)刪除一些丟失的節(jié)點(diǎn)。,子網(wǎng)探測(cè)子網(wǎng)啟動(dòng)后,.,33,所有已分配的LID保存在PORT_LID_TBL表中，端口的GUID和LID的映射表保存在GUID_TO_LID_TBL表中。若端口的GUID在GUID_TO_LID_TBL表中已經(jīng)存在，則表明已經(jīng)分配過(guò)LID，不需要再分配LID。在PORT_LID_TBL中尋找一個(gè)足夠大小的區(qū)間（如果LMC0,每一個(gè)端口需要分配多于一個(gè)LID），分配這一段LID，更新PORT_LID_TBL和GUID_TO_LID_TBL，然后設(shè)置端口的PORTINFO中的LID字段。,LID分配,.,34,Minhop最小跳數(shù)算法（默認(rèn)路由算法）UpdnUp/down算法Ftree胖樹算法Lash算法從文件中加載路由表Dor算法,OpenSM支持的路由算法,.,35,每個(gè)交換機(jī)對(duì)象中都存有一個(gè)LIDMATRIX對(duì)象，LIDMATRIX中保存交換機(jī)從它的某個(gè)端口到達(dá)某個(gè)LID的最小距離LIDMATRIX中只表示交換機(jī)和交換機(jī)之間的連接，先忽略CA和路由器。在OpenSM中LIDMATRIX使用一個(gè)二維的hops矩陣表示路由算法分兩步執(zhí)行：構(gòu)造LID矩陣build_lid_matrices構(gòu)造轉(zhuǎn)發(fā)表ucast_build_fwd_tables,LID矩陣&路由算法,.,36,LID矩陣的內(nèi)容在最初都是NO_PATH，即通過(guò)交換機(jī)的任何一個(gè)端口不能到達(dá)任何一個(gè)LID交換機(jī)到達(dá)自身的端口0（管理端口）的LID的距離是0，交換機(jī)到達(dá)和自己相連的交換機(jī)的端口0的LID的距離是1.交換機(jī)通過(guò)鄰居交換機(jī)學(xué)習(xí)到更遠(yuǎn)的鄰居的信息類似于路由協(xié)議中的距離矢量算法，LID矩陣的構(gòu)造需要經(jīng)過(guò)若干次迭代才能達(dá)到穩(wěn)定狀態(tài)（收斂）。,LID矩陣的構(gòu)造（以minhop為例）,.,37,LID矩陣的構(gòu)造,Sw1的LID矩陣中保存的通過(guò)端口1到sw3的距離是10跳然后sw1通過(guò)鄰居sw2，知道sw2到達(dá)sw3最少可以只要5跳因此sw1實(shí)際上之需要6跳就可以到達(dá)sw3此時(shí)sw1會(huì)更新它的LID矩陣,.,38,LID矩陣構(gòu)造實(shí)例,每個(gè)物理端口都有一個(gè)LID每個(gè)交換機(jī)也有一個(gè)LID每個(gè)交換機(jī)的LID矩陣中的LID只有3個(gè)交換機(jī)的LID例如交換機(jī)2的LID矩陣：經(jīng)端口1不能到達(dá)任何交換機(jī)經(jīng)端口2到達(dá)LID_SW1的距離是1，到達(dá)自身的距離是0，不能到達(dá)交換機(jī)3經(jīng)端口3到達(dá)LID_SW3的距離是1，到達(dá)自身的距離是0，不能到達(dá)交換機(jī)1,.,39,轉(zhuǎn)發(fā)表的構(gòu)造,物理端口數(shù)總共有10個(gè)，每個(gè)端口對(duì)應(yīng)一個(gè)LID每個(gè)交換機(jī)的轉(zhuǎn)發(fā)表中都要給出如何轉(zhuǎn)發(fā)這10個(gè)LID例如，交換機(jī)2如何轉(zhuǎn)發(fā)CA3的端口1對(duì)應(yīng)的LIDCA3不是交換機(jī)，所以其LID不在LID矩陣中，而CA3連接的交換機(jī)是交換機(jī)3，交換機(jī)3的LID是LID_SW3（不是交換機(jī)某個(gè)端口的LID）在交換機(jī)的LID矩陣中可以知道到達(dá)交換機(jī)3最近的端口是端口3,.,40,得到從SM到交換機(jī)的直接路徑上一步得到的是交換機(jī)的整個(gè)轉(zhuǎn)發(fā)表，每次set方法只能傳輸64字節(jié)，需要多次set交換機(jī)內(nèi)部的轉(zhuǎn)發(fā)表按照64字節(jié)的大小分塊，因此實(shí)際上每次set方法都是設(shè)置交換機(jī)轉(zhuǎn)發(fā)表的一個(gè)塊,設(shè)置交換機(jī)的轉(zhuǎn)發(fā)表,.,41,胖樹結(jié)構(gòu)是互連已知硬件數(shù)量的一種通用方法。胖樹相對(duì)傳統(tǒng)樹，越靠近根部帶寬越大。如果要使網(wǎng)絡(luò)是非阻塞的，每層的總帶寬都要相同。a）傳統(tǒng)的樹，b)胖樹,胖樹結(jié)構(gòu)（1）,.,42,胖樹結(jié)構(gòu)（2）,.,43,在OpenSM中，任何路由算法都由兩步完成，建立LID矩陣和構(gòu)造轉(zhuǎn)發(fā)表。在Ftree算法中：LID矩陣的建立過(guò)程實(shí)際上就是胖樹的構(gòu)造過(guò)程。構(gòu)造轉(zhuǎn)發(fā)表過(guò)程是根據(jù)已經(jīng)構(gòu)造好的胖樹結(jié)構(gòu)生成各個(gè)交換機(jī)的轉(zhuǎn)發(fā)表，然后設(shè)置各個(gè)交換機(jī)的轉(zhuǎn)發(fā)表屬性。,Ftree算法,.,44,1.初始化數(shù)據(jù)結(jié)構(gòu)（初始化胖樹網(wǎng)絡(luò)結(jié)構(gòu)）2.向胖樹中加入交換機(jī)和CA3.讀取GUID文件4.開始將胖樹中的交換機(jī)進(jìn)行排名5.向胖樹中加入端口6.建立交換機(jī)索引表7.建立葉交換機(jī)數(shù)組（按索引）,胖樹構(gòu)造,.,45,主要屬性：HCA表交換機(jī)表計(jì)算節(jié)點(diǎn)CN的GUID表葉交換機(jī)等級(jí)每個(gè)葉交換機(jī)最多連接的計(jì)算節(jié)點(diǎn)數(shù)目,Opensm：胖樹網(wǎng)絡(luò)結(jié)構(gòu),.,46,對(duì)于Node_GUID表中的任何一個(gè)元素：如果Node的類型為CA，則將這個(gè)節(jié)點(diǎn)加入到CA表中如果類型是交換機(jī)，則將這個(gè)節(jié)點(diǎn)加入到SW表中,加入交換機(jī)和CA,.,47,對(duì)于HCA表中的每個(gè)CA：如果與這個(gè)CA相連的是一個(gè)交換機(jī)（葉交換機(jī)），則更新這個(gè)交換機(jī)的rank值為0，并將這個(gè)交換機(jī)加入到廣度優(yōu)先的隊(duì)列中（供以后為其它交換機(jī)排名時(shí)使用）。再?gòu)膹V度優(yōu)先隊(duì)列中的交換機(jī)開始繼續(xù)排名：采用廣度優(yōu)先算法遍歷胖樹，不斷將沒(méi)有排名的交換機(jī)加入到廣度優(yōu)先隊(duì)列中；rank值按層次遞增遍歷完成后，得到最大的rank值最后修正rank值：0-max_rank,max_rank-0,交換機(jī)排名-從HCA開始排名,.,48,HCA維護(hù)到每個(gè)相連交換機(jī)LID的up_port_group（連接幾個(gè)交換機(jī)，就有幾個(gè)up_port_group），HCA上連接到同一個(gè)交換機(jī)的多個(gè)端口在同一個(gè)up_port_group中。對(duì)于每個(gè)HCA：對(duì)于每個(gè)物理端口：如果這個(gè)端口連接的是一個(gè)交換機(jī)節(jié)點(diǎn)：將這個(gè)端口加入到HCA的某個(gè)端口組中。,加入端口（1）,.,49,每個(gè)交換機(jī)維護(hù)到每個(gè)相連的上層節(jié)點(diǎn)的up_port_group,每個(gè)相連的下層節(jié)點(diǎn)的down_port_group，每個(gè)端口加入到相應(yīng)的端口組中對(duì)于每個(gè)交換機(jī)：對(duì)于每個(gè)物理端口：如果這個(gè)端口連接的是一個(gè)HCA：則這個(gè)端口加入到某個(gè)down_port_group中如果這個(gè)端口連接的是一個(gè)交換機(jī)：如果本地交換機(jī)的rank值較大（下層連上層），則這個(gè)端口加入到某個(gè)up_port_group中反之（上層連下層）。,加入端口（2）,.,50,在交換機(jī)表中找到第一個(gè)葉交換機(jī)，作為算法的起點(diǎn)，給這個(gè)交換機(jī)初始化一個(gè)元組。使用廣度優(yōu)先算法遍歷胖樹對(duì)于每一個(gè)交換機(jī)：指向下層的端口：如果端口連接的是一個(gè)沒(méi)有分配元組的交換機(jī)，則給這個(gè)交換機(jī)