Centos網(wǎng)絡(luò)Team+橋接Bridge配置和排錯(cuò)

1、Centos網(wǎng)絡(luò)Team林喬接Bridge配置和排錯(cuò) 第1章引言 在數(shù)據(jù)中心DC-center中，服務(wù)器利用多網(wǎng)口做聚合是必不可不的一步。Centos7開(kāi)始采用網(wǎng)絡(luò)絡(luò)Team的概念，相較于網(wǎng)絡(luò)綁定Bonding更具優(yōu)勢(shì)。對(duì)比如下： 功能 綁定 成組 多播Tx策略 是 是 輪詢Tx策略 是 是 active-backupTx策略 是 是 LACP(802.3ad)支持 是（僅適用于passive） 是 基于哈希字符的Tx策略 是 是 用戶可設(shè)定哈希功能 否 是 Tx負(fù)裁平衡支持（TLB） 是 是 LACP合希端口選擇 是 是 用于LACPJ持的負(fù)裁平衡 否 是 Ethtool鏈接監(jiān)控 是 是 A

2、RP接監(jiān)控 是 是 NS/NA(IPv6)鏈接監(jiān)控 否 是 端口啟動(dòng)/斷開(kāi)延遲 是 是 端口優(yōu)先權(quán)及粘性（“主要”選項(xiàng)加強(qiáng)） 否 是 根據(jù)端口鏈接進(jìn)行獨(dú)立監(jiān)控的設(shè)置 否 是 多鏈接監(jiān)控設(shè)置 有限監(jiān)控 是 無(wú)鎖Tx/Rx路徑 無(wú)(rwlock) 有(RCU) VLANJ持 是 是 用戶空間運(yùn)行時(shí)控制 有限監(jiān)控 全回控制 用戶空間邏輯 否 是 延展性 困難 容易 模塊設(shè)計(jì) 否 是 性能 開(kāi)銷低 非常低 D-Bus接口 否 是 多設(shè)備堆疊 是 是 使用LLDP進(jìn)行零配置 否 （計(jì)劃中） NetworkManager支持 是 是 第2章網(wǎng)絡(luò)組Teaming設(shè)置 RedHatLinux7/Centeos

3、7推薦采用Teaming方式進(jìn)行服務(wù)器端口聚合。 網(wǎng)絡(luò)成組或成組旨在通過(guò)提供小內(nèi)核驅(qū)動(dòng)程序，以便使用不同的方法應(yīng)用這個(gè)概念，實(shí)現(xiàn) 數(shù)據(jù)包流的快速處理，并讓各種用戶空間應(yīng)用程序在用戶空間執(zhí)行各種任務(wù)。 2.12.1 TeamTeam 的五種模式 broadcast（可將數(shù)據(jù)傳送到所有端口） round-robin（可按順序?qū)?shù)據(jù)傳送到所有端口） active-backup（使用一個(gè)端口或鏈接時(shí)其他則處于備用狀態(tài)）loadbalance（使用主動(dòng)Tx負(fù)載平衡及基于BPF的Tx端口選擇程序）lacp（采用802.3ad鏈接合并控制協(xié)議） 此外還可使用以下鏈接監(jiān)視程序： ethtool（Libteam

4、lib使用ethtool監(jiān)視鏈接狀態(tài)變化）。若沒(méi)有在配置中指 定其他鏈接監(jiān)控程序，則默認(rèn)使用該程序。 arp_ping（使用arp_ping程序監(jiān)控使用ARP數(shù)據(jù)包的遠(yuǎn)端硬件地址狀態(tài)。）nsna_ping（使用IPv6鄰居發(fā)現(xiàn)協(xié)議中的的鄰居播發(fā)和鄰居請(qǐng)求給你監(jiān)控鄰居的接口狀態(tài)。） 注：使用lacp運(yùn)行程序時(shí)，只推薦使用ethtool鏈接監(jiān)視程序。 2.22.2 使用 nmclinmcli 酉己置 TeamTeam 推薦采用nmcli配置Team可有效避免各種坑。 說(shuō)明：以下配置物理連線為enp175s0f0、enp175s0f1分別連到兩臺(tái)交換機(jī)，其交換機(jī)端口劃分為同一vlan,由于采用act

5、ive-backup模式，不需做端口聚合。交換機(jī)配置如下： dispcuintg0/0/4# interfaceGigabitEthernet0/0/4 descriptionfuwuqi_4portlink-typeaccessportdefaultvlan100 # return dispcuintg1/0/4# interfaceGigabitEthernet1/0/4 descriptionfuwuqi_4 portlink-typeaccess portdefaultvlan100# return dispcuintVlanif100# interfaceVlanif100 desc

6、riptiongateway_servers ipaddress10.100.100.1255.255.255.128 #return注： 經(jīng)測(cè)試， 采用round-robin必須在交換機(jī)端做靜態(tài)聚合， 采用lacp必須在交換機(jī)做lacp動(dòng)態(tài)聚合，采用active-backup不需在交換機(jī)端做聚合，直接劃入同一vlan即可，采用loadbalance做靜態(tài)聚合或者直接劃入同一vlan均可。 3 查看系統(tǒng)中的可用設(shè)備 #nmclidevst DEVICETYPESTATECONNECTION enp175s0f0ethernetconnectedenp175s0f0 enp175s0f1ethe

7、rnetconnectedenp175s0f1 enp175s0f2ethernetunavailable- enp175s0f3ethernetunavailable- -#nmcliconsh NAMEUUIDTYPEDEVICE enp175s0f0d2d68553-f97e-7549-7a26-b34a26f29322ethernet enp175s0f0 enp175s0f1ba4eb250-548e-4400-823f-c48ff5c62d72ethernet enp175s0f1 enp175s0f20dcecb19-fc6f-4019-842f-7b7da186734eethe

8、rnet- enp175s0f3890f3efc-620b-4b88-b395-2ec5af31ae6fethernet- 3 刪除多余連接 在配置前，先刪除enp175s0f0、enp175s0f1的連接，以免與后面配置的team沖突。 nmclicondownenp175s0f0nmclicondelenp175s0f0 nmclicondelenp175s0f1 3 新建網(wǎng)絡(luò)組team0 nmcliconaddtypeteamcon-nameteam0ifnameteam0configrunner: name:activebackup nmcliconmodifyteam0ipv4.me

9、thodmanual 自動(dòng)生成ifcfg-team0 #catifcfg-team0 TEAM_CONFIG=runner:name:activebackup PROXY_METHOD=none BROWSER_ONLY=no DEFROUTE=yes IPV4_FAILURE_FATAL=no NAME=team0 UUID=5d33f2ad-2051-45cb-8967-101c12706cd7 DEVICE=team0 ONBOOT=yes DEVICETYPE=Team 3 為team0配置ip地址 nmcliconmodifyteam0ipv4.addresses10.253.100

10、.29/26ipv4.gateway 10.253.100.1ipv4.dns114.114.114.114ipv4.methodmanual 2.2.5添加成員接口nmcliconaddtypeteam-slavecon-nameteam0-port1ifnameenp175s0f0masterteam0 nmcliconaddtypeteam-slavecon-nameteam0-port2ifnameenp175s0f1masterteam0 自動(dòng)生成ifcfg-team0-port1,ifcfg-team0-port2 完整配置如下： #catifcfg-team0-port1 NAM

11、E=team0-port1 UUID=ec03fa07-2e88-4031-9cec-febac41ff9d3 DEVICE=enp175s0f0 ONBOOT=yes TEAM_MASTER=team0 DEVICETYPE=TeamPort #catifcfg-team0-port2 NAME=team0-port2 UUID=a75bf1c3-549b-4b34-919f-43515dd149a4 DEVICE=enp175s0f1 ONBOOT=yes TEAM_MASTER=team0 DEVICETYPE=TeamPort 2.2.6重啟網(wǎng)絡(luò) Systemctlrestartnet

12、work 2.32.3 在 team0team0 基礎(chǔ)上配置橋接 bridgebridge 模式 檢查系統(tǒng)是否加載bridge模塊 modinfobridge 修改team0配置 viifcfg-team0 注釋掉ip地址相關(guān)的部分 #IPADDR=10.253.100.22 #PREFIX=26 #GATEWAY=10.253.100.1 修改 BOOTPROTO=none 追加 BRIDGE=br0 完整配置如下： #catifcfg-team0 DEVICE=team0 ONBOOT=yes DEVICETYPE=Team #IPADDR=10.253.100.22 #PREFIX=26

13、 #GATEWAY=10.253.100.1 BRIDGE=br0 2.3.3新建橋接口br0 nmcliconmodifybr0ipv4.addresses10.253.100.29/26ipv4.gateway 10.253.100.1ipv4.dns114.114.114.114ipv4.methodmanual nmcliconmodifybr0bridge.forward-delay0 完成配置如下： #catifcfg-br0 DEVICE=br0 TYPE=Bridge UUID=d2d68553-f97e-7549-7a26-b34a26f29322 IPADDR=10.253

14、.100.22 PREFIX=26 GATEWAY=10.253.100.1 BOOTPROTO=none ONBOOT=yes DELAY=0 = 2.3.4重啟網(wǎng)絡(luò) Systemctlrestartnetwork 特別注意：使用ifcfg文件創(chuàng)建team0時(shí)，一定要增加 UUID=d2d68553-f97e-7549-7a26-b34a26f29322,且每臺(tái)月艮務(wù)器、每個(gè)ifcfg 配置文件的UUID不得重復(fù)。 第3章Team+Bridge問(wèn)題排查 問(wèn)題 1:1:網(wǎng)絡(luò)不通，網(wǎng)卡狀態(tài)未連接 常出現(xiàn)在配置文件中，輸錯(cuò)字母（如IPADDR俞入成LPADDR輸錯(cuò)順序（如GATEWAY輸入成GTA

15、EWAW,需要仔細(xì)檢查修改后，再重啟網(wǎng)絡(luò)即可。 問(wèn)題 2:2:服務(wù)器到網(wǎng)關(guān)不丟包，但服務(wù)器之間丟包嚴(yán)重 此種情況，親身經(jīng)歷的一種原因是，由于采用了直接修改網(wǎng)卡配置文件ifcfg 的方式，不同服務(wù)器的UUID沖突，造成服務(wù)器之間互ping丟包。通過(guò)命令nmcliconsh查看： Lroott L-Jiccnsh NAME i.UID TYPE. DEV1JE BridgebrO 由d第5電-乃49-7期6-羽32529支2 bride brO dod.erO baeb250-54B-4400-823f-c48ff5c62d72 bride dod tranD 5rl3?f2ad-2(ijl-45

16、cb-3967-lOlcl27O6cd7 team ITTT10 teaitiD-pmi ecO3f3O7-e8E-4D31-9cec-febajc41ffd3 ethernet enpl7Ss0f0 teanr)-pcrr：2 a75bflc3-549b-4b34-919f-515ddla4 ethernet enpl/SsOfl Virtr 555bdb3e-7a65-4e3a-a66d-33b4940cdc3C bHdge vlrbrO vnetD 69-le3bbD-792f-419b-b4S3-d472ae929ba5 tun vneto vretl 67137?7f-dil67-4

17、Fc4-9dbb-d69ec23a3480 tun vretl ridl蚪bW-J83d-4b8c-366-07ce81586cb tun vnetJ enp：75sC2 adcecbl9-r6f-4D19-B43f-7b7dalS6734 Ethernet ， enpl：75sOf3 ggQSefbbNObTibgB-bygF-huBaF31ae6f1 sthernat . UUID服務(wù)器間不能重復(fù)，特別需要注意team。、team0-port1、team0-port2。 問(wèn)題 3:3:服務(wù)器橋接模式，但服務(wù)器上的 kvmkvm 虛擬機(jī)不能 用 此種情況，是由于服務(wù)器默認(rèn)未開(kāi)啟網(wǎng)卡的混雜模式

18、，造成物理服務(wù)器可以ping通kvm虛擬機(jī)，虛擬機(jī)也可以能ping通宿主機(jī)，但是虛擬機(jī)ping不通網(wǎng)關(guān)。同一物理機(jī)上的kvm虛擬機(jī)相互可以ping通，且在交換機(jī)上可以看到虛擬機(jī)的arp表項(xiàng)。 采用如下命令，修改后虛擬機(jī)即可上網(wǎng)，即可ping通網(wǎng)關(guān)： iplinksetenp175s0f0promiseon 此問(wèn)題想了很久都沒(méi)有找出來(lái)，突然一天想到是不是與網(wǎng)口的模式有關(guān)，修改為 混雜模式后問(wèn)題解決。 注：需注意此命令需要加入開(kāi)機(jī)自啟項(xiàng)，在linux/etc/profile最后追加。 #vi/etc/profile #追加 iplinksetenp175s0f0promiseon iplinkse

19、tenp175s0f1promiseonwq保存退出，重啟生效。 第4章網(wǎng)絡(luò)綁定Bonding設(shè)置 為了大家理解bonding與team的差異，在此列出bonding的配置方法，以供參考。 綁定是由bonding內(nèi)核模塊和名為頻道綁定接口的特殊網(wǎng)絡(luò)接口生成。 注：ctive-backup、balance-tlb和balance-alb模式不需要交換機(jī)的任何特 殊配置。其他綁定模式需要配置交換機(jī)以便整合鏈接。 檢查是否已安裝Bonding內(nèi)核模塊 在RedHatEnterpriseLinux7/Centos7中默認(rèn)載入bonding模塊。 請(qǐng)使用以下命令顯示該模塊的信息： modinfobond

20、ing 創(chuàng)建綁定接口bonding 請(qǐng)?jiān)?etc/syscon巾g/network-scripts/目錄中創(chuàng)建名為ifcfg-bondN的文 件，使用接口號(hào)碼替換N,比如0。 可根據(jù)要綁定接口類型的配置文件編寫(xiě)該文件的內(nèi)容，比如以太網(wǎng)接口。最主要 的區(qū)別是DEVICE指令是bondN（使用接口號(hào)碼替換N）和TYPE=Bond此外還設(shè)置BONDING_MASTER=yesifcfg-bond0接口配置文件示例: DEVICE=bond0 NAME=bond0 TYPE=Bond BONDING_MASTER=yesIPADDR=192.168.1.1 PREFIX=24 ONBOOT=yesBO

21、OTPROTO=noneBONDING_OPTS）ofndingparametersseparatedbyspaces 必須在ifcfg-bondN接口文件的BONDING_OPTS=bondingparameters指令中，使用以空格分開(kāi)的列表指定bonding內(nèi)核模塊。請(qǐng)不要在/etc/modprobe.d/bonding.conf文件或棄用的/etc/modprobe.conf文件中為綁定設(shè)備指定選項(xiàng)。 max_bonds參數(shù)不是具體接口的參數(shù)，且不應(yīng)在使用BONDING_OPTSt令的 ifcfg-bondN文件中設(shè)定，因?yàn)檫@個(gè)指令會(huì)讓網(wǎng)絡(luò)腳本根據(jù)需要?jiǎng)?chuàng)建綁定接口。 4.3Bondin

22、g參數(shù)設(shè)置 4.3.1mode=value（bonding的六種模式） 允許您指定綁定的策略。value可為以下之一： balance-rr或者0為容錯(cuò)及負(fù)載平衡設(shè)定輪詢機(jī)制。從第一個(gè)可用的綁定從屬接口開(kāi)始按順序接收和發(fā)送傳輸數(shù)據(jù)。 active-backup或者1為容錯(cuò)設(shè)定active-backup策略。通過(guò)第一個(gè)可用的綁定從屬接口接收和發(fā)送傳輸文件。只有在活動(dòng)的綁定從屬接口失敗時(shí)才使用其他綁定從屬接口。 balance-xor或者2一只根據(jù)所選哈希策略傳輸數(shù)據(jù)。默認(rèn)為使用源的XOR 和目標(biāo)MAC地址與從屬接口數(shù)的余數(shù)相乘生成哈希。在這個(gè)模式中，指向具體對(duì)等接口的模式流量總是使用同一接口發(fā)送

23、。因?yàn)槟繕?biāo)是由MAC地址決定，因此這個(gè)方法最適合相同鏈接或本地網(wǎng)絡(luò)的對(duì)等接口流量。如果流量必須通過(guò)單一路由器，那么這個(gè)流量平衡模式將是次選模式。 broadcast或者3為容錯(cuò)設(shè)定廣播策略?？稍谒袕膶俳涌谥袀鬏斔袛?shù)據(jù)。 802.3ad或者4設(shè)定IEEE802.3ad動(dòng)態(tài)鏈接聚合策略。 創(chuàng)建一個(gè)共享同一速度和雙工設(shè)置的聚合組。在所有活躍聚合器中傳輸和接受數(shù)據(jù)。需要兼容802.3ad的交換機(jī)。 balance-tlb或者5-為容錯(cuò)及負(fù)載平衡設(shè)定傳輸負(fù)載平衡（TLB）策略。傳出流量會(huì)根據(jù)每個(gè)從屬接口的當(dāng)前負(fù)載分布。傳入流量由當(dāng)前從屬接口接收。如 果接收數(shù)據(jù)從屬接口失敗，另一個(gè)從屬接口會(huì)接管失敗從

24、屬接口的MAC地址。 這個(gè)模式只適用于內(nèi)核綁定模式了解的本地地址，因此無(wú)法在橋接后的虛擬機(jī)中 使用。 balance-alb或者6為容錯(cuò)及負(fù)載平衡設(shè)定自適應(yīng)負(fù)載平衡（ALB）策略，包括用于IPv4流量的傳輸及接收負(fù)載平衡。使用ARP協(xié)商獲得接收負(fù)載平衡。這個(gè)模式只適用于內(nèi)核binding模塊了解的本地地址，因此無(wú)法在橋接后的虛擬機(jī)中使用。 4.3.2arp_interval=time_in_milliseconds 以毫秒為單位指定ARP監(jiān)控的頻繁度。 默認(rèn)將這個(gè)數(shù)值設(shè)定為0,即禁用該功能。 注：如果在mode=0或者mode=2（兩種負(fù)載平衡模式）中使用這個(gè)設(shè)置，則必須配置網(wǎng)絡(luò)交換機(jī)，以便使

25、用網(wǎng)卡平均發(fā)送數(shù)據(jù)包。 4.3.3arp_ip_target=ip_address,ip_address_2,ip_address_16啟用arp_interval參數(shù)后， 指定ARP請(qǐng)求的目標(biāo)IP地址。在使用逗號(hào)分開(kāi)的列表中最多可指定16個(gè)IP地址。 4.3.4downdelay=time_in_milliseconds 以毫秒為單位指定從鏈接失敗到禁用該鏈接前要等待的時(shí)間。該值必須是 miimon參數(shù)中的多個(gè)數(shù)值。默認(rèn)將其設(shè)定為0,即禁用該功能。 4.3.5fail_over_mac=value 指定active-backup模式是否應(yīng)該將所有從屬連接設(shè)定為使用同一MAC地址作為ensla

26、vement（傳統(tǒng)行為），或在啟用時(shí)根據(jù)所選策略執(zhí)行綁定MAC地址的特殊處理?？赡苤禐椋?none或0-默認(rèn)設(shè)置。這個(gè)設(shè)置禁用fail_over_mac,并造成在enslavement時(shí)間內(nèi)將所有active-backup綁定的從屬連接綁定到同一MAC地址。 active或者1“activefail_over_mac策略表示綁定的MAC地址應(yīng)永遠(yuǎn)是目前活動(dòng)從屬連接的MAC地址。 從屬連接的MAC地址不會(huì)更改， 但在故障轉(zhuǎn)移過(guò)程中會(huì)更改綁定的MAC地址。 這個(gè)策略對(duì)永遠(yuǎn)無(wú)法更改其MAC地址的設(shè)備， 或拒絕使用其自主源MAC地址傳入多播的設(shè)備（影響ARP監(jiān)控）很有幫助。這個(gè)策略的缺點(diǎn)是該網(wǎng)絡(luò)中的每

27、個(gè)設(shè)備必須通過(guò)免費(fèi)ARP更新，這與切換snoop傳入流量以便更新其ARP表的常規(guī)方法相反。如果免費(fèi)ARP鏈接丟失，則可能破壞通訊。 使用這個(gè)策略同時(shí)采用MII監(jiān)控時(shí)，在可真正傳輸并接受數(shù)據(jù)前就聲明鏈接處 于up狀態(tài)的設(shè)備很可能會(huì)丟失免費(fèi)ARP,并可能需要設(shè)置正確的呼叫建立延遲 （updelay）。 follow或者2“followfail_over_mac策略可保證正常選擇綁定的MAC地址 （通常是綁定的第一從屬鏈接的MAC地址） 。 但第二從屬連接及之后的從屬連接不適用這個(gè)MAC地址，雖然他們是備份角色；故障轉(zhuǎn)移時(shí)從屬連接是使用綁定的MAC地址編程（之前活動(dòng)的從屬連接接收新激活的從屬M(fèi)AC地

28、址）。 這個(gè)策略對(duì)使用同一MAC地址編程時(shí)變得混亂或發(fā)生性能損失的多端口設(shè)備有 幫助。 4.3.6miimon=time_in_milliseconds 以毫秒為單位指定MII鏈接監(jiān)控的頻率。這在需要高可用性時(shí)有用，因?yàn)镸II是用來(lái)驗(yàn)證網(wǎng)卡是否激活。 4.3.7primary=interface_name 指定主設(shè)備的接口名稱，比如eth0o主設(shè)備是要使用的第一個(gè)綁定接口，且在其失敗前不會(huì)放棄。當(dāng)綁定接口的一個(gè)網(wǎng)卡較快并可處理較大負(fù)載時(shí)，這個(gè)設(shè)置 特別有幫助。 只有在綁定接口處于active-backup模式時(shí)這個(gè)設(shè)置才有用。 4.3.8updelay=time_in_milliseconds

29、 以毫秒為單位指定啟用某個(gè)鏈接前要等待的時(shí)間。該數(shù)值必須是在miimon參數(shù) 值指定值的倍數(shù)。默認(rèn)設(shè)定為0,即禁用該參數(shù)。 創(chuàng)建從屬接口 頻道綁定接口是“主”接口， 同時(shí)要綁定的接口是“從屬”接口。 創(chuàng)建頻道綁定接口后，必須在從屬接口的配置文件中添加MASTERSSLAVE指令，以便配置 要綁定在一起的接口。每個(gè)從屬接口的配置文件都幾乎一樣。 從屬接口配置文件示例 例如：將兩個(gè)以太網(wǎng)接口eth0和ethl以頻道方式綁定，它們可類似如下： DEVICE=etN NAME=bond0-slave TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes 在這個(gè)示例中，使用該接口的數(shù)字值替換N。注：如果某個(gè)接口有一個(gè)以上配置文件，或配置文件中包含ONBOOT=yes則可能會(huì)產(chǎn)生彼此競(jìng)爭(zhēng)，同時(shí)激活普通的TYPE=Ethernet配置文件，而不是綁定從屬接口。 激活綁定接口 要激活綁定，則要啟動(dòng)所有從屬接口。請(qǐng)作為root運(yùn)行以下命令： #ifupifcfg-eth0 Connectionsuccessfullyactivated(D-Busactivepath: /org/fre