做園區(qū)網(wǎng)接入或者數(shù)據(jù)中心布線鏈路聚合是繞不開的基礎操作。我經(jīng)常被問到華為設備上LACP鏈路聚合到底怎么配尤其是兩臺交換機之間做二層互聯(lián)或者交換機接服務器雙網(wǎng)卡的時候。很多朋友一看eth-trunk命令會敲但遇到協(xié)商不成功、流量不均、故障切換不恢復就抓瞎。這篇文章就把華為設備上二層LACP聚合的配置思路、命令細節(jié)、驗證方法和常見坑一次性講清楚適合剛接觸華為交換機的網(wǎng)絡工程師也適合用eNSP做實驗或在準備HCIE認證的朋友參考。1. 為什么要用二層LACP聚合先把原理說清楚1.1 鏈路聚合解決什么問題鏈路聚合的核心是把多條物理鏈路捆綁成一個邏輯鏈路對外看起來是一個接口。這種技術最常見的三個價值是帶寬擴展、鏈路冗余、負載分擔。帶寬擴展很好理解兩條千兆鏈路聚合成一條邏輯口理論上轉發(fā)能力接近2Gbps鏈路冗余是指其中一條物理鏈路斷開時流量自動切到其他成員鏈路業(yè)務不中斷負載分擔是指流量會根據(jù)哈希算法分布在多條成員鏈路上避免一條鏈路打滿而另一條閑著。在網(wǎng)絡設計中聚合口還能簡化STP拓撲因為多條物理口被當成一個邏輯口參與生成樹計算不會因為兩條鏈路互連而產(chǎn)生環(huán)路。1.2 手工模式與LACP模式的區(qū)別華為交換機Eth-Trunk支持兩種主要模式手工負載分擔模式和LACP模式。手工模式就是把成員接口直接加入Eth-Trunk兩端設備都配置好鏈路就能聚合不管對端是不是華為設備只要對端也做了類似手工聚合。缺點是設備不會主動檢測對端是否真的支持聚合如果對端物理口沒加入聚合組或者配置錯誤本地可能依然顯示鏈路是Up的但業(yè)務不通。LACP模式則通過LACP協(xié)議Link Aggregation Control ProtocolIEEE 802.3ad與對端自動協(xié)商。設備之間交換LACPDU報文協(xié)商出哪些鏈路可以作為活動成員哪些鏈路作為備份成員甚至可以在多臺設備之間形成M:N備份關系。相比手工模式LACP模式更智能能自動感知對端配置是否匹配配置錯了通常能從協(xié)商狀態(tài)里看出來。華為設備上LACP模式對應的命令是mode lacp-static很多老工程師習慣叫“靜態(tài)LACP”。注意這里的“靜態(tài)”不是指鏈路固定而是指Eth-Trunk接口配置是靜態(tài)的LACP協(xié)議本身是動態(tài)協(xié)商的。在華為CE系列交換機上還有LACP動態(tài)模式但絕大多數(shù)S系列二層/三層交換機用的是lacp-static所以我的經(jīng)驗是以S系列為主。1.3 二層聚合和三層聚合的場景劃分鏈路聚合本身不分二三層但Eth-Trunk接口可以工作在二層也可以工作在三層。二層聚合就是Eth-Trunk接口作為二層交換口使用可以配置Access、Trunk或Hybrid屬性核心用途是交換機之間互聯(lián)、交換機接服務器、或接入層到匯聚層的多條鏈路捆綁。比如兩臺交換機需要透傳多個VLAN用兩條或多條物理鏈路做二層聚合比單條鏈路更可靠同時避免生成樹阻塞鏈路。三層聚合則是Eth-Trunk接口作為路由口使用直接配置IP地址通常用于三層互聯(lián)、VRF環(huán)境或數(shù)據(jù)中心東西向流量。判斷條件很簡單如果聚合口上要配IP就是三層聚合如果聚合口上要放VLAN、配trunk就是二層聚合。實際配置中很多人會混淆的一點是成員接口本身是二層口還是三層口。如果成員接口先被undo portswitch切換成了三層口再想加入二層Eth-Trunk就會報錯。所以做二層聚合之前要確保成員口是二層口這是一個非常關鍵的細節(jié)。2. 配置前的規(guī)劃五個參數(shù)先想明白2.1 Eth-Trunk編號與成員口選擇華為設備上一個Eth-Trunk接口由編號唯一標識例如Eth-Trunk 1、Eth-Trunk 10。編號范圍不同型號不一樣S5720系列一般支持0到511框式設備范圍更大。兩端設備的Eth-Trunk編號不需要完全一致因為LACP協(xié)商不依賴這個編號它只看系統(tǒng)優(yōu)先級、系統(tǒng)MAC、端口優(yōu)先級、端口號、操作Key這些信息。但強烈建議統(tǒng)一編號比如兩端都用Eth-Trunk 10這樣后期維護看配置時不用猜。成員口選擇有幾個硬性要求同一聚合組內(nèi)的成員口必須屬于同一類型都是千兆口或都是萬兆口速率和雙工模式盡量一致。華為多數(shù)設備允許不同速率成員口加入聚合但在LACP模式下速率不一致會導致低速率鏈路被降級為備份或者無法加入活動鏈路反而容易踩坑。所以規(guī)劃階段就把速率統(tǒng)一不要指望用不同速率的口做負載均衡。2.2 對端是什么設備交換機、服務器還是堆疊二層LACP聚合最常見的是交換機到交換機對端可以是華為、思科、H3C等任何支持LACP的設備配置思路一樣。這里要注意LACP模式兩端的角色可以是Active/Passive或Active/Active華為S系列mode lacp-static相當于主動協(xié)商對端如果是思科可以配置channel-group 1 mode active或mode passive只要一端主動就能協(xié)商起來。交換機對接服務器時服務器網(wǎng)卡必須啟用LACP模式Windows下叫TeamingLinux下叫bond/team的802.3ad模式。此時交換機端通常也是mode lacp-static。如果服務器網(wǎng)卡用的是靜態(tài)聚合比如Linuxbonding mode1做主備或mode2做負載均衡但不跑LACP那交換機端就不能用LACP模式要改成手工負載分擔模式mode manual load-balance否則協(xié)商永遠起不來。對接堆疊設備時聚合口如果涉及跨框成員口需要注意堆疊系統(tǒng)內(nèi)部處理是否有特殊約束。我的建議是凡是涉及跨設備/跨框聚合先看產(chǎn)品文檔中關于Eth-Trunk的跨框支持說明再決定成員口的分布。2.3 二層屬性設計Access還是Trunk二層Eth-Trunk的VLAN屬性只需要在Eth-Trunk邏輯接口上配置成員口不需要也不能單獨配置VLAN。原因很簡單成員口加入Eth-Trunk后二層轉發(fā)行為由邏輯口統(tǒng)一控制。如果在成員口上單獨配了VLAN或port link-type命令可能被拒絕或者在部分型號上會有警告業(yè)務流量會變得不可預測。接口類型的選擇要看需求。交換機互聯(lián)和服務器多VLAN接入建議用Trunk因為可以放通多個VLAN靈活度最高如果聚合口只承載一個VLAN且對端不需要帶Tag也可以配Access但我不推薦在這種場景下用Access因為后續(xù)擴VLAN又得改配置不如一開始就規(guī)劃好Trunk口放通所有需要的VLAN。Hybrid口當然也能做聚合但Hybrid的VLAN收發(fā)規(guī)則比較繞多人維護時容易出問題。為了避免排查困難我個人的經(jīng)驗是二層聚合接口要么用Trunk要么用Access少用Hybrid。2.4 LACP優(yōu)先級與活動鏈路上限LACP協(xié)商過程中兩臺設備會比較系統(tǒng)優(yōu)先級和端口優(yōu)先級數(shù)值越小優(yōu)先級越高。這個機制決定了哪一端有權決定哪些鏈路成為活動鏈路哪些鏈路進入備份狀態(tài)。系統(tǒng)LACP優(yōu)先級在系統(tǒng)視圖下配置命令是lacp priority默認32768接口LACP優(yōu)先級在接口視圖下配置命令也是lacp priority默認同樣是32768。當兩端都使用默認優(yōu)先級時會比較系統(tǒng)MAC地址MAC小的優(yōu)先級高。為了讓一端穩(wěn)定掌握協(xié)商主導權可以在核心側或匯聚側把系統(tǒng)優(yōu)先級調(diào)低比如設為100?；顒渔溌飞舷迣頼ax active-linknumber默認情況下Eth-Trunk中所有成員鏈路都是活動鏈路配置這個參數(shù)后只有優(yōu)先級最高的若干條鏈路會作為活動鏈路參與轉發(fā)其余成員鏈路作為備份。配合least active-linknumber可以設置最小活動鏈路數(shù)當活動鏈路數(shù)低于該值時Eth-Trunk會Down用來觸發(fā)上層業(yè)務切換。2.5 負載分擔策略選擇鏈路聚合的負載分擔不是把每個包輪流往鏈路上發(fā)而是通過哈希算法選擇成員鏈路。哈希因子可以是源MAC、目的MAC、源IP、目的IP、源目IP、源目MAC等。如果聚合口主要承載二層流量可以用load-balance src-mac或dst-mac如果承載三層流量建議用src-dst-ip這樣不同IP會話能被更均勻地分配到不同成員鏈路上。有一種錯誤觀念是配置了鏈路聚合就一定能打滿總帶寬。實際上如果只有一條大象流比如單個大文件傳輸哈希因子固定的話所有數(shù)據(jù)包很可能都命中同一條成員鏈路其他鏈路閑著。所以規(guī)劃時一定要結合業(yè)務流量模型選擇負載分擔方式。3. 華為LACP二層聚合配置實操從零開始敲命令3.1 創(chuàng)建Eth-Trunk并切到LACP模式登錄設備后進入系統(tǒng)視圖創(chuàng)建Eth-Trunk接口system-view interface Eth-Trunk 10創(chuàng)建完之后立刻檢查這個接口是三層口還是二層口。華為S系列交換機通常默認支持portswitch但CE系列或部分框式設備默認接口是三層口如果當前Eth-Trunk默認是三層口需要先執(zhí)行portswitch然后再配置模式mode lacp-static這里要特別說一句mode lacp-static必須在Eth-Trunk接口視圖下配置不是在成員口下配。如果你在物理接口下敲mode lacp-static設備會報錯。另外如果你之前用的是手工模式現(xiàn)在要改成LACP模式直接改模式會中斷業(yè)務因為Eth-Trunk需要重新協(xié)商所有成員鏈路會短暫Down。生產(chǎn)環(huán)境操作前一定要評估中斷窗口。3.2 配置二層屬性與VLAN假設這個Eth-Trunk用于交換機互聯(lián)透傳VLAN 10和20配置如下port link-type trunk port trunk allow-pass vlan 10 20如果對端Trunk口PVID需要調(diào)整比如VLAN 10作為默認VLAN可以執(zhí)行port trunk pvid vlan 10但兩端PVID要一致否則VLAN 10的未標記幀會在對端被重新打Tag產(chǎn)生轉發(fā)異常。如果你對接的是服務器網(wǎng)卡服務器網(wǎng)卡通常發(fā)出的是帶Tag的流量那交換機口依然是Trunk放通對應VLAN如果服務器網(wǎng)卡發(fā)的是untagged流量則交換機口要配Access或Trunk PVID模式。這一點很多人忽略導致聚合協(xié)商成功但業(yè)務不通。3.3 把成員口加入聚合組有兩種方法把物理口加入Eth-Trunk。第一種在Eth-Trunk接口視圖下批量添加trunkport GigabitEthernet 0/0/1 to 0/0/2第二種在物理接口視圖下分別添加interface GigabitEthernet 0/0/1 eth-trunk 10 quit interface GigabitEthernet 0/0/2 eth-trunk 10 quit兩種方式效果一樣。我的習慣是用物理接口下eth-trunk命令因為批量命令如果中間有一個口狀態(tài)不對整個命令會失敗不容易定位。另外在加入Eth-Trunk之前物理接口上如果原本有配置比如單獨配了VLAN、stp、speed等建議先清掉或者確保這些配置不影響Eth-Trunk。某些型號在接口配置了與Eth-Trunk沖突的VLAN時eth-trunk命令會直接拒絕。3.4 調(diào)整LACP優(yōu)先級與超時參數(shù)可選為了讓核心交換機掌握協(xié)商主動權把核心側系統(tǒng)優(yōu)先級改低lacp priority 100這里要注意命令是在系統(tǒng)視圖下執(zhí)行的不是Eth-Trunk視圖。配置完后可以查看本端系統(tǒng)LACP優(yōu)先級。然后在Eth-Trunk接口視圖下配置活動鏈路上限和最小活動鏈路數(shù)interface Eth-Trunk 10 max active-linknumber 2 least active-linknumber 1如果希望故障鏈路恢復后能自動搶占回高優(yōu)先級鏈路可以開啟LACP搶占lacp preempt enable默認情況下LACP搶占是開啟還是關閉各版本略有差異。我在現(xiàn)網(wǎng)里遇到過故障恢復后鏈路沒有切回最優(yōu)成員口的情況排查下來就是沒開搶占。所以如果需要主備鏈路具備自動回切能力務必顯式配置這個命令。LACP超時時間默認是慢速超時對端長期收不到報文也不會快速切換如果業(yè)務要求快速感知鏈路故障可以在Eth-Trunk接口下配置lacp timeout fast。不過兩端超時時間要匹配否則可能出現(xiàn)一端頻繁重置聚合組的問題。3.5 配置負載分擔在Eth-Trunk接口視圖下配置load-balance src-dst-ip如果你的業(yè)務主要是二層MAC尋址也可以換成load-balance src-dst-mac注意負載分擔模式的配置在不同產(chǎn)品上位置不同有些交換機要求在系統(tǒng)視圖或Eth-Trunk接口視圖下都能配置但生效粒度不同。配置完成后可以通過display load-balance eth-trunk 10查看當前生效的負載分擔方式。3.6 完整配置示例下面是一個典型的兩臺S5720交換機二層LACP聚合配置互聯(lián)使用兩條千兆口透傳VLAN 10和20。核心側sysname Core-Switch lacp priority 100 interface Eth-Trunk 10 mode lacp-static port link-type trunk port trunk allow-pass vlan 10 20 max active-linknumber 2 least active-linknumber 1 lacp preempt enable load-balance src-dst-ip quit interface GigabitEthernet 0/0/1 eth-trunk 10 quit interface GigabitEthernet 0/0/2 eth-trunk 10 quit匯聚或接入側sysname Access-Switch interface Eth-Trunk 10 mode lacp-static port link-type trunk port trunk allow-pass vlan 10 20 load-balance src-dst-ip quit interface GigabitEthernet 0/0/1 eth-trunk 10 quit interface GigabitEthernet 0/0/2 eth-trunk 10 quit注意兩端系統(tǒng)LACP優(yōu)先級可以不同但并不是必須一端設低如果不設設備也可以通過比較系統(tǒng)MAC決定誰主導但主導結果往往不符合預期所以建議顯式規(guī)劃。3.7 對接服務器和堆疊的配置要點服務器雙網(wǎng)卡做LACP聚合時交換機端配置基本同上但要看服務器網(wǎng)卡驅動要求。以Linux bonding為例如果使用mode4802.3ad交換機端必須配LACP模式如果使用mode2xor交換機端要用手工負載分擔模式。有些服務器網(wǎng)卡在LACP協(xié)商成功后還會要求交換機端開啟LLDP否則網(wǎng)卡驅動認為鏈路異常。這一點我在戴爾和惠普服務器上都遇到過所以對接服務器前最好確認驅動文檔。對接堆疊時如果成員口分布在不同堆疊成員設備上Eth-Trunk的跨框轉發(fā)能力依賴于堆疊鏈路帶寬。規(guī)劃時不要把兩個成員口放在同一塊板卡上否則堆疊鏈路會成為瓶頸。4. 驗證與日常維護display命令怎么讀4.1 查看Eth-Trunk協(xié)商狀態(tài)配置完成后用display eth-trunk 10查看聚合組整體狀態(tài)display eth-trunk 10正常輸出會包含工作模式、負載分擔方式、成員口列表以及每個成員口的狀態(tài)。關鍵看Status字段常見的是Selected和Unselected。Selected表示該成員鏈路已成為活動鏈路可以轉發(fā)流量Unselected表示該鏈路是備份或者協(xié)商未成功。如果看到所有成員口都是Unselected那基本可以斷定LACP協(xié)商出了問題。優(yōu)先檢查兩端模式是否都是LACP模式、物理口是否都加入了正確的Eth-Trunk、接口up/down狀態(tài)是否正常。4.2 查看LACP統(tǒng)計和協(xié)議細節(jié)需要更細的LACP信息時用display eth-trunk 10 verbose可以看到系統(tǒng)優(yōu)先級、端口優(yōu)先級、操作Key、Actor和Partner信息。對比兩端報文里的Partner信息能快速定位是系統(tǒng)優(yōu)先級不一致還是端口屬性不匹配。查看LACP報文收發(fā)統(tǒng)計display lacp statistics eth-trunk 10如果LACP發(fā)送報文一直增加但接收報文始終為0說明對端沒有協(xié)商響應常見原因是物理鏈路不通、對端模式不對、或報文被中間設備過濾。如果接收報文不斷增加但狀態(tài)不變?yōu)镾elected可能是兩端允許的VLAN或接口屬性不匹配。4.3 測試故障切換和負載效果業(yè)務割接前一定要做故障演練。最直接的辦法是手動shutdown一條成員鏈路interface GigabitEthernet 0/0/1 shutdown正常情況下另一條成員鏈路會迅速承接全部流量display eth-trunk 10中該口狀態(tài)變?yōu)閁nselected或Down其他活動成員仍為Selected邏輯口持續(xù)轉發(fā)?；謴秃笕绻闩渲昧藫屨荚蓡T口會重新變?yōu)镾elected。負載效果可以用display interface Eth-Trunk 10查看邏輯口的流量速率再結合各物理口的display interface GigabitEthernet 0/0/1查看單口速率。如果有一個物理口速率接近打滿其他口速率很低說明負載分擔方式不適合當前流量模型需要調(diào)整哈希因子。5. 常見故障與排查思路實錄5.1 協(xié)商失敗成員口一直Unselected這類問題十有八九出在模式不匹配上。我曾幫朋友排查過一起交換機間二層聚合不通的案例兩端都配置了mode lacp-static成員口也都加入了但display查看時所有口都是Unselected。最后發(fā)現(xiàn)是其中一端Eth-Trunk被設成了三層口先執(zhí)行了undo portswitch把端口切換成了三層模式。問題解決的方法就是在Eth-Trunk接口下重新執(zhí)行portswitch把它變回二層口然后再配置Trunk屬性。如果兩端都是二層口仍然協(xié)商失敗繼續(xù)檢查物理層狀態(tài)包括光模塊是否兼容、光衰是否過大、雙工模式是否一致。LACP報文是低速協(xié)議鏈路只要有一點點不穩(wěn)定報文反復丟失協(xié)商就會一直震蕩。5.2 協(xié)商成功但業(yè)務不通Eth-Trunk顯示Selected成員口都是活動狀態(tài)但業(yè)務VLAN不通問題通常不在聚合本身而在二層屬性配置。用Trunk口時必須檢查兩端放通的VLAN列表是否一致。比較隱蔽的是PVID不匹配比如一端Trunk PVID是VLAN 10另一端PVID是VLAN 1那么不帶Tag的幀會被錯誤歸類表現(xiàn)為通一個VLAN斷一個VLAN。還有一種情況是確實做了二層聚合但VLAN配置卻配在了成員口上不是Eth-Trunk邏輯口上。比如在GE0/0/1下執(zhí)行port link-type trunk、port trunk allow-pass vlan 10看起來好像放通了實際轉發(fā)時Eth-Trunk邏輯口沒有放通該VLAN流量還是不通。記住一個原則二層Eth-Trunk的所有二層屬性都只配在Eth-Trunk口上成員口只負責物理承載。5.3 流量不均或單鏈路打滿流量不均不是故障而是哈希效果不理想。比如兩臺交換機之間跑了一堆HTTP流量但源目IP都比較集中src-dst-ip哈希自然不均。這時候可以把負載分擔方式調(diào)成src-dst-mac有時反而更均衡。如果是三條鏈路聚合但業(yè)務流量主要是單條的FTP大流那無論如何都只能在一條鏈路上跑因為LACP按流哈希不按包輪詢。這一點要向業(yè)務方解釋清楚鏈路聚合不會把單個TCP連接的包拆到多條鏈路上那是不同粒度的技術。5.4 替換成員口后聚合不恢復現(xiàn)網(wǎng)常見操作是某塊板卡故障換了一塊新板卡把物理口接回但Eth-Trunk一直不恢復。檢查下來發(fā)現(xiàn)新板卡的口被默認配置成了Access口或者被單獨放到了別的VLAN加入Eth-Trunk時配置被拒絕。解決方法是先把新口的默認配置清掉再執(zhí)行eth-trunk 10。另外如果更換的接口速率、光模塊類型和原接口不一致LACP協(xié)商也不會通過需要確保接口參數(shù)保持一致。5.5 問題排查速查表現(xiàn)象排查點常見處理所有成員口Unselected兩端LACP模式、物理口UP狀態(tài)、Eth-Trunk接口二三層屬性統(tǒng)一模式確認物理鏈路正常清除三層配置協(xié)商成功但VLAN不通放通VLAN列表、PVID、Eth-Trunk邏輯口二層屬性對比兩端配置檢查PVID把VLAN配置移到Eth-Trunk口流量集中一條鏈路負載分擔方式、業(yè)務流分布調(diào)整load-balance因子確認是否單條大流主備切換后不恢復LACP搶占、鏈路恢復狀態(tài)、優(yōu)先級開啟lacp preempt enable檢查接口UP狀態(tài)頻繁UP/Down震蕩光模塊、雙工模式、LACP超時時間檢查光衰、統(tǒng)一雙工模式配置匹配的超時時間對接服務器不通服務器網(wǎng)卡bond模式、交換機模式、LLDP使用LACP對應802.3ad必要時開LLDP6. 最后再分享幾個配置習慣關于二層LACP聚合我在現(xiàn)網(wǎng)踩過不少坑最后說幾個自己的配置習慣。第一所有聚合口在割接前一定先執(zhí)行display eth-trunk 10確認兩端活動成員數(shù)量一致再拔線或者接線。這個動作看著簡單但能避免絕大多數(shù)人為誤操作。第二配置LACP模式前先看設備默認工作模式。不同型號、不同版本對Eth-Trunk的默認模式可能不同有的默認手工負載分擔有的默認是三層口。敲命令前用display eth-trunk 10看一次比事后排障省時間。第三二層聚合口的VLAN規(guī)劃一定要文檔化。什么VLAN走哪條聚合鏈路PVID是多少兩端放通列表是什么這些信息如果不記半年后你自己都說不清楚為什么當初這么配。等到機房線路調(diào)整時一張清晰的聚合口規(guī)劃表能救命。第四如果業(yè)務允許把系統(tǒng)LACP優(yōu)先級和接口LACP優(yōu)先級一起規(guī)劃。核心側優(yōu)先級調(diào)低接入側保持默認這樣出現(xiàn)鏈路競爭時核心側能穩(wěn)定主導活動鏈路選擇不會因為硬件MAC不同導致協(xié)商結果飄忽不定。第五故障演練不能省。每次交付前把成員口逐條shutdown再恢復確認業(yè)務切換時間在可接受范圍內(nèi)。鏈路聚合的價值不是配置完那一刻而是故障發(fā)生時的那一秒。能做到主動斷鏈不丟業(yè)務這套配置才算真正合格。