1. 堆疊不是簡(jiǎn)單的“插線擴(kuò)容”先搞清楚它到底在解決什么問(wèn)題很多人第一次接觸“堆疊”這個(gè)詞是在交換機(jī)機(jī)房里。兩臺(tái)設(shè)備幾根線一連配置幾行命令然后它們就“變成”了一臺(tái)設(shè)備。聽(tīng)起來(lái)很神奇但如果你只停留在“插線擴(kuò)容”的認(rèn)知層面后面遇到環(huán)路、主備切換、版本升級(jí)這些問(wèn)題時(shí)基本就是兩眼一抹黑。堆疊的本質(zhì)是把多臺(tái)物理設(shè)備在邏輯上整合成一臺(tái)單一的虛擬設(shè)備。這個(gè)“單一”體現(xiàn)在三個(gè)層面管理平面統(tǒng)一、控制平面統(tǒng)一、轉(zhuǎn)發(fā)平面協(xié)同。管理平面統(tǒng)一意味著你只需要一個(gè)管理地址就能管所有成員控制平面統(tǒng)一意味著整個(gè)堆疊系統(tǒng)只跑一套路由協(xié)議、一張轉(zhuǎn)發(fā)表轉(zhuǎn)發(fā)平面協(xié)同意味著跨設(shè)備的鏈路可以像同一臺(tái)設(shè)備上的端口一樣做聚合。為什么需要這樣做核心動(dòng)機(jī)有三個(gè)。第一是簡(jiǎn)化管理十幾臺(tái)接入交換機(jī)如果每臺(tái)都單獨(dú)配置、單獨(dú)監(jiān)控、單獨(dú)升級(jí)運(yùn)維成本會(huì)隨著設(shè)備數(shù)量線性增長(zhǎng)而堆疊之后管理復(fù)雜度基本是常數(shù)級(jí)的。第二是消除二層環(huán)路傳統(tǒng)多臺(tái)設(shè)備互聯(lián)必須依賴生成樹(shù)協(xié)議來(lái)破環(huán)生成樹(shù)收斂慢、鏈路利用率低堆疊之后跨設(shè)備鏈路聚合天然無(wú)環(huán)所有鏈路都能轉(zhuǎn)發(fā)流量。第三是提升可靠性堆疊系統(tǒng)內(nèi)某臺(tái)成員故障時(shí)流量可以快速切換到其他成員業(yè)務(wù)中斷時(shí)間遠(yuǎn)小于傳統(tǒng)生成樹(shù)收斂。但這里有一個(gè)容易被忽略的前提堆疊不是萬(wàn)能的。它解決的是同一邏輯區(qū)域內(nèi)多臺(tái)設(shè)備的整合問(wèn)題跨機(jī)房、跨長(zhǎng)距離的場(chǎng)景下堆疊線纜的部署會(huì)非常受限。所以理解堆疊的適用邊界比記住配置命令更重要。2. 堆疊的底層邏輯從“多臺(tái)設(shè)備”到“一臺(tái)設(shè)備”到底發(fā)生了什么2.1 堆疊系統(tǒng)的角色分工與選舉機(jī)制堆疊系統(tǒng)里的成員設(shè)備并不是平等的。啟動(dòng)之后它們會(huì)經(jīng)過(guò)一輪選舉產(chǎn)生一個(gè)主設(shè)備Master和若干從設(shè)備Standby/Slave。主設(shè)備負(fù)責(zé)整個(gè)堆疊系統(tǒng)的控制平面運(yùn)算包括路由計(jì)算、ARP表維護(hù)、端口狀態(tài)管理等等。從設(shè)備則主要負(fù)責(zé)本地的轉(zhuǎn)發(fā)平面操作同時(shí)把本地的狀態(tài)信息同步給主設(shè)備。選舉的規(guī)則各廠商實(shí)現(xiàn)有差異但核心邏輯大同小異。通常會(huì)比較優(yōu)先級(jí)、MAC地址、設(shè)備型號(hào)等因素。優(yōu)先級(jí)是人為可以干預(yù)的所以你在規(guī)劃堆疊的時(shí)候最好提前把希望成為主設(shè)備的那個(gè)成員優(yōu)先級(jí)調(diào)高避免選舉結(jié)果隨機(jī)化。我見(jiàn)過(guò)不少案例因?yàn)闆](méi)設(shè)優(yōu)先級(jí)結(jié)果一臺(tái)性能較弱的設(shè)備被選成了主設(shè)備整個(gè)堆疊系統(tǒng)的控制平面性能就成了瓶頸。選舉過(guò)程本身需要時(shí)間通常在幾十秒到幾分鐘不等取決于堆疊成員數(shù)量和鏈路質(zhì)量。這段時(shí)間內(nèi)堆疊系統(tǒng)處于不穩(wěn)定狀態(tài)業(yè)務(wù)轉(zhuǎn)發(fā)會(huì)受影響。所以堆疊建立的過(guò)程最好安排在業(yè)務(wù)窗口期進(jìn)行。2.2 堆疊鏈路的物理連接方式堆疊成員之間需要專用的堆疊鏈路來(lái)通信。這些鏈路承載的是設(shè)備間的控制消息和跨設(shè)備轉(zhuǎn)發(fā)流量對(duì)帶寬和延遲都有要求。常見(jiàn)的連接方式有兩種鏈形連接和環(huán)形連接。鏈形連接就是A連B、B連C、C連D首尾不相連。這種方式布線簡(jiǎn)單但可靠性差——中間任何一條鏈路斷了堆疊系統(tǒng)就會(huì)分裂成兩個(gè)獨(dú)立的子系統(tǒng)。環(huán)形連接則是首尾相連任何一條鏈路故障都不會(huì)導(dǎo)致系統(tǒng)分裂可靠性更高。所以在實(shí)際部署中只要條件允許我都建議做環(huán)形堆疊。堆疊線纜的選擇也有講究。有些設(shè)備支持專用堆疊端口和專用堆疊線纜這種方案帶寬有保障、延遲低但線纜長(zhǎng)度受限通常只有幾米適合同一機(jī)柜或相鄰機(jī)柜的設(shè)備。另一種方案是用普通業(yè)務(wù)端口做堆疊通過(guò)萬(wàn)兆或更高速率的端口互聯(lián)這種方式線纜長(zhǎng)度可以更長(zhǎng)但會(huì)占用業(yè)務(wù)端口而且堆疊流量和業(yè)務(wù)流量共享帶寬規(guī)劃時(shí)需要留足余量。2.3 堆疊合并與分裂的典型場(chǎng)景堆疊系統(tǒng)在運(yùn)行過(guò)程中可能發(fā)生合并和分裂。合并是指兩個(gè)獨(dú)立的堆疊系統(tǒng)通過(guò)鏈路連接后重新選舉并整合成一個(gè)更大的堆疊系統(tǒng)。分裂則是指堆疊鏈路全部斷開(kāi)后原堆疊系統(tǒng)拆分成多個(gè)獨(dú)立的子系統(tǒng)。分裂是最危險(xiǎn)的情況。因?yàn)榉至押蟮亩鄠€(gè)子系統(tǒng)都認(rèn)為自己是“正統(tǒng)”如果它們各自還連著上游網(wǎng)絡(luò)就可能出現(xiàn)IP地址沖突、MAC地址沖突、雙主控等問(wèn)題。這時(shí)候就需要依賴雙主檢測(cè)機(jī)制來(lái)發(fā)現(xiàn)分裂并采取保護(hù)措施。雙主檢測(cè)通常通過(guò)業(yè)務(wù)端口發(fā)送檢測(cè)報(bào)文或者通過(guò)獨(dú)立的檢測(cè)鏈路來(lái)實(shí)現(xiàn)。一旦檢測(cè)到分裂通常會(huì)關(guān)閉其中一個(gè)子系統(tǒng)的業(yè)務(wù)端口避免網(wǎng)絡(luò)震蕩。3. 堆疊配置的完整實(shí)操鏈路從零搭建一個(gè)雙機(jī)堆疊系統(tǒng)3.1 前期規(guī)劃哪些參數(shù)必須在動(dòng)手前確定在敲任何命令之前有幾件事必須先想清楚。第一是堆疊成員的物理位置和線纜走向這決定了你用鏈形還是環(huán)形用專用堆疊口還是業(yè)務(wù)口。第二是主設(shè)備的選定根據(jù)設(shè)備性能和業(yè)務(wù)分布確定哪臺(tái)做Master然后提前設(shè)置好優(yōu)先級(jí)。第三是堆疊系統(tǒng)的管理IP地址這個(gè)地址是給整個(gè)堆疊系統(tǒng)用的不是給單個(gè)成員用的。第四是堆疊域編號(hào)Domain ID同一個(gè)堆疊系統(tǒng)內(nèi)所有成員的域編號(hào)必須一致不同堆疊系統(tǒng)之間必須不同否則合并時(shí)會(huì)出現(xiàn)沖突。我一般會(huì)畫(huà)一張簡(jiǎn)單的表格把每個(gè)成員的序列號(hào)、優(yōu)先級(jí)、預(yù)期角色、堆疊端口編號(hào)都列出來(lái)。這張表在后續(xù)配置和排錯(cuò)時(shí)非常有用尤其是成員數(shù)量超過(guò)兩臺(tái)的時(shí)候。3.2 堆疊建立的具體操作步驟以下步驟以常見(jiàn)的框式或盒式交換機(jī)堆疊為例不同廠商的命令語(yǔ)法有差異但邏輯是相通的。第一步登錄每臺(tái)成員設(shè)備先確認(rèn)當(dāng)前沒(méi)有殘留的堆疊配置。如果設(shè)備之前做過(guò)堆疊建議先清除相關(guān)配置并重啟避免舊配置干擾。第二步配置堆疊域編號(hào)和成員編號(hào)。成員編號(hào)在整個(gè)堆疊系統(tǒng)內(nèi)必須唯一通常從1開(kāi)始編號(hào)。有些廠商支持自動(dòng)編號(hào)但手動(dòng)指定更可控。# 示例設(shè)置堆疊域編號(hào)為10成員編號(hào)為1 stack domain 10 stack member 1第三步配置堆疊優(yōu)先級(jí)。優(yōu)先級(jí)高的設(shè)備更有可能被選為Master。通常優(yōu)先級(jí)范圍是1-255默認(rèn)值各廠商不同建議主設(shè)備設(shè)為最高。# 示例設(shè)置堆疊優(yōu)先級(jí)為200 stack priority 200第四步指定堆疊端口。如果是專用堆疊口直接綁定即可如果是業(yè)務(wù)口需要先關(guān)閉業(yè)務(wù)口的二層/三層功能再綁定為堆疊口。# 示例將Te1/0/49和Te1/0/50綁定為堆疊口 interface Te1/0/49 stack port enable interface Te1/0/50 stack port enable第五步保存配置并重啟設(shè)備。堆疊配置通常需要重啟才能生效。重啟順序建議先重啟主設(shè)備等它完全啟動(dòng)后再重啟從設(shè)備這樣可以減少選舉過(guò)程中的震蕩。第六步驗(yàn)證堆疊狀態(tài)。使用顯示命令查看堆疊成員、角色、鏈路狀態(tài)。# 示例查看堆疊狀態(tài) show stack show stack members show stack ports3.3 堆疊建立后的驗(yàn)證清單堆疊建立后不要急著上業(yè)務(wù)。先按以下清單逐項(xiàng)驗(yàn)證所有成員是否都被正確識(shí)別成員編號(hào)是否與規(guī)劃一致主從角色是否符合預(yù)期優(yōu)先級(jí)設(shè)置是否生效堆疊鏈路是否全部Up帶寬是否達(dá)到預(yù)期跨設(shè)備的鏈路聚合是否正常建立管理IP是否可達(dá)能否通過(guò)管理IP登錄整個(gè)堆疊系統(tǒng)雙主檢測(cè)是否配置并生效這張清單看起來(lái)簡(jiǎn)單但實(shí)際項(xiàng)目中至少有三分之一的問(wèn)題出在驗(yàn)證環(huán)節(jié)被跳過(guò)。比如堆疊鏈路雖然顯示Up但實(shí)際帶寬只有預(yù)期的一半原因可能是其中一條鏈路協(xié)商速率不對(duì)或者線纜質(zhì)量有問(wèn)題。這些問(wèn)題如果不提前發(fā)現(xiàn)等業(yè)務(wù)上線后就是隨機(jī)丟包和性能抖動(dòng)。4. 堆疊運(yùn)維中最容易踩的五個(gè)坑4.1 版本不一致導(dǎo)致的堆疊分裂堆疊系統(tǒng)要求所有成員的軟件版本一致。如果版本不一致堆疊建立過(guò)程中可能出現(xiàn)成員無(wú)法加入、反復(fù)重啟、甚至堆疊分裂。我遇到過(guò)最典型的情況是一臺(tái)設(shè)備出廠版本較老另一臺(tái)是新版本直接堆疊后老版本設(shè)備反復(fù)嘗試加入失敗最后被隔離。解決辦法是在堆疊前統(tǒng)一升級(jí)到相同版本并且確認(rèn)補(bǔ)丁級(jí)別也一致。4.2 堆疊線纜松動(dòng)引發(fā)的連鎖反應(yīng)堆疊線纜的物理連接質(zhì)量直接影響堆疊穩(wěn)定性。線纜松動(dòng)、接口氧化、光模塊老化都可能導(dǎo)致堆疊鏈路閃斷。閃斷的后果比完全斷開(kāi)更麻煩——完全斷開(kāi)會(huì)觸發(fā)雙主檢測(cè)系統(tǒng)有明確的保護(hù)動(dòng)作而閃斷可能導(dǎo)致控制平面消息丟失出現(xiàn)轉(zhuǎn)發(fā)表不一致、ARP表項(xiàng)不同步等隱蔽問(wèn)題。所以堆疊線纜建議使用質(zhì)量可靠的成品線光模塊要選原廠或經(jīng)過(guò)兼容性驗(yàn)證的型號(hào)并且定期檢查接口狀態(tài)和光功率。4.3 主設(shè)備故障后的切換時(shí)間被低估主設(shè)備故障后從設(shè)備需要接管控制平面。這個(gè)切換時(shí)間取決于堆疊系統(tǒng)的實(shí)現(xiàn)和當(dāng)前狀態(tài)通常在秒級(jí)到十秒級(jí)。如果業(yè)務(wù)對(duì)中斷時(shí)間極其敏感這個(gè)切換時(shí)間可能無(wú)法接受。優(yōu)化方向有兩個(gè)一是選擇支持快速切換的堆疊方案二是通過(guò)跨設(shè)備鏈路聚合和上層協(xié)議收斂來(lái)減少對(duì)業(yè)務(wù)的沖擊。但無(wú)論如何不要假設(shè)主設(shè)備故障對(duì)業(yè)務(wù)“完全無(wú)感”提前做切換測(cè)試是必須的。4.4 堆疊系統(tǒng)升級(jí)的復(fù)雜性堆疊系統(tǒng)升級(jí)比單臺(tái)設(shè)備升級(jí)復(fù)雜得多。你需要考慮升級(jí)順序、業(yè)務(wù)中斷窗口、版本兼容性。通常的做法是先升級(jí)從設(shè)備再升級(jí)主設(shè)備利用堆疊系統(tǒng)的冗余能力減少業(yè)務(wù)中斷。但有些廠商的實(shí)現(xiàn)不支持在線升級(jí)必須整系統(tǒng)重啟那就需要安排完整的業(yè)務(wù)停窗。升級(jí)前務(wù)必備份配置確認(rèn)新版本與當(dāng)前硬件的兼容性并且準(zhǔn)備好回退方案。4.5 堆疊與生成樹(shù)的交互問(wèn)題堆疊系統(tǒng)對(duì)外表現(xiàn)為一臺(tái)設(shè)備但內(nèi)部成員之間如果還有殘留的生成樹(shù)配置可能產(chǎn)生意想不到的交互。比如某些成員上還保留著舊的生成樹(shù)優(yōu)先級(jí)配置堆疊后可能導(dǎo)致生成樹(shù)拓?fù)溆?jì)算異常。建議在堆疊建立后清理所有成員上不必要的生成樹(shù)配置統(tǒng)一由堆疊系統(tǒng)的主設(shè)備來(lái)管理生成樹(shù)參數(shù)。5. 堆疊技術(shù)的適用邊界與替代方案對(duì)比堆疊不是解決所有網(wǎng)絡(luò)擴(kuò)展問(wèn)題的銀彈。它最適合的場(chǎng)景是同一機(jī)房?jī)?nèi)、多臺(tái)同系列設(shè)備、需要簡(jiǎn)化管理和消除二層的場(chǎng)景。但如果設(shè)備分布在不同的機(jī)房、不同的樓層堆疊線纜的部署就會(huì)成為大問(wèn)題。這時(shí)候可以考慮其他技術(shù)方案。方案管理復(fù)雜度二層環(huán)路跨設(shè)備鏈路聚合適用距離典型場(chǎng)景堆疊低無(wú)支持短距離幾米到幾十米同機(jī)房多臺(tái)接入/匯聚傳統(tǒng)生成樹(shù)高依賴破環(huán)不支持任意分散設(shè)備互聯(lián)跨設(shè)備鏈路聚合中無(wú)支持中等距離雙歸接入分布式網(wǎng)關(guān)中高無(wú)支持任意大型數(shù)據(jù)中心從表格可以看出堆疊的核心優(yōu)勢(shì)在于管理簡(jiǎn)化和無(wú)環(huán)轉(zhuǎn)發(fā)但代價(jià)是距離受限。如果你的設(shè)備分布超過(guò)堆疊線纜的可靠傳輸距離那就應(yīng)該考慮跨設(shè)備鏈路聚合或分布式網(wǎng)關(guān)方案而不是強(qiáng)行堆疊。另外堆疊系統(tǒng)的規(guī)模也有上限。成員數(shù)量越多控制平面同步的開(kāi)銷越大選舉和切換的時(shí)間越長(zhǎng)穩(wěn)定性風(fēng)險(xiǎn)也越高。一般建議堆疊成員不超過(guò)4到8臺(tái)具體取決于廠商的實(shí)現(xiàn)和業(yè)務(wù)需求。超過(guò)這個(gè)規(guī)模就應(yīng)該考慮分層架構(gòu)而不是繼續(xù)堆疊。6. 從堆疊到設(shè)備虛擬化一個(gè)更大的技術(shù)圖景堆疊是設(shè)備虛擬化技術(shù)的一個(gè)分支。設(shè)備虛擬化的核心思想是把多個(gè)物理實(shí)體抽象成一個(gè)邏輯實(shí)體從而獲得簡(jiǎn)化管理、提升可靠性、優(yōu)化資源利用率等好處。除了堆疊還有橫向虛擬化如跨設(shè)備鏈路聚合和縱向虛擬化如將接入設(shè)備作為匯聚設(shè)備的遠(yuǎn)程板卡等不同形態(tài)。理解堆疊在設(shè)備虛擬化技術(shù)圖譜中的位置有助于你在面對(duì)具體需求時(shí)做出更合理的選擇。比如如果你需要的是“多臺(tái)設(shè)備統(tǒng)一管理但不需要跨設(shè)備鏈路聚合”那堆疊可能過(guò)度設(shè)計(jì)了如果你需要的是“跨機(jī)房的雙活接入”那堆疊根本不適用應(yīng)該看分布式網(wǎng)關(guān)方案。我在實(shí)際項(xiàng)目中總結(jié)出一條經(jīng)驗(yàn)堆疊適合“同機(jī)房、同系列、同版本、短距離”的四同場(chǎng)景缺一個(gè)條件就要重新評(píng)估方案。這條經(jīng)驗(yàn)幫我避免了好幾次生搬硬套堆疊導(dǎo)致的返工。最后分享一個(gè)實(shí)操中的小技巧在堆疊系統(tǒng)上線前用模擬器或者測(cè)試環(huán)境做一次完整的分裂測(cè)試和主備切換測(cè)試。具體做法是拔掉一條堆疊鏈路觀察系統(tǒng)反應(yīng)再拔掉主設(shè)備的電源觀察切換時(shí)間最后恢復(fù)并確認(rèn)系統(tǒng)能自動(dòng)回到穩(wěn)定狀態(tài)。這個(gè)測(cè)試花不了多少時(shí)間但能讓你對(duì)堆疊系統(tǒng)的真實(shí)行為有直觀認(rèn)識(shí)比看任何文檔都管用。