1. 三層交換機(jī)到底解決了什么問(wèn)題干網(wǎng)絡(luò)這行的人早晚都會(huì)碰到這樣一個(gè)經(jīng)典場(chǎng)景公司電腦越加越多財(cái)務(wù)、研發(fā)、行政要?jiǎng)澋讲煌琕LAN互相隔離業(yè)務(wù)系統(tǒng)又需要跨VLAN訪問(wèn)。傳統(tǒng)方案是一臺(tái)二層交換機(jī)當(dāng)核心再串一個(gè)路由器做VLAN間網(wǎng)關(guān)結(jié)果網(wǎng)絡(luò)一忙路由器CPU直接飆升員工那邊開會(huì)投屏卡成幻燈片文件服務(wù)器動(dòng)不動(dòng)就斷連。這時(shí)候“三層交換機(jī)”幾乎就是標(biāo)準(zhǔn)答案。它把交換機(jī)和路由器的能力合到了一臺(tái)設(shè)備里既保留二層交換的海量端口和線速轉(zhuǎn)發(fā)又具備三層路由能力能在硬件層面處理VLAN間的數(shù)據(jù)轉(zhuǎn)發(fā)。說(shuō)白了局域網(wǎng)里跨VLAN要互訪用三層交換機(jī)來(lái)做核心和網(wǎng)關(guān)是目前最主流、性價(jià)比最高的組網(wǎng)方式。這篇文章我從原理講到配置再講到我實(shí)際踩過(guò)的坑盡量把一個(gè)三層交換機(jī)組網(wǎng)方案完整拆給你看。1.1 二層交換機(jī)的瓶頸在哪里二層交換機(jī)靠MAC地址表轉(zhuǎn)發(fā)數(shù)據(jù)幀工作范圍只限于同一個(gè)廣播域。早期辦公網(wǎng)絡(luò)不劃VLAN所有電腦都擠在一個(gè)IP網(wǎng)段幾百臺(tái)機(jī)器互相發(fā)廣播包全網(wǎng)性能都會(huì)受影響更別提某些應(yīng)用出問(wèn)題后產(chǎn)生的大量廣播風(fēng)暴。后來(lái)大家開始用VLAN隔離廣播域把不同部門、不同業(yè)務(wù)拆到多個(gè)網(wǎng)段。VLAN一分二層交換機(jī)就“看不見”其他VLAN的設(shè)備了跨VLAN通信必須靠三層轉(zhuǎn)發(fā)。這時(shí)候問(wèn)題就來(lái)了如果網(wǎng)關(guān)放在一臺(tái)普通路由器上所有跨VLAN流量都要跑到路由器路由器轉(zhuǎn)發(fā)數(shù)據(jù)包通常是CPU處理性能天花板非常低。辦公網(wǎng)里視頻會(huì)議、文件共享、服務(wù)器訪問(wèn)這種“東西向流量”占比很高全部都繞到路由器延遲上去了鏈路也容易擁塞。三層交換機(jī)解決的就是這個(gè)矛盾接口多、背板帶寬大并且把三層轉(zhuǎn)發(fā)也做進(jìn)了硬件芯片不是簡(jiǎn)單地在二層交換機(jī)上疊加一個(gè)軟件路由模塊而是從架構(gòu)上重新設(shè)計(jì)了轉(zhuǎn)發(fā)通道。1.2 三層交換機(jī)和路由器的分工很多人會(huì)問(wèn)路由器不也能做VLAN間路由嗎為什么非要用三層交換機(jī)關(guān)鍵差異在于設(shè)計(jì)目標(biāo)和轉(zhuǎn)發(fā)方式。路由器是異構(gòu)網(wǎng)絡(luò)互聯(lián)設(shè)備接口數(shù)量少主要面向廣域網(wǎng)需要處理NAT、防火墻策略、各種WAN協(xié)議轉(zhuǎn)發(fā)性能更多依賴軟件或?qū)Ｓ肅PU。三層交換機(jī)本質(zhì)上是交換機(jī)擁有幾十個(gè)甚至幾百個(gè)千兆/萬(wàn)兆口內(nèi)部背板帶寬和硬件轉(zhuǎn)發(fā)芯片決定了它可以同時(shí)處理海量VLAN間流量。這里可以打個(gè)比方路由器像機(jī)場(chǎng)安檢口一個(gè)口一次只能過(guò)一個(gè)人人一多就開始排隊(duì)三層交換機(jī)像多條ETC車道車的識(shí)別和扣費(fèi)全部自動(dòng)完成車流再大也基本不堵。所以局域網(wǎng)內(nèi)部核心選用三層交換機(jī)出口路由、NAT這些事仍然交給路由器或防火墻去做兩者是分工關(guān)系不是替代關(guān)系。2. 圖解三層交換的核心原理與轉(zhuǎn)發(fā)過(guò)程三層交換機(jī)最核心的機(jī)制可以概括為八個(gè)字一次路由多次交換。理解這個(gè)機(jī)制你就理解了三層交換機(jī)為什么比“二層交換機(jī)路由器”性能高那么多。2.1 一次路由多次交換拿一個(gè)最常見的場(chǎng)景舉例PC1在VLAN 10IP是192.168.10.10PC2在VLAN 20IP是192.168.20.20。PC1要給PC2發(fā)包發(fā)現(xiàn)目標(biāo)地址不在本網(wǎng)段于是把數(shù)據(jù)幀發(fā)給自己的網(wǎng)關(guān)192.168.10.1。這個(gè)網(wǎng)關(guān)地址其實(shí)就是三層交換機(jī)上VLAN 10的SVI接口地址。傳統(tǒng)路由器接到這個(gè)包后會(huì)做一次完整的路由查詢?nèi)缓笾匦路庋b二層幀頭交給VLAN 20接口發(fā)出去。每個(gè)包都走一遍這個(gè)流程CPU壓力非常大。三層交換機(jī)不一樣第一個(gè)數(shù)據(jù)包到達(dá)時(shí)控制平面CPU會(huì)做路由查詢但查完后不是簡(jiǎn)單發(fā)完就算了而是把轉(zhuǎn)發(fā)結(jié)果下發(fā)到硬件表項(xiàng)生成對(duì)應(yīng)的FIB轉(zhuǎn)發(fā)表項(xiàng)和鄰接表項(xiàng)。后續(xù)同一流向的數(shù)據(jù)包直接由ASIC芯片查硬件表轉(zhuǎn)發(fā)根本不用再上CPU。我實(shí)測(cè)過(guò)一個(gè)三層交換機(jī)內(nèi)部的轉(zhuǎn)發(fā)延遲跨VLAN ping延遲基本穩(wěn)定在微秒級(jí)而普通路由器做VLAN間轉(zhuǎn)發(fā)延遲在幾十甚至上百微秒。辦公網(wǎng)里業(yè)務(wù)流量連續(xù)不斷這種差距會(huì)真實(shí)地反映在用戶體感上。2.2 VLAN間路由的數(shù)據(jù)流向拆解把上面那個(gè)場(chǎng)景細(xì)化一下完整的數(shù)據(jù)包走向大概是這樣的過(guò)程PC1構(gòu)造數(shù)據(jù)包目標(biāo)IP是192.168.20.20源IP是192.168.10.10但目標(biāo)MAC地址填的是網(wǎng)關(guān)192.168.10.1的MAC。二層幀被送到三層交換機(jī)交換機(jī)根據(jù)目的MAC判斷這是發(fā)給本機(jī)SVI接口的報(bào)文于是剝離二層幀頭進(jìn)入三層路由處理流程。三層交換機(jī)查詢FIB表發(fā)現(xiàn)192.168.20.0/24這個(gè)網(wǎng)段通過(guò)VLAN 20直接可達(dá)出接口是VLAN 20的SVI。三層交換機(jī)在VLAN 20里發(fā)送ARP請(qǐng)求獲取PC2的MAC地址或者直接查ARP表找到PC2的MAC如果之前已經(jīng)學(xué)習(xí)了。交換機(jī)重新封裝目的MAC為PC2的MAC、源MAC為VLAN 20接口MAC的以太網(wǎng)幀頭把數(shù)據(jù)包從VLAN 20對(duì)應(yīng)端口轉(zhuǎn)發(fā)出去。這個(gè)過(guò)程中最關(guān)鍵的一點(diǎn)是MAC地址每經(jīng)過(guò)一個(gè)三層設(shè)備就要被重寫一次而IP地址始終不變。這也是“路由”和“交換”最本質(zhì)的區(qū)別——交換不改幀內(nèi)容路由要重新封裝幀頭。2.3 硬件轉(zhuǎn)發(fā)表項(xiàng)是怎么形成的三層交換機(jī)的控制平面和轉(zhuǎn)發(fā)平面是分離的。路由協(xié)議、ARP協(xié)議、DHCP這些協(xié)議報(bào)文由CPU處理CPU把計(jì)算結(jié)果編成一張張硬件表下發(fā)到ASIC芯片。FIB表來(lái)自路由表把目標(biāo)網(wǎng)段和下一跳、出接口對(duì)應(yīng)起來(lái)鄰接表來(lái)自ARP表把下一跳IP和MAC地址對(duì)應(yīng)起來(lái)。數(shù)據(jù)包實(shí)際轉(zhuǎn)發(fā)時(shí)芯片先查FIB得到下一跳和出接口再查鄰接表拿到下一跳的MAC然后直接封裝發(fā)送。注意一個(gè)容易被忽略的點(diǎn)三層交換機(jī)并不是每個(gè)VLAN都需要配置一個(gè)物理端口。VLAN 10和VLAN 20的SVI接口都是虛擬接口可以共享同一個(gè)物理口或同一個(gè)Trunk口。Trunk口允許哪些VLAN通過(guò)SVI路由出來(lái)的報(bào)文就能從哪個(gè)口出去這就是為什么一個(gè)上聯(lián)Trunk口可以承載多個(gè)VLAN的跨VLAN流量。3. 局域網(wǎng)組網(wǎng)實(shí)戰(zhàn)從拓?fù)湓O(shè)計(jì)到配置落地原理講完了下面進(jìn)入實(shí)操。這里以一個(gè)典型的中小型園區(qū)網(wǎng)絡(luò)為例從拓?fù)浣Y(jié)構(gòu)、VLAN規(guī)劃到命令行配置完整走一遍。3.1 中小型園區(qū)網(wǎng)絡(luò)拓?fù)湓趺创顦?biāo)準(zhǔn)做法是三層架構(gòu)核心層、匯聚層、接入層。核心層放兩臺(tái)三層交換機(jī)做冗余負(fù)責(zé)全網(wǎng)路由和網(wǎng)關(guān)匯聚層做VLAN網(wǎng)關(guān)收斂和策略控制通常也是三層交換機(jī)接入層用二層交換機(jī)負(fù)責(zé)終端接入。規(guī)模比較小比如一棟樓、一兩百終端的時(shí)候可以簡(jiǎn)化直接用一臺(tái)三層交換機(jī)同時(shí)承擔(dān)核心和匯聚功能下面掛幾臺(tái)二層接入交換機(jī)。等規(guī)模大到幾百上千個(gè)終端再拆成三層架構(gòu)。下面是一個(gè)簡(jiǎn)化示意基于我在某園區(qū)項(xiàng)目中的拓?fù)湟炎雒撁籼幚韀互聯(lián)網(wǎng)出口路由器/防火墻] | [核心交換機(jī)A] ----堆疊/虛擬化---- [核心交換機(jī)B] | | | | [匯聚交換機(jī)] [匯聚交換機(jī)] [匯聚交換機(jī)] [匯聚交換機(jī)] | | | [接入交換機(jī)] [接入交換機(jī)] [接入交換機(jī)] | PC / IP電話 / 攝像頭核心和匯聚之間用萬(wàn)兆或千兆光纖互聯(lián)接口配置為Trunk放行所有業(yè)務(wù)VLAN。接入交換機(jī)到終端之間用Access口劃分VLAN到匯聚用Trunk上聯(lián)。3.2 VLAN與IP地址規(guī)劃方案VLAN劃分沒(méi)有絕對(duì)標(biāo)準(zhǔn)但有幾個(gè)原則我一直在用按部門或業(yè)務(wù)角色分按IP網(wǎng)段分給網(wǎng)絡(luò)設(shè)備單獨(dú)留VLAN給將來(lái)擴(kuò)展留地址段。一個(gè)比較通用的小型辦公網(wǎng)規(guī)劃如下VLAN用途網(wǎng)段網(wǎng)關(guān)備注10辦公終端192.168.10.0/24192.168.10.1電腦、打印機(jī)20研發(fā)/測(cè)試192.168.20.0/24192.168.20.1可限制外網(wǎng)訪問(wèn)30監(jiān)控192.168.30.0/24192.168.30.1獨(dú)立網(wǎng)段禁止訪問(wèn)辦公網(wǎng)40服務(wù)器192.168.40.0/24192.168.40.1數(shù)據(jù)庫(kù)、文件服務(wù)器99網(wǎng)絡(luò)管理192.168.99.0/24192.168.99.1設(shè)備管理口選擇/24網(wǎng)段有一個(gè)原因254個(gè)可用地址滿足大多數(shù)部門需求廣播域規(guī)?？煽芈酚杀硪睬逦?。如果部門人數(shù)超過(guò)250不要硬擴(kuò)到/23建議拆成多個(gè)/24然后在匯聚層匯總這樣排障和路由管理都比一個(gè)大段清晰得多。網(wǎng)關(guān)全部放在三層交換機(jī)上終端只需填I(lǐng)P、掩碼、網(wǎng)關(guān)不用關(guān)心對(duì)端在哪個(gè)VLAN。DHCP地址池分配完成后新接入的電腦插上網(wǎng)線就能上網(wǎng)這也是三層交換機(jī)做網(wǎng)關(guān)的最大優(yōu)勢(shì)——集中管理。3.3 核心配置與DHCP部署實(shí)例下面以某主流廠商的CLI風(fēng)格為例展示核心交換機(jī)上的關(guān)鍵配置命令本身是通用邏輯換到其他廠商只是關(guān)鍵字略有差異。第一步創(chuàng)建VLANvlan 10 name OFFICE vlan 20 name RND vlan 30 name CAMERA vlan 40 name SERVER第二步配置與接入交換機(jī)互聯(lián)的Trunk口interface GigabitEthernet0/0/1 description TO-ACCESS-SW01 port link-type trunk port trunk allow-pass vlan 10 20 30 40 99Trunk放行的VLAN越少越好不要圖省事直接放行所有VLAN。這樣做的原因是防止某個(gè)接入交換機(jī)下的廣播意外擴(kuò)散到其他VLAN也減少生成樹拓?fù)渥兓挠绊懓霃?。第三步配置VLAN接口的網(wǎng)關(guān)IPinterface Vlanif10 ip address 192.168.10.1 255.255.255.0 interface Vlanif20 ip address 192.168.20.1 255.255.255.0 interface Vlanif30 ip address 192.168.30.1 255.255.255.0 interface Vlanif40 ip address 192.168.40.1 255.255.255.0配置完SVI之后三層交換機(jī)路由表里會(huì)自動(dòng)生成192.168.10.0/24直連路由。此時(shí)VLAN之間已經(jīng)可以路由互通了前提是終端得配置上正確的IP和網(wǎng)關(guān)。第四步配置DHCP服務(wù)DHCP可以在核心交換機(jī)上直接啟用也可以指向獨(dú)立DHCP服務(wù)器。如果地址池不大直接在交換機(jī)上做最簡(jiǎn)單。dhcp enable ip pool vlan10 network 192.168.10.0 mask 255.255.255.0 gateway-list 192.168.10.1 dns-list 114.114.114.114 lease day 7 interface Vlanif10 dhcp select global其他VLAN同理。配置完成后在接入交換機(jī)上接一臺(tái)電腦自動(dòng)獲取地址如果拿到了192.168.10.x網(wǎng)段的地址說(shuō)明DHCP鏈路基本通了。4. VLAN間連通性驗(yàn)證與進(jìn)階配置配置寫完不等于網(wǎng)絡(luò)通了。實(shí)際項(xiàng)目中最常見的情況是配置看著沒(méi)問(wèn)題但VLAN間就是互訪不了。從驗(yàn)證方法和進(jìn)階配置兩方面說(shuō)說(shuō)。4.1 連通性驗(yàn)證從ping到逐跳排查配置完成后第一步是在終端上ping網(wǎng)關(guān)。如果ping得通網(wǎng)關(guān)說(shuō)明二層鏈路和SVI沒(méi)問(wèn)題然后ping對(duì)端VLAN的終端IP測(cè)試跨VLAN路由。如果ping不通不要馬上懷疑路由協(xié)議先按下面順序排查在核心交換機(jī)上執(zhí)行display ip routing-table確認(rèn)目標(biāo)網(wǎng)段路由存在。執(zhí)行display arp看對(duì)端終端的ARP表項(xiàng)有沒(méi)有學(xué)到。執(zhí)行display mac-address看終端的MAC地址是否在正確的VLAN和端口下。檢查接入交換機(jī)端口VLAN劃分是否準(zhǔn)確Trunk口是否放行了對(duì)應(yīng)VLAN。我碰到過(guò)很多次“SVI配置了、路由也有、但就是ping不通”的案例最后查出來(lái)是接入交換機(jī)某個(gè)端口還在舊的VLAN里。二層劃分錯(cuò)三層再對(duì)也沒(méi)有用。4.2 三層鏈路與動(dòng)態(tài)路由選擇當(dāng)網(wǎng)絡(luò)規(guī)模變大核心和匯聚之間不一定只做二層Trunk也會(huì)直接跑三層路由。比如匯聚交換機(jī)連接終端的SVI做網(wǎng)關(guān)核心交換機(jī)之間跑OSPF這樣某個(gè)匯聚設(shè)備掛了不會(huì)影響全局轉(zhuǎn)發(fā)。小規(guī)模網(wǎng)絡(luò)用靜態(tài)路由足夠核心和匯聚之間配置幾條靜態(tài)路由就能打通。中大規(guī)模網(wǎng)絡(luò)建議啟用OSPF原因在于網(wǎng)絡(luò)拓?fù)渥兓瘯r(shí)動(dòng)態(tài)路由能自動(dòng)收斂不用人工維護(hù)一堆靜態(tài)路由。OSPF配置本身不復(fù)雜核心區(qū)域area 0匯聚接入area 0或非0區(qū)域注意router-id全局唯一避免環(huán)路。三層交換機(jī)之間的互聯(lián)口如果跑OSPF一般配置為三層接口并啟用OSPF不再設(shè)置為Trunk口。這里強(qiáng)調(diào)一句不要把三層接口和二層Trunk混在一個(gè)物理鏈路上否則路由協(xié)議和VLAN報(bào)文交織在一起調(diào)試時(shí)極易出問(wèn)題。4.3 高可用與鏈路冗余怎么玩核心設(shè)備最怕單點(diǎn)故障所以稍正規(guī)點(diǎn)的機(jī)房都會(huì)放兩臺(tái)核心交換機(jī)。兩臺(tái)設(shè)備之間的冗余方案有幾種常見做法堆疊把兩臺(tái)設(shè)備虛擬成一臺(tái)管理IP統(tǒng)一端口資源翻倍。缺點(diǎn)是升級(jí)風(fēng)險(xiǎn)集中一旦堆疊分裂影響面大。網(wǎng)關(guān)虛擬化在兩臺(tái)三層交換機(jī)上配置相同的虛擬IP和虛擬MAC終端網(wǎng)關(guān)只有一個(gè)主備設(shè)備自動(dòng)切換服務(wù)器一般用這種方式保證網(wǎng)關(guān)不中斷。鏈路聚合核心和匯聚之間用兩條物理鏈路綁成一個(gè)Eth-Trunk帶寬翻倍單條鏈路斷掉不影響通信。鏈路聚合配置時(shí)要注意兩端聚合模式必須一致成員端口取消原有VLAN配置統(tǒng)一加入聚合口后再配置Trunk屬性。不要一條一條改成員口順序不對(duì)會(huì)導(dǎo)致配置不一致。5. 實(shí)戰(zhàn)排障那些年我踩過(guò)的坑下面列幾個(gè)我在三層交換機(jī)組網(wǎng)項(xiàng)目里反復(fù)遇到的問(wèn)題有些問(wèn)題甚至排查了好幾天才定位到根因希望你能少走彎路。5.1 VLAN間互訪不通這是一個(gè)排查優(yōu)先級(jí)極高的問(wèn)題。下面整理一個(gè)速查表現(xiàn)象常見原因排查方式終端ping不通網(wǎng)關(guān)端口VLAN劃錯(cuò)檢查接入端口PVID和Access / Trunk屬性網(wǎng)關(guān)能通跨VLAN不通SVI未啟用或路由缺失display ip routing-table檢查直連路由路由存在但ARP學(xué)不到對(duì)端設(shè)備防火墻/終端防火墻攔截在終端上臨時(shí)關(guān)閉防火墻ping一下一到忙時(shí)就不通廣播域過(guò)大、ARP表項(xiàng)被刷掉合理縮小VLAN規(guī)模硬化接入端口部分VLAN不通Trunk未放行對(duì)應(yīng)VLAN檢查上聯(lián)口port trunk allow-pass vlan排查時(shí)記得看MAC地址表和ARP表這兩個(gè)表能幫你快速定位是二層問(wèn)題還是三層問(wèn)題。5.2 DHCP獲取不到IP地址新接入設(shè)備拿不到IP常見原因有核心交換機(jī)上DHCP服務(wù)沒(méi)開或者地址池和SVI網(wǎng)段不匹配。VLAN接口下沒(méi)啟用DHCP或者設(shè)備配置了DHCP中繼但指向的服務(wù)器IP不對(duì)。接入交換機(jī)開了DHCP Snooping端口信任狀態(tài)不對(duì)合法DHCP報(bào)文被丟棄。地址池滿了特別是終端數(shù)量超過(guò)255的/24網(wǎng)段很容易踩這個(gè)坑。如果啟用了DHCP Snooping一定要仔細(xì)設(shè)置上聯(lián)口為信任口下聯(lián)口不信任。信任口配置錯(cuò)了核心交換機(jī)下發(fā)的DHCP Offer會(huì)被接入交換機(jī)當(dāng)成非法報(bào)文丟掉。5.3 廣播風(fēng)暴與環(huán)路的預(yù)防三層交換機(jī)組網(wǎng)環(huán)境里一旦出現(xiàn)環(huán)路廣播幀會(huì)在交換機(jī)之間打轉(zhuǎn)CPU使用率直接拉滿全網(wǎng)癱瘓?，F(xiàn)在STP普遍啟用但仍建議從接入層就開始控制。我自己的習(xí)慣是Trunk口只放行必要VLAN接入終端口開啟邊緣端口并啟用BPDU保護(hù)。邊緣端口直接接終端不會(huì)收到BPDU一旦收到就說(shuō)明有人私接交換機(jī)形成環(huán)路設(shè)備會(huì)自動(dòng)把端口置為錯(cuò)誤狀態(tài)從而保住整網(wǎng)。還有一點(diǎn)容易被忽略三層交換機(jī)之間的互聯(lián)如果用了Trunk口并放行多個(gè)VLAN鏈路兩端又同時(shí)跑三層路由容易造成數(shù)據(jù)面環(huán)路和路由環(huán)路疊加。所以設(shè)計(jì)時(shí)三層互聯(lián)鏈路就老老實(shí)實(shí)做三層路由口二層VLAN只走專門的接入側(cè)鏈路別把什么流量都塞到一個(gè)邏輯口上。最后說(shuō)一個(gè)我自己的習(xí)慣每次配置完三層交換機(jī)我一定會(huì)保存配置并且把ARP表、路由表、接口狀態(tài)全部截圖存檔。然后模擬一次核心設(shè)備重啟確認(rèn)重啟后路由協(xié)議能正常收斂、DHCP能正常分配地址。這套動(dòng)作看起來(lái)多花十分鐘但很多時(shí)候能提前暴露配置文件寫錯(cuò)、地址池引用錯(cuò)誤等問(wèn)題比上線后深夜被電話叫醒再排查要?jiǎng)澦闾唷?