簡介這份博科Brocade Fabric交換機(jī)培訓(xùn)文檔與操作手冊面向數(shù)據(jù)中心存儲網(wǎng)絡(luò)運維人員、SAN 初學(xué)者及需要備考相關(guān)認(rèn)證的工程師幫助讀者系統(tǒng)掌握光纖交換機(jī)的日常運維與配置方法。資源共 1 個 PDF 文件壓縮包約 3.28MB內(nèi)容以圖文講義形式呈現(xiàn)便于打印或離線查閱。文檔從 FC 交換機(jī)與以太網(wǎng)、FC 協(xié)議與 TCP/IP 協(xié)議的差異講起梳理 SFP、QSFP、Copper 等常見接口類型再逐步展開交換機(jī)基本配置、通道業(yè)務(wù)配置與案例演示涵蓋連接交換機(jī)、修改賬號密碼與管理地址、會話超時與 NTP 配置、switchname 修改、端口啟停以及 Zone、VSAN、Port Channel 的創(chuàng)建與激活。FAQ 部分還整理了 show system、show port、show flogi 等日常巡檢命令和日志收集排障思路。目前已有 1892 人學(xué)習(xí)適合希望快速上手博科交換機(jī)運維、對照實操查漏補(bǔ)缺的讀者。1. 博科光纖交換機(jī)運維實戰(zhàn)從 OS 模塊到 Zone 配置的完整拆解數(shù)據(jù)中心里跑 SAN 存儲網(wǎng)絡(luò)的兄弟大概率繞不開博科Brocade Fabric交換機(jī)。這套培訓(xùn)文檔和操作手冊一共 25 頁覆蓋了博科交換機(jī) OS 功能模塊、基本管理配置、光纖通道業(yè)務(wù)配置、級聯(lián)案例演示和日常巡檢 FAQ是一份從零上手到能獨立做 Zone 變更的實操材料。它解決的核心問題是當(dāng)你面對一臺博科光纖交換機(jī)知道怎么連上去、怎么改配置、怎么劃 Zone、怎么驗證 FC 通信、出問題了看哪些命令。適合剛接觸 SAN 存儲網(wǎng)絡(luò)的運維工程師也適合從以太網(wǎng)交換機(jī)轉(zhuǎn)過來、需要快速理解 FC 協(xié)議差異的從業(yè)者。下面按“是什么→怎么用→坑在哪”的節(jié)奏把這份文檔拆開講透。2. 博科 OS 功能模塊與 FC 協(xié)議為什么它跟以太網(wǎng)交換機(jī)不是一回事2.1 FC 交換機(jī)與以太網(wǎng)交換機(jī)的本質(zhì)差異很多人第一次碰博科光纖交換機(jī)會下意識拿華為、思科以太網(wǎng)交換機(jī)那套經(jīng)驗往上套結(jié)果發(fā)現(xiàn)命令體系、業(yè)務(wù)邏輯完全對不上。根本原因在于 FC 和以太網(wǎng)是兩套設(shè)計哲學(xué)。從技術(shù)層面看FC 交換機(jī)使用光纖作為傳輸介質(zhì)基于 FC 協(xié)議棧專門為存儲流量設(shè)計以太網(wǎng)交換機(jī)可以用雙絞線或光纖跑 TCP/IP 協(xié)議棧面向通用數(shù)據(jù)通信?？煽啃苑矫鍲C 協(xié)議在鏈路層就做了端到端 CRC 校驗和序列管理以太網(wǎng)則把可靠性交給上層 TCP 去保證。速率上博科交換機(jī)常見 8G、16G、32G FC 端口跟以太網(wǎng)的 1G/10G/25G 不是同一個演進(jìn)路線。應(yīng)用場景的差異更明顯FC 交換機(jī)用來構(gòu)建 SAN承載的是塊級存儲流量對時延和丟包極其敏感以太網(wǎng)交換機(jī)跑的是文件級或應(yīng)用級流量容忍度更高。所以博科交換機(jī)的 Zone 配置、別名管理、級聯(lián)授權(quán)這些概念在以太網(wǎng)世界里沒有直接對應(yīng)物。2.2 FC 協(xié)議棧與 TCP/IP 協(xié)議棧的關(guān)鍵區(qū)別這份文檔里有一段很關(guān)鍵的對比值得單獨拎出來說。TCP/IP 協(xié)議棧運行在主機(jī)端內(nèi)核中需要耗費主機(jī) CPU 來運算。以太網(wǎng)卡每收到一個幀都要送到主機(jī) TCP/IP 協(xié)議棧由 CPU 做 IP 地址分析、TCP 層數(shù)據(jù)段定界、校驗、檢測重傳、包拼接這一系列操作全是 CPU 在跑代碼。而 FC/SAS 的下四層全部在 FC/SAS 控制器的硬件電路或固件里完成。傳送到主機(jī)內(nèi)存的數(shù)據(jù)直接就是 FC/SAS 包里包含的上層 Payload。這意味著 FC 對主機(jī) CPU 的耗費極小時延也更低。TCP/IP 的話每個以太網(wǎng)幀被拷貝到主機(jī)內(nèi)存再經(jīng)過 CPU 逐層處理整個流程時延更高中間還有多次內(nèi)存拷貝。這個差異直接決定了FC 適合對時延敏感的存儲場景而 iSCSI 這類基于以太網(wǎng)的存儲方案在主機(jī)側(cè)的開銷天然比 FC 大。文檔還延伸提到了 FCIP 網(wǎng)關(guān)就是把 FC 協(xié)議與 IP 協(xié)議融合的方案用于遠(yuǎn)距離 FC 互聯(lián)。2.3 博科 OS 的七大功能模塊博科交換機(jī) OS 不是單一進(jìn)程而是由多個服務(wù)模塊組成。文檔列出了七個核心模塊模塊名稱功能說明登錄服務(wù)提供與其它交換機(jī)節(jié)點或服務(wù)交換數(shù)據(jù)的接口目錄服務(wù)名稱服務(wù)器提供節(jié)點注冊、查詢和發(fā)現(xiàn)其它設(shè)備的功能光纖控制器服務(wù)提供節(jié)點的狀態(tài)變更時間服務(wù)保持時間同步管理服務(wù)用戶可配置管理的唯一服務(wù)提供基本配置和通道業(yè)務(wù)配置別名服務(wù)通過管理服務(wù)管理提供節(jié)點名稱注冊和分組廣播服務(wù)發(fā)到這個地址的會廣播出去理解這些模塊的意義在于當(dāng)你執(zhí)行alishow、zoneshow、switchshow這些命令時背后對應(yīng)的是不同服務(wù)模塊在響應(yīng)。比如別名服務(wù)掛了alicreate就會失敗目錄服務(wù)異常fabricshow可能看不到級聯(lián)成員。2.4 常見接口類型與連接方式博科交換機(jī)常見接口包括 SFP 和 QSFP分別對應(yīng) 10G/16G 和 40G/更高帶寬的光纖鏈路。短距離場景也有 Copper 接口用雙絞線做低成本連接。連接交換機(jī)有三種方式Serial 串口連接、管理口連接、SSH/Web 方式。管理口默認(rèn)地址是10.77.77.77默認(rèn)賬戶密碼是admin/password。Web 方式訪問https://172.16.254.73時Brocade G6510 需要裝 JAVA 7Brocade G620 需要 JAVA 8。這個 JAVA 版本坑后面會細(xì)說。3. 交換機(jī)基本配置從連上去到改完管理地址3.1 連接交換機(jī)與修改賬號密碼第一次拿到一臺博科交換機(jī)最穩(wěn)妥的方式是串口連接。用 Console 線接上波特率一般 9600就能進(jìn) CLI。如果管理口已經(jīng)配好也可以直接 SSH。連上去之后第一件事是改密碼# 修改當(dāng)前用戶密碼 passwd # 修改指定用戶密碼 passwd [username]passwd不帶參數(shù)改的是當(dāng)前登錄賬戶帶用戶名則改指定賬戶。博科默認(rèn)密碼是password生產(chǎn)環(huán)境必須改掉這是基本安全要求。3.2 修改管理地址與時間服務(wù)器管理地址用ipaddrset命令即刻生效# 進(jìn)入 IP 配置模式按提示輸入新地址 ipaddrset # 查看當(dāng)前管理接口地址 ipaddrshowipaddrset是交互式的會依次問你以太網(wǎng) IP、子網(wǎng)掩碼、網(wǎng)關(guān)。改完立刻生效不需要重啟。這里有個坑如果你是通過 SSH 連的改完 IP 當(dāng)前會話會斷得用新地址重連。時間服務(wù)器配置用tsclockserver# 配置 NTP 時間服務(wù)器 tsclockserver 10.31.255.254 # 查看當(dāng)前時間服務(wù)器配置 tsclockserver時間同步對 SAN 網(wǎng)絡(luò)很重要因為 Zone 配置變更、日志記錄都依賴時間戳。如果多臺交換機(jī)時間不一致排障時日志對不上會很頭疼。會話超時用timeout命令# 設(shè)置會話超時時間為 30 分鐘 timeout 30 # 值為 0 表示無限制 timeout 0生產(chǎn)環(huán)境不建議設(shè) 0無限制會話容易被遺忘的終端占著存在安全風(fēng)險。3.3 修改 switchname 與禁用啟用操作交換機(jī)名稱用switchname改# 修改交換機(jī)名稱 switchname [newname]名稱在 Fabric 內(nèi)要唯一級聯(lián)時如果兩臺交換機(jī)重名會出問題。禁用和啟用交換機(jī)、端口# 禁用整個交換機(jī) switchdisable # 啟用整個交換機(jī) switchenable # 禁用指定端口 portdisable 端口號 # 啟用指定端口 portenable 端口號關(guān)閉交換機(jī)用sysshutdown# 安全關(guān)閉交換機(jī) sysshutdown注意sysshutdown是安全關(guān)機(jī)會先停業(yè)務(wù)再斷電。直接拔電源是血淚教訓(xùn)可能導(dǎo)致配置文件損壞。3.4 查詢基本信息日常巡檢必用命令文檔里列了一大批查詢命令我按使用頻率和重要性整理成表命令用途重要程度clihistory查詢歷史命令中ipaddrshow查詢管理接口地址高uptime顯示系統(tǒng)運行時間中alishow顯示設(shè)備別名信息高cfgactvshow查看已生效的配置文件高chassisShow查看主板信息低configshow查看系統(tǒng)參數(shù)配置中dlsShow查看負(fù)載均衡配置中fabricShow查看級聯(lián)交換機(jī)成員高fabStatsShow查看系統(tǒng)統(tǒng)計信息中fanshow查看風(fēng)扇狀態(tài)高memshow查看內(nèi)存使用中portbuffershow查看端口緩存高portcfgshow查看端口配置高porterrshow查看端口傳輸錯誤概覽高sfpshow 端口號查看光功率/光衰高portperfshow查看端口吞吐量高portshow查看端口狀態(tài)和配置高supportshow查看故障排除詳細(xì)信息高switchshow查看交換機(jī)和端口狀態(tài)高zoneshow查看已生效和已定義的 zone高其中porterrshow有個關(guān)鍵判斷邏輯如果Enc_Out報錯單獨產(chǎn)生很可能是光纖線問題如果Enc_Out和Crc_Err一起產(chǎn)生很大可能是 GBIC/SFP 問題。sfpshow看光功率大于 398uw 為正常值。supportshow是排障時的黑匣子輸出信息量極大一般收集日志時直接跑這個把輸出保存下來給廠商分析。4. 通道業(yè)務(wù)配置Zone 創(chuàng)建、修改與生效的完整流程4.1 新建配置文件、別名和 Zone通道業(yè)務(wù)配置是博科交換機(jī)最核心的日常操作。整個邏輯鏈條是先建配置文件cfg再建別名alias再建 Zone把 Zone 加到配置文件里保存生效。新建配置文件# 新建一個空的配置文件 cfgCreate xxxxxxj_idc # 新建配置文件并同時加入一個 zone cfgCreate xxxxxxj_idc,zonename新建別名# 創(chuàng)建單個成員的別名 AliCreate HyLocal_ESXi112222_p1,51:40:2E:c0:15:54:F5:14 # 創(chuàng)建多成員別名成員用分號分隔 Alicreate H3C_C650_1,member1;member2;member3別名的作用是給 WWN 起個人能看懂的名字。WWN 是 16 位十六進(jìn)制直接記根本不現(xiàn)實。別名可以按主機(jī)名、端口、用途來命名比如HyLocal_ESXi112222_p1一看就是某臺 ESXi 主機(jī)的第一個端口。新建 Zone# 創(chuàng)建 zone成員可以是 Domain,Port、WWN 或 Alias zonecreate testzonename, zonemember1;zonemember2;zoneZone 成員有三種寫法Domain,Port格式、直接寫 WWN、或者引用別名。推薦用別名可讀性好后續(xù)維護(hù)方便。4.2 將 Zone 加入配置文件并生效Zone 建好不會自動生效必須加到配置文件里再保存、啟用# 將 zone 添加到配置文件 cfgAdd xxxxxxj_idc, testzonename # 保存自定義配置 cfgsave # 生效配置文件 cfgEnable testzonename這里有個關(guān)鍵限制同時只能有一個配置文件生效。cfgEnable的時候如果已有其他配置文件在生效狀態(tài)會切換過去。cfgsave和cfgEnable的區(qū)別要搞清楚cfgsave是把配置寫入非易失存儲cfgEnable是讓配置在 Fabric 內(nèi)生效。只 save 不 enable配置不會起作用只 enable 不 save重啟后配置丟失。4.3 重命名、增加成員、移除成員重命名別名和 Zone# 重命名 zone zoneObjectRename testzonename, newzonename # 重命名別名 zoneObjectRename HyLocal_ESXi112222_p1, newalinamezoneObjectRename也適用于 cfg 重命名。重命名后需要cfgsave和cfgEnable來使修改生效。文檔里特別提了一個問題重命名別名后相應(yīng)的 zone 信息會不會跟著變更答案是會。因為 zone 里引用的是別名別名改名后 zone 里的引用自動更新。增加和移除成員# 別名增加成員 aliadd aliName, member[; member...] # Zone 增加成員 zoneadd zoneName, member[;member...] # 別名移除成員 aliremove aliName, member[; member...] # Zone 移除成員 zoneremove zonename, member[;member...]文檔里留了一個思考題如果一個 alias 中只有一個成員且這個成員 WWN 錯誤如何修改最便捷常見做法是直接用zoneobjectreplace替換而不是先刪再加。4.4 替換與刪除操作替換別名和 Zone 成員# 替換 zone 成員 zoneobjectreplace oldZonemember newZonemember # 替換別名成員 zoneobjectreplace oldAliasmember newAliasmember刪除操作# 刪除別名 alidelete aliname # 刪除 zone zonedelete zonename # 刪除配置文件 cfgdelete cfgname注意以上命令都需要cfgsave和cfgEnable來寫入非易失存儲并生效。刪除是全局刪除不是只刪除當(dāng)前配置文件里的 zone 或 alias。但大多數(shù)時候一個 zone 只存在于一個配置文件里所以實際影響不大。5. 級聯(lián)配置與案例演示Domain ID 沖突、Trunk 口和長距離參數(shù)5.1 FC 交換機(jī)級聯(lián)配置流程級聯(lián)是把兩臺 FC 交換機(jī)連起來擴(kuò)展 Fabric。文檔里的案例演示了完整流程。第一步是基本配置管理地址、switchname 這些按前面章節(jié)操作。第二步是添加級聯(lián)授權(quán)# 添加 license licenseadd XXXXXXXX # 查看級聯(lián) license licenseshow # 查看交換機(jī)狀態(tài) switchshow級聯(lián) License 是必須的無論距離長短兩臺交換機(jī)連接都需要購買級聯(lián)授權(quán)。EF LicenseExtended Fabric是遠(yuǎn)距離連接授權(quán)超過 10Km 就需要。第三步是修改 Domain ID。光纖交換機(jī)默認(rèn) Domain ID 均為 1級聯(lián)前必須將其中一臺改為其他值否則會沖突。操作步驟# 禁用交換機(jī) switchdisable # 進(jìn)入配置模式 configure # 在 Fabric parameters 提示處輸入 y # 在 Domain ID 處輸入唯一域 ID范圍 1 到 239 # 重新啟用交換機(jī) switchenableDomain ID 沖突是級聯(lián)翻車的高頻原因。兩臺都是默認(rèn) 1連上線后 Fabric 直接分裂業(yè)務(wù)中斷。第四步是配置 Trunk 口# 配置 trunk 口 portcfgtrunkport 端口號 # 查看端口緩存 portbuffershow第五步是配置長距離參數(shù)# 手動模式LS 模式距離 63 portcfglongdistance 47 LS 1 -distance 63 # 自動模式LD 模式距離 10 portcfglongdistance 47 LD 1 -distance 10LD 是自動遠(yuǎn)距離連接模式buffer 值會根據(jù)連接速率和距離自動分配支持最大 500km 的 1Gbps。第六步是關(guān)閉 FEC# 關(guān)閉 FEC portcfgfec --disable -FEC 47 # 永久啟用端口 portcfgpersistentenable 47第七步是查看級聯(lián)狀態(tài)# 查看級聯(lián)狀態(tài) islshow fabricshow switchshow如果級聯(lián)成功端口狀態(tài)會變成 E-Port主交換機(jī)后面標(biāo)有 (UPstream)下級交換機(jī)顯示 (downstream)。5.2 驗證 FC 通信與測試傳輸帶寬級聯(lián)配好后要驗證通信# FC ping源 WWN 到目的 WWN fcping 源wwn 目的wwn # 只 ping 目的 WWN增加 ping 包數(shù)量 fcping --number 5000 wwnfcping類似 IP 網(wǎng)絡(luò)的 ping用來驗證 FC 鏈路連通性。--number參數(shù)指定 ping 包數(shù)量默認(rèn)可能只有幾個加大數(shù)量能更好觀察丟包情況。測試傳輸帶寬# 在 C650-1 上啟動服務(wù)器端 checkrclink serverstart 2:4:1 # 在 C650-2 上測試連接帶寬 checkrclink startclient 3:4:1 fe80::2341:2:ac02:6523 60checkrclink是博科自帶的鏈路測試工具serverstart 在一邊起服務(wù)端startclient 在另一邊發(fā)起測試最后的 60 是測試時長秒。5.3 SNMP 監(jiān)控配置文檔提到 SNMP 監(jiān)控配置這是把博科交換機(jī)接入現(xiàn)有監(jiān)控體系的關(guān)鍵。常見做法是配置 SNMP 團(tuán)體名和 trap 接收地址讓交換機(jī)把端口狀態(tài)變化、錯誤計數(shù)等上報到監(jiān)控平臺。具體命令文檔里沒展開但一般用snmpconfig系列命令設(shè)置snmpconfig --set snmpv1或snmpv3再配snmpconfig --set traphost。6. 避坑與排查博科交換機(jī)日常運維的五個血淚教訓(xùn)6.1 坑一Web 管理頁面打不開JAVA 版本不對現(xiàn)象瀏覽器訪問https://172.16.254.73頁面加載失敗或功能按鈕點不動。原因博科 Web 管理工具依賴 JAVA 插件不同型號要求的 JAVA 版本不同。Brocade G6510 需要 JAVA 7Brocade G620 需要 JAVA 8。裝錯版本或者系統(tǒng)里同時有多個 JAVA 版本就會出問題。解決確認(rèn)交換機(jī)型號裝對應(yīng) JAVA 版本。如果已經(jīng)裝了多個版本在 JAVA 控制面板里把對應(yīng)版本設(shè)為默認(rèn)。生產(chǎn)環(huán)境更推薦用 SSHWeb 方式只做臨時查看。6.2 坑二級聯(lián)后 Fabric 分裂Domain ID 沖突現(xiàn)象兩臺交換機(jī)級聯(lián)fabricshow看不到對方或者看到兩個獨立 Fabric。原因兩臺交換機(jī) Domain ID 都是默認(rèn)值 1級聯(lián)后沖突。解決級聯(lián)前先把其中一臺的 Domain ID 改掉。按 5.1 節(jié)的步驟switchdisable→configure→ 改 Domain ID →switchenable。改完再連線。6.3 坑三Zone 配置改了不生效忘了 cfgsave 或 cfgEnable現(xiàn)象zonecreate、cfgadd都執(zhí)行成功了但業(yè)務(wù)還是不通。原因配置只在內(nèi)存里沒保存到非易失存儲或者沒在 Fabric 內(nèi)生效。解決每次改完 Zone 相關(guān)配置必須執(zhí)行cfgsave和cfgEnable。養(yǎng)成習(xí)慣改完就 save確認(rèn)無誤再 enable。cfgactvshow可以查看當(dāng)前生效的配置跟zoneshow對比能發(fā)現(xiàn)差異。6.4 坑四端口報錯分不清是線的問題還是 SFP 的問題現(xiàn)象porterrshow看到Enc_Out或Crc_Err計數(shù)增長業(yè)務(wù)時斷時續(xù)。原因光纖線纜故障或 SFP 光模塊故障都會導(dǎo)致端口錯誤。解決文檔給了明確判斷邏輯——Enc_Out單獨產(chǎn)生很可能是光纖線問題Enc_Out和Crc_Err一起產(chǎn)生很大可能是 GBIC/SFP 問題。再用sfpshow 端口號看光功率大于 398uw 為正常。光功率偏低先換線換線無效再換 SFP。6.5 坑五sysshutdown 之前沒確認(rèn)業(yè)務(wù)已?，F(xiàn)象執(zhí)行sysshutdown后主機(jī)側(cè)存儲鏈路斷開業(yè)務(wù)受影響。原因sysshutdown是安全關(guān)機(jī)但不會幫你判斷業(yè)務(wù)是否已經(jīng)切換或停止。解決關(guān)機(jī)前先確認(rèn)主機(jī)側(cè)多路徑軟件已經(jīng)把流量切到其他路徑或者業(yè)務(wù)已經(jīng)停止。switchshow看端口狀態(tài)fabricshow看級聯(lián)成員確認(rèn)沒有單點依賴后再關(guān)機(jī)。直接拔電源更是大忌可能導(dǎo)致配置文件損壞下次開機(jī)配置丟失。7. 日常巡檢與日志收集把排障前置成例行操作日常巡檢是博科交換機(jī)運維里最容易被忽視、但收益最高的環(huán)節(jié)。文檔 FAQ 部分列了巡檢命令和日志收集方法我結(jié)合自己的習(xí)慣補(bǔ)充一下。巡檢的核心命令組合是switchshow看整體狀態(tài)porterrshow看錯誤計數(shù)sfpshow看光功率fanshow看風(fēng)扇memshow看內(nèi)存fabricshow看級聯(lián)。這六個命令跑一遍基本能覆蓋 80% 的潛在問題。我一般會把這些命令的輸出定期保存下來跟上次對比。比如porterrshow的錯誤計數(shù)如果某個端口Crc_Err從 0 漲到幾百即使業(yè)務(wù)還沒斷也要提前查線查 SFP。等業(yè)務(wù)斷了再查就是事故了。日志收集用supportshow這個命令輸出信息量極大包含交換機(jī)所有關(guān)鍵狀態(tài)。排障時直接跑supportshow把輸出重定向到文件# 收集 supportshow 輸出到文件 supportshow /tmp/supportshow_$(date %Y%m%d).txt如果交換機(jī)支持 FTP 或 SCP可以把文件傳出來。文檔里提到收集交換機(jī)排障日志信息常見做法就是supportshow加errshow、portlogshow這些命令的組合。還有一個容易被忽略的點clihistory可以看歷史命令。多人運維同一臺交換機(jī)時出問題后查clihistory能快速定位是誰在什么時候改了什么。這個習(xí)慣我是在一次 Zone 誤刪事故后養(yǎng)成的從那以后每次上機(jī)操作前先clihistory看一眼操作完再確認(rèn)一遍。驗證 Zone 配置是否正確的終極方法是fcping。配完 Zone別急著說搞定了用fcping從源 WWN ping 目的 WWN通了才算數(shù)。fcping --number 5000加大包量能發(fā)現(xiàn)偶發(fā)丟包。這個步驟我每次 Zone 變更后都強(qiáng)制走一遍寧可多花兩分鐘也不想半夜被業(yè)務(wù)電話叫醒。希望幫到你。本文還有配套的精品資源點擊獲取