機到巡檢排障)
簡介《NetApp存儲日常維護手冊》是一份面向NetApp FAS系列存儲硬件運維人員與存儲管理員的技術(shù)文檔覆蓋設(shè)備日常巡檢、系統(tǒng)管理和故障診斷核心場景。手冊先從FAS3200系列硬件構(gòu)成講起說明機架、電源、磁盤等組件的特性與檢查要點隨后介紹System Manager圖形管理接口和命令行CLI兩種維護方式并給出設(shè)備正常開關(guān)機順序幫助建立規(guī)范的操作意識。日常操作部分包含登錄、創(chuàng)建存儲池Aggregate、創(chuàng)建靈活卷FlexVol、配置NAS共享CIFS/NFS、管理Snapshot快照和目錄配額等實戰(zhàn)步驟內(nèi)容貼近真實運維任務(wù)。故障診斷章節(jié)可幫助快速定位存儲資源、性能監(jiān)控和日志檢查中的常見問題技術(shù)架構(gòu)部分則講解FlexVol、FlexClone等數(shù)據(jù)保護和復(fù)制機制并延伸到存儲虛擬化解決方案。資源包為單個doc文檔約10.3MB按硬件說明、設(shè)備管理、日常操作、項目管理、技術(shù)架構(gòu)、解決方案等模塊組織層次清晰便于查閱。目前已有1932人學(xué)習(xí)適合數(shù)據(jù)中心工程師、系統(tǒng)運維人員系統(tǒng)掌握NetApp存儲維護方法也是提升設(shè)備穩(wěn)定運行與存儲數(shù)據(jù)安全能力的實用參考。1. 先是最容易翻車的開關(guān)機順序NetApp存儲日常維護從哪開始我接手一臺FAS3200的時候以為最難的是分清后端SAS口、前端光纖口和心跳口結(jié)果第一個翻車的居然是開關(guān)機。某次機房斷電維護同事憑手感先把控制器電源送上磁盤柜還全滅著控制器反復(fù)重啟進不了系統(tǒng)最后排查才發(fā)現(xiàn)是開機時序反了。NetApp存儲日常維護這件事難點不在命令有多復(fù)雜而在于整套設(shè)備從硬件指示燈、管理接口到日常操作都有一套既定順序亂一步就要多花半天時間。這份手冊覆蓋FAS3200系列的端口與指示燈識別、System Manager與CLI登錄、存儲池到共享的創(chuàng)建路徑、日常巡檢清單和故障報修流程適合剛接手存儲的運維同學(xué)照著走也適合值班工程師拿來當(dāng)每日檢查的參照。2. 硬件設(shè)備說明FAS3200系列端口、指示燈與磁盤柜2.1 控制器端口一眼分清后端、心跳、前端與管理口FAS3200系列我維護的具體型號是FAS3240A/B控制器后面板一排骨架端口第一次看必然懵。這堆口功能劃分其實很清晰照下表記就行端口用途0a、0b3Gb/6Gb SAS接口接NetApp后端SAS或SATA磁盤柜c0a、c0b8Gb/10Gb心跳線接口用于HA雙控制器內(nèi)部心跳0c、0d4Gb光纖接口可接后端FC磁盤柜也可接前端FC交換機或磁帶庫e0a、e0b1Gb以太網(wǎng)接口接前端交換機或前端主機e0M、SP100Mb管理口e0M用于遠程網(wǎng)絡(luò)管理SP是遠程串口e0P100Mb接口用于管理內(nèi)部磁盤柜slot1~slot6擴展槽位可插10Gb以太網(wǎng)卡支持FCoE、2/4/8Gb光纖卡、3/6Gb SAS卡、PAM II卡等這里最容易寫錯的是c0a/c0b它們是心跳線不是業(yè)務(wù)口。我見過有人把業(yè)務(wù)線誤插到心跳口結(jié)果HA主備之間通信異常故障切換時另一半遲遲起不來。0a/0b是接磁盤柜的后端存儲口千萬別挪給前端業(yè)務(wù)用。e0M是遠程管理口平時維護都從它進SP是帶外串口網(wǎng)口全掛的時候還有它兜底。這些端口的作用手冊里寫得清楚但很多人裝機那天就忘了等到排障才來回翻。2.2 電源與控制器指示燈狀態(tài)面板上的指示燈不是裝飾每次巡檢第一眼就該掃它們??刂破髡r應(yīng)該符合這個組合Power綠燈亮、Fault橙燈滅、Activity A和Activity B綠燈亮或閃爍AE系列B燈不亮。只要指示燈狀態(tài)不符合上述組合就要找支持處理不要拖到業(yè)務(wù)告警才想起看燈。額外要注意的是NVMEM電池狀態(tài)燈。NVMEM Battery綠燈閃爍表示NVMEM處于電池備電模式系統(tǒng)運行且Data ONTAP運行時NVMEM會處于武裝狀態(tài)關(guān)機后NVMEM不武裝。如果這個燈狀態(tài)不對異常斷電時內(nèi)存里未落盤的數(shù)據(jù)可能保不住屬于隱性風(fēng)險。Controller module fault琥珀色燈亮表示控制器正在啟動、Data ONTAP正在初始化、控制器處于維護模式或檢測到控制器模塊故障。這里有個容易誤判的點升級后重啟時它亮一陣子是正常的啟動過程不要急著報修先通過串口看是不是停在維護模式。2.3 磁盤柜、電源模塊與磁盤指示燈磁盤柜整體看Power、Warning、Activity三組燈正常是Power綠燈亮、Warning橙燈滅、Activity綠燈亮或閃爍。任何燈不符都按異常處理。磁盤柜里的電源模塊PSU狀態(tài)燈組合也值得背下來燈狀態(tài)含義狀態(tài)燈亮PSU正常AC missing燈亮該電源模塊沒有交流電輸入Fan fault燈亮風(fēng)扇故障電壓/電流/溫度故障燈亮輸出參數(shù)異常所有燈滅沒有電源輸入血淚經(jīng)驗PSU的AC missing亮著但另一路供電正常系統(tǒng)還在跑很多人就不管。實際上冗余供電已經(jīng)悄悄降級再壞一路就是非計劃宕機。巡檢時每塊PSU都要看一眼尤其是機柜底部容易忽略的位置。單塊磁盤上兩個LED的判斷邏輯也要記牢LED1綠色亮或閃爍表示磁盤正常LED1滅、LED2滅表示沒有安裝磁盤LED1滅、LED2橙一秒亮一秒滅表示SES device identification被設(shè)置LED1滅、LED2橙亮表示SES device fault bit被設(shè)置也就是磁盤故障LED1滅、LED2橙三秒亮一秒滅表示磁盤端口被隔離。端口被隔離通常發(fā)生在環(huán)路抖動后盤還在但通路斷了這種要看SES狀態(tài)處理不要盲目拔插。2.4 磁盤混插原則同類型、同大小、同轉(zhuǎn)速建存儲池Aggregate時有一條硬性規(guī)定同一個Aggregate里的磁盤必須是同樣類型、同樣大小、同樣轉(zhuǎn)速否則整個存儲池以上限為準按轉(zhuǎn)速最慢、容量最小的磁盤類型計算。SATA磁盤不能加到SAS磁盤的Aggr里反過來也不行。這條規(guī)則在擴容時最容易被忽略我見過有人往SAS池里塞了幾塊SATA盤系統(tǒng)認了但全池性能被拉到SATA水平。擴容前先確認盤柜里剩余磁盤的型號、容量和轉(zhuǎn)速只核對數(shù)量是會翻車的。2.5 布線核對序列號、Shelf ID與端口對照現(xiàn)場維護的第一步不是敲命令而是核對物理連接。每次上架或搬動設(shè)備后把磁盤柜的Shelf ID、控制器的0a/0b端口、心跳線c0a/c0b兩端對應(yīng)關(guān)系、e0M管理口接的交換機端口全部登記一遍。我吃過虧某次廠商換線磁盤柜Shelf ID順序被打亂開機后Aggregate起不來最后花兩小時重新對線。手冊里硬件說明部分真正干活時價值最大的其實是那張端口用途表建議打印出來貼在上架記錄頁。3. 管理接口System Manager、CLI與開關(guān)機順序3.1 System Manager圖形管理接口平時創(chuàng)建卷、配共享、看配額我習(xí)慣用OnCommand System Manager 2.1圖形界面??蛻舳谁h(huán)境要求不高Adobe Flash Player 8.0以上Java Runtime 1.6以上。但存儲端有幾個參數(shù)必須開著否則客戶端連不上snmp.access legacy snmp.enable on ssl.enable on ssl.v2.enable on ssl.v3.enable on httpd.admin.enable on httpd.admin.ssl.enable on snmp community: public這些是System Manager連接所依賴的服務(wù)開關(guān)。snmp.enable和snmp.access負責(zé)設(shè)備發(fā)現(xiàn)ssl和httpd.admin負責(zé)Web管理通道community字符串要跟客戶端填的一致。新裝機一般默認全開如果之前有人做安全加固關(guān)過這些服務(wù)圖形界面就會黑匣子一樣打不開這時候不要反復(fù)重裝客戶端先去CLI確認這幾個值。System Manager里的菜單路徑對應(yīng)關(guān)系很直接我抄了一張常用對照貼在工位操作分類實現(xiàn)路徑卷管理Storage→VolumesCIFS共享協(xié)議管理Storage→SharesNFS共享協(xié)議管理Storage→ExportsLUN管理Storage→LunsQtree管理Storage→Qtrees配額管理Storage→Quotas磁盤管理Storage→Disks存儲池管理Storage→AggregatesSnapMirror管理Storage→SnapMirror用戶及組管理Configuration→Local Users and Groups以太網(wǎng)管理Configuration→Network協(xié)議管理Configuration→ProtocolsCIFS診斷Diagnostics→CIFS系統(tǒng)健康管理Diagnostics→System Health日志管理Diagnostics→LogsHA配置Ha Config新同事上手我先讓他們把這張表抄在工位上比背命令行快得多。圖形界面能完成幾乎所有的管理任務(wù)但排查深層問題還是要落到CLI。3.2 CLI命令行登錄與基礎(chǔ)用法CLI是排障的最后手段圖形界面掛了也要靠它。登錄方式有兩種一是用隨機附帶的console線接CONSOLE口PC開仿真終端串口參數(shù)是9600波特率、8位、無校驗、1位停止位二是telnet登錄。缺省管理員是root密碼在初始安裝時設(shè)定可以用passwd命令修改。進入命令行后輸入“?”或“help”就能看到全部命令。aggr、vol、snapshot、quota、cifs、exportfs、iscsi、fcp、lun這些都是日常高頻命令。想看某個命令的詳細用法用help加命令名FAS3240A help vol display or change characteristics of volumes The following commands are available; for more information type help vol command add destroy online size clone lang options split container media_scrub rename status copy mirror restrict verify create offline scrub這里我一般直接“help vol create”看參數(shù)比翻手冊省時間。用CLI有個習(xí)慣要養(yǎng)成操作之前先并行開一個會話掛著date輸出回頭核對操作時間點對應(yīng)的日志排查問題時能省很多事。telnet登錄的會話容易超時斷開長時間操作建議用SSH或開個screen保持會話。3.3 設(shè)備正常開關(guān)機順序開關(guān)機順序是整個維護里最容易翻車也最不該翻車的部分。開機順序按磁盤柜Shelf ID號從小到大依次開啟磁盤柜電源大約20秒后再開啟存儲控制器開啟接有NetApp存儲的以太網(wǎng)交換機或光纖交換機開啟掛載NetApp存儲空間的服務(wù)器或磁帶庫。關(guān)機順序確認所有連接的應(yīng)用程序已關(guān)閉包括通過FCP或iSCSI連到存儲的數(shù)據(jù)庫等服務(wù)以及通過NAS連到存儲的應(yīng)用確認連接到存儲的服務(wù)器已關(guān)閉通過串口或SSH以root或其他管理員賬戶登錄系統(tǒng)分別對兩個機頭執(zhí)行halt -f命令等到CFE狀態(tài)先關(guān)控制器電源再按照Shelf ID倒序關(guān)閉磁盤柜電源。為什么要先磁盤柜后控制器因為控制器啟動時要枚舉后端磁盤磁盤柜沒就緒控制器可能認不到盤Aggregate起不來甚至反復(fù)重啟。關(guān)機時先halt -f是為了讓Data ONTAP把緩存刷到NVMEM再下電直接拔電等于賭NVMEM電池沒問題。CFE提示符是控制器固件層的狀態(tài)看到這個才算安全下電。雙機頭設(shè)備兩個節(jié)點都要halt別只停一個不然HA狀態(tài)會到partial的尷尬局面另一個節(jié)點會一直報partner down。4. 日常操作實戰(zhàn)從存儲池到共享創(chuàng)建的完整路徑4.1 System Manager創(chuàng)建存儲池Aggregate日常擴容或新建存儲池一般由專業(yè)服務(wù)工程師完成但作為維護方要能看懂過程、能在緊急時自己操作。System Manager路徑Storage→Aggregates→Create。給新建聚合體起名比如aggr_testraidtype選擇Raid_dp。RAID-DP是NetApp的雙奇偶校驗RAID允許同一RAID組里壞兩塊盤而不丟數(shù)據(jù)這是FAS3200系列建池的默認推薦可靠性明顯高于RAID5。接著選擇添加的磁盤類型再確定添加多少顆磁盤到aggr_test。這里再次強調(diào)同一個Aggregate里的磁盤必須同類型、同大小、同轉(zhuǎn)速SATA不能和SAS混在一個池里。選完磁盤后把RaidSize設(shè)為16。FC/SAS磁盤的RaidSize默認為16意思是每個RAID組最多16塊數(shù)據(jù)盤加校驗盤SATA盤通常按官方推薦設(shè)置。RAID組大小影響性能和重建時間組越大有效容量越高單盤故障后的重建時間也越長。實際選規(guī)模時要平衡追求容量就大組追求安全就小組。4.2 CLI創(chuàng)建存儲池與FlexVol圖形界面不方便時CLI下創(chuàng)建存儲池的命令同樣直接。以7-Mode風(fēng)格的Data ONTAP為例FAS3240A aggr create -t raid_dp aggr_test -d 16 FAS3240A vol create vol_test -s none aggr_test 500g第一條命令中-t指定RAID類型為raid_dpaggr_test是新建聚合體的名字-d 16表示使用16塊磁盤創(chuàng)建聚合體。第二條命令在aggr_test上創(chuàng)建一個500GB的靈活卷vol_test-s none表示不啟用Snapshot保留。實際創(chuàng)建時要把磁盤數(shù)量、卷大小替換成現(xiàn)場規(guī)劃值建池之前先跑“aggr status -r”看池子當(dāng)前剩余空間別等卷建完才發(fā)現(xiàn)容量不夠。FlexVol是NetApp的靈活卷最大意義在于卷大小不用預(yù)先固化聚合體里有空間就能在線擴容。創(chuàng)建后跑“vol status vol_test”確認卷是online狀態(tài)再用“df -h”確認容量按預(yù)期出現(xiàn)。卷的自動增長選項建議按業(yè)務(wù)需要開啟auto-size策略要設(shè)上限免得卷無限膨脹把聚合體空間吃光。4.3 創(chuàng)建CIFS/NFS共享NAS共享分兩套協(xié)議CIFS給WindowsNFS給Unix/Linux。CIFS共享在CLI下的操作FAS3240A cifs setup FAS3240A cifs shares add /vol/vol_test -sharename sharedocs FAS3240A cifs shares change sharedocs -comment documents sharecifs setup是首次啟用CIFS服務(wù)的引導(dǎo)流程會詢問域模式或工作組模式涉及用戶認證方式cifs shares add把卷的根目錄導(dǎo)出為一個名為sharedocs的共享。CIFS共享名對客戶端可見命名最好統(tǒng)一規(guī)范按業(yè)務(wù)或部門縮寫別用“test1”“test2”這種事后看不懂的名字。NFS導(dǎo)出用exportfsFAS3240A exportfs -a -p /vol/vol_test FAS3240A exportfs -io /vol/vol_test -o secsys,rw10.0.0.0/24第一條是允許導(dǎo)出卷-a表示全部導(dǎo)出-p表示持久化。第二條是帶選項的導(dǎo)出secsys使用AUTH_SYS認證rw指定允許讀寫的客戶端網(wǎng)段。NFS權(quán)限是兩層疊加的exportfs控制誰能mount卷和目錄權(quán)限控制能怎么訪問兩層都要對否則會出現(xiàn)“能mount但寫不了”的怪問題這種問題先查exportfs選項再查目錄權(quán)限。4.4 Snapshot與目錄配額配置管理Snapshot是NetApp的快照機制按計劃對卷做時間點副本。配置路徑在Storage→Volumes里選卷后配置Snapshot計劃。CLI下常見操作FAS3240A snapshot create vol_test -s snap_before_upgrade FAS3240A snapshot list vol_testsnapshot create手動打快照-s指定快照名比如升級前叫snap_before_upgrade??煺湛臻g不是白來的它占用卷預(yù)留的Snapshot reserve容量默認通常保留5%到20%。文件量大、變更頻繁的卷建議把快照保留空間設(shè)到卷容量的10%以上否則快照滿了會導(dǎo)致文件系統(tǒng)鎖死這是存儲日常維護里最容易被業(yè)務(wù)投訴的點業(yè)務(wù)看到的是“磁盤寫不進去”實際看snapshot list才發(fā)現(xiàn)快照占滿了reserve空間。目錄配額配置路徑在Storage→Quotas。CLI下FAS3240A quota on /vol/vol_test FAS3240A quota add /vol/vol_test -tree -limit-type soft -disk-limit 100g FAS3240A quota reportquota on開啟配額功能quota add加一條規(guī)則對tree目錄樹做軟限制磁盤限額100GB。配額規(guī)則加完還要“quota resize”讓規(guī)則生效只add不resize是新手常踩的坑規(guī)則不生效還找不到原因。配額規(guī)則按匹配范圍生效規(guī)則寫得太粗會誤傷同卷下的其他目錄建議先出quota report看當(dāng)前用量分布再決定限額定多少。4.5 創(chuàng)建SAN共享License是第一道門檻SAN共享對應(yīng)FCP光纖通道和iSCSI兩種協(xié)議。這里先潑冷水如果沒有FCP或iSCSI的license這些功能根本無法使用System Manager里會直接不顯示入口或操作報錯。裝機時先確認license狀態(tài)FAS3240A license FAS3240A iscsi enable FAS3240A fcp configurelicense命令顯示當(dāng)前授權(quán)的功能模塊iscsi enable開啟iSCSI服務(wù)fcp configure進行光纖通道配置。iSCSI開啟后再創(chuàng)建LUN并做映射FAS3240A lun setup -s 100g /vol/iscsi/lun1 FAS3240A igroup create -t linux linux_initiator_group FAS3240A lun map /vol/iscsi/lun1 linux_initiator_grouplun setup創(chuàng)建100GB的LUNigroup create定義一個啟動器組lun map把LUN映射給該組。映射關(guān)系是SAN環(huán)境的核心映射錯了等于把盤暴露給不該看的機器。每次做完映射用“l(fā)un show -v”核對一遍確認WWNN或iSCSI IQN映射到了正確的igroup上。SAN這塊我建議嚴格按變更流程走LUN映射錯誤在高可用環(huán)境里可能導(dǎo)致兩臺服務(wù)器同時掛載同一塊盤數(shù)據(jù)損壞風(fēng)險極高。5. 常見問題排查巡檢項、autosupport與故障報修5.1 每日巡檢清單日常維護的核心是檢查不是操作。我把巡檢項固定成一張清單每次按序執(zhí)行目測看控制器面板、磁盤柜、PSU、每塊磁盤的指示燈是否符合正常狀態(tài)硬件狀態(tài)檢查用sysconfig -a確認控制器、內(nèi)存、磁盤、電源的硬件信息完整檢查網(wǎng)絡(luò)是否正常ifconfig -a看管理口和業(yè)務(wù)口狀態(tài)ping網(wǎng)關(guān)確認鏈路通檢查Cluster狀態(tài)是否正常cf status看雙機HA狀態(tài)檢查卷容量是否正常df -h看空間使用率快到90%就要規(guī)劃擴容或清理Inode數(shù)量檢查df -i看索引節(jié)點使用率100%時即使容量有剩余也寫不進新文件性能檢查sysstat -u看CPU利用率和NFS/CIFS操作數(shù)判斷是否有異常峰值日志文件檢查查看系統(tǒng)日志重點看硬件告警、磁盤錯誤和協(xié)議錯誤收集autosupport信息每周至少一次。FAS3240A sysconfig -a FAS3240A ifconfig -a FAS3240A cf status FAS3240A df -h FAS3240A df -i FAS3240A sysstat -u 5sysconfig -a輸出里能看到控制器型號、序列號、每塊磁盤槽位和狀態(tài)cf status返回正常狀態(tài)時能看到HA enabled或Cluster enabled字樣如果出現(xiàn)partial或down就說明HA有問題要優(yōu)先處理。sysstat -u 5表示每5秒采樣一次連看幾次取平均值就是性能基線我在業(yè)務(wù)高峰時段必跑存下來的數(shù)值就是日后判斷“是否異?!钡膮⒄?。檢查網(wǎng)絡(luò)時ping網(wǎng)關(guān)只能證明三層通還要看ifconfig -a里的errors和dropped計數(shù)長期不為零說明鏈路質(zhì)量有問題。5.2 收集autosupport信息機頭出問題或需要廠商介入時autosupport信息是給支持團隊的關(guān)鍵材料FAS3240A autosupport invoke -node all -message daily_health_check該命令會把系統(tǒng)配置、日志、性能數(shù)據(jù)打包發(fā)送到配置的接收方-node all表示收集兩個節(jié)點-message里寫用途說明。每周固定發(fā)一份本地也留檔真出故障時手頭有故障前后的數(shù)據(jù)做比對能少走很多彎路。autosupport發(fā)送失敗的排查順序先看network配置里autosupport的郵件服務(wù)器或HTTP目標地址再檢查網(wǎng)絡(luò)連通性最后看發(fā)送日志。這是容易被忽視的通道很多人直到報修時才發(fā)現(xiàn)autosupport從來沒發(fā)出去過。5.3 故障報修流程本地解決不了就要走報修流程。支持方式分幾級先找本地支持工程師處理不了一定要上升到GSCGlobal Support Center全球支持中心。案例開立流程是登錄support.netapp.com或電話開案例提供設(shè)備序列號和autosupport信息描述故障現(xiàn)象支持中心分配案例號按嚴重級別響應(yīng)。損壞部件更換流程一般是確認部件損壞并記錄序列號開案例判定后寄備件現(xiàn)場換件并做驗證最后通過autosupport確認新部件狀態(tài)正常。換盤操作我堅持在維護窗口期做換完馬上看aggr status和磁盤狀態(tài)確認RAID重建正常啟動不要換完就走。5.4 高頻故障排查記錄這幾條是實際維護中反復(fù)出現(xiàn)的問題每一條都按“現(xiàn)象→原因→解決”記錄下來現(xiàn)象一磁盤柜某塊磁盤LED2橙色常亮。原因是SES device fault bit被設(shè)置通常表示磁盤故障被系統(tǒng)標記。解決先查sysconfig -a確認盤的狀態(tài)是failed還是spare不要直接拔盤要在系統(tǒng)把盤標記為fail后按槽位取下?lián)Q新盤等系統(tǒng)自動分配為spare并開始重建?,F(xiàn)象二控制器Fault燈琥珀色亮起系統(tǒng)卡在啟動階段。原因是控制器啟動時Data ONTAP初始化異?;蛉藶檫M入了維護模式。解決通過串口看啟動日志確認是否停在Maintenance mode誤入就執(zhí)行halt回到CFE后重新啟動反復(fù)初始化失敗就把日志打包發(fā)GSC同時檢查心跳線c0a/c0b是否松動?,F(xiàn)象三業(yè)務(wù)反饋NAS無法寫入新文件但df -h顯示容量還有剩余。原因是Inode耗盡或Snapshot reserve被占滿。解決先跑df -i確認Inode使用率100%時需要刪除大量小文件或調(diào)整卷的maxfiles如果Snapshot空間滿用snapshot list vol_test找到占用大的舊快照在保留策略之外可以刪?,F(xiàn)象四HA集群狀態(tài)顯示partial。原因一般是一個節(jié)點掛掉或兩個節(jié)點之間的心跳中斷。解決先看cf status和uptime確認節(jié)點狀態(tài)再查心跳口狀態(tài)檢查c0a/c0b物理連接和網(wǎng)口配置。partial狀態(tài)說明冗余已經(jīng)失效屬于優(yōu)先級最高的問題要立即處理。現(xiàn)象五擴容加盤后整個存儲池性能下降。原因是混入了不同轉(zhuǎn)速或類型的磁盤系統(tǒng)按最慢盤降速。解決擴容前核對磁盤型號、容量、轉(zhuǎn)速三要素寧缺毋濫。已經(jīng)混入的只能替換出來沒有捷徑。這條我親自踩過從此建池之前必查磁盤批次。5.5 維護窗口與變更記錄還有一條不屬于技術(shù)但很關(guān)鍵的教訓(xùn)存儲維護的所有操作都要落在變更記錄里。哪個卷擴容過、哪個存儲池加過盤、Snapshot策略改過什么全記下來。存儲是黑匣子出了問題如果沒有變更記錄排查就像大海撈針。我現(xiàn)在每次操作前都先記錄當(dāng)前狀態(tài)操作后馬上再記一筆這習(xí)慣救過我兩次。變更記錄不用寫多復(fù)雜時間、操作人、命令、影響范圍、前后狀態(tài)對照五欄就夠了。定期把變更記錄和巡檢基線一起歸檔后面做容量規(guī)劃時直接翻歷史趨勢。6. 驗證跑通把巡檢命令做成一張檢查表設(shè)備裝好、配置完不代表萬事大吉真正的日常是巡檢。我習(xí)慣把驗證過程固化成一個半自動化流程每次維護窗口或例行巡檢按順序執(zhí)行下面這組命令把輸出存檔拿上次的基線對比。FAS3240A sysconfig -a # 硬件狀態(tài) FAS3240A cf status # HA集群狀態(tài) FAS3240A df -h # 卷容量使用率 FAS3240A df -i # Inode使用率 FAS3240A snapshot list vol_test # 快照列表與占用 FAS3240A quota report # 配額使用報告 FAS3240A autosupport invoke -node all -message weekly_check每行命令都對應(yīng)一套驗證結(jié)論sysconfig -a輸出里沒有Error字樣、磁盤狀態(tài)全部onlinecf status顯示HA正常df -h使用率低于90%df -i使用率低于80%快照列表里沒有異常占用的快照quota report沒有超限條目autosupport能成功發(fā)出。這套檢查做完基本可以確認設(shè)備處于健康狀態(tài)。驗證跑通之后還有一個加分動作把開關(guān)機順序做成貼紙貼在磁盤柜門上。真到斷電維護那天現(xiàn)場的人不會記得手冊第幾章寫了什么但抬頭就能看到“先磁盤柜、后控制器halt -f回到CFE再斷電”。我還會把巡檢命令精簡成一行“ping網(wǎng)關(guān) sysconfig -a | head -50 df -h”每天到崗先跑一遍輸出丟進運維群存底。從那以后我每次巡檢都強制自己走一遍完整清單連電源指示燈都不跳過——這條習(xí)慣救過我也希望能幫到你。本文還有配套的精品資源點擊獲取