簡(jiǎn)介這是一份面向數(shù)據(jù)中心規(guī)劃、建設(shè)與運(yùn)維人員的IBM數(shù)據(jù)中心建設(shè)方案與架構(gòu)設(shè)計(jì)文檔系統(tǒng)講解數(shù)據(jù)中心的整體建設(shè)思路涵蓋計(jì)算層、存儲(chǔ)層、網(wǎng)絡(luò)層及安全防護(hù)的分層架構(gòu)設(shè)計(jì)并介紹服務(wù)器整合、集中存儲(chǔ)、容災(zāi)備份、綠色節(jié)能等關(guān)鍵模塊適合作為企業(yè)信息化部門、系統(tǒng)集成商及架構(gòu)設(shè)計(jì)人員的參考模板。資源包共1個(gè)文件為21.15MB的PPT演示文稿頁(yè)面完整、圖示豐富可直接用于方案匯報(bào)、技術(shù)評(píng)審或內(nèi)部培訓(xùn)。目前已有141人瀏覽學(xué)習(xí)。文檔重點(diǎn)突出VMware虛擬化整合、高可用與安全設(shè)計(jì)、統(tǒng)一運(yùn)維管理等落地策略結(jié)合分層模塊化建設(shè)方法能夠幫助讀者快速理解從基礎(chǔ)架構(gòu)搭建到數(shù)據(jù)中心演進(jìn)的整體路徑是一份兼具方案價(jià)值與實(shí)操借鑒意義的資料。1. IBM數(shù)據(jù)中心建設(shè)方案怎么讀先抓住分層架構(gòu)這條主線接手一份IBM數(shù)據(jù)中心建設(shè)方案時(shí)我第一反應(yīng)不是翻設(shè)備清單而是直接看架構(gòu)分層那幾頁(yè)。過去幾年見過太多項(xiàng)目把預(yù)算花在聽起來(lái)很貴的硬件上業(yè)務(wù)一上線就被計(jì)劃內(nèi)停機(jī)、單點(diǎn)故障和存儲(chǔ)瓶頸輪番教訓(xùn)。這份資料的價(jià)值恰恰在于它把數(shù)據(jù)中心拆成了計(jì)算資源層、存儲(chǔ)資源層、網(wǎng)絡(luò)層和運(yùn)維管理層四塊每一層選什么產(chǎn)品、做不做冗余都由上層業(yè)務(wù)負(fù)載決定而不是由廠商的銷售話術(shù)決定。適合三類人正在寫數(shù)據(jù)中心新建或改造方案的售前、要向領(lǐng)導(dǎo)解釋預(yù)算和可靠性指標(biāo)的運(yùn)維負(fù)責(zé)人以及想建立分層規(guī)劃習(xí)慣的年輕工程師。建議閱讀順序是先看高可用和存儲(chǔ)兩章再回頭補(bǔ)計(jì)算選型這樣理解架構(gòu)主線更快。2. 計(jì)算資源層選型RISC與x86的邊界、Power7的RAS用在哪2.1 先按工作負(fù)載分類再定計(jì)算平臺(tái)選型第一步不是比較廠商而是把負(fù)載分類。這份資料把應(yīng)用分成了幾個(gè)梯隊(duì)核心數(shù)據(jù)庫(kù)、ERP、商業(yè)智能、供應(yīng)鏈管理屬于關(guān)鍵型應(yīng)用要求7×24可持續(xù)服務(wù)OA、Web、DNS代理、審批查詢這類屬于業(yè)務(wù)支撐或邊緣型應(yīng)用政府公安的GIS與警務(wù)系統(tǒng)、教育行業(yè)一卡通、醫(yī)療HIS則根據(jù)行業(yè)屬性有不同的可靠性要求。分類之后x86還是小型機(jī)的爭(zhēng)論就變成了一個(gè)很實(shí)際的問題這套系統(tǒng)能不能接受計(jì)劃外停機(jī)。x86 PC Server采用CISC復(fù)雜指令集價(jià)格便宜操作系統(tǒng)生態(tài)開放、簡(jiǎn)單易學(xué)多線程能力弱一些第三方虛擬化及擴(kuò)展能力一般適合邊緣型應(yīng)用和小規(guī)模并發(fā)。UNIX小型機(jī)采用RISC精簡(jiǎn)指令集效率高具備硬件級(jí)別的可靠性、可用性、可服務(wù)性操作系統(tǒng)穩(wěn)定性和安全性強(qiáng)價(jià)格和維護(hù)門檻也高。選型的時(shí)候我一般會(huì)按一個(gè)樸素標(biāo)準(zhǔn)劃邊界核心賬務(wù)、核心數(shù)據(jù)庫(kù)這類停了會(huì)出大事的系統(tǒng)優(yōu)先考慮小型機(jī)能容忍短暫中斷、可以靠負(fù)載均衡橫向擴(kuò)展的x86完全夠用。維度x86 PC ServerUNIX小型機(jī)指令集CISCRISC單機(jī)可靠性一般依賴上層集群硬件級(jí)RAS單機(jī)可用性高虛擬化能力第三方虛擬化生態(tài)靈活原生分區(qū)虛擬化成熟操作系統(tǒng)Windows/LinuxAIX/Solaris穩(wěn)定安全典型負(fù)載Web、OA、DNS、開發(fā)測(cè)試核心數(shù)據(jù)庫(kù)、ERP、商業(yè)智能運(yùn)維門檻低高需要專職運(yùn)維這張表的讀法不是照著選型而是從負(fù)載反查如果應(yīng)用是Web查詢、開發(fā)測(cè)試這類狀態(tài)型服務(wù)x86的性價(jià)比優(yōu)勢(shì)明顯如果是核心數(shù)據(jù)庫(kù)加商業(yè)智能分析小型機(jī)的硬件級(jí)RAS才是關(guān)鍵。2.2 RAS特性表這些參數(shù)才是小型機(jī)溢價(jià)的原因小型機(jī)比x86貴貴在哪貴在出錯(cuò)時(shí)它能自己先扛一扛。PPT里POWER6/7與其他平臺(tái)做了詳細(xì)RAS對(duì)比我挑幾個(gè)在巡檢和方案評(píng)審里最常被問到的參數(shù)來(lái)說。動(dòng)態(tài)分區(qū)遷移能力Power支持而Xeon不支持意味著計(jì)劃內(nèi)維護(hù)時(shí)可以把一個(gè)正在運(yùn)行的分區(qū)遷移到另一臺(tái)物理機(jī)上業(yè)務(wù)不中斷處理器出錯(cuò)重試Power和SPARC都有Xeon沒有瞬時(shí)錯(cuò)誤會(huì)被硬件自動(dòng)重試吞掉而不是直接觸發(fā)宕機(jī)Chipkill內(nèi)存糾錯(cuò)技術(shù)幾家主流的Power、SPARC、Integrity、Xeon都支持能解決內(nèi)存顆粒故障導(dǎo)致的整機(jī)崩潰增強(qiáng)的I/O錯(cuò)誤處理Power有而其他平臺(tái)普遍沒有外設(shè)異常時(shí)系統(tǒng)能給出更準(zhǔn)確的定位而不至于全盤崩潰。RAS類別關(guān)鍵特性POWER6/7SPARCIntegrityXeon分區(qū)/應(yīng)用動(dòng)態(tài)分區(qū)遷移是否是否分區(qū)/應(yīng)用分區(qū)動(dòng)態(tài)調(diào)整是否否否系統(tǒng)OS級(jí)首次出錯(cuò)數(shù)據(jù)捕捉是否否否處理器處理器出錯(cuò)重試是是否否處理器動(dòng)態(tài)處理器卸載是是是否內(nèi)存Chipkill技術(shù)是是是是內(nèi)存冗余內(nèi)存是是是是I/O增強(qiáng)的錯(cuò)誤處理是否否否這個(gè)表怎么用做方案評(píng)審時(shí)直接拿這幾行去對(duì)照廠商配置表而不要聽性能多高、核數(shù)多少這類宣傳。關(guān)鍵業(yè)務(wù)節(jié)點(diǎn)上動(dòng)態(tài)分區(qū)遷移和OS級(jí)錯(cuò)誤捕捉這兩項(xiàng)決定了計(jì)劃內(nèi)維護(hù)要不要停業(yè)務(wù)也決定了故障時(shí)是硬件自己恢復(fù)還是半夜電話叫醒你去重啟這正是小型機(jī)溢價(jià)的來(lái)源。2.3 數(shù)據(jù)庫(kù)與應(yīng)用分離部署不要讓核心區(qū)和辦公區(qū)混跑平臺(tái)選完之后部署結(jié)構(gòu)也要跟上。PPT明確建議數(shù)據(jù)庫(kù)與業(yè)務(wù)應(yīng)用部署在不同的主機(jī)上好處是架構(gòu)擴(kuò)展靈活、升級(jí)平滑。穩(wěn)定性排序也給了機(jī)架式小型機(jī) 刀片小型機(jī) x86 PC機(jī)架式 刀片服務(wù)器。這個(gè)排序我基本認(rèn)同刀片服務(wù)器的散熱和IO擴(kuò)展是短板核心數(shù)據(jù)庫(kù)不要為了省機(jī)柜空間硬塞進(jìn)刀片里。操作系統(tǒng)選擇一般看五個(gè)維度穩(wěn)定性、高性能、安全性、開放性和多用戶能力。核心數(shù)據(jù)庫(kù)通常走AIX或Linux業(yè)務(wù)中間件走LinuxWeb和公共服務(wù)用Windows/Linux混合。傳統(tǒng)企業(yè)里IBM MQ做消息隊(duì)列仍然很常見這樣的中間件層規(guī)劃會(huì)直接影響計(jì)算層的分區(qū)方式和內(nèi)存配置。數(shù)據(jù)庫(kù)與業(yè)務(wù)分離之后應(yīng)用服務(wù)器只放行數(shù)據(jù)庫(kù)端口管理端口單獨(dú)隔離這套ACL規(guī)則在方案里就要寫清楚否則后期運(yùn)維為了省事把端口全部放開防火墻就成擺設(shè)了。3. 高可用集群設(shè)計(jì)雙機(jī)熱備、NM與故障切換鏈路3.1 集群工作模式雙機(jī)熱備、雙機(jī)互備到底差在哪高可用設(shè)計(jì)的目標(biāo)很直接消除主機(jī)單點(diǎn)故障客戶端只看到一個(gè)邏輯虛擬IP后臺(tái)一臺(tái)服務(wù)器掛了另一臺(tái)自動(dòng)把VIP和業(yè)務(wù)接管過來(lái)客戶端操作不中斷。集群軟件的選擇一般跟著操作系統(tǒng)走AIX配HACMPWindows配MSCS跨平臺(tái)場(chǎng)景用VCS不要反過來(lái)讓系統(tǒng)遷就集群軟件。雙機(jī)熱備是主節(jié)點(diǎn)運(yùn)行、備節(jié)點(diǎn)空閑切換最干凈但備機(jī)利用率低花了兩臺(tái)的錢只跑一臺(tái)業(yè)務(wù)。雙機(jī)互備是兩臺(tái)機(jī)器同時(shí)跑不同業(yè)務(wù)互相做對(duì)方的備用節(jié)點(diǎn)硬件利用率高但切換后單臺(tái)要扛兩份業(yè)務(wù)性能可能不夠。NM Cluster則是M臺(tái)備用機(jī)覆蓋N臺(tái)業(yè)務(wù)機(jī)的故障適合跑一批同類應(yīng)用的場(chǎng)景。我第一次做互備方案時(shí)只算了日常平均負(fù)載沒算最壞接管組合下的單機(jī)峰值切換演練直接超載這是血淚經(jīng)驗(yàn)互備的算力規(guī)劃必須按最壞情況算不是按平均值算。3.2 心跳、虛擬IP與存儲(chǔ)仲裁Cluster的三角關(guān)系雙機(jī)系統(tǒng)成立需要三個(gè)要素心跳、虛擬IP、共享存儲(chǔ)。心跳用來(lái)確認(rèn)對(duì)方存活虛擬IP對(duì)外提供服務(wù)共享磁盤陣列保證兩邊看到的數(shù)據(jù)一致。心跳鏈路常見做法是單獨(dú)劃一個(gè)網(wǎng)段跟業(yè)務(wù)流量完全分開。下面給一個(gè)網(wǎng)絡(luò)規(guī)劃的示意# 雙機(jī)熱備網(wǎng)絡(luò)規(guī)劃示意 # 業(yè)務(wù)段應(yīng)用通過虛擬IP訪問數(shù)據(jù)庫(kù) 192.168.1.10 db01 192.168.1.11 db02 192.168.1.12 db-vip # 心跳段獨(dú)立網(wǎng)段避免業(yè)務(wù)流量擠占心跳通道 192.168.100.10 db01-hb 192.168.100.11 db02-hb邏輯說明db-vip是客戶端訪問的數(shù)據(jù)庫(kù)地址正常綁定在db01上db01故障時(shí)HACMP或VCS把VIP漂移到db02并拉起數(shù)據(jù)庫(kù)實(shí)例。參數(shù)說明心跳網(wǎng)段建議千兆以上、獨(dú)立VLAN、不要跨三層路由心跳延遲和丟包會(huì)造成誤判引發(fā)兩邊爭(zhēng)搶資源。雙機(jī)系統(tǒng)最怕腦裂——兩邊都認(rèn)為自己是主節(jié)點(diǎn)同時(shí)接管VIP和存儲(chǔ)。常見做法是加仲裁邏輯心跳丟失時(shí)先確認(rèn)仲裁盤或第三方仲裁節(jié)點(diǎn)拿不到租約就主動(dòng)放棄接管。3.3 接入層與安全設(shè)備的位置防火墻、IDS/IPS、負(fù)載均衡怎么擺網(wǎng)絡(luò)層不是一臺(tái)核心交換機(jī)就完事而是一條鏈路上的若干關(guān)卡。PPT里的位置關(guān)系依次是Internet、防火墻、核心交換機(jī)、IDS/IPS、負(fù)載均衡、應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)公共服務(wù)子系統(tǒng)再疊加KVM帶外管理、DNS、Email、Portal、光纖交換機(jī)、磁盤陣列。防火墻放最外層做訪問控制IDS/IPS串在關(guān)鍵路徑上做入侵檢測(cè)和阻斷負(fù)載均衡放在應(yīng)用服務(wù)器前面做流量分發(fā)和后端健康檢查。數(shù)據(jù)庫(kù)區(qū)域與應(yīng)用區(qū)之間再做一層隔離只放行業(yè)務(wù)端口。管理網(wǎng)和業(yè)務(wù)網(wǎng)必須分開KVM系統(tǒng)走帶外網(wǎng)段這是運(yùn)維層的基本要求?？催@份老方案時(shí)有個(gè)體會(huì)分層網(wǎng)絡(luò)的思想到現(xiàn)在依然成立?，F(xiàn)在大型數(shù)據(jù)中心用BGP做Underlay、SRv6 Policy做Overlay已經(jīng)是很常見的做法分布式交換機(jī)的控制面與數(shù)據(jù)面分離跟當(dāng)年模塊化分層的目標(biāo)一致——把故障邊界切小。把防火墻/核心交換機(jī)/負(fù)載均衡映射成安全設(shè)備/Underlay路由/Overlay策略/四層入口邏輯完全對(duì)得上。4. 存儲(chǔ)整合與數(shù)據(jù)保護(hù)DAS/NAS/SAN的取舍、RAID與備份分級(jí)4.1 DAS/NAS/SAN先明確訪問類型再選存儲(chǔ)架構(gòu)PPT對(duì)存儲(chǔ)的定義很實(shí)在根據(jù)應(yīng)用環(huán)境采取合理、安全、有效的方式把數(shù)據(jù)保存到介質(zhì)上并保證有效訪問。存儲(chǔ)選型有個(gè)常見誤區(qū)——先看預(yù)算再看品牌正確的做法是先看數(shù)據(jù)的訪問類型。DAS是存儲(chǔ)直連服務(wù)器本地磁帶備份或以太網(wǎng)備份成本低、擴(kuò)展性有限適合1-2臺(tái)服務(wù)器的小環(huán)境規(guī)模一大管理復(fù)雜度就上來(lái)了。NAS是文件級(jí)訪問面向客戶端直接共享文件優(yōu)化支持CIFS/NFS/HTTP能做快照也能掛到SAN上。SAN是塊級(jí)訪問面向兩臺(tái)以上服務(wù)器的存儲(chǔ)整合集中化管理、更低備份成本擴(kuò)展能力可以超過2PB。維度DASNASSAN訪問類型塊級(jí)直連文件級(jí)共享塊級(jí)網(wǎng)絡(luò)訪問擴(kuò)展性有限良好最大可超過2PB管理復(fù)雜度規(guī)模大時(shí)復(fù)雜中等集中化管理適用場(chǎng)景1-2臺(tái)服務(wù)器的小環(huán)境文件共享、影像、辦公核心數(shù)據(jù)庫(kù)、多服務(wù)器整合備份方式本地磁帶快照、可連SAN集中和遠(yuǎn)程備份適用場(chǎng)景里數(shù)據(jù)庫(kù)走FC SAN是主流方案光纖交換機(jī)加磁盤陣列構(gòu)成獨(dú)立的存儲(chǔ)網(wǎng)絡(luò)文件共享和影像類數(shù)據(jù)走NAS測(cè)試環(huán)境用DAS省錢。最容易翻車的做法是預(yù)算緊張就全部DAS業(yè)務(wù)一擴(kuò)、數(shù)據(jù)一多DAS拆不動(dòng)也停不了機(jī)最后還得推倒重來(lái)。4.2 RAID級(jí)別與Hot Spare算盤之前先算可用容量RAID規(guī)劃的第一步是算可用容量不是先定RAID級(jí)別。常用級(jí)別里RAID1鏡像兩塊盤可用一半可靠性高適合系統(tǒng)盤RAID5分布式校驗(yàn)可用(N-1)/N容錯(cuò)一塊盤讀性能好RAID6雙校驗(yàn)可用(N-2)/N容錯(cuò)兩塊盤重建更安全RAID10是鏡像加條帶可用一半性能和可靠性最均衡適合核心數(shù)據(jù)庫(kù)。RAID級(jí)別最少盤數(shù)可用容量容錯(cuò)能力適用場(chǎng)景RAID1250%1塊盤系統(tǒng)盤、日志盤RAID53(N-1)/N1塊盤文件存儲(chǔ)、非關(guān)鍵數(shù)據(jù)RAID64(N-2)/N2塊盤大容量數(shù)據(jù)、歸檔RAID10450%每個(gè)鏡像組各1塊核心數(shù)據(jù)庫(kù)、高IO場(chǎng)景Hot Spare全局熱備盤不要算進(jìn)RAID組的可用容量每個(gè)盤柜預(yù)留1-2塊盤故障后自動(dòng)頂替。但注意熱備不是保險(xiǎn)箱RAID5加大容量機(jī)械盤重建窗口長(zhǎng)這期間再壞一塊盤整個(gè)組就廢了。核心數(shù)據(jù)庫(kù)我一般堅(jiān)持RAID10或RAID6非關(guān)鍵日志才用RAID5。有次看一個(gè)項(xiàng)目把核心庫(kù)放在RAID5上IOPS和重建速度雙雙吃不消最后只能停機(jī)遷移這是用真金白銀換來(lái)的教訓(xùn)。4.3 備份分級(jí)虛擬帶庫(kù)、物理帶庫(kù)與備份窗口備份系統(tǒng)一般分兩級(jí)虛擬帶庫(kù)做磁盤備份恢復(fù)快適合近線保留物理帶庫(kù)做離線歸檔數(shù)據(jù)留底。PPT里的備份系統(tǒng)組件包括備份服務(wù)器、虛擬帶庫(kù)和物理帶庫(kù)備份策略統(tǒng)一規(guī)劃集中備份和遠(yuǎn)程備份一起做。備份流量要規(guī)劃獨(dú)立網(wǎng)絡(luò)不要跟業(yè)務(wù)流量搶帶寬。備份窗口的計(jì)算也很重要全量備份加增量備份的組合按數(shù)據(jù)量增長(zhǎng)趨勢(shì)評(píng)估虛擬帶庫(kù)可以把RPO縮短到小時(shí)級(jí)物理帶庫(kù)負(fù)責(zé)月度或季度歸檔。存儲(chǔ)層做SAN化之后備份可以結(jié)合存儲(chǔ)快照來(lái)做這是方案里容易被忽略的一環(huán)。我在方案評(píng)審里一定會(huì)問一句備份是否也做了容災(zāi)復(fù)制很多項(xiàng)目本地備份做了災(zāi)備端復(fù)制沒做真出大事時(shí)發(fā)現(xiàn)連后悔藥都沒有。5. 虛擬化與補(bǔ)丁管理ESX整合里的常見問題和避坑清單5.1 ESX Server整合的收益邊界不是所有負(fù)載都該虛擬化這份方案的計(jì)算層主體是兩臺(tái)安裝了VMware ESX Server的服務(wù)器。ESX Server直接安裝在物理服務(wù)器裸機(jī)上把處理器、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)資源抽象到多個(gè)虛擬機(jī)中通過跨虛擬機(jī)共享硬件資源提高利用率、降低資金和運(yùn)營(yíng)成本同時(shí)提供資源管理、高可用和安全功能。ESX Server 3.0是那個(gè)年代的生產(chǎn)級(jí)虛擬化基礎(chǔ)分層思路和現(xiàn)在的超融合、私有云一脈相承。虛擬化整合的收益在Web、OA、開發(fā)測(cè)試這類負(fù)載上最明顯資源空閑粒度小共享收益大。核心數(shù)據(jù)庫(kù)當(dāng)時(shí)的普遍做法還是物理機(jī)加HA因?yàn)樘摂M化帶來(lái)的資源競(jìng)爭(zhēng)不可控DBA心里沒底。我一般按這個(gè)邊界分狀態(tài)型服務(wù)先虛擬化核心數(shù)據(jù)庫(kù)保留物理機(jī)等虛擬化平臺(tái)穩(wěn)定跑過一兩個(gè)容量周期后再評(píng)估遷入。虛擬化最典型的坑是只算CPU和內(nèi)存不算IOPS多臺(tái)虛擬機(jī)共享同一臺(tái)物理機(jī)的存儲(chǔ)帶寬和網(wǎng)絡(luò)帶寬峰值一起來(lái)存儲(chǔ)控制器先扛不住。規(guī)劃階段按IOPS收斂模型估算每臺(tái)虛擬機(jī)按物理時(shí)代負(fù)載的70%-80%折算再整體留30%余量。5.2 補(bǔ)丁管理LANDesk自定義檢測(cè)規(guī)則的正確用法補(bǔ)丁管理部分PPT用大篇幅講LANDesk Security and Patch Manager的定制漏洞定義。核心思想是除了官方漏洞庫(kù)的自動(dòng)更新還可以創(chuàng)建自己的檢測(cè)規(guī)則由唯一ID、標(biāo)題、發(fā)布日期、語(yǔ)言和標(biāo)識(shí)信息組成檢測(cè)規(guī)則定義特定的平臺(tái)、應(yīng)用程序、文件或注冊(cè)表?xiàng)l件掃描器據(jù)此檢查目標(biāo)設(shè)備。關(guān)鍵是可以做成僅檢測(cè)模式只返回滿足條件的設(shè)備報(bào)告不執(zhí)行補(bǔ)丁部署。這樣既能評(píng)估系統(tǒng)配置、檢查文件注冊(cè)表狀態(tài)又不會(huì)誤傷業(yè)務(wù)。!-- 僅檢測(cè)模式的自定義規(guī)則示意 -- check_rule idAPP_SVC_CHECK platform osWindows Server archx64/ condition typefile pathD:\app\conf\service.ini matchversion2.1/ condition typeregistry keyHKLM\SOFTWARE\AppSvc\State valuerunning/ /check_rule邏輯說明id對(duì)應(yīng)漏洞定義的唯一IDplatform限定掃描范圍condition定義檢測(cè)條件所有條件都滿足才算命中。參數(shù)說明圖里是示意結(jié)構(gòu)真實(shí)的LANDesk定義在管理控制臺(tái)里編輯建議先用僅檢測(cè)模式做全量掃描把影響面拉成報(bào)表再?zèng)Q定要不要推補(bǔ)丁。補(bǔ)丁落地的正確順序是掃描、灰度、推送、回滾這個(gè)順序不能反。5.3 避坑清單四條血淚經(jīng)驗(yàn)坑1雙機(jī)切換后客戶端連不上數(shù)據(jù)庫(kù)現(xiàn)象心跳斷開觸發(fā)切換備機(jī)變成了主節(jié)點(diǎn)VIP也綁上了但業(yè)務(wù)連接失敗。 原因集群軟件只接管了IP和文件系統(tǒng)數(shù)據(jù)庫(kù)實(shí)例和監(jiān)聽器沒有按順序在資源組里拉起。 解決把數(shù)據(jù)庫(kù)啟動(dòng)、監(jiān)聽注冊(cè)、VIP綁定做成資源組里的啟動(dòng)依賴順序?qū)懰狼袚Q后自動(dòng)完成整套拉起。切換演練不能只看IP漂移必須用應(yīng)用連庫(kù)測(cè)試驗(yàn)證才算通過。坑2RAID5在重建窗口翻了車現(xiàn)象一塊盤報(bào)警熱備自動(dòng)頂替重建過程中又一塊盤報(bào)錯(cuò)整個(gè)RAID組失效。 原因RAID5只容忍單盤故障重建時(shí)間越長(zhǎng)第二塊盤出現(xiàn)問題的概率越大。 解決大容量機(jī)械盤和核心數(shù)據(jù)改用RAID6或RAID104-8盤的小規(guī)模組直接用RAID10不要在核心數(shù)據(jù)上賭單盤容錯(cuò)?？?補(bǔ)丁推一半服務(wù)起不來(lái)現(xiàn)象批量部署補(bǔ)丁上午推完下午有臺(tái)應(yīng)用服務(wù)器起不來(lái)業(yè)務(wù)報(bào)錯(cuò)。 原因沒有先做僅檢測(cè)掃描就直接統(tǒng)一推送沒有灰度批次也沒有回滾預(yù)案。 解決先用自定義檢測(cè)規(guī)則做全量掃描再按業(yè)務(wù)批次灰度推送每批保留補(bǔ)丁卸載命令和系統(tǒng)快照出問題第一時(shí)間回滾。坑4虛擬化整合后存儲(chǔ)成瓶頸現(xiàn)象遷移完成業(yè)務(wù)高峰時(shí)存儲(chǔ)控制器CPU接近100%數(shù)據(jù)庫(kù)響應(yīng)變慢。 原因只按CPU和內(nèi)存規(guī)劃沒有估算IOPS和存儲(chǔ)帶寬。 解決遷移前采集每臺(tái)物理機(jī)的IOPS峰值算出收斂后的總需求存儲(chǔ)交換機(jī)和磁盤配置按1.5倍余量規(guī)劃給快照和備份流量預(yù)留帶寬。6. 落地這套方案前先做故障域映射和容量規(guī)劃兩張表方案不是把設(shè)備買回來(lái)接上就完事落地前我習(xí)慣強(qiáng)制做兩張表。第一張是故障域映射表把每個(gè)應(yīng)用從客戶端到數(shù)據(jù)庫(kù)的完整依賴路徑列出來(lái)標(biāo)出每段鏈路有沒有冗余、靠什么切換第二張是容量規(guī)劃表把每類負(fù)載的CPU、內(nèi)存、存儲(chǔ)、IOPS和帶寬需求按最壞情況填進(jìn)去單獨(dú)留一列給切換后單機(jī)能否扛住。應(yīng)用/服務(wù)計(jì)算節(jié)點(diǎn)存儲(chǔ)依賴網(wǎng)絡(luò)依賴高可用手段切換后剩余容量核心數(shù)據(jù)庫(kù)db01/db02FC SAN業(yè)務(wù)段心跳段HACMP雙機(jī)熱備單機(jī)按峰值1.5倍Web應(yīng)用集群web01-web04NAS負(fù)載均衡健康檢查負(fù)載均衡三臺(tái)可扛峰值文件共享fs01/fs02NAS業(yè)務(wù)段雙機(jī)互備單機(jī)按峰值1.2倍補(bǔ)丁服務(wù)器spm01本地盤管理段定期快照獨(dú)立機(jī)房模塊負(fù)載類型CPU核數(shù)內(nèi)存存儲(chǔ)容量IOPS估算帶寬核心區(qū)數(shù)據(jù)庫(kù)按峰值核數(shù)×1.5按峰值×1.5按3年增長(zhǎng)按峰值×1.5雙上聯(lián)應(yīng)用區(qū)中間件/Web按并發(fā)估算按并發(fā)估算按日志增長(zhǎng)按峰值×1.2雙上聯(lián)管理區(qū)帶外/補(bǔ)丁低配即可低配即可系統(tǒng)鏡像低頻管理VLAN填這兩張表的過程中單點(diǎn)會(huì)自己現(xiàn)形某個(gè)存儲(chǔ)控制器只掛了一臺(tái)關(guān)鍵業(yè)務(wù)、管理交換機(jī)沒有冗余、備份鏈路和業(yè)務(wù)共用帶寬這些問題在表格里一目了然。云化演進(jìn)之后虛擬化池、分布式架構(gòu)、微服務(wù)架構(gòu)也是同一個(gè)排查思路——先把故障域畫清楚再談擴(kuò)容和遷移所以這份老方案里的分層方法到現(xiàn)在依然適用。完整PPT里有對(duì)應(yīng)的拓?fù)鋱D和分頁(yè)說明下載后逐頁(yè)對(duì)照這兩張表來(lái)讀效率比泛讀高很多。從那以后我每次拿到數(shù)據(jù)中心方案無(wú)論是新建還是改造都強(qiáng)制先走一遍這兩張表確認(rèn)沒有未標(biāo)注的單點(diǎn)和未驗(yàn)證的切換路徑才允許設(shè)備進(jìn)場(chǎng)。這份IBM數(shù)據(jù)中心建設(shè)方案拆下來(lái)給我最大的提示就是高可用不是靠某一臺(tái)設(shè)備而是靠每一層都有明確的行為邊界。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取