簡(jiǎn)介這份PDF文檔為ODCC發(fā)布的《OTII-E模塊化服務(wù)器技術(shù)規(guī)范V1.0》編號(hào)ODCC-2023-01002由中國(guó)移動(dòng)、中國(guó)電信、英特爾等單位牽頭編制面向服務(wù)器設(shè)計(jì)、生產(chǎn)與運(yùn)維工程師尤其是關(guān)注5G與邊緣計(jì)算場(chǎng)景的技術(shù)與管理人員。規(guī)范圍繞深度定制、開(kāi)放標(biāo)準(zhǔn)與技術(shù)統(tǒng)一的目標(biāo)系統(tǒng)給出機(jī)框規(guī)格與前后板布局、模塊類型與尺寸、CPU/內(nèi)存/存儲(chǔ)/PCIe插卡/加速硬件等部件要求以及電源風(fēng)扇、環(huán)境適應(yīng)性和硬件管理接口HWI等設(shè)計(jì)細(xì)則并附有大量圖表輔助理解布局與邏輯框圖。資源包共1個(gè)PDF文件約1.4MB便于隨查隨用。目前已有304人學(xué)習(xí)。讀者可借此掌握模塊化服務(wù)器的標(biāo)準(zhǔn)化設(shè)計(jì)思路與接口約定為邊緣側(cè)靈活配置、系統(tǒng)性能與可靠性提升及維護(hù)成本控制提供參考依據(jù)。1. 模塊化服務(wù)器為什么插槽比堆料更難做邊緣計(jì)算這件事最反直覺(jué)的一點(diǎn)是算力從來(lái)不是瓶頸部署形態(tài)才是。一個(gè)典型的邊緣機(jī)房可能只有 600mm 深的機(jī)柜、沒(méi)有空調(diào)、維護(hù)窗口只有幾分鐘你塞一臺(tái)標(biāo)準(zhǔn) 2U 服務(wù)器進(jìn)去深度超了、溫度扛不住、硬盤(pán)還得繞到后面去拔。OTII-E 模塊化服務(wù)器技術(shù)規(guī)范要解決的就是這種機(jī)房條件倒逼硬件形態(tài)的問(wèn)題——它把服務(wù)器拆成機(jī)框、模塊、部件三層用插槽式模塊組合替代整機(jī)定制讓同一套機(jī)框能裝下計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)三類節(jié)點(diǎn)。這份規(guī)范值得搞懂的地方不在于它定義了哪些尺寸而在于它回答了一個(gè)工程難題當(dāng)硬件被切成可插拔的模塊之后管理、供電、散熱、時(shí)鐘這些原本整機(jī)內(nèi)部的事情怎么在模塊之間重新分配職責(zé)。這背后涉及主從節(jié)點(diǎn)管理、RMC 方案、帶外管理功能集、前維護(hù)布局等一系列設(shè)計(jì)取舍。下面從總體約束開(kāi)始一層層拆到管理接口的實(shí)現(xiàn)細(xì)節(jié)。2. 總體約束600mm 深度和 5℃~40℃ 是怎么倒逼架構(gòu)的2.1 物理約束先于電氣約束規(guī)范里最先定死的不是 CPU 型號(hào)而是機(jī)框尺寸寬度兼容 19 英寸和 21 英寸機(jī)架高度 1U 或 2UPSU 出線口與前面板距離 d≤450mm整機(jī)深度 D≤470mm。這幾個(gè)數(shù)字不是隨便寫(xiě)的。標(biāo)準(zhǔn)機(jī)柜深度通常 600mm前面要留 D1≥90mm 給前門(mén)框后面要留 D2≥60mm 給 PSU 出線中間留給服務(wù)器的凈空間就被壓到 470mm 以內(nèi)。一旦深度被鎖死主板布局、PCIe 插卡方向、電源位置全部要重新排。更關(guān)鍵的是前維護(hù)這條開(kāi)關(guān)、指示燈、硬盤(pán)、網(wǎng)線全部走前面板。傳統(tǒng)服務(wù)器硬盤(pán)在 front、PCIe 在 rear維護(hù)要兩頭跑邊緣機(jī)房往往只有單面操作空間所以 OTII-E 把可維護(hù)部件全部前置。這直接導(dǎo)致后面板只剩風(fēng)扇區(qū)和電源區(qū)兩個(gè)區(qū)域風(fēng)扇支持故障備份、電源支持故障備份布局被極度簡(jiǎn)化。溫度約束同樣在倒逼設(shè)計(jì)長(zhǎng)期 5℃~40℃、短期 -5℃~45℃。這個(gè)范圍比標(biāo)準(zhǔn)數(shù)據(jù)中心通常 10℃~35℃寬意味著風(fēng)扇調(diào)速策略、電源轉(zhuǎn)換效率、器件選型都要按工業(yè)級(jí)余量來(lái)。規(guī)范里 CPU TDP 上限標(biāo)注基于風(fēng)冷條件液冷可支持更高 TDP就是在給散熱方案留口子。2.2 模塊類型劃分的邏輯機(jī)框定完之后模塊類型表就是架構(gòu)的核心。規(guī)范定義了三大類模塊模塊類型模塊名稱功能定位1U 半寬CPU 模塊 / SOC 模塊單路計(jì)算節(jié)點(diǎn)2U 半寬CPU 模塊 / SOC 模塊單路計(jì)算節(jié)點(diǎn)更高 TDP1U 全寬容量存儲(chǔ)節(jié)點(diǎn) / 網(wǎng)絡(luò)資源模塊 / 單路 CPU / 雙路 CPU存儲(chǔ)、交換、計(jì)算半寬和全寬的劃分不是尺寸游戲而是前面板 Flex 區(qū)域的分配策略。1U 半寬模塊推薦尺寸 180x370x41mm兩個(gè)半寬模塊并排剛好填滿一個(gè)全寬位1U 全寬 360x370x41mm獨(dú)占整個(gè)前面板。這樣廠家可以根據(jù)場(chǎng)景選邊緣 AI 推理要 GPU就上 2U 半寬 CPU 模塊支持 2 張全高全長(zhǎng)單寬卡或 1 張雙寬卡純轉(zhuǎn)發(fā)場(chǎng)景要網(wǎng)口密度就上網(wǎng)絡(luò)資源模塊支持 switch 芯片。模塊邏輯框圖里能看出一個(gè)共同點(diǎn)每個(gè)模塊都是獨(dú)立計(jì)算單元有自己的 CPU、內(nèi)存、存儲(chǔ)、網(wǎng)絡(luò)、BMC。模塊之間不共享內(nèi)存總線只通過(guò)機(jī)框背板做供電和管理信號(hào)互聯(lián)。這種計(jì)算下沉到模塊、機(jī)框只做物理承載的思路是模塊化服務(wù)器和刀片服務(wù)器最大的區(qū)別——刀片通常共享電源和風(fēng)扇但計(jì)算仍集中OTII-E 把管理也下沉了。2.3 部件規(guī)格里的取舍以 1U 半寬 CPU 模塊為例規(guī)范給的規(guī)格很具體支持 Intel 最新 Xeon-SP 處理器最高 TDP 165W8 通道內(nèi)存1DPC 配置下頻率不低于 4800MHz2DPC 時(shí)不低于 4400MHz支持 2x2.5 SATA/SAS/NVMe至少 6 個(gè) 10GbE 或 25GbE 網(wǎng)口加 1 個(gè)獨(dú)立 1GbE 管理網(wǎng)口1 張 PCIe 半高半長(zhǎng)卡加 1 塊 OCP 3.0 卡。這里有個(gè)容易被忽略的細(xì)節(jié)內(nèi)存頻率隨 DPC 下降。1DPC每通道 1 個(gè) DIMM能跑 4800MHz2DPC 掉到 4400MHz這是 DDR5 電氣特性決定的——通道負(fù)載增加信號(hào)完整性變差必須降頻保穩(wěn)。規(guī)范把這個(gè)寫(xiě)進(jìn)最低要求意味著廠家不能拿 2DPC 跑 4800 當(dāng)賣點(diǎn)因?yàn)槲锢砩献霾坏椒€(wěn)定。2U 半寬 CPU 模塊把 TDP 上限提到 205WPCIe 插卡能力也增強(qiáng)到 2 張全高全長(zhǎng)單寬或 1 張雙寬。這個(gè)差異來(lái)自高度2U 有 83mm 高度能容納全高卡1U 只有 41mm只能上半高卡。所以選型時(shí)如果業(yè)務(wù)需要 GPU 或 FPGA 加速卡2U 半寬是唯一選擇1U 半寬只能做純 CPU 計(jì)算或輕量加速。SOC 模塊則是另一條路線Xeon-D 處理器TDP 上限 130W3 通道內(nèi)存 2DPC板載 4x25G 或 8x10G 網(wǎng)絡(luò)。SOC 的特點(diǎn)是網(wǎng)絡(luò)和計(jì)算集成度高適合 NFV 場(chǎng)景——網(wǎng)絡(luò)功能虛擬化需要大量小包轉(zhuǎn)發(fā)板載網(wǎng)口比 PCIe 插卡延遲更低、功耗更優(yōu)。規(guī)范里 SOC 模塊可選支持時(shí)鐘和同步方案涉及 1PPS、GNSS、PTP、TOD這是給 5G RAN 場(chǎng)景準(zhǔn)備的基站需要精確時(shí)間同步普通服務(wù)器沒(méi)有這些接口。3. 管理架構(gòu)主從節(jié)點(diǎn)和 RMC 方案怎么選3.1 兩種管理交互方案的動(dòng)機(jī)模塊化服務(wù)器最麻煩的問(wèn)題不是硬件是管理。一臺(tái)整機(jī)只有一個(gè) BMC管理簡(jiǎn)單但 OTII-E 機(jī)框里可能插了 4 個(gè)半寬模塊每個(gè)模塊都有自己的 BMC誰(shuí)來(lái)統(tǒng)一管理規(guī)范給了兩個(gè)方案主從節(jié)點(diǎn)方案和 RMC 方案。主從節(jié)點(diǎn)方案的邏輯是機(jī)框里指定一個(gè)模塊作為主節(jié)點(diǎn)其他模塊作為從節(jié)點(diǎn)。主節(jié)點(diǎn)的 BMC 負(fù)責(zé)整個(gè)機(jī)框的管理包括風(fēng)扇、電源、資產(chǎn)管理從節(jié)點(diǎn)的 BMC 只管理自己模塊內(nèi)部。主從之間通過(guò)機(jī)框背板的管理總線通信主節(jié)點(diǎn)對(duì)外提供統(tǒng)一管理接口。RMC 方案則是引入一個(gè)獨(dú)立的管理控制器Rack Management Controller不占用計(jì)算模塊。RMC 直接管理機(jī)框級(jí)部件風(fēng)扇、電源、傳感器同時(shí)通過(guò)管理總線代理各模塊的 BMC。這樣計(jì)算模塊可以完全專注業(yè)務(wù)管理功能不占用模塊資源。兩種方案的取舍很清晰主從方案成本低不需要額外硬件但主節(jié)點(diǎn)故障時(shí)整個(gè)機(jī)框管理可能受影響RMC 方案可靠性高管理功能獨(dú)立但增加了一個(gè)部件和成本。規(guī)范把兩種都列出來(lái)是給不同場(chǎng)景留選擇空間——成本敏感的邊緣節(jié)點(diǎn)用主從可靠性要求高的核心邊緣用 RMC。3.2 帶外管理功能集帶外管理是模塊化服務(wù)器的黑匣子規(guī)范列了 8 類功能資產(chǎn)管理記錄機(jī)框、模塊、部件的序列號(hào)、廠商、型號(hào)、位置信息。模塊插拔時(shí)自動(dòng)更新資產(chǎn)列表這是模塊化服務(wù)器比整機(jī)復(fù)雜的地方——整機(jī)資產(chǎn)固定模塊化資產(chǎn)是動(dòng)態(tài)的。遠(yuǎn)程診斷可選支持遠(yuǎn)程重啟、遠(yuǎn)程 KVM、遠(yuǎn)程掛載 ISO。邊緣機(jī)房通常無(wú)人值守遠(yuǎn)程診斷是剛需但規(guī)范標(biāo)了可選因?yàn)閷?shí)現(xiàn)成本高。部件信息管理CPU、內(nèi)存、硬盤(pán)、PCIe 卡、電源、風(fēng)扇的詳細(xì)信息包括溫度、功耗、健康狀態(tài)。這里的關(guān)鍵是部件和模塊的歸屬關(guān)系——一個(gè)風(fēng)扇屬于機(jī)框一個(gè)硬盤(pán)屬于某個(gè)模塊管理界面要能正確映射。傳感器監(jiān)控溫度、電壓、電流、風(fēng)扇轉(zhuǎn)速。模塊化服務(wù)器的傳感器分布在不同模塊上主節(jié)點(diǎn)或 RMC 要聚合所有傳感器數(shù)據(jù)。電源和風(fēng)扇管理電源冗余、熱插拔、風(fēng)扇調(diào)速。規(guī)范要求電源支持故障備份、風(fēng)扇支持故障備份管理功能要能檢測(cè)故障并告警。故障告警健康狀態(tài)指示燈綠燈正常、黃燈一般告警、紅燈嚴(yán)重告警、日志、SNMP Trap。前面板指示燈規(guī)范里定義得很細(xì)電源指示燈綠燈常亮表示已上電黃燈常亮表示待上電黃燈閃爍表示管理系統(tǒng)啟動(dòng)中。日志管理系統(tǒng)日志、操作日志、故障日志。模塊化服務(wù)器的日志要區(qū)分機(jī)框級(jí)和模塊級(jí)排查問(wèn)題時(shí)能定位到具體模塊。其他功能固件升級(jí)、配置備份恢復(fù)、時(shí)間同步。3.3 帶內(nèi)管理功能帶內(nèi)管理走操作系統(tǒng)通過(guò) NC-SI 接口或板載管理網(wǎng)口。規(guī)范里提到支持 NC-SI 管理接口這是 Network Controller Sideband Interface 的縮寫(xiě)作用是讓 BMC 通過(guò)網(wǎng)卡的邊帶通道收發(fā)管理流量不需要額外管理網(wǎng)線。對(duì)于邊緣機(jī)房少一根線就是少一個(gè)故障點(diǎn)。帶內(nèi)管理主要做 OS 層面的監(jiān)控CPU 利用率、內(nèi)存占用、磁盤(pán) IO、網(wǎng)絡(luò)流量。這些數(shù)據(jù)通過(guò) OS 內(nèi)的 agent 采集和帶外管理數(shù)據(jù)互補(bǔ)。帶外看硬件健康帶內(nèi)看業(yè)務(wù)負(fù)載兩者結(jié)合才能完整判斷節(jié)點(diǎn)狀態(tài)。4. 避坑模塊化服務(wù)器部署的 5 個(gè)常見(jiàn)問(wèn)題4.1 模塊插拔后資產(chǎn)信息不更新現(xiàn)象更換了一個(gè)半寬模塊管理界面里還是舊模塊的序列號(hào)新模塊的資產(chǎn)信息沒(méi)出現(xiàn)。原因模塊插拔檢測(cè)依賴背板上的 presence 信號(hào)和 BMC 輪詢。如果主節(jié)點(diǎn) BMC 的輪詢周期設(shè)置過(guò)長(zhǎng)或者背板信號(hào)線接觸不良就會(huì)漏檢。另外部分廠家的 BMC 固件在模塊熱插拔時(shí)不會(huì)主動(dòng)觸發(fā)資產(chǎn)刷新需要手動(dòng)刷新或重啟管理服務(wù)。解決先確認(rèn)背板 presence 信號(hào)是否正?？?BMC 日志里有沒(méi)有模塊上下線事件如果信號(hào)正常但資產(chǎn)不更新檢查 BMC 固件的資產(chǎn)管理模塊版本必要時(shí)升級(jí)臨時(shí)方案是通過(guò)管理命令手動(dòng)觸發(fā)資產(chǎn)掃描。4.2 風(fēng)扇調(diào)速策略和模塊溫度不匹配現(xiàn)象某個(gè)模塊 CPU 溫度已經(jīng)很高但機(jī)框風(fēng)扇轉(zhuǎn)速?zèng)]提上去模塊開(kāi)始降頻。原因機(jī)框風(fēng)扇調(diào)速通?；跈C(jī)框級(jí)溫度傳感器而不是模塊內(nèi)部 CPU 溫度。如果模塊的散熱設(shè)計(jì)依賴機(jī)框風(fēng)扇但機(jī)框風(fēng)扇看不到模塊內(nèi)部溫度就會(huì)出現(xiàn)模塊熱但風(fēng)扇不轉(zhuǎn)的情況。規(guī)范里風(fēng)扇調(diào)速要求沒(méi)有強(qiáng)制規(guī)定傳感器位置不同廠家實(shí)現(xiàn)差異大。解決檢查機(jī)框風(fēng)扇調(diào)速曲線是否包含模塊進(jìn)風(fēng)口溫度如果只基于機(jī)框溫度需要在模塊 BMC 里設(shè)置溫度告警閾值通過(guò)管理總線通知機(jī)框 BMC 提轉(zhuǎn)速選型時(shí)優(yōu)先選支持模塊溫度聯(lián)動(dòng)的機(jī)框。4.3 主從節(jié)點(diǎn)切換導(dǎo)致管理中斷現(xiàn)象主節(jié)點(diǎn)模塊故障重啟整個(gè)機(jī)框的管理界面失聯(lián)從節(jié)點(diǎn)模塊的業(yè)務(wù)雖然沒(méi)斷但無(wú)法管理。原因主從方案里主節(jié)點(diǎn) BMC 是唯一管理出口主節(jié)點(diǎn)故障時(shí)管理功能沒(méi)有備份。規(guī)范沒(méi)有強(qiáng)制要求主節(jié)點(diǎn)冗余所以很多實(shí)現(xiàn)是單點(diǎn)。解決如果業(yè)務(wù)對(duì)管理連續(xù)性要求高選 RMC 方案如果已經(jīng)用了主從方案配置管理口冗余比如主節(jié)點(diǎn)管理網(wǎng)口和從節(jié)點(diǎn)管理網(wǎng)口都接入管理交換機(jī)主節(jié)點(diǎn)故障時(shí)手動(dòng)切換管理 IP長(zhǎng)期方案是推動(dòng)廠家支持主節(jié)點(diǎn)自動(dòng)選舉。4.4 電源冗余配置和實(shí)際功耗不匹配現(xiàn)象配置了 11 冗余電源但一個(gè)電源故障后系統(tǒng)直接下電。原因電源冗余的前提是單個(gè)電源能承載整機(jī)滿載功耗。如果兩個(gè)電源各 800W整機(jī)滿載 1000W11 冗余下單個(gè)電源帶不動(dòng)故障時(shí)就掉電。規(guī)范里電源要求寫(xiě)了冗余和熱插拔但沒(méi)有強(qiáng)制規(guī)定電源功率和整機(jī)功耗的比例。解決計(jì)算整機(jī)滿載功耗CPU TDP 內(nèi)存 硬盤(pán) PCIe 卡 風(fēng)扇確保單個(gè)電源額定功率大于滿載功耗的 1.2 倍如果空間允許選更高功率電源管理界面里監(jiān)控電源負(fù)載率超過(guò) 60% 就要警惕。4.5 時(shí)鐘同步方案在 SOC 模塊上不生效現(xiàn)象SOC 模塊配置了 PTP 時(shí)鐘同步但時(shí)間精度達(dá)不到要求或者 GNSS 信號(hào)丟失后沒(méi)有 holdover。原因規(guī)范里時(shí)鐘和同步是可選只涉及 SOC 模塊意味著不是所有 SOC 模塊都支持。如果模塊硬件沒(méi)有 1PPS 接口或 GNSS 模塊軟件配置再對(duì)也沒(méi)用。另外 PTP 對(duì)網(wǎng)絡(luò)交換機(jī)的透明時(shí)鐘支持有要求普通交換機(jī)不保證精度。解決選型時(shí)確認(rèn) SOC 模塊硬件支持 1PPS、TOD、GNSS檢查交換機(jī)是否支持 PTP 透明時(shí)鐘GNSS 天線要放在能收到信號(hào)的位置邊緣機(jī)房通常在地下室或封閉空間GNSS 信號(hào)可能很差需要外部天線引到室外。5. 設(shè)計(jì)取舍模塊化到底犧牲了什么模塊化服務(wù)器的代價(jià)規(guī)范里沒(méi)有明說(shuō)但從技術(shù)約束能反推出來(lái)。第一是密度。1U 半寬模塊 180mm 寬兩個(gè)并排 360mm加上機(jī)框結(jié)構(gòu)件和背板實(shí)際可用寬度比標(biāo)準(zhǔn) 1U 服務(wù)器少。標(biāo)準(zhǔn) 1U 服務(wù)器能放 10 個(gè) 2.5 寸硬盤(pán)1U 半寬模塊只能放 2 個(gè)。存儲(chǔ)密度下降是模塊化的必然代價(jià)換來(lái)的是靈活性。第二是散熱效率。整機(jī)服務(wù)器風(fēng)道是統(tǒng)一設(shè)計(jì)的模塊化服務(wù)器每個(gè)模塊有自己的進(jìn)風(fēng)口和出風(fēng)口機(jī)框風(fēng)扇要同時(shí)照顧多個(gè)模塊風(fēng)道復(fù)雜度高。規(guī)范里 CPU TDP 上限標(biāo)注基于風(fēng)冷條件暗示風(fēng)冷下模塊化服務(wù)器的散熱能力比整機(jī)弱液冷才能釋放全部性能。第三是管理復(fù)雜度。整機(jī)一個(gè) BMC 搞定模塊化要處理主從或 RMC管理軟件復(fù)雜度上升。帶外管理功能集里資產(chǎn)管理、部件信息管理、傳感器監(jiān)控都要處理模塊歸屬問(wèn)題開(kāi)發(fā)工作量比整機(jī)大。第四是成本。模塊化意味著每個(gè)模塊都要有獨(dú)立的 BMC、電源轉(zhuǎn)換、時(shí)鐘電路物料成本比整機(jī)高。但邊緣場(chǎng)景下靈活配置帶來(lái)的運(yùn)維成本下降能抵消硬件成本上升——一個(gè)機(jī)框備幾種模塊現(xiàn)場(chǎng)按需組合比備幾種整機(jī)庫(kù)存壓力小。驗(yàn)證這套設(shè)計(jì)是否合理最直接的方法是看故障域。整機(jī)服務(wù)器故障域是整個(gè)機(jī)箱模塊化服務(wù)器故障域是單個(gè)模塊。一個(gè)模塊掛了其他模塊繼續(xù)跑管理界面還能看到故障模塊的狀態(tài)。對(duì)于邊緣計(jì)算場(chǎng)景這種故障隔離能力比密度更重要——邊緣機(jī)房無(wú)人值守一次故障導(dǎo)致整機(jī)宕機(jī)恢復(fù)時(shí)間可能是幾小時(shí)模塊化下只損失部分算力業(yè)務(wù)可以遷移到其他模塊。從那以后我每次評(píng)估模塊化服務(wù)器方案都會(huì)強(qiáng)制走一遍故障域推演假設(shè)任意一個(gè)模塊、任意一個(gè)電源、任意一個(gè)風(fēng)扇故障系統(tǒng)還剩多少可用算力管理界面是否還能訪問(wèn)業(yè)務(wù)能否自動(dòng)遷移。這個(gè)推演比看規(guī)格表更能判斷方案是否真的適合邊緣場(chǎng)景。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取