简介这份PDF文档为ODCC发布的《OTII-E模块化服务器技术规范V1.0》编号ODCC-2023-01002由中国移动、中国电信、英特尔等单位牵头编制面向服务器设计、生产与运维工程师尤其是关注5G与边缘计算场景的技术与管理人员。规范围绕深度定制、开放标准与技术统一的目标系统给出机框规格与前后板布局、模块类型与尺寸、CPU/内存/存储/PCIe插卡/加速硬件等部件要求以及电源风扇、环境适应性和硬件管理接口HWI等设计细则并附有大量图表辅助理解布局与逻辑框图。资源包共1个PDF文件约1.4MB便于随查随用。目前已有304人学习。读者可借此掌握模块化服务器的标准化设计思路与接口约定为边缘侧灵活配置、系统性能与可靠性提升及维护成本控制提供参考依据。1. 模块化服务器为什么插槽比堆料更难做边缘计算这件事最反直觉的一点是算力从来不是瓶颈部署形态才是。一个典型的边缘机房可能只有 600mm 深的机柜、没有空调、维护窗口只有几分钟你塞一台标准 2U 服务器进去深度超了、温度扛不住、硬盘还得绕到后面去拔。OTII-E 模块化服务器技术规范要解决的就是这种机房条件倒逼硬件形态的问题——它把服务器拆成机框、模块、部件三层用插槽式模块组合替代整机定制让同一套机框能装下计算、存储、网络三类节点。这份规范值得搞懂的地方不在于它定义了哪些尺寸而在于它回答了一个工程难题当硬件被切成可插拔的模块之后管理、供电、散热、时钟这些原本整机内部的事情怎么在模块之间重新分配职责。这背后涉及主从节点管理、RMC 方案、带外管理功能集、前维护布局等一系列设计取舍。下面从总体约束开始一层层拆到管理接口的实现细节。2. 总体约束600mm 深度和 5℃~40℃ 是怎么倒逼架构的2.1 物理约束先于电气约束规范里最先定死的不是 CPU 型号而是机框尺寸宽度兼容 19 英寸和 21 英寸机架高度 1U 或 2UPSU 出线口与前面板距离 d≤450mm整机深度 D≤470mm。这几个数字不是随便写的。标准机柜深度通常 600mm前面要留 D1≥90mm 给前门框后面要留 D2≥60mm 给 PSU 出线中间留给服务器的净空间就被压到 470mm 以内。一旦深度被锁死主板布局、PCIe 插卡方向、电源位置全部要重新排。更关键的是前维护这条开关、指示灯、硬盘、网线全部走前面板。传统服务器硬盘在 front、PCIe 在 rear维护要两头跑边缘机房往往只有单面操作空间所以 OTII-E 把可维护部件全部前置。这直接导致后面板只剩风扇区和电源区两个区域风扇支持故障备份、电源支持故障备份布局被极度简化。温度约束同样在倒逼设计长期 5℃~40℃、短期 -5℃~45℃。这个范围比标准数据中心通常 10℃~35℃宽意味着风扇调速策略、电源转换效率、器件选型都要按工业级余量来。规范里 CPU TDP 上限标注基于风冷条件液冷可支持更高 TDP就是在给散热方案留口子。2.2 模块类型划分的逻辑机框定完之后模块类型表就是架构的核心。规范定义了三大类模块模块类型模块名称功能定位1U 半宽CPU 模块 / SOC 模块单路计算节点2U 半宽CPU 模块 / SOC 模块单路计算节点更高 TDP1U 全宽容量存储节点 / 网络资源模块 / 单路 CPU / 双路 CPU存储、交换、计算半宽和全宽的划分不是尺寸游戏而是前面板 Flex 区域的分配策略。1U 半宽模块推荐尺寸 180x370x41mm两个半宽模块并排刚好填满一个全宽位1U 全宽 360x370x41mm独占整个前面板。这样厂家可以根据场景选边缘 AI 推理要 GPU就上 2U 半宽 CPU 模块支持 2 张全高全长单宽卡或 1 张双宽卡纯转发场景要网口密度就上网络资源模块支持 switch 芯片。模块逻辑框图里能看出一个共同点每个模块都是独立计算单元有自己的 CPU、内存、存储、网络、BMC。模块之间不共享内存总线只通过机框背板做供电和管理信号互联。这种计算下沉到模块、机框只做物理承载的思路是模块化服务器和刀片服务器最大的区别——刀片通常共享电源和风扇但计算仍集中OTII-E 把管理也下沉了。2.3 部件规格里的取舍以 1U 半宽 CPU 模块为例规范给的规格很具体支持 Intel 最新 Xeon-SP 处理器最高 TDP 165W8 通道内存1DPC 配置下频率不低于 4800MHz2DPC 时不低于 4400MHz支持 2x2.5 SATA/SAS/NVMe至少 6 个 10GbE 或 25GbE 网口加 1 个独立 1GbE 管理网口1 张 PCIe 半高半长卡加 1 块 OCP 3.0 卡。这里有个容易被忽略的细节内存频率随 DPC 下降。1DPC每通道 1 个 DIMM能跑 4800MHz2DPC 掉到 4400MHz这是 DDR5 电气特性决定的——通道负载增加信号完整性变差必须降频保稳。规范把这个写进最低要求意味着厂家不能拿 2DPC 跑 4800 当卖点因为物理上做不到稳定。2U 半宽 CPU 模块把 TDP 上限提到 205WPCIe 插卡能力也增强到 2 张全高全长单宽或 1 张双宽。这个差异来自高度2U 有 83mm 高度能容纳全高卡1U 只有 41mm只能上半高卡。所以选型时如果业务需要 GPU 或 FPGA 加速卡2U 半宽是唯一选择1U 半宽只能做纯 CPU 计算或轻量加速。SOC 模块则是另一条路线Xeon-D 处理器TDP 上限 130W3 通道内存 2DPC板载 4x25G 或 8x10G 网络。SOC 的特点是网络和计算集成度高适合 NFV 场景——网络功能虚拟化需要大量小包转发板载网口比 PCIe 插卡延迟更低、功耗更优。规范里 SOC 模块可选支持时钟和同步方案涉及 1PPS、GNSS、PTP、TOD这是给 5G RAN 场景准备的基站需要精确时间同步普通服务器没有这些接口。3. 管理架构主从节点和 RMC 方案怎么选3.1 两种管理交互方案的动机模块化服务器最麻烦的问题不是硬件是管理。一台整机只有一个 BMC管理简单但 OTII-E 机框里可能插了 4 个半宽模块每个模块都有自己的 BMC谁来统一管理规范给了两个方案主从节点方案和 RMC 方案。主从节点方案的逻辑是机框里指定一个模块作为主节点其他模块作为从节点。主节点的 BMC 负责整个机框的管理包括风扇、电源、资产管理从节点的 BMC 只管理自己模块内部。主从之间通过机框背板的管理总线通信主节点对外提供统一管理接口。RMC 方案则是引入一个独立的管理控制器Rack Management Controller不占用计算模块。RMC 直接管理机框级部件风扇、电源、传感器同时通过管理总线代理各模块的 BMC。这样计算模块可以完全专注业务管理功能不占用模块资源。两种方案的取舍很清晰主从方案成本低不需要额外硬件但主节点故障时整个机框管理可能受影响RMC 方案可靠性高管理功能独立但增加了一个部件和成本。规范把两种都列出来是给不同场景留选择空间——成本敏感的边缘节点用主从可靠性要求高的核心边缘用 RMC。3.2 带外管理功能集带外管理是模块化服务器的黑匣子规范列了 8 类功能资产管理记录机框、模块、部件的序列号、厂商、型号、位置信息。模块插拔时自动更新资产列表这是模块化服务器比整机复杂的地方——整机资产固定模块化资产是动态的。远程诊断可选支持远程重启、远程 KVM、远程挂载 ISO。边缘机房通常无人值守远程诊断是刚需但规范标了可选因为实现成本高。部件信息管理CPU、内存、硬盘、PCIe 卡、电源、风扇的详细信息包括温度、功耗、健康状态。这里的关键是部件和模块的归属关系——一个风扇属于机框一个硬盘属于某个模块管理界面要能正确映射。传感器监控温度、电压、电流、风扇转速。模块化服务器的传感器分布在不同模块上主节点或 RMC 要聚合所有传感器数据。电源和风扇管理电源冗余、热插拔、风扇调速。规范要求电源支持故障备份、风扇支持故障备份管理功能要能检测故障并告警。故障告警健康状态指示灯绿灯正常、黄灯一般告警、红灯严重告警、日志、SNMP Trap。前面板指示灯规范里定义得很细电源指示灯绿灯常亮表示已上电黄灯常亮表示待上电黄灯闪烁表示管理系统启动中。日志管理系统日志、操作日志、故障日志。模块化服务器的日志要区分机框级和模块级排查问题时能定位到具体模块。其他功能固件升级、配置备份恢复、时间同步。3.3 带内管理功能带内管理走操作系统通过 NC-SI 接口或板载管理网口。规范里提到支持 NC-SI 管理接口这是 Network Controller Sideband Interface 的缩写作用是让 BMC 通过网卡的边带通道收发管理流量不需要额外管理网线。对于边缘机房少一根线就是少一个故障点。带内管理主要做 OS 层面的监控CPU 利用率、内存占用、磁盘 IO、网络流量。这些数据通过 OS 内的 agent 采集和带外管理数据互补。带外看硬件健康带内看业务负载两者结合才能完整判断节点状态。4. 避坑模块化服务器部署的 5 个常见问题4.1 模块插拔后资产信息不更新现象更换了一个半宽模块管理界面里还是旧模块的序列号新模块的资产信息没出现。原因模块插拔检测依赖背板上的 presence 信号和 BMC 轮询。如果主节点 BMC 的轮询周期设置过长或者背板信号线接触不良就会漏检。另外部分厂家的 BMC 固件在模块热插拔时不会主动触发资产刷新需要手动刷新或重启管理服务。解决先确认背板 presence 信号是否正常看 BMC 日志里有没有模块上下线事件如果信号正常但资产不更新检查 BMC 固件的资产管理模块版本必要时升级临时方案是通过管理命令手动触发资产扫描。4.2 风扇调速策略和模块温度不匹配现象某个模块 CPU 温度已经很高但机框风扇转速没提上去模块开始降频。原因机框风扇调速通常基于机框级温度传感器而不是模块内部 CPU 温度。如果模块的散热设计依赖机框风扇但机框风扇看不到模块内部温度就会出现模块热但风扇不转的情况。规范里风扇调速要求没有强制规定传感器位置不同厂家实现差异大。解决检查机框风扇调速曲线是否包含模块进风口温度如果只基于机框温度需要在模块 BMC 里设置温度告警阈值通过管理总线通知机框 BMC 提转速选型时优先选支持模块温度联动的机框。4.3 主从节点切换导致管理中断现象主节点模块故障重启整个机框的管理界面失联从节点模块的业务虽然没断但无法管理。原因主从方案里主节点 BMC 是唯一管理出口主节点故障时管理功能没有备份。规范没有强制要求主节点冗余所以很多实现是单点。解决如果业务对管理连续性要求高选 RMC 方案如果已经用了主从方案配置管理口冗余比如主节点管理网口和从节点管理网口都接入管理交换机主节点故障时手动切换管理 IP长期方案是推动厂家支持主节点自动选举。4.4 电源冗余配置和实际功耗不匹配现象配置了 11 冗余电源但一个电源故障后系统直接下电。原因电源冗余的前提是单个电源能承载整机满载功耗。如果两个电源各 800W整机满载 1000W11 冗余下单个电源带不动故障时就掉电。规范里电源要求写了冗余和热插拔但没有强制规定电源功率和整机功耗的比例。解决计算整机满载功耗CPU TDP 内存 硬盘 PCIe 卡 风扇确保单个电源额定功率大于满载功耗的 1.2 倍如果空间允许选更高功率电源管理界面里监控电源负载率超过 60% 就要警惕。4.5 时钟同步方案在 SOC 模块上不生效现象SOC 模块配置了 PTP 时钟同步但时间精度达不到要求或者 GNSS 信号丢失后没有 holdover。原因规范里时钟和同步是可选只涉及 SOC 模块意味着不是所有 SOC 模块都支持。如果模块硬件没有 1PPS 接口或 GNSS 模块软件配置再对也没用。另外 PTP 对网络交换机的透明时钟支持有要求普通交换机不保证精度。解决选型时确认 SOC 模块硬件支持 1PPS、TOD、GNSS检查交换机是否支持 PTP 透明时钟GNSS 天线要放在能收到信号的位置边缘机房通常在地下室或封闭空间GNSS 信号可能很差需要外部天线引到室外。5. 设计取舍模块化到底牺牲了什么模块化服务器的代价规范里没有明说但从技术约束能反推出来。第一是密度。1U 半宽模块 180mm 宽两个并排 360mm加上机框结构件和背板实际可用宽度比标准 1U 服务器少。标准 1U 服务器能放 10 个 2.5 寸硬盘1U 半宽模块只能放 2 个。存储密度下降是模块化的必然代价换来的是灵活性。第二是散热效率。整机服务器风道是统一设计的模块化服务器每个模块有自己的进风口和出风口机框风扇要同时照顾多个模块风道复杂度高。规范里 CPU TDP 上限标注基于风冷条件暗示风冷下模块化服务器的散热能力比整机弱液冷才能释放全部性能。第三是管理复杂度。整机一个 BMC 搞定模块化要处理主从或 RMC管理软件复杂度上升。带外管理功能集里资产管理、部件信息管理、传感器监控都要处理模块归属问题开发工作量比整机大。第四是成本。模块化意味着每个模块都要有独立的 BMC、电源转换、时钟电路物料成本比整机高。但边缘场景下灵活配置带来的运维成本下降能抵消硬件成本上升——一个机框备几种模块现场按需组合比备几种整机库存压力小。验证这套设计是否合理最直接的方法是看故障域。整机服务器故障域是整个机箱模块化服务器故障域是单个模块。一个模块挂了其他模块继续跑管理界面还能看到故障模块的状态。对于边缘计算场景这种故障隔离能力比密度更重要——边缘机房无人值守一次故障导致整机宕机恢复时间可能是几小时模块化下只损失部分算力业务可以迁移到其他模块。从那以后我每次评估模块化服务器方案都会强制走一遍故障域推演假设任意一个模块、任意一个电源、任意一个风扇故障系统还剩多少可用算力管理界面是否还能访问业务能否自动迁移。这个推演比看规格表更能判断方案是否真的适合边缘场景。希望帮到你。本文还有配套的精品资源点击获取
