简介《存储规划实施方案V3.0》是一份面向数据中心存储系统规划、建设与迁移的完整项目文档适用于需要升级或新建存储架构的机构重点解决存储资源分配、数据处理效率、数据安全与业务扩展等问题。资源共1个文件为doc格式压缩包大小18.06MB内容覆盖项目背景、设备清单、建设目标、存储架构设计、数据迁移策略、风险评估与应对措施、实施步骤、项目管理与监控等关键章节并对已有虚拟化平台改造、私有云平台规划实施方案做了细化说明。目前已有650人浏览学习。文档由广东省XX资源技术中心与广东XX信息技术有限公司合作编制包含版本控制、修订记录和项目干系人清单可作为同类存储规划项目的参考模板对涉及SAN/NAS选型、RAID配置、热迁移/冷迁移策略、备份优化与自动化迁移的工程实施人员具有较强实操借鉴价值。1. 先把这份存储规划实施方案读厚真正会让 vMotion 漂移失败的往往不是 CPU 或内存不够而是两台主机的存储链路、虚拟交换机和 NTP 时钟没对齐。拿到《存储规划实施方案V3.0》通读一遍第一印象是它表面是份施工方案实际是一张把旧虚拟化平台抽出来、重组进新私有云集群的操作地图。方案从旧平台改造开始先把 vCenter 管理面请下老宿主再按生产/测试划分资源池随后是四网卡拆组、FC ZONE 交叉冗余、共享存储容量计算和 RAID 选型最后落到基于存储阵列的迁移实施。适合正在做存储扩容、虚拟化改造的运维工程师和现场实施人员方案里的版本虽然是 ESXi 5.x但 HA 三要素、NTP 同步、ZONE 规划这些逻辑放到现在的环境依然适用。2. 已有虚拟化平台改造先抽管理面再谈业务迁移这套环境的原有形态是两台 R710 跑 ESXi 5.0vCenter Server 5.0 装在 X3850 M2 上X3850 M2 同时承载着域控制器这一类角色管理面和业务面挤在同一台物理机上。文档改造的第一步不是急着加存储、加集群而是先把 vCenter Server 5.5 迁到 2950 上让管理面从老机器里脱身最后再把 X3850 M2 撤出来并进新规划的私有云平台。这个顺序看起来保守实际是整套改造的地基。2.1 为什么要先动 vCenter而不是先动业务很多现场实施会把顺序反过来先把新服务器上架、装好 ESXi、建好集群最后才处理 vCenter 迁移。这样做的风险在于旧 vCenter 还挂在 X3850 M2 上而新集群的 HA、vMotion 行为全部由 vCenter 控制。管理面宿主要么继续参与旧集群的故障响应要么在新旧平台之间做桥接一旦它重启或磁盘异常所有 HA 心跳、迁移任务都会失明。文档的处理方式是先“搬家”再“扩容”把 vCenter Server 5.5 装到 2950 上数据库也放在这同一台机器里X3850 M2 撤出后另行并入新集群。这样做的好处是迁移窗口完全错开管理面先就位再逐步把两台 R710 从旧集群挪进新集群业务虚拟机一批批迁而不是选一个凌晨把所有虚机一次性漂移过去。这里有一个容易忽略的细节vCenter 已经部署在 2950 上之后旧 vCenter 先不要急着关机。旧 vCenter 关机不会让运行中的虚拟机停机但会让旧集群失去 HA 调度和 vMotion 能力。正确做法是等新集群里所有主机加完、存储映射验证通过、第一批业务虚机迁走之后再关旧 vCenter。2.2 集群与资源池规划四个维度先对齐文档规划的集群粒度很清晰按生产与测试拆成两个资源池生产环境以两台 R730 和一台 R710 组成测试环境放一台 R710。拆池的目的并不是单纯做环境隔离而是让 HA 失败切换的影响范围可控。生产池里任何一台物理机宕机虚拟机只会在同一池内其他宿主机上重启不会把测试环境的负载也卷进来。要把这几台不同型号的机器放进同一个 HA 集群最常踩的坑是“以为 vCenter 会自动抹平硬件差异”。文档在集群规划里明确要求CPU、内存、内置网卡、外置网卡、光纤卡设置都要相同。这是 vMotion 能成立的前提因为在线迁移时源主机要把 CPU 状态完整传给目标主机指令集差异过大迁移就会被中断。实际落地上新旧设备做不到完全同型号是常态。我一般会在加主机前先跑一轮硬件信息采集留下基线再决定是否启用 EVC 兼容模式esxcli hardware platform get esxcli hardware memory get esxcli network nic list第一条命令看服务器平台信息和序列号第二条确认内存容量是否与规划一致第三条检查网卡是否被正确识别、固件状态是否正常。这三项在有故障的主机上表现非常明显内存少了、网卡识别不出来后续加集群时大概率会报“主机配置不符合集群要求”。2.3 改造顺序一张能直接抄的实施路径把这份 V3.0 文档第 4 章的“实施计划”整理成可执行顺序大致是下面这个节奏阶段核心动作关键检查点设备准备新服务器上架上电、网络线缆布放、存储就位所有设备供电与管理 IP 可达设计文档确认集群、资源池、网络、存储规划主机名、IP、ZONE 表签字确认基础环境ESXi 安装、vCenter 部署、主机加集群管理网络冗余、HA 开启成功存储配置存储 RAID 组创建、LUN 映射、ZONE 划分每台主机可见全部数据存储虚拟机实施创建虚拟机、模板部署、P2V 转换业务系统连通性测试收尾完成实施文档、拓扑图、配置记录归档变更记录闭环注意第 4 步在逻辑上必须晚于第 3 步共享存储路径没有配好之前就算把主机加进 HA 集群vSphere HA 的代理也会因为检测不到心跳数据存储而反复告警。文档里 HA 三要素写得很直白虚拟机部署在共享存储上、物理主机配置一致、所有主机归同一个 vCenter 管理。这三个条件缺一个高可用就是纸面上的高可用。提示R710 从旧集群挪到新集群时如果原来用的是 ESXi 5.0建议直接重装成与 R730 一致的 ESXi 5.5不要做跨版本升级迁移。重装时间成本远低于后续排查 vMotion 因版本差异失败的成本。3. 网络与存储链路规划四网卡拆组与 FC ZONE 交叉冗余网络规划是整套存储规划的前置条件。文档以 APP01 生产池为例把每台服务器内置的 4 口网卡拆成了两组管理网络和 vMotion 复用前两个口业务网络用后两个口。这样的拆分在物理线上省了交换机端口在逻辑上又让业务流量和管理流量分开是我比较认可的做法。要注意的是这里说的“每台服务器”包括 R730 和 R710加进集群前所有主机的网络拓扑必须完全一致。3.1 vmnic 怎么分配管理、vMotion、业务三路流量文档给出的网卡用途可以整理成下面这张表物理端口虚拟交换机主要流量冗余方式vmnic0vSwitch0管理网络主用链路vmnic1vSwitch0vMotion 迁移、管理备份与 vnic0 互为主备vmnic2vSwitch1业务虚拟机流量与 vmnic3 做负载均衡vmnic3vSwitch1业务虚拟机流量与 vmnic2 做负载均衡这里有一个原文没细写但现场必须注意的点vSwitch0 上要建两个 VMkernel 端口一个是管理口一个是 vMotion 口不能只用一个 VMkernel 同时勾选管理和 vMotion。vMotion 流量是内存内容拷贝数据量大、延时长如果和管理流量共用同一个 VMkernel平时看不出问题一旦做跨交换机迁移管理口可能因为资源抢占导致 vCenter 报“主机连接已超时”。vMotion 网络建议单独划一个 VLAN并给每台主机分配独立的 vMotion IP。这个 IP 不需要被业务访问只要集群内主机之间能互通即可。如果网络设备支持巨帧可以给 vMotion 网络统一开 MTU 9000减少大内存虚机迁移时的分片重传但开巨帧必须保证物理交换机端口、虚拟交换机、VMkernel 三层同时生效任何一层没改迁移速度反而会下降。3.2 vMotion 与 Storage vMotion三个选项各自用在哪文档把 vMotion 分成三个选项更改主机、更改数据存储、更改主机与数据存储。这不仅是操作区别更是迁移策略的边界判断。“更改主机”是纯计算迁移虚拟磁盘留在原数据存储上适合物理机维护、主机负载均衡。“更改数据存储”是 Storage vMotion在线把虚拟磁盘从一个数据存储搬到另一个数据存储适合存储阵列扩容或切换虚拟机不会停机。两者同时勾选则用于“换机器又换存储”的一次性纵向迁移比如把旧 R710 上的业务迁到新 R730 并同时从旧盘阵迁到共享存储。实际使用时我先会把“更改数据存储”单独跑一遍。原因是纯计算迁移如果失败虚拟机还在原宿主机上继续运行回滚风险极低但如果同时迁移主机和数据存储任何一个环节失败排查范围会成倍扩大。文档里把三个选项分开描述我想就是为了让实施人员理解这一步的粒度。3.3 FC 链路怎么接主机、控制器、交换机三层交叉存储是 HA 的胜负手。文档中每台服务器配置两个 HBA 口分别接到两台光纤交换机存储 S5500 的双控制器也交叉接入这两台交换机。以一对 R710 为例连接关系如下服务器HBA 端口对端交换机交换机端口R710-1H1FC-AFC1R710-1H2FC-BFC1R710-2H1FC-AFC2R710-2H2FC-BFC2S5500 存储C1-P1FC-AFC5S5500 存储C2-P1FC-BFC5这样的接法保证单台光纤交换机故障时存储和主机仍然通过另一台交换机保持各自至少一条链路单个存储控制器故障时另一个控制器也能访问到所有 LUN。很多现场只在存储端划 ZONE 时把主机 HBA 加进去了却没有核对控制器端口是否两边都加入结果看起来链路正常拔一根光纤后多路径却不起作用。ZONE 的规划要按“主机维度”而不是“端口维度”来划。文档里对应的做法是每台主机单独一个 ZONE 名在该 ZONE 内放入这台主机的两个 HBA 端口和存储的两个控制器端口并在两台光纤交换机上分别划同样的 ZONE。这样主机和存储之间形成 4 条可见路径由 ESXi 的多路径插件统一管理。ZONE 名建议直接使用主机名便于后期维护时按名字检索。提示划 ZONE 前先把每台服务器的 HBA WWPN 抓下来不要在交换机上凭图形界面里的端口猜测。可以在 ESXi 上用esxcli fc port stats查看本地 FC 适配器的 WWPN再与交换机nsShow结果比对。WWPN 抄错一个字符后面多路径就会显示“链路正常但路径未激活”。4. 存储阵列规划RAID 选型、容量计算与 LUN 映射存储规划是这份 V3.0 方案篇幅最重的部分。ESXi 主机加完集群后接下来的核心工作就是让共享存储对每一台主机可见、可用、冗余。这里要先明确一个概念本地磁盘只适合放 ESXi 系统和临时诊断文件所有需要 vMotion 或 HA 的虚拟机必须放在共享存储上。如果虚拟机磁盘落在本地盘迁移时要么冷迁移要么根本不允许在线迁移。4.1 RAID 怎么选先定写惩罚再看容量文档在冗余设计里重点提了共享存储在 HA 架构中的作用但 RAID 级别没有展开说。结合虚拟化存储的 IO 特征我一般按下面这个表来选RAID 级别可用容量随机写性能冗余能力推荐场景RAID 1050%最好每组镜像可坏一块盘虚拟机数据存储、数据库RAID 5(N-1)/N一般有写惩罚单盘故障备份、归档、低写入负载RAID 6(N-2)/N较差写惩罚明显双盘故障大容量冷数据虚拟机的磁盘 IO 以 4KB 到 64KB 的随机读写为主RAID 5 每笔写操作都要读旧数据、读旧校验、写新数据、写新校验四步操作在高并发下很容易把存储控制器性能打满。尤其是 vMotion 迁移和虚拟机快照同时进行时写放大效应会被急剧放大。所以生产环境的数据存储我几乎只用 RAID 10。S5500 双控设备在规划 RAID 组时要注意跨越两个控制器分别建组避免所有热盘扎在同一个控制器下面。同时还要考虑热备盘。不要把所有磁盘都建到 RAID 组里至少要留一块全局热备盘。热备盘不参与容量计算但它是 RAID 组自动重建的“后悔药”。没有热备盘的情况下一块数据盘故障后阵列会一直处于降级状态直到人工更换磁盘。4.2 容量规划别把“3.6T”当成真实可用空间容量计算是文档里最容易产生偏差的环节。以 6 块 1.2TB 10K SAS 磁盘为例RAID 10 的理论可用容量是 3.6TB但真实可分配给虚拟机的容量还要层层扣除VMFS 文件系统格式化开销、快照预设空间、LUN 对齐损耗、存储控制器元数据空间。按我的经验RAID 10 做完后实际可用大概在原始逻辑容量的 85% 到 90% 之间。这个账在方案里最好提前算清楚否则建 LUN 时按满配规划上生产一个月就会收到容量告警。我一般会在容量表里加一列“实际可用容量”按下面口径填写原始容量RAID 10 后容量热备盘扣减格式化/快照预留最终可用7.2TB3.6TB0热备独立约 10%约 3.2TB建好数据存储后再验证也简单SSH 到任意一台 ESXi 上执行 df -h即可看到 VMFS 实际可用的数字。快照是容量黑洞尤其要注意虚拟机的快照不是增量备份链式快照长时间不合并会在数据存储里持续膨胀直接侵蚀预留空间。4.3 AS500H、AS8000、AS13000同一套规划套路换参数文档在 S5500 之外还列了 AS500H、AS8000、AS13000 几个存储分支章节结构几乎一致容量规划、连接规划、IP 地址规划、存储分区规划、交换机 ZONE 规划、应用部署、安装实施。这说明方案编写者是把存储规划做成了一套标准化流程不同型号只是参数不同套路完全相同。真正实施时我建议把这些存储型号的容量矩阵提前列出来字段至少包含业务系统名称、需求裸容量、RAID 级别、热备盘策略、预期可用容量、备注。没有明确需求数字时按“实际业务需求乘以 1.3”作为冗余系数后续再加系统时就不用频繁动 RAID 组结构。连接规划上不管是哪款存储都按“服务器 HBA → 光纤交换机 → 存储前端端口”三层逐项核对并在存储端把同一集群的主机加进同一个主机组再把创建好的 LUN 映射到这个主机组上。ZONE 的划分原则与前面一致单台主机一个 ZONEA/B 两台交换机分别划同样的成员物理链路三层交叉冗余。5. 实施避坑现场最容易翻车的五个高频问题这一章写的是真实交付里反复出现的五个问题。这些问题在方案文本里只是一句话但现场处理起来往往要花半天。每一条都按现象、原因、解决三步写清楚照着排查能省不少弯路。5.1 主机加入 HA 后一直报隔离响应未开启现象两台 R730 加入 HA 集群后vCenter 事件里不断出现“vSphere HA 检测到主机隔离”或“HA 代理未安装”主机状态显示黄色感叹号。原因管理网络虽然接了两根线但 vmnic0 和 vmnic1 没有同时在 vSwitch0 中设置为主用链路或者 HA 默认隔离地址与当前管理网段不互通导致 ESXi 误判自己与 vCenter 隔离。解决在 vSwitch0 属性里确认 vmnic0、vmnic1 都在“活动适配器”列表并把管理网络的 VMkernel 绑定到这个具备冗余的交换机。然后检查 HA 高级选项中的隔离地址das.isolationaddress确保它指向网关或另一个与 vCenter 同网段的稳定 IP。改完等 HA 重新配置完成后事件会自动清除。5.2 vMotion 迁移到 95% 卡住最后报错失败现象发起“更改主机”迁移进度条走到 95%然后在“正在完成迁移”阶段停滞最终提示“迁移失败无法与源主机建立网络连接”。原因多数情况是 vMotion VMkernel 和业务网络在同一个 VLAN或者 MTU 不一致。迁移过程中虚拟机内存数据持续传输业务流量挤占了迁移带宽vMotion 会话超时。解决给 vMotion 单独分配一个 VMkernel 端口和独立 VLAN并关闭“管理流量”勾选。如果开了巨帧确认 vSwitch、上行链路和物理交换机端口全部一致。另一个容易忽略的点是vMotion 在迁移过程中会产生握手流量如果集群内主机名解析用的是 DNS而 DNS 不稳定也会在 95% 附近卡住。所有主机在 vCenter 里的 DNS 后缀要一致。5.3 FC 链路显示正常但拔线后多路径不切换现象ZONE 划完、存储 LUN 映射完esxcli storage core path list 看得到所有路径但拔掉一条光纤后虚拟机 IO 停顿几十秒才恢复甚至直接报磁盘错误。原因ESXi 主机和存储之间的路径虽然可见但多路径策略是 Fixed且首选路径刚好被拔掉或者存储端没有为 LUN 启用 ALUA路径切换依赖主机侧主动探测延迟很高。解决先确认路径状态有两个 Active再用命令把设备的 PSP 改成 Round Robinesxcli storage nmp device set --device naa.xxxxx --psp VMW_PSP_RR esxcli storage core path list | grep -A 4 naa.xxxxx第一行命令设置负载均衡策略第二行查看每个 LUN 对应的运行时路径状态。改完后拔线测试切换时间应控制在 2 秒以内。如果路径状态里出现 “Dead” 或 “Standby”优先排查 ZONE 是否包含了对端的存储控制器端口。5.4 LUN 在存储端映射了ESXi 里却见不到 VMFS现象存储侧已经创建 LUN 并映射到主机组ESXi 的存储适配器能看到磁盘设备但“新建数据存储”向导里找不到这个 LUN或者提示该磁盘上没有 VMFS 分区。原因最常见的是拿已有磁盘做变更LUN 的存储 ID 变了ESXi 残存的分区表指向旧设备另一种情况是新磁盘没有初始化分区表VMFS 要求 GPT 分区磁盘默认是 MBR 或没有标签。解决在 ESXi Shell 里先看设备路径然后重建 GPT 分区表partedUtil mklabel /vmfs/devices/disks/naa.xxxxx partedUtil setptbl /vmfs/devices/disks/naa.xxxxx gpt 1 2048 100% AA31E02A400F11DB9590000C2911D1B8第一条命令重写磁盘的分区格式为 GPT第二条命令创建一个从第 2048 扇区到磁盘末尾的 VMFS 分区分区类型 GUID 为AA31E02A-400F-11DB-9590-000C2911D1B8。执行前必须确认这个磁盘设备没有数据需要保留因为分区表重建会把磁盘变成未格式化状态。如果这台主机之前识别过旧 LUN还要在存储端核对新旧 LUN 的 mapping 是否重复。5.5 NTP 不同步HA 和 vMotion 同时变“怪”现象vCenter 反复提示主机时钟偏差过大vMotion 迁移偶尔失败HA 故障切换后虚拟机时间跳变甚至出现证书验证告警。原因离线环境把 NTP 服务器做成虚拟机但虚拟机自身系统时间没有校准所有 ESXi 主机跟着一台不准的 NTP 服务器同步时间越偏越大。部分系统默认没开启 ntpd只在安装时校准了一次。解决先把 NTP 虚拟机的时间手工整到与网络设备时间一致再对每台 ESXi 配置 NTP 并确认服务已启用esxcli system ntp set --server192.168.100.10 esxcli system ntp set --enabledtrue esxcli system time get第一条命令指定 NTP 服务器第二条启用 NTP 服务第三条确认当前时间。注意如果 ESXi 时钟偏差超过一定阈值NTP 不会立刻跳变而是逐渐校正。我的习惯是先手工设置时间到分钟级偏差再等待 NTP 自动微调不要开着 NTP 硬等。6. 改造完怎么验收三分钟内完成迁移与故障演练存储规划实施完不能只盯着“所有主机都看到了 LUN”就算结束。我通常会在割接窗口内做一轮三分钟演练把网络、迁移和存储路径一次验证到位。第一步是验证网络层。管理网络用vmkping测试网关或 vCenter 地址vMotion 网络如果开了巨帧用下面命令带大包测试vmkping -I vmk1 -s 1472 192.168.101.1 vmkping -I vmk1 -s 8972 192.168.101.1第一条测试普通 MTU 1500 下的连通性第二条测试巨型帧在 MTU 9000 下是否通。如果第二跳不通优先查物理交换机端口配置和 vSwitch 的 MTU 设置。第二步是验证 vMotion。找一台测试虚拟机发起“更改主机”迁移观察迁移时间、是否丢包、完成后虚拟机在目标主机上正常运行。再反向迁一次确认双向都成功。这一步能一次性暴露 CPU 兼容、VMkernel 配置和 DNS 解析问题。第三步是验证存储多路径。在光纤交换机上逐台关闭对应主机的一个端口观察虚拟机业务是否中断、数据存储路径是否自动切换到另一条链路然后用esxcli storage core path list查看路径状态esxcli storage core path list | grep -E Device|Working|State正常情况下可以看到同一个 LUN 的路径从 Active 切换后仍保持 Active 状态。这个测试里需要注意拔线前先确认业务侧有备份并提前通知相关系统负责人。以前我吃过一次亏ZONE 调整完没有做拔线测试结果业务侧后来真的断了一条光纤存储 IO 整整卡了四十多秒业务方直接问责。从那以后每次做完存储侧变更我都会强制走一遍 vMotion 和路径切换演练再让业务方签字确认。多路径切换这种平时看不见的能力只能在故障发生前验证。希望帮到你。本文还有配套的精品资源点击获取
