本文梳理昇思大模型标准化性能评估体系结合 MindSpore Profiler、msprof、MindStudio Insight 工具定义计算性能、内存资源、通信开销、扩展能力、服务推理、稳定性抖动六大评估维度配套环境准备、指标采集脚本、数据分析方法、验证手段完成 “环境校验→多维度指标采集→评估打分→瓶颈定位→优化验证” 完整闭环适配 MindSpore 2.9、MindStudio7.0 以上、CANN8.5.0 环境。一、评估前置环境准备与基线校验开展大模型性能评估前先完成软硬件环境校验避免环境异常带来评估结果失真以 Atlas 300I Pro、openEuler22.03 ARM64 环境为例。# 1.安装性能评估依赖 sudo dnf install -y msprof mindstudio-insight # 加载CANN环境变量 echo source /usr/local/Ascend/ascend‑toolkit/8.5.0/set_env.sh ~/.bashrc source ~/.bashrc # 2.工具版本校验 msprof --version insight --version # 3.NPU硬件基线检查确认设备温度、带宽、使用率基线 npu‑smi info # 集群场景确认HCLL通信链路状态 hccn_tool ‑i 0 ‑g评估前置要点大模型评估必须固定硬件配置、batch size、序列长度、并行策略、混合精度配置保证每次评估的输入条件完全一致指标才可横向对比。二、昇思大模型六大核心评估维度昇思大模型性能评估分为训练场景、推理场景两套指标集合一共划分为六大评估维度每个维度包含核心指标、采集方式、合格判定标准。2.1 维度一计算性能评估目标评估 AI Core 算力真实利用水平识别慢算子、算子下发阻塞、计算流水断裂等问题训练看单 step 耗时推理看 token 吞吐、单 token 时延。关键指标1. 训练场景单 step 迭代耗时、样本吞吐量samples/s、AI Core 利用率、算子平均耗时、Top‑N 高耗时算子2. 推理场景首包时延、token 生成吞吐、单 token 生成时延、prefill 阶段耗时、decode 阶段耗时。代码采集示例MindSpore Profiler 嵌入脚本from mindspore import Profiler import mindspore as ms # 初始化性能采集器大模型建议开启轻量化打点mstx profiler Profiler( output_path./perf_compute_data, profile_communicationFalse, profile_memoryFalse ) ms.set_context(device_targetAscend, device_id0) # 加载大模型、数据集执行训练循环 for step in range(200): loss model(inputs, labels) profiler.stop()命令行提取 TOP 耗时算子# 解析采集数据输出算子耗时TOP10 msprof --analyzeop --output./perf_compute_data | grep -E op_name|total_duration|ai_core_util合格参考标准● AI Core 平均利用率≥75%Free 空闲时间占比10%● 训练迭代耗时波动控制在 ±5% 以内。2.2 维度二内存资源评估目标评估 HBM 内存占用峰值、内存复用效果、内存泄漏风险识别 OOM、内存持续上涨等故障分为权重内存、激活内存、临时算子内存三大块。关键指标1. 峰值 HBM 占用、权重内存大小、激活内存占用2. 内存复用率、内存碎片情况、是否存在内存泄漏采集方式1. 脚本埋点获取内存指标2. msleaks 工具检测内存泄漏3. Insight 查看内存时序曲线。# MindSpore获取NPU内存监控 import mindspore as ms device ms.context.get_context(device_id) free, total ms.npu.get_mem_info(device) used_mem_MB (total‑free)/1024/1024 print(f当前NPU内存占用{used_mem_MB:.2f} MB)# 内存泄漏采集 msleaks --applicationpython llm_train.py --output./perf_mem_data合格参考标准● 无内存泄漏多 step 运行后内存无持续上涨● 合理开启重计算、内存复用激活内存显著下降不触发 OOM。2.3 维度三多卡通信开销评估分布式训练重点目标评估 HCCL 通信的实际带宽、通信占比定位 AllReduce、AllGather、ReduceScatter 等通信算子成为瓶颈场景是大模型多卡性能低下高频根因。关键指标1. 通信总耗时占 step 总耗时比例2. 各类通信算子平均时延、实际通信带宽3. 是否存在快慢卡各卡通信时延方差。采集脚本命令行# 开启通信专项采集 msprof --applicationpython llm_multi_card_train.py \ --output./perf_comm_data \ --collectcommunication # 通信数据分析 msprof --analyzecommunication --output./perf_comm_data合格参考标准● 通信耗时占比建议20%● 通信带宽接近硬件理论带宽多卡之间通信时延方差小无快慢卡。2.4 维度四集群扩展效率评估面向多卡 / 超大规模集群场景评估并行策略的扩展性验证数据并行、模型并行、流水线并行、MoE 并行的扩展能力。关键指标1. 弱扩展效率增加卡数同等单卡样本下吞吐提升比例2. 强扩展效率全局总样本不变增加卡数总耗时下降比例3. 不同并行策略组合下的吞吐、迭代耗时变化举例从 8 卡扩展到 32 卡理想弱扩展效率为 100%生产环境建议扩展效率≥85% 为合格。2.5 维度五推理服务性能评估针对大模型在线推理场景面向服务化业务重点评估业务真实服务能力不能只看单 batch 离线性能。关键指标● QPS、平均请求时延、P95/P99 时延● 并发请求下的 token 吞吐● 不同序列长度下性能衰减情况● KV‑Cache 内存占用与复用效率。采集方式结合 MindIE 推理引擎自带 profiler msprof 联合采集模拟多并发压测统计 P95/P99 时延。2.6 维度六稳定性与抖动评估大模型长稳训练非常关键短期跑通不代表性能合格需要评估长时间运行的性能稳定性。关键指标1. 长时间训练下 step 耗时抖动方差2. AI Core 利用率随时间是否持续下滑3. 是否偶现性能突降、卡顿4. 长时间运行内存是否持续上涨。采集方式开启动态 Profiler训练过程中不中断任务持续采集多轮 step 数据统计方差。三、评估全流程实操数据采集‑可视化分析‑结果验证3.1 两种采集模式1.命令行 msprof 采集推荐集群远程环境适合多卡大集群输出原始性能数据目录2.MindStudio 界面可视化采集Tools → Ascend → Performance Profiler勾选算子、内存、通信指标适合单卡调试。采集完成后执行导出msprof --exporton --output./xxx_prof_data3.2 Insight 可视化分析操作1. 启动insight导入解析完成的 PROF_xxx 目录2.计算维度查看 Timeline 时间线统计 AI Core 利用率筛选耗时 TOP 算子3.内存维度打开 Memory 面板查看内存曲线识别内存突增 step4.通信维度打开集群通信视图查看各卡通信时延、带宽5. 导出评估报告记录六大维度全部指标数值。3.3 优化后回归验证针对评估发现瓶颈进行优化后必须保持评估环境、输入参数完全不变重复整套评估流程对比前后指标确认优化真实生效。示例伪代码验证逻辑# 优化前记录 baselinestep_time_base, throughput_base, mem_peak_base # 实施优化重计算、算子融合、通信调优、并行策略调整等 # 相同配置重新跑评估获取优化后指标 # 对比吞吐提升比例、step耗时下降比例、内存峰值变化四、评估总结昇思大模型性能评估不能只看单一吞吐指标必须从计算算力利用、HBM 内存资源、分布式通信开销、集群扩展效率、推理服务指标、长稳抖动六个维度综合判定性能好坏。整套评估闭环流程环境基线校验 → 六大维度指标采集 → Insight/msprof 数据分析 → 定位瓶颈根因 → 优化调整 → 同等条件下重复评估验证。通过标准化评估流程避免只看单点指标造成误判为大模型训练调优、上线部署提供量化的性能依据。
