简介这套MATLAB强化学习解决方案针对Quanser QUBE-Servo 2旋转倒立摆的实时平衡控制面向控制工程、机器人以及强化学习入门者用于打通从仿真验证到硬件部署的完整链路。压缩包共16个文件涵盖Simulink模型slx、MATLAB脚本m、策略文件mat及配置向导mlx等类型整体仅1.74MB结构紧凑。已有35人学习使用。资源内置DDPG与SAC两种策略训练方案提供仿真、硬件在环和QLabs虚拟平台三套可运行模型支持策略训练、标准格式保存、参数裁剪至嵌入式部署的完整流程。预训练模型可直接加载复现平衡控制效果交互式向导降低了环境配置难度裁剪脚本则帮助将SAC策略精简到适合实际控制器的规模。无论用于课程实验、毕业设计还是科研预研都能获得一套开箱即用的基准实现并在此基础上快速开展算法改进与对比。1. MATLAB 强化学习实现包到底能解决 QUBE-Servo 2 的什么问题把一台 QUBE-Servo 2 旋转倒立摆调稳教科书套路是建模、线性化、配 LQR但这套流程在实机上有个尴尬点你测出来的粘滞阻尼和电机力矩常数跟你拿到的出厂标定值总差一截最后只能靠调增益凑合。而标题里的“MATLAB 强化学习实现包”做的事情就是把“建立精确模型”这件事换成“让策略在仿真里大量试错”再把这套策略搬到真实摆杆上。它适合两类人一是手里有 QUBE 系列硬件、被 LQR 调参磨没耐心的工程师二是做课程实验但不想在摩擦系数上耗一个学期的学生。强化学习解决的不是“能不能立”而是在模型参数不准、执行器有饱和、状态观测有噪声时能不能让控制策略自己补偿这些偏差。说直白点LQR 是在已知方程里求最优解RL 是在一堆坏参数里找一个还能稳住的动作映射。你真正要关注的不是某个算法有多花哨而是环境怎么封装、奖励怎么给、训练完怎么下发到硬件。这篇笔记就按这个顺序把整个链路讲透。2. 先把 QUBE-Servo 2 变成 RL 环境观测、动作与 Simulink 封装强化学习的第一件事不是写神经网络而是把物理对象抽象成一个数字接口。对 QUBE-Servo 2 这种旋转倒立摆你要管的是四个状态摆杆相对竖直方向的角度 α、摆杆角速度 α̇、旋转臂角度 θ、旋转臂角速度 θ̇。注意这里有一个新手最容易踩的思维误区θ 并不是“要控制到 0”的量因为摆杆是挂在旋转臂末端上的你的电机没法单独稳定摆杆只能通过转动整个手臂去“追”摆杆的倒向。所以 RL 环境的观测更应该把重心放在 α 和 α̇ 上θ 只作为抑制手臂高速旋转的辅助项而不是主误差项。2.1 平衡控制要哪几个状态量别把旋转臂角度当主控制目标很多初学者第一次搭 QUBE 模型时会把状态定义成 [θ, θ̇, α, α̇]然后在奖励函数里对 θ 也施加较大惩罚恨不得让手臂永远停在零点。这会在仿真里得到一个看起来很正的结果但上实机后手臂会不停地反向摆动去纠正自身角度最终带动摆杆一起甩出去。原因在于 QUBE-Servo 2 的控制结构是“手臂旋转→摆杆受到切向加速度→摆杆力矩发生变化”θ 本身是中间变量不是被控量。我一般会把观测空间做成 [α, α̇, θ̇]把 θ 本身去掉。这么做的道理很直接摆杆角 α 在直立平衡附近数值很小对误差最敏感α̇ 告诉策略“摆杆正在往哪个方向倒”θ̇ 用来给手臂一个阻尼项防止策略通过疯狂甩手臂来维持平衡。如果你手里的实现包里还保留着 θ 作为观测训练也能收敛但往往要多花 30% 的回合数因为网络还在试图理解“手臂转到哪里才不算偏”这种无关问题。2.2 在 MATLAB 里把 Simulink 模型包成 RL 环境的最小配置MATLAB 强化学习工具箱提供rlSimulinkEnv这个入口它的作用是把一个普通 Simulink 模型挂上“观测、动作、奖励、终止条件”四个钩子。你不需要自己写物理方程只需要在模型里摆好状态输入端口、RL Agent 模块、奖励计算模块以及回合结束判断模块。下面是包拆开后的第一段入口代码通常是这么写的% 加载你的 Simulink 模型这里假设模型名 mdl q2_balance_env; load_system(mdl); % 观测摆杆角度(rad)、摆杆角速度(rad/s)、手臂角速度(rad/s) obsInfo rlNumericSpec([3 1], ... LowerLimit, [-Inf; -Inf; -Inf], ... UpperLimit, [ Inf; Inf; Inf]); obsInfo.Name QUBE Balance Obs; % 动作电机电压限制在正负 5V防止硬件损伤 actInfo rlNumericSpec([1 1], ... LowerLimit, -5, ... UpperLimit, 5); actInfo.Name Motor Voltage; % 指定 RL Agent 模块路径 agentBlk [mdl /RL Agent]; % 创建环境 env rlSimulinkEnv(mdl, agentBlk, obsInfo, actInfo); % 设计初始状态复位函数后面每回合开始时自动调用 env.ResetFcn (in) resetQUBE(in);这段代码解决的是“接口定义”问题。rlNumericSpec里为什么要把观测上下限设成无穷因为角速度在动作剧烈时可能瞬间冲到几十 rad/s如果这里设死上限训练中途会报 out of range 错误。动作层必须真实反映电机的输出极限常见 QUBE 套件电机额定电压是 12V但安全起见控制电压一般按 ±5V 处理。ResetFcn才是环境的关键它决定每回合从什么状态开始——我在 5.1 节会专门讲复位范围太窄导致实机翻车的问题。2.3 为什么不直接用 MATLAB 函数环境非要走 Simulink实现包里如果全是状态方程和一步更新的代码用rlFunctionEnv更清爽。但 QUBE-Servo 2 配套的实物驱动、编码器读取、PWM 输出全部集成在 Simulink 硬件接口里。你在仿真模型里用的RL Agent模块到实机部署时可以直接替换成“真实硬件驱动模块”其余架构完全不动。这是 Simulink 环境最大的价值训练环境和硬件执行环境保持同一个拓扑避免“仿真通过、移植翻车”的迁移鸿沟。实际项目里我是这么分工的仿真模型负责把动力学跑起来计算奖励和终止信号策略网络以 Simulink 的RL Agent模块为载体每 0.01 秒被触发一次输出一个电压值。数据流方向是“状态→Agent→电压→电枢模型→新状态”跟真实硬件的数据流完全一致。这样后面部署时唯一要换的是模型中代表“电机与编码器”的那一段子系统其他部分都能原样留存。3. 在 MATLAB 里训练倒立摆智能体算法选型、奖励函数与关键参数强化学习的算法选型直接决定你调参的痛苦程度。QUBE-Servo 2 是一个连续状态、连续动作的控制问题动作是电机电压不是一个离散按钮所以 DQN 这类离散动作算法基本可以提前排除。剩下常用的是 DDPG、TD3、SAC 和 PPO。我下面的建议只针对 QUBE 这种四维状态、一维动作的轻量系统展开不涉及高维机器人。算法是否适合原因DQN不适合动作必须离散化电压离散化后精度不足且训练不稳DDPG可用连续动作标准算法但对超参数敏感容易过估计 Q 值TD3推荐截断双 Q 网络缓解过估计MATLAB 工具箱支持完整训练稳PPO可用策略梯度法对步长较鲁棒但需要更多回合达到同样精度SAC可选熵正则化探索更强但 MATLAB 老版本工具箱不一定默认支持这五类中间章核心选型表。对单摆平衡这种低频、低维任务我的默认选择是 TD3原因有三第一TD3 的 target policy smoothing 会对动作加上噪声相当于强化学习里的正则化这在编码器噪声明显的 QUBE 硬件上非常实用第二它的双 critic 结构能防止 Q 值被高估避免策略养成“猛打电压”的坏习惯第三MATLAB 强化学习工具箱对 TD3 的封装最完整从网络搭建到训练监控一条龙不需要手写 target 网络更新逻辑。3.1 搭建 TD3 智能体两份代码理清 actor 与 critic 的关系TD3 由策略网络 actor 和价值网络 critic 两部分组成。Actor 输入观测输出一个连续动作电压Critic 输入“观测动作”输出 Q 值用来评判“这个状态做这个动作到底好不好”。MATLAB 里最省事的写法是用观测和动作规格直接构造随机初始化网络%% 构造 actor 网络观测 - 128 - 128 - 动作 actorNet [ featureInputLayer(3, Normalization, none, Name, obs) fullyConnectedLayer(128, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(128, Name, fc2) reluLayer(Name, relu2) fullyConnectedLayer(1, Name, actOut) tanhLayer(Name, actTanh)]; % 将输出限制在 [-1, 1] actorNet dlnetwork(actorNet); actor rlContinuousDeterministicActor(actorNet, obsInfo, actInfo); %% 构造 critic 网络观测与动作分别进入中间拼接 obsPath [ featureInputLayer(3, Normalization, none, Name, cObs) fullyConnectedLayer(128, Name, cfc1)]; actPath [ featureInputLayer(1, Normalization, none, Name, cAct) fullyConnectedLayer(128, Name, cfc2)]; commonPath [ concatenationLayer(1, 2, Name, cat) reluLayer(Name, crelu1) fullyConnectedLayer(128, Name, cfc3) reluLayer(Name, crelu2) fullyConnectedLayer(1, Name, cOut)]; criticNet dlnetwork(obsPath, actPath, commonPath); critic rlQValueFunction(criticNet, obsInfo, actInfo); %% 最后组装 TD3 agent agent rlTD3Agent(actor, critic, ... rlTD3AgentOptions(SampleTime, 0.01, ... DiscountFactor, 0.99, ... TargetSmoothFactor, 1e-3));这段代码有几个参数值得单独拎出来说。SampleTime是决策周期我建议直接对齐硬件控制周期 0.01 秒不要用 0.001 秒因为策略每隔 1ms 刷新一次既没有意义还会让训练数据量爆炸DiscountFactor0.99表示策略更看重未来 10 到 20 步内的稳定性太小的折扣因子会让策略变得短视只会猛掰手臂TargetSmoothFactor1e-3控制目标网络更新速度掉得越小越稳但收敛也越慢。这些都是平衡问题的常用起点不是唯一答案但肯定在一个能跑通的范围里。3.2 奖励函数怎么给才不玄学把四个惩罚项拆到可以调试关于平衡强化学习奖励函数的失败案例远远多于算法失败案例。默认做法是二次型奖励但你真正要在代码里看清每个系数的量级否则网络会对数值大的那一项特别敏感。我的建议是把四项分开写不要合成一行大公式function reward rewardFunction(state, action, isBalancing) alpha state(1); % 摆杆偏离垂直方向rad alphaDot state(2); % 摆杆角速度rad/s thetaDot state(3); % 手臂角速度rad/s u action(1); % 电压V % 每个惩罚项单独一个系数便于单独调 w1 20; % 摆杆角度误差 w2 2; % 摆杆转动过快 w3 0.1; % 手臂旋转速度 w4 0.05; % 控制电压幅值 reward -(w1 * alpha^2 w2 * alphaDot^2 ... w3 * thetaDot^2 w4 * u^2); % 让摆杆“活着”比什么都重要稳得越久给一个基础分 if isBalancing reward reward 1; end end核心逻辑是alpha 项系数要远大于电压项系数。alpha 的单位是弧度正常情况下最大值不会超过 π平方后最大约 10而电压动作会被 tanh 层压到 ±5V平方后最大 25。如果 w4 设成 1则电压惩罚的数值范围完全压过角度惩罚网络会倾向于输出 0V 来换取高奖励最后变成“什么都不做摆杆倒下”。我一般把角度系数设在 10~30电压系数设在 0.01~0.1保证角度误差主导奖励变化。thetaDot 的权重故意设到极低是为了让手臂保留适当活动空间如果 thetaDot 权重太大策略会像僵住一样不敢旋转手臂去追摆杆。3.3 训练配置回合长度、网络宽度与停止条件的三个建议训练配置看起来只是几个数字实际决定你晚饭前能不能拿到收敛结果。下面这套参数是模拟项目 X 里经过三次重跑后定下来的对 QUBE 这种轻量任务足够trainOpts rlTrainingOptions(... MaxEpisodes, 400, ... MaxStepsPerEpisode, 500, ... StopTrainingCriteria, AverageReward, ... StopTrainingValue, -8, ... ScoreAveragingWindowLength, 20, ... SaveAgentCriteria, EpisodeReward, ... SaveAgentValue, -10);MaxStepsPerEpisode500乘以SampleTime0.01相当于每回合最长 5 秒。平衡问题在 5 秒内能稳住就算一次有效表现不需要更长。StopTrainingValue-8表示最近 20 回合平均奖励大于 -8 就停止这个值不是拍脑袋定的一个能稳定平衡 5 秒的策略每个时间步的1基础分累计下来即使角度误差有一定数值总奖励也基本能越过 -8。SaveAgentCriteria保证中间过程每隔一段就存一次智能体而不是等训练结束后才存这样最差情况你也能拿一个“勉强能立”的策略去实机上试。4. 把训练好的策略部署到真实 QUBE-Servo 2外部模式与权重下发仿真训练收敛以后理论上你已经拿到了一个能把虚拟摆杆立住的神经网络。但接下来的“模型到硬件”这一步才是实现包里最容易让人想放弃的地方。我用过两种方案第一种是把训练好的智能体固化成 C 代码烧写到实时目标机上第二种是 MATLAB 通过外部模式连接真实硬件把策略权重以参数形式下发仿真模型中的动力学部分替换成硬件接口。对 QUBE-Servo 2 这种桌面级设备我建议直接走第二种省去代码生成配置的坑。4.1 硬件在环前的安全检查三个必须做的准备部署之前先确认三件事别急着点运行。第一把 Simulink 模型中所有输出端口加上饱和模块电压输出强制限制在 ±5V避免训练时出现的瞬时尖峰直接打到电机上。第二设置硬件复位开关很多实现包里会提供一个estop信号当摆杆角度超过 ±0.8 rad 时立刻把电压置为 0这一步在硬件上不是玄学是保护编码器和齿轮箱的最低成本手段。第三确认 MATLAB 与 QUBE-Servo 2 数据采集接口选的是 real-time 模式而不是普通 Simulink 仿真模式否则你跑的仍然是仿真动力学硬件端口根本没被激活。这三项都确认后部署脚本可以浓缩成下面这一段%% 加载训练好的智能体 agentObj load(q2_td3_agent.mat, agentObj); agentObj agentObj.agentObj; %% 打开硬件模型并切换到外部模式 mdlHW q2_hil_plant; load_system(mdlHW); set_param(mdlHW, SimulationMode, external); %% 从仿真模型切换到硬件模型加载权重 set_param([mdlHW /RL Agent], AgentObj, agentObj); set_param(mdlHW, StopTime, inf); %% 先空跑 2 秒确认编码器读数和初始角度正常 sim(mdlHW);这段代码里的set_param([mdlHW /RL Agent], AgentObj, agentObj)是关键动作它把 agent 序列化进 Simulink 模型对应的 RL 模块中。外部模式下MATLAB 主机通过 USB 与 QUBE 数据采集卡通信策略的推理计算发生在 MATLAB 进程里输出指令再通过硬件接口写入电机。这种部署方式的优点是无需安装额外编译器缺点是实时性受 USB 调度影响所以决策周期不要低于 0.01 秒。4.2 从仿真到实机的参数校准相同架构为什么还要改三个数我在实机上跑同样的智能体时前三次全部失败。最后发现不是策略问题是仿真的物理系数与真机标定值存在偏差。常见做法是用实现包里附带的系统辨识脚本跑一遍得到当前设备真实的阻尼系数和电机力矩常数然后回到 Simulink 模型的物理参数表中替换重训 50 到 100 个回合做微调。不要直接拿出厂参数训练的智能体硬上实机那样掉摆是大概率事件。需要重点校的三个参数是摆杆质心距离 l_p、粘滞摩擦系数 B_p、电机力矩常数 K_t。摆杆质心距离差 5mm对平衡力矩的影响就能让策略在真实设备上产生持续低频抖动粘滞摩擦系数低估策略在真机上会表现为控制力度过大力矩常数高估则表现为控制力度不足摆杆慢慢下垂。校准顺序是 K_t → B_p → l_p因为 K_t 影响稳态电压输出B_p 影响动态响应l_p 影响倾覆力矩。校准完回到训练环境重训时不要从头训加载上次的 actor 权重接着训能省掉前面 100 个回合的探索开销。5. 平衡控制实机避坑五个典型翻车点与排查路径理论和操作都说完接下来这部分是我认为实现包里最值得读的地方。以下五个问题每个我都按“现象 → 原因 → 解决”的顺序写清楚因为它们是我在实际项目里反复踩过的坑。5.1 仿真训练收敛完美实机上电后摆杆直接打满现象训练曲线显示平均奖励稳步上升接入硬件后摆杆却在上电瞬间大幅摆动甚至直接撞到限位。重新加载智能体多次问题依旧。原因ResetFcn里每一回合都把初始状态设定在直立平衡附近比如 α 从 -0.01 到 0.01 rad 之间随机取值。策略学到的只是“在几乎直立时稳住”根本没有见过偏离 0.5 rad 以上的状态。而上电后你用手把摆杆扶到接近直立手的抖动很容易带来 0.3 rad 左右的偏差远远超出策略的见识范围。解决训练结束前做最后一轮“扰动训练”把 ResetFcn 里的 α 初始范围扩大到 ±0.6 rad并给 α̇ 增加一个随机初始速度。做法是在 reset 函数里加一行alpha0 (rand - 0.5) * 1.2;让策略见足够多的偏离点。重新训练 80 个回合后再上实机测试基本能容忍人手扶持时的不确定性。5.2 策略能让摆杆直立但持续高频抖动现象硬件上摆杆确实立住了但编码器角度波形看起来像锯齿电机发出高频嗡鸣持续抖动十秒左右后摆杆才会真正稳定。仿真里没有这个问题。原因观测里包含摆杆角速度而编码器位置信号做差分求速度后噪声会被放大。QUBE 编码器分辨率通常在 2048 线左右低速摆动时每毫秒可能只增加几个计数差分后角速度信号呈现大量毛刺。策略在仿真里拿到的是无噪声的完美速度在实机上却根据这些毛刺输出高频修正电压。解决在 Simulink 模型里对编码器差分之后的角速度加一个 10Hz 一阶低通滤波再把它作为观测输入。注意不要对摆杆角度本身做滤波因为角度信号是控制主误差滤波带来的相位滞后会让策略反应慢半拍。5.3 电压动作惩罚系数调整后整个训练从收敛变发散现象把奖励函数里的电压惩罚项从 0.05 改成 0.5重跑训练前 50 回合奖励一地鸡毛训练 300 回合后也没达到之前水平。原因动作输出范围是 ±5V电压平方项最大 25而角度平方项最大约 10。把电压惩罚调到 0.5 后电压惩罚的数值区间变成 0 到 12.5角度误差的主导地位被覆盖。网络发现输出 0V 就能获得较高奖励于是策略倾向于不动作任由摆杆倒下。解决回退电压惩罚系数或者对动作做归一化。更彻底的办法是在action进入奖励函数之前除以动作上限即u_norm u / 5;然后奖励函数里对u_norm^2统一给一个 0.1 的权重。这样无论动作上限怎么改量级都不会因为电压范围漂移。5.4 实机能稳定 10 秒之后突然被一个小扰动推倒现象硬件部署后策略经常能稳定 10 到 15 秒之后在某个看似不起眼的扰动下突然失去平衡恢复不过来。原因决策周期与实际作用效果不匹配。仿真里状态是精确每 0.01 秒更新一次而实机上 Matlab 外部模式受 USB 驱动影响动作输出可能偶尔延迟一个采样周期相当于策略在一个时间步内看到的观测值和它输出动作之间的间隔改变了。策略在延时环境下学到的时序假设被打破偶尔一次延迟就足以破坏相位关系。解决这是 QUBE 这类低成本硬件平台很难彻底消除的问题。一个可行方案是把决策周期从 0.01 秒放宽到 0.02 秒并在训练时对动作做零阶保持——每次输出之后保持两拍再更新。这样策略对执行延迟的容错率更高虽然平衡精度会略降但稳定性大幅提升。5.5 代码生成部署时报 Unsupported Block现象尝试用 Simulink Coder 把包含 RL Agent 模块的模型生成 C 代码时报错 “Unsupported block” 或 “Feature not supported for code generation”生成过程直接中断。原因RL Agent 模块默认走的是 MATLAB 运行时推理不直接支持嵌入式代码生成。如果你试图把一个带强化学习工具箱深度网络模块的模型直接生成独立 C 程序会遇到大量不支持的深度学习算子。解决不要走代码生成路线坚持用外部模式部署。外部模式下模型本身不被编译成独立程序而是由 MATLAB 作为主进程做推理硬件接口模块通过驱动库通信。如果你必须脱离 MATLAB 运行那就只能用传统控制算法或者把训练好的 actor 权重导出为 ONNX再在其他推理框架里重新搭前向计算。实现包如果宣称支持快速部署基本默认就是外部模式。6. 验证 RL 平衡策略的鲁棒性三个实验技巧与验收指标训练和部署都通过后不要急着宣称项目完成。我见过不少实现包在仿真里动都不动地立住实机上轻微给一点侧向力就倒原因就是“平均奖励好看但最差回合一塌糊涂”。所以验收一套 QUBE-Servo 2 强化学习平衡策略我习惯跑三组实验扰动实验、跌落重启实验、参数拉偏实验。扰动实验最直接在摆杆稳定直立时用手从侧面轻轻拨动摆杆记录最大偏离角度和恢复到直立的时间。合格线是最大偏离不超过 0.4 rad恢复时间不超过 1.5 秒。如果恢复时间偏长说明策略对角度误差的响应偏弱需要适当增大奖励函数里 w1 的权重再重训一部分回合。跌落重启实验比扰动实验更能暴露策略的真实水平先把摆杆推到完全倒下的位置不给任何额外助力观察策略能否靠自身操作完成“从倒立到直立再稳定”的全过程。这个任务等同于把摆动控制 S 和平衡控制合并到一个策略里对奖励函数的挑战很大。如果策略做不到只说明你的实现包定位是“平衡”不是“起摆”别硬用人手一次次扶直来掩盖能力边界。另一个我习惯看的关键指标不是平均奖励而是最近 20 个回合里“最差 5 回合的平均值”——这个数比平均奖励低很多的话策略在硬件上的表现也会忽好忽坏不能验收。参数拉偏实验可以在纯仿真里做把摆杆质心距离、阻尼系数、力矩常数统一上下浮动 15%然后重新跑 50 个回合的评估记录平均奖励变化率。如果奖励下降幅度超过 20%说明策略过拟合了当前标定参数。这种情况我会在训练期间故意给参数加随机扰动让策略面对更多模型变化。我第一次验证时只看了平均奖励没看最差回合结果实机上撑不过 10 秒。现在我的验收习惯是中位数奖励和最差 5 回合平均值同时过线才把策略下发到硬件。希望帮到你。本文还有配套的精品资源点击获取
