MountainCar上跑通DQN的实战避坑指南

简介本资源是一份面向Python开发者与强化学习初学者的实战项目聚焦DQN算法在经典控制任务MountainCar中的完整实现解决智能体如何通过试错学习掌握“借势上坡”这一非线性控制策略的问题。压缩包共2个文件1个PyTorch/TensorFlow兼容的模型权重h5文件、1个主训练脚本py文件总大小仅6KB轻量但结构完整——py文件封装了环境构建、DQN网络定义、经验回放机制、ε-greedy策略调度及训练主循环h5文件保存已训练收敛的最优策略模型支持直接加载测试。已有882人学习下载读者可快速复现从零训练到策略部署的全流程深入理解状态编码、目标网络更新、损失函数设计等DQN核心实现细节并迁移应用于机器人控制、自动驾驶等真实场景。1. 为什么在 MountainCar 上跑 DQN 不是“练手”而是照妖镜它会当场揭穿你对探索-利用、奖励塑形和网络不稳定的全部误解MountainCar 是 OpenAI Gym 里最“温柔”的经典控制环境之一一辆小车停在山谷底部目标是靠反复摇摆积累动能最终冲上右侧山坡。它没有像素输入、没有复杂状态空间、动作只有左推/不推/右推三个离散值——按理说该是强化学习新手的“Hello World”。但现实是90% 的初学者第一次用 DQN 跑 MountainCar会卡在 reward -200即 episode 超时整整一小时不动连车轮都不转一下。这不是代码写错了而是 DQN 在这个环境里暴露了三个硬伤稀疏奖励导致梯度消失、状态空间连续性让 Q 值估计震荡、以及 epsilon-greedy 探索策略在低动能区彻底失效。它不像 CartPole 那样靠随机抖动就能撞出正反馈也不像 Pong 那样有视觉特征可学。它逼你直面 DQN 的底层契约你必须亲手设计 reward shaping、手动 discretize 或 normalize 状态、并重写 replay buffer 的采样逻辑否则模型永远在谷底打滑。本文不讲“DQN 是什么”只讲怎么让 DQN 在 MountainCar 里真正动起来——从 pip install 后的第一行 import到第 372 次训练后小车第一次蹭上坡顶的完整路径。适合已写过线性回归、能看懂 PyTorch forward 函数、但被 Gym 报错Box类型警告和reward is nan卡住超过半天的工程师。2. 从零搭起可运行的 DQN 框架避开 Gym v0.26 的 Box 类型陷阱与 PyTorch 张量维度战争MountainCar 的状态是连续二维向量[position, velocity]范围分别为[-1.2, 0.6]和[-0.07, 0.07]。新版 Gymv0.26返回的observation是np.ndarray但 DQN 的神经网络输入必须是torch.Tensor且 batch 维度不能丢。很多教程直接torch.tensor(obs)就跑结果在loss.backward()时报RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn——因为默认torch.tensor()创建的是 no-grad 张量。这是第一个必须跨过的沟。2.1 环境初始化与状态预处理Normalization 比 discretization 更稳Gym 官方文档建议对 MountainCar 状态做归一化而非粗暴分桶discretization。原因很实际分桶会丢失 velocity 的微小变化而小车启动恰恰依赖0.001级别的速度增量。我们采用 min-max 归一化把原始范围映射到[-1, 1]import gym import numpy as np import torch # 初始化环境注意必须指定 render_mode否则新版 Gym 报错 env gym.make(MountainCar-v0, render_modergb_array) # 获取状态空间边界新版 Gym 用 env.observation_space.low/high state_low env.observation_space.low # [-1.2, -0.07] state_high env.observation_space.high # [0.6, 0.07] def normalize_state(state): 将连续状态归一化到 [-1, 1] 区间 state np.array(state) normalized 2 * (state - state_low) / (state_high - state_low) - 1 return torch.FloatTensor(normalized).unsqueeze(0) # 加 batch 维度 (1, 2) # 测试重置环境看归一化效果 obs, _ env.reset() print(原始状态:, obs) # e.g. [-0.5, 0.0] print(归一化后:, normalize_state(obs)) # e.g. tensor([[-0.333, 0.0]])关键说明unsqueeze(0)是强制加 batch 维度因为 PyTorch 的nn.Linear层要求输入 shape 为(batch_size, features)。若漏掉后续model(input)会报Expected 2D input。torch.FloatTensor()确保张量可求导requires_gradTrue默认这是反向传播的前提。2.2 DQN 网络结构两层全连接足够但激活函数选 ReLU 还是 TanhMountainCar 状态维度极小仅 2Q 值输出仅 3 个对应 3 个动作。一个常见误区是堆叠 4 层网络以为“更深度更强大”。实测表明2 层隐藏层128→128、ReLU 激活、无 dropout 的网络在 MountainCar 上收敛最快且最稳。Tanh 在输出层会压缩 Q 值范围导致 loss 计算时梯度变小而 ReLU 在中间层能加速稀疏激活避免小车在负 reward 区域陷入“死亡螺旋”。import torch.nn as nn class DQNNetwork(nn.Module): def __init__(self, state_dim2, action_dim3, hidden_dim128): super().__init__() self.network nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, action_dim) ) def forward(self, x): return self.network(x) # 实例化网络并测试前向传播 q_net DQNNetwork() sample_input normalize_state(obs) # shape: (1, 2) q_values q_net(sample_input) # shape: (1, 3) print(Q 值预测:, q_values.detach().numpy()) # e.g. [[-12.3, -11.8, -13.1]]参数说明hidden_dim128是经验值。试过 64收敛慢256训练波动大易过拟合单个 episode 的噪声。nn.ReLU()在第二层后不接 dropout因 MountainCar 数据量小dropout 会进一步削弱本就稀疏的梯度信号。2.3 Replay Buffer 实现为什么不能直接用 list.append()DQN 依赖经验回放Experience Replay打破数据相关性。但 naive 地用 Pythonlist存储(state, action, reward, next_state, done)元组会在sample_batch()时触发大量torch.stack()操作导致显存碎片化。更致命的是当next_state为 terminal 时next_state是Nonetorch.stack()直接崩溃。解决方案是预分配 NumPy 数组并用环形缓冲区circular buffer管理索引class ReplayBuffer: def __init__(self, capacity, state_dim2): self.capacity capacity self.buffer { states: np.zeros((capacity, state_dim), dtypenp.float32), actions: np.zeros(capacity, dtypenp.int64), rewards: np.zeros(capacity, dtypenp.float32), next_states: np.zeros((capacity, state_dim), dtypenp.float32), dones: np.zeros(capacity, dtypebool) } self.position 0 self.size 0 def push(self, state, action, reward, next_state, done): # state 和 next_state 是归一化后的 np.array self.buffer[states][self.position] state self.buffer[actions][self.position] action self.buffer[rewards][self.position] reward if done: self.buffer[next_states][self.position] state # terminal 状态复用当前 state else: self.buffer[next_states][self.position] next_state self.buffer[dones][self.position] done self.position (self.position 1) % self.capacity self.size min(self.size 1, self.capacity) def sample_batch(self, batch_size): indices np.random.choice(self.size, batch_size, replaceFalse) batch {} for key in self.buffer: if key states or key next_states: batch[key] torch.FloatTensor(self.buffer[key][indices]) else: batch[key] torch.tensor(self.buffer[key][indices]) return batch # 初始化 buffer容量 10000 足够 MountainCar buffer ReplayBuffer(capacity10000)逻辑说明push()中对doneTrue的next_state复用state是为了避免next_states数组出现 NaN同时保持张量 shape 一致。sample_batch()返回的batch[states]是(batch_size, 2)的FloatTensor可直接喂给网络batch[actions]是(batch_size,)的LongTensor适配torch.nn.functional.cross_entropy的索引要求。3. 训练循环的魔鬼细节epsilon 衰减策略、target network 更新时机与 reward shaping 的三重校准DQN 训练不是“设好超参 run 一下”而是每一步都在和 MountainCar 的物理特性博弈。它的 reward 是恒定-1直到到达目标位置才给0。这意味着 agent 必须学会忍受长达 200 步的负反馈而人类直觉会本能地“惩罚”长期无效行为。这要求我们对三个核心组件做手术级调整。3.1 Epsilon 衰减从 0.95 到 0.01但衰减速度必须匹配小车动能积累周期标准 DQN 教程常用线性衰减epsilon max(0.01, 0.95 - frame_idx * 0.94 / 1e6)。但在 MountainCar小车从静止到冲上坡顶平均需 120~180 步。若 epsilon 在前 5000 步就跌到 0.1agent 会过早锁定次优策略比如一直右推但动能不足无法上坡。实测最优策略是前 2000 步保持 epsilon0.95纯探索之后按 episode 数而非 step 数衰减每 50 个 episode 降 0.05下限 0.05。这样确保每个 episode 内 exploration 充分又避免跨 episode 的策略震荡。class EpsilonScheduler: def __init__(self, init_eps0.95, min_eps0.05, decay_episodes50): self.epsilon init_eps self.min_eps min_eps self.decay_episodes decay_episodes self.episode_count 0 def get_epsilon(self): return max(self.min_eps, self.epsilon - (self.episode_count // self.decay_episodes) * 0.05) def step_episode(self): self.episode_count 1 epsilon_scheduler EpsilonScheduler() # 在每个 episode 开始时调用 # current_eps epsilon_scheduler.get_epsilon() # epsilon_scheduler.step_episode()3.2 Target Network 更新固定 500 步 vs. Soft UpdateMountainCar 选前者Target network 用于计算 TD targety r gamma * max Q_target(next_state)。若 target network 更新太频繁如 soft update 的tau0.001会导致 target 值漂移Q 值估计发散更新太慢如 1000 步则学习滞后。MountainCar 的 reward 极其稀疏需要 target network 在足够长的窗口内稳定才能让 agent 识别“连续右推 30 步 → 速度从 0.01 增至 0.03 → 下一步 reward 仍为 -1但 next_state 的 Q 值应更高”。实测update_target_every500步是最优平衡点——既保证 target 稳定又不过时。def update_target_network(main_net, target_net): target_net.load_state_dict(main_net.state_dict()) # 在训练循环中 # if frame_idx % 500 0: # update_target_network(q_net, target_q_net)3.3 Reward Shaping不改环境源码也能让 reward 说话Gym 的 MountainCar reward 是硬编码的-1。但我们可以通过观察状态在 agent 代码中动态添加 shaping reward只要不破坏 MDP 的最优策略即可。经实验验证以下 shaping 最有效当velocity 0.01且position -0.2时加0.1鼓励向右加速当position向右移动delta_position 0且velocity 0时加0.05奖励“动能转化为位移”当position -0.1时加0.5标记进入冲刺区。def get_shaped_reward(state, next_state, reward, done): pos, vel state[0], state[1] next_pos, next_vel next_state[0], next_state[1] delta_pos next_pos - pos shaped reward # base -1 if vel 0.01 and pos -0.2: shaped 0.1 if delta_pos 0 and vel 0: shaped 0.05 if next_pos -0.1: shaped 0.5 return shaped # 在训练循环中调用 # reward get_shaped_reward(obs, next_obs, reward, done)为什么安全这些 shaping 项都是 potential-based基于势能满足F(s,a,s) gamma * Phi(s) - Phi(s)形式因此不改变最优策略。实测加入后收敛步数从 8000 降至 3200 左右。4. 避坑指南MountainCar DQN 的 5 个血泪现场与当场修复方案DQN 在 MountainCar 上的失败不是“没跑通”而是“跑通了但永远不成功”。以下是我在 17 个不同 seed 下复现时踩出的真坑每条都附带print()定位法和一行修复代码。4.1 现象loss为nan且q_values输出全是inf原因gamma0.99与reward-1结合TD target 计算中r gamma * max_q可能因max_q过大而溢出。尤其当网络初始化权重过大如nn.Linear默认kaiming_uniform的a5时初始 Q 值可达 ±2000.99*200198再加-1仍是大数多步后爆炸。解决初始化网络权重为小值并 clip loss# 初始化时 for m in q_net.network: if isinstance(m, nn.Linear): nn.init.uniform_(m.weight, -0.01, 0.01) # 替换默认初始化 # 计算 loss 后 loss F.mse_loss(q_pred, q_target) loss torch.clamp(loss, max100) # 防止 nan4.2 现象epsilon已降到 0.05但 agent 仍只执行action1不推原因normalize_state()中state_high - state_low计算错误。MountainCar 的state_high[0.6, 0.07]state_low[-1.2, -0.07]差值为[1.8, 0.14]。若误用env.observation_space.shape得到[2]而未取具体值归一化后 velocity 维度被放大 10 倍导致网络认为 velocity 无关紧要。解决打印state_low,state_high并硬编码验证print(State low:, env.observation_space.low) # 必须看到 [-1.2 -0.07] print(State high:, env.observation_space.high) # 必须看到 [0.6 0.07] # 若不符说明 Gym 版本问题降级到 0.21.04.3 现象训练 1000 episode 后episode_reward始终为-200但q_values有变化原因replay_buffer.sample_batch()返回的next_states是None时未处理。新版 Gym 在doneTrue后env.step()返回next_stateNone若 buffer 未做if done: next_state state则next_states数组含0q_target r gamma * max_q(next_state)中max_q(0)为常数agent 学不会区分状态。解决严格按 2.3 节ReplayBuffer.push()实现doneTrue时next_state复用state。4.4 现象loss下降正常但episode_length不降反升小车来回晃动原因gamma0.99过高。MountainCar 的 horizon 短200 步高 gamma 让 agent 过度关注远期 reward反而忽略“现在推一下能否让速度增加 0.001”这种即时反馈。解决将gamma从 0.99 降至 0.95GAMMA 0.95 # 原来是 0.99 q_target reward_batch GAMMA * (1 - done_batch.float()) * next_q_values.max(1)[0]4.5 现象tensorboard显示q_values分布越来越窄集中在[-5, -3]原因optimizer学习率过高如1e-3导致权重更新幅度过大Q 值在局部极小值震荡。MountainCar 的 reward landscape 平坦需要精细调节。解决学习率降至3e-4并启用torch.optim.lr_scheduler.StepLRoptimizer torch.optim.Adam(q_net.parameters(), lr3e-4) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size500, gamma0.9) # 每 500 步 lr * 0.95. 验证与进阶用 rollout 可视化诊断 Q 值合理性以及如何迁移到 CarRacing 的关键跃迁点训练完成不等于理解模型。真正的验证是让 agent “开口说话”——可视化它在每个状态下的 Q 值决策依据。MountainCar 状态空间虽连续但可沿 position 和 velocity 两个维度做网格采样生成热力图。这比看 reward 曲线更能暴露模型缺陷。5.1 Rollout 可视化画出 Q 值热力图一眼定位“决策盲区”我们固定 velocity0.0沿 position 从 -1.2 到 0.6 采样 100 点用训练好的q_net预测每个(pos, 0.0)的 Q 值取argmax动作并绘制import matplotlib.pyplot as plt import numpy as np def plot_q_heatmap(q_net, state_low, state_high): pos_range np.linspace(state_low[0], state_high[0], 100) vel_range np.linspace(state_low[1], state_high[1], 100) pos_grid, vel_grid np.meshgrid(pos_range, vel_range) q_values np.zeros((100, 100, 3)) for i, pos in enumerate(pos_range): for j, vel in enumerate(vel_range): state np.array([pos, vel]) norm_state normalize_state(state) with torch.no_grad(): q q_net(norm_state).squeeze().numpy() # (3,) q_values[j, i] q # 注意 meshgrid 索引顺序 # 绘制 argmax 动作热力图 action_grid np.argmax(q_values, axis2) plt.figure(figsize(10, 4)) plt.imshow(action_grid, extent[-1.2, 0.6, -0.07, 0.07], originlower, cmapRdYlBu, aspectauto) plt.colorbar(ticks[0,1,2], labelAction (0:left, 1:none, 2:right)) plt.xlabel(Position) plt.ylabel(Velocity) plt.title(DQN Policy Heatmap on MountainCar) plt.show() # 调用 plot_q_heatmap(q_net, state_low, state_high)诊断价值理想热力图应呈现清晰分区——左侧pos-0.8以 action0左推为主蓄力中部-0.8pos-0.2以 action2右推为主冲刺右侧pos-0.2以 action1不推为主到达。若出现大片 action1 的“死区”说明 reward shaping 不足若 action0/2 交错混乱说明网络未学到物理规律。5.2 迁移到 CarRacing 的关键跃迁从 2D 状态到 96x96x3 图像必须做的三件事CarRacing 是 MountainCar 的图像版输入是 96x96 RGB 帧状态包含 position/velocity/angle动作是连续的[steer, gas, brake]。从 MountainCar 迁移绝非“换 input size”那么简单维度MountainCarCarRacing 迁移要点输入处理归一化 2D 向量必须加 CNN 主干nn.Sequential(Conv2d(3,32), ReLU, MaxPool2d, ...)输出 flatten 后接 FC动作空间离散 3 类改用 Dueling DQN 或直接上 DDPGaction tanh(mu noise)因连续控制需输出浮点值reward 设计手工 shaping 基础 reward必须引入轨迹跟踪 rewardreward 1 - abs(angle_to_center) - 0.1 * abs(steer)否则车永远不走直线血泪经验我曾直接把 MountainCar 的 DQN 网络结构套到 CarRacing输入 resize 成 96x96结果训练 5000 episode 后车仍在原地打转。根本原因是CNN 的第一层卷积核必须能检测边缘方向盘转动引起图像偏移而随机初始化的 32 个 8x8 kernel 几乎无法在 3 通道上提取有效特征。解决方案是用torchvision.models.resnet18(pretrainedTrue)提取特征冻结前 3 层只微调最后两层——这招让 CarRacing 的收敛时间从不可测缩短到 1200 episode。最后说句实在话在 MountainCar 上跑通 DQN不是为了做一个玩具 demo而是为了建立对强化学习“反馈延迟、探索代价、表示学习”三位一体的肌肉记忆。我至今保留着第一个成功冲上坡顶的 checkpoint不是因为它多先进而是每次看到episode_reward 0就想起那个在reward-1里坚持了 183 步的小车——它教会我的比任何论文都扎实。希望帮到你。本文还有配套的精品资源点击获取