1. 三维路径规划与Q-learning的基础架构1.1 为什么三维路径规划比二维更值得用Q-learning三维空间的路径规划做起来比二维要麻烦不少。平面网格只需要考虑横向和纵向两个自由度换到三维之后多了一个高度方向的自由度状态空间从“格子”变成“体素块”规模直接是三次方的增长。比如一个10×10的二维地图只有100个状态而一个10×10×10的三维地图就是1000个状态动作空间也从4个方向扩展到了6个甚至更多。很多在二维环境里跑得很顺的算法换到三维就会明显变慢甚至直接跑不动。Q-learning这种基于表格的强化学习方法在三维场景里反而有独特优势。因为三维空间的结构不会像游戏那样复杂到状态无限路径规划的地图范围通常都是有限、离散、可枚举的每个体素块都是一个明确的状态动作也相对固定。这种情况下用一张Q表就能把“在哪个位置、往哪个方向走、价值是多少”完整记录下来训练过程虽然比二维慢但不会出现维度爆炸到无法计算的程度。这个项目里我把地图控制在几个不同尺度的体素空间里做实验10³和20³规模都很适合用Q-learning直接跑30³加一点优化技巧也能在几分钟内完成训练。这个系列的001篇已经把三维网格环境的搭建、基本的Q-learning更新流程讲过了这一篇002主要聚焦两个容易被忽略但实际上很关键的问题训练出来的策略怎么保存下来以及怎么在后续任务里把保存的策略读取回来直接用。很多人跑强化学习demo的时候只关心训练曲线好不好看真正需要上线或者做连续实验的时候才发现策略不能持久化是个大问题——每次启动程序都要重新训练一遍时间成本完全浪费了。1.2 核心概念状态、动作、奖励怎么定义在三维路径规划这个具体问题里Q-learning的四个核心要素要重新梳理一遍。状态的定义很直接就是智能体当前所在的体素坐标。假设地图是size×size×size的体素空间那么状态可以表示为(sx, sy, sz)每个坐标的取值范围是0到size-1。要注意的是状态空间的大小直接影响Q表的形状我在代码里用grid_size统一控制三个维度这样Q表初始化起来很方便q_table np.zeros((grid_size, grid_size, grid_size, action_num))。这里用NumPy数组而不是Python字典主要考虑到后面保存和读取策略的时候数组格式可以直接用np.save和np.load不用自己写序列化逻辑。动作的定义是这个项目里值得多说两句的地方。三维空间的基本动作可以设定为6个方向上、下、左、右、前、后分别对应Y轴正负、X轴正负、Z轴正负。有些实现会把对角线方向也加进来变成18个甚至26个动作这样智能体移动更灵活但Q表规模会跟着翻倍训练收敛速度也会变慢。我的建议是初学者先用6个方向把流程跑通等确认奖励函数和保存读取逻辑都没问题了再考虑扩展动作空间。奖励函数是Q-learning里最需要花心思设计的部分。我在项目里用了三个层次的奖励叠加到达目标点奖励100这是稀疏的最终目标反馈。每一步的微小惩罚奖励-1用来约束路径长度避免智能体绕远路。距离引导奖励每次移动后计算当前位置到目标点的欧氏距离如果距离比上一步更近额外给一个小的正奖励比例系数取0.5。这个距离引导奖励在三维空间里非常重要。没有它的情况下大尺寸地图里前期探索几乎拿不到任何正向反馈Q表全是负值训练半天智能体还在原地打转。加了这个引导之后即使探索初期经常撞墙Q表也能逐步学到“靠近目标是有好处”的规律收敛速度直观提升了一大截。2. 策略保存与读取的价值和实现思路2.1 为什么保存策略很关键不只是为了方便强化学习训练好的东西本质上就是一个策略函数在Q-learning里就是那张Q表。Q表保存下来意味着什么意味着之前花了几百轮训练出来的经验可以跨进程复用。我在实际项目里遇到过几个非常现实的场景每一个都让我觉得策略持久化是必做功能而不是可有可无的加分项。第一个场景是训练和推理分离。训练阶段要跑几百上千个回合耗时几分钟甚至更久如果每次做路径规划测试都要从零开始训练一遍工作效率低到没法接受。把策略保存下来之后训练归训练、推理归推理加载Q表直接用贪心策略走一遍就能得出路径毫秒级出结果。第二个场景是实验对比。调试奖励函数参数的时候经常需要对比不同参数组合的效果。如果没有保存策略的功能每次改参数都要重新训练而且不同次训练之间因为随机性还有偏差有了保存功能可以把每次训练出的策略存档命名好统一加载后在同一条测试路径上做对比结论可靠得多。第三个场景是增量学习和迁移学习。Q-learning支持从已有的Q表继续训练也就是说保存的不只是一个最终结果还是一份可以继续优化的初始化参数。比如先在10×10×10的小地图里训练500轮保存策略之后换到20×20×20的地图时把之前的小图Q表加载出来对应位置的值作为新Q表的初始值再训练100轮就能达到不错的水平比从零开始快了不少。从技术选型角度来说Q-learning保存Q表也比神经网络类的强化学习方法简单太多。DQN要保存模型结构加权重参数至少要处理两三个文件Q-learning就是一张数组表存文件读文件几行代码搞定。这也是Q-learning在中小规模路径规划场景里依然值得用的一个重要原因。2.2 保存与读取的几种方案对比在动手写代码之前我先把几个候选的保存方案认真对比了一下因为不同方案在适用场景、读写效率、可移植性上差别还挺大的。方案文件格式优点缺点适用场景NumPy原生.npy读写极快代码简单数组结构完全保留跨语言跨版本兼容性弱同一项目内Python环境复用Pickle序列化.pklPython对象通用字典、列表都能存有安全隐患读取时必须信任来源需要保存完整对象结构如含超参数JSON文本.json可读性好方便人工检查跨语言通用对大数组读写慢占用空间大需要调试查看策略内容时CSV/文本.txt/.csv最通用任何工具都能打开维度信息容易丢失效率最低极少数需要外部工具分析的情况实际项目里我优先推荐np.save/np.load方案。Q表本质就是多维数组用NumPy原生格式保存不会丢失任何维度信息加载回来之后和训练结束时的内存布局完全一致不需要额外解析处理。NumPy底层是二进制格式读写性能非常稳定。Pickle我在特殊情况也会用。比如我想把Q表连同训练参数学习率、折扣因子、当前回合数一起打包存档用字典包一下再pickle就比较方便。这里要提醒一下pickle读取时不要加载来源不明的文件毕竟它执行任意Python代码的风险一直存在。自己训练自己用完全没问题但给别人交付代码时最好换成更安全的格式。JSON方案我一般只在调试的时候用。Q表规模比较小时输出成可读文本能直观检查某个状态下哪个动作的Q值最高、策略决策是否合理规模大了之后就不推荐了几万个数字写成JSON文件打开都要卡一下。而且JSON的浮点精度问题偶发会出现存进去再读出来Q值可能和原来有一点点误差对策略影响不大但不是零。3. 核心代码实现从环境构建到策略存取3.1 环境建模和Q表初始化这个项目里的三维环境我用了最朴素的体素网格表示法。整个空间就是一个三维NumPy数组数组的值为0表示该位置可通行值为1表示障碍物。起点和终点是固定坐标在环境初始化时确定。import numpy as np class ThreeDGridEnv: def __init__(self, grid_size10, obstacle_density0.1): self.grid_size grid_size self.grid np.zeros((grid_size, grid_size, grid_size), dtypenp.int8) # 固定起终点 self.start (0, 0, 0) self.goal (grid_size - 1, grid_size - 1, grid_size - 1) # 随机生成障碍物 np.random.seed(42) for x in range(grid_size): for y in range(grid_size): for z in range(grid_size): if (x, y, z) self.start or (x, y, z) self.goal: continue if np.random.random() obstacle_density: self.grid[x, y, z] 1 # 动作空间上下左右前后 self.actions [ (1, 0, 0), (-1, 0, 0), (0, 1, 0), (0, -1, 0), (0, 0, 1), (0, 0, -1) ] self.action_num len(self.actions)Q表初始化和参数定义q_table np.zeros((grid_size, grid_size, grid_size, 6)) alpha 0.1 # 学习率 gamma 0.9 # 折扣因子 epsilon 0.5 # 探索率训练中线性衰减Q表初始值用全0是一个常用的做法可以让智能体在前期更愿意尝试不同的动作。如果把初始值设成一个较大的正数智能体会更倾向于先探索而不是利用适合在稀疏奖励环境下使用但反过来如果初始值过大Q值的更新过程会变得很慢。对于这个项目全0初始化加epsilon探索已经够用了。3.2 训练主循环与Q值更新训练主循环的逻辑比较标准但有几个三维环境特有的细节需要注意。先看核心代码def get_distance(pos): return np.sqrt((pos[0] - goal[0])**2 (pos[1] - goal[1])**2 (pos[2] - goal[2])**2) def train(episodes500): global q_table, epsilon step_counts [] for episode in range(episodes): state env.start total_reward 0 step_count 0 while state ! env.goal and step_count 200: # epsilon-greedy策略选择动作 if np.random.random() epsilon: action_idx np.random.randint(0, env.action_num) else: action_idx np.argmax(q_table[state[0], state[1], state[2]]) old_distance get_distance(state) # 执行动作 dx, dy, dz env.actions[action_idx] next_state (state[0] dx, state[1] dy, state[2] dz) # 边界检查和碰撞检查 if (next_state[0] 0 or next_state[0] env.grid_size or next_state[1] 0 or next_state[1] env.grid_size or next_state[2] 0 or next_state[2] env.grid_size or env.grid[next_state[0], next_state[1], next_state[2]] 1): # 撞墙给惩罚不移动 reward -10 next_state state else: new_distance get_distance(next_state) if next_state env.goal: reward 100 else: reward -1 0.5 * (old_distance - new_distance) # Q值更新 best_next np.max(q_table[next_state[0], next_state[1], next_state[2]]) q_table[state[0], state[1], state[2], action_idx] alpha * ( reward gamma * best_next - q_table[state[0], state[1], state[2], action_idx] ) state next_state total_reward reward step_count 1 step_counts.append(step_count) # epsilon线性衰减 epsilon max(0.05, epsilon * 0.995)这里有几个容易踩坑的细节。第一个是边界碰撞的处理方式。如果智能体下一步会走出地图边界或者撞上障碍物我的处理是“惩罚但不移动”也就是下一步状态保持为当前状态。有些人会写成直接终止回合那会让智能体变得过度保守稍微走到地图边缘动不动就结束一轮不利于探索路径。相比之下“原地惩罚”能给智能体更多试错机会。第二个是距离引导奖励的传递顺序。我在执行动作之前就算好了old_distance执行动作之后计算new_distance两者的差值才是真正的引导信号。如果顺序搞反了奖励和状态更新就不匹配了训练会变得很不稳定。第三个是step_limit。三维空间里Q-learning前期探索效率不高一步一格的情况下10³的地图极限步数也就1000步左右但我设了200步的截断。这个数字要结合地图大小来调整太小了会导致很多回合正常找不到路就被强行终止训练信息大量浪费太大了又会让部分回合一直空转到结束浪费时间。20³地图我就把上限调到了500。3.3 策略的保存与读取完整实现训练完成后保存策略的核心就是保存Q表用NumPy自带方法就够了。# 保存策略 def save_policy(q_table, file_pathqtable_3d.npy): np.save(file_path, q_table) print(f策略已保存至: {file_path}形状: {q_table.shape})这只是两行代码的事情但实际项目里我强烈建议把保存函数写得稍微完备一点至少加上这里的维度校验# 读取策略 def load_policy(file_pathqtable_3d.npy): loaded_q np.load(file_path) print(f策略已加载: {file_path}形状: {loaded_q.shape}) return loaded_q我把保存和读取的逻辑封装成一个更完整的接口后整个使用流程就变成这样# 完整使用流程示例 # 1. 训练 q_table train(episodes500) # 2. 保存 save_policy(q_table, policy_10x10x10.npy) # 3. 读取并直接用贪心策略规划路径 q_table load_policy(policy_10x10x10.npy) def extract_path(q_table, env): state env.start path [state] max_steps 200 for _ in range(max_steps): if state env.goal: break action_idx np.argmax(q_table[state[0], state[1], state[2]]) dx, dy, dz env.actions[action_idx] next_state (state[0] dx, state[1] dy, state[2] dz) # 如果下一步撞墙说明当前Q表在该状态下的最优动作不可行 if (next_state[0] 0 or next_state[0] env.grid_size or next_state[1] 0 or next_state[1] env.grid_size or next_state[2] 0 or next_state[2] env.grid_size or env.grid[next_state[0], next_state[1], next_state[2]] 1): break state next_state path.append(state) return path使用extract_path函数时要注意一个问题如果加载回一个训练不充分的Q表贪心策略会把智能体引导到某个状态后推荐一个撞墙的动作此时路径提取会直接中断。这个现象其实很有用它可以作为一个质量检测信号——如果频繁出现路径中断说明策略还没收敛需要继续训练而不是强行使用。我一开始没意识到这点把训练不足的策略直接拿去部署跑出来的路径总是半途断掉还以为是环境代码写错了。4. 训练与调试中的常见问题4.1 参数怎么调学习率、折扣因子、探索率Q-learning的三个核心参数在三维路径规划里的调法跟二维环境有一些不同。这里直接给出一份我实测有效的参数区间并结合我的调试经验解释原因。学习率alpha在0.05到0.3之间比较合适。alpha太大Q值更新幅度过猛智能体刚学到一点东西很快又被新经验冲掉训练曲线剧烈震荡alpha太小每次更新只挪动一点点训练时间大幅拉长。我实测下来取0.1是个稳健的起点值。折扣因子gamma在0.85到0.99之间。gamma越接近1智能体越看重远期收益理论上更容易找到全局最优路径但三维空间路径比较长gamma太大会让奖励在时间轴上过度传播早期探索阶段Q表更新存在滞后效应。路径规划通常更看重“最终能到达终点”这个结果而非未来收益的微小差异所以取0.9很合理。探索率epsilon是训练最重要的控制旋钮。固定值方案里0.2到0.5都有人用但我推荐线性衰减方案从0.5开始每回合乘以0.995衰减到0.05下限。这样前期充分探索环境结构后期收敛到利用最优策略兼顾了探索广度和收敛稳定性。我踩过最大的坑是在大尺寸地图里把epsilon衰减设得太快。20×20×20的地图epsilon从0.5按每回合0.99衰减300回合后就跌到0.05但此时智能体还没把环境探索完整过早进入利用阶段后长期滞留在局部最优路径上成功率一直上不去。后来把衰减系数改成0.995给足了探索时间问题就解决了。4.2 奖励函数设计的常见坑奖励函数是三维路径规划里最“细节决定成败”的部分。我列几个实际遇到过的坑和对应解法。第一个是只给终点奖励的稀疏奖励陷阱。只设置到达终点100、其他情况0奖励在地图规模小比如5×5×5时还能勉强收敛但一旦体积增大前期探索成功率极低Q表更新频率低到等于没有学习。必须加每步-1的基础惩罚让智能体有“少走冤枉路”的基本压力。第二个是距离引导奖励过度主导的问题。如果把距离引导系数设得太高比如系数大于1会出现一个奇怪的现象Q表会被近距离奖励主导智能体特别执着于“朝目标方向直线冲”遇到障碍物也不会绕路直接在障碍物前撞墙拿惩罚。距离引导的本质是辅助信号不能盖过避障和到达终点的核心目标。第三个是终点奖励和碰壁惩罚之间的相对量级。终点奖励100碰壁惩罚-10每步惩罚-1这个配比是我调了几轮之后确定的。碰壁惩罚不能太大否则智能体宁可原地试探也不愿靠近障碍物密集的区域也不能太小否则碰到墙毫无压力路径会反复穿越危险区域。100比10的配比让智能体在“绕路避障”和“直接莽撞”之间倾向于前者但又不至于因为一次撞墙就完全放弃一条路径。经验法则终点奖励应该是单步惩罚绝对值的50到100倍碰壁惩罚应该是单步惩罚的5到10倍。在这个量级区间内调整训练曲线基本都不会出大问题。4.3 路径规划的评估指标评估一个三维路径规划策略好不好光看训练损失曲线是不够的路径规划任务需要自己的指标。我每次跑完训练都会固定调用测试函数计算几个关键指标成功率在测试环境中从起点出发使用贪心策略能否在步数上限内到达终点。这个指标最基础也最重要。平均路径长度成功回合中从起点到终点的路径总长度。Q-learning的目标是最大化累计奖励由于有每步-1的惩罚路径越短对应奖励越高可以用它衡量路径的优劣程度。路径平滑度路径中方向变化的次数。三维路径经常会出现锯齿状抖动明明可以直线走的非要上下左右反复横跳这类路径视觉效果差实际应用也不行。这个指标我主要靠可视化观察没有严格量化。收敛回合数累计奖励到达稳定水平的回合序号。通过打印每回合总奖励并绘制曲线来观察。在10×10×10的测试环境里我训练500轮后成功率达到98%左右平均路径长度在27到35之间而理论上最短路径大概是27步从(0,0,0)到(9,9,9)对角方向距离27各单位加绕障修正。偶尔出现的失败回合基本都是因为随机障碍物把必经之路堵死导致的。5. 实验结果与策略复用的实际体验5.1 一个具体实验的参数和效果我拿一个完整的实验来演示保存和读取策略的实际效果。环境尺寸设为10×10×10障碍物密度0.1起点(0,0,0)终点(9,9,9)训练回合数600。训练完成后Q表保存为policy_10.npy文件大小只有几千字节。为什么这么小因为10×10×10的状态空间是1000个状态每个状态对应6个动作Q表总共6000个浮点数用float64存储也只有48KB。这个体量在工程上完全不是问题可以做内存驻留嵌入到路径规划服务里每次查询都是毫秒级响应。加载策略后跑了100次测试结果如下指标数值测试次数100成功率98%平均路径长度31.2最短路径长度27平均消耗时间3ms那2%的失败案例我专门跟踪过问题出在地图边界附近有几个状态被引导到了一个被障碍物包围的局部区域Q表在那些状态下记录的最优动作是撞墙后的惩罚状态但智能体已经钻进去了又没有设计“回头”的机制结果卡死。这个不是Q-learning本身的致命问题而是动作空间设计里缺少了诊断逻辑正常应用时可以通过增加随机逃生动作或者加大探索率规避。5.2 策略读取后的三种复用方式把保存好的策略加载回来可以做的事情不止“用贪心走一遍”这一种。我在项目里试过三种复用方式效果都不错。第一种是热启动训练。在20×20×20的新地图上训练时把之前10×10×10的训练所得Q表先加载进来然后把超出原表范围的新状态初始化为0再继续训练。这样新地图的前几百回合就不是完全随机探索了智能体带着小地图的避障和趋近目标的经验直接上手整体收敛速度比我对比的从零训练快了大约40%。这个技巧在工程里做地图渐进式扩展时非常有用。第二种是固定策略的快速推理。加载策略后把所有状态的贪心动作预先计算好用一个字典存下来比如{(sx,sy,sz): action_idx}之后每次路径查询直接查字典连argmax都不用重复计算。查询时间复杂度O(1)极快极稳适合对延迟敏感的场景。第三种是多策略对比评估。要验证奖励函数参数调整的效果只需要保存两份Q表policy_before.npy和policy_after.npy然后在同一张测试地图上分别跑路径、统计路径长度和成功率。同图异策略对比排除随机性干扰结论可信度远高于“跑一遍看效果”的粗糙对比方式。5.3 从Q-learning到DQN的扩展思路前文提到Q-learning在30³以上的地图里会吃力这正好是策略保存要跨出的下一步。规模变大时Q表从数组变成神经网络逼近函数策略保存的粒度从“一个文件装全表”演变成“模型结构权重参数优化器状态”的复杂集合但核心思想不变把训练成果持久化让学习到的经验可以复用。我的建议是先把Q-learning版本的三维路径规划完整跑通把状态、动作、奖励、策略存取这套逻辑消化掉再往DQN方向扩展。因为DQN中经验回放、目标网络、探索策略这些概念在Q-learning的框架下都有对应物只是实现形式更复杂。有了这套Q-learning的基础后面理解DQN的网络结构更新方式会顺利很多。另外三维体素路径规划还有一个提升路径质量的空间值得提一下。体素网格天生的特点就是路径锯齿化严重从(0,0,0)到(9,9,9)的路径在体素空间里看起来是一节一节折线。后续可以用路径平滑算法比如拉格朗日插值或者B样条拟合法对规划结果做后处理把折线变曲线输出更接近实际运动轨迹的路径。这个和策略保存读取是两条独立的优化线结合起来用会让整个方案完全体面起来。我这个项目整体跑下来最大的体会是强化学习解决路径规划问题最大的障碍反而不是算法本身而是工程闭环是否完整。训练、评估、保存、加载、再训练这个循环每缺一段项目就卡一段时间。把保存和读取策略这环补上之后整个基于Q-learning的三维路径规划方案才真正具备持续迭代的可能性。下一篇我打算把迷宫地图生成和动态障碍物避让加进去到时候再和各位分享实操中的新坑。
