做强化学习绕不开的第一个坎就是马尔可夫决策过程MDP。我在最初学RL的时候最懵的也是这一块看了好多公式听了很多名词状态、动作、奖励、折扣因子、价值函数全认识但你让我说完“MDP到底是什么”又说不上来。之后谁跟我说MDP就是“把决策问题形式化成一个数学框架”我都点头但心里其实没懂。直到我自己动手把一个小任务完整建模成MDP又用代码跑了出来这才算真正打通了。这篇笔记就当作我自己的复盘也顺便给后来的人趟趟路。我会从“为什么要用MDP来描述强化学习问题”讲起把五元组拆开揉碎再讲到回报、价值函数、贝尔曼方程最后落到实际调参和踩坑经验。全程不用高深数学全部用大白话和一个贯穿始终的小例子来讲。不管你是零基础入门还是学完概念想系统梳理这篇应该都能帮上忙。1. 先搞明白强化学习凭什么用MDP来建模1.1 强化学习面对的是什么样的世界先想一个普通问题你在教一条狗“坐下”这个指令。狗听完指令后有可能会坐下来也有可能会歪着头看你还会因为你手里有没有零食而表现不同。每次喂零食都算一次反馈狗根据反馈慢慢学会“听到坐下”这个行为。这个过程里狗看到的是当下的画面、听到的是指令它不需要回忆三分钟前的风吹草动只需要根据“现在”的状态做判断。强化学习解决的问题就是这一类智能体在环境里不断试错通过环境反馈的奖励信号来学习策略目标是让累积的奖励尽可能大。自动驾驶、下棋、机器人抓取、推荐系统其实都能塞进这个框架里。可问题来了环境千变万化动作五花八门奖励时有时无要怎么把这些统一成一种能被数学和程序处理的模型这个时候就轮到MDP登场了。它的核心思路是把整个交互过程简化成一组固定的组成部分状态、动作、转移规则、反馈信号、目标度量。只要你能把你的问题拆成这五样就等于把一个具体业务问题翻译成了强化学习能解决的问题。所以先别急着背公式先用这五样把你想解决的问题拆一拆。1.2 回合、轨迹和时间步MDP的最小叙事单元MDP里的时间不是连续的而是被切成一连串离散的时间步t 0, 1, 2, 3... 在每一个时间步智能体观察当前状态 S_t然后选择一个动作 A_t。环境收到动作后会做两件事给出一个即时奖励 R_{t1}并把状态推进到 S_{t1}。然后进入下一个时间步不停循环。这种“观察-决策-反馈-推进”的循环其实就是你打游戏时的完整体验看到屏幕画面状态按键操作动作看到分数变化奖励画面跳转到新场景新状态。没有任何多余的东西MDP就是把这个循环数学化。一段从头到尾完整的交互历史叫一条轨迹记作S_0, A_0, R_1, S_1, A_1, R_2, S_2, ...写作笔记时我习惯把轨迹里的奖励序号错开一格因为奖励 R_{t1} 是对动作 A_t 的回应这样标号在处理公式时特别顺手。你可以跟我一样在纸上多写几遍这条序列直到闭上眼能默写出来为止。后面的所有公式全是在这条轨迹上做各种累加和期望。1.3 马尔可夫性为什么“只需要看现在”“马尔可夫”四个字是整个框架的命根子。它的意思是给定当前状态 S_t未来的状态转移只跟 S_t 有关跟更早的历史 S_{t-1}, S_{t-2} 都无关。用公式写就是P(S_{t1} | S_t, S_{t-1}, ..., S_0) P(S_{t1} | S_t)用人话说我只看你现在的状态就够了不关心你是怎么走到这一步的。这听起来像是很强的限制但实际里大部分环境都能近似满足因为你可以把“状态”定义得足够完整把历史信息全塞进当前状态里。比如打麻将只看当前手牌是不行的因为上一轮出过什么牌会影响别人要什么但你如果把“已经出过的牌”也编进状态那马尔可夫性就成立了。每次谈到这儿我都愿意多说一句马尔可夫性是MDP能简化问题的根本原因。没有它所有算法都得维护整段历史复杂度爆炸根本算不下去。记住“状态要能反映所有影响未来的信息”这个认知会直接影响你后面设计状态表示的水平。2. MDP五元组逐项拆解S、A、P、R、γMDP通常被写成一个五元组S、A、P、R、γ。S是状态空间A是动作空间P是状态转移概率R是奖励函数γ是折扣因子。逐个拆开讲顺便用一个走格子的小环境把它们串起来。2.1 状态空间和动作空间先给环境“画个框架”状态空间 S 是所有可能状态的集合动作空间 A 是所有动作的集合。两者最关键是定义清楚“粒度”状态要抽象到什么程度动作要细到什么程度。继续拿格子世界举例。一个4x4的地图机器人从左上角出发走到右下角算胜利中间有一个洞掉进去算失败。状态可以简单编成坐标 (0,0) 到 (3,3)动作只有四个上、下、左、右。这就是最典型的MDP教学环境。但是真实项目里状态空间远没有那么温柔。比如机器人的状态可能是关节角度、角速度、末端坐标的几十个连续值动作可能是关节力矩的连续向量。这就要考虑状态里要不要包含速度要不要包含上一时刻动作这些问题的答案直接决定马尔可夫性能不能满足。关于状态设计的经验留到后面第6节专门讲这里先记住一句话状态空间决定你“看到的世界”有多全动作空间决定你“改变世界的能力”有多大两个都要按任务目的来定没定好后面全白搭。2.2 状态转移概率环境对你动作的“回应方式”状态转移概率 P 描述的是在状态 s 执行动作 a 之后环境进入状态 s 的概率记作 P(s | s, a)。它刻画了环境的动态特性。还是用格子世界假如机器人命令是“向右”但轮子打滑有0.8的概率真的到右边一格有0.2的概率原地没动这个概率分布就是 P。在很多教学环境里P 是程序里硬编码的随机数。在真实场景中P 往往不知道需要通过采样的方式去估计。这里必须强调一个概念区分知道P和不知道P对应着两种完全不同的解题路线。知道P属于“基于模型”的强化学习可以用动态规划直接算不知道P属于“无模型”强化学习需要靠大量采样试错。MDP这个框架的厉害之处就在于不管你知道不知道P它都还是同一套问题描述只是算法不同。2.3 奖励函数所有学习的“唯一信号”奖励函数 R 是环境给智能体的反馈通常写作 R(s, a) 或 R(s, a, s)表示在某状态做某动作到达某后续状态能拿到的即时分数。奖励是强化学习里唯一告诉智能体“什么叫好”的信号所以它的设计质量直接决定学习效果。格子世界里可以这样定到达终点给1掉进洞给-1其他所有步都给0。这个设计看起来很简单但已经包含了稀疏奖励、正负奖励平衡这些要素。写奖励函数时最核心的一条心得是奖励应该反映任务目标而不是教智能体怎么做事。你写“往前走给0.1”就会训练出一个原地转圈刷分的东西。这表面上是个玩笑但在真实项目里我们吃过太多类似的亏奖励稍一设计偏智能体就会钻空子。2.4 折扣因子让算法学会“远近轻重”折扣因子 γ 取值范围 [0,1]表示未来奖励相对当前奖励的重要程度。γ 越接近1智能体越有耐心愿意为了长远收益放弃眼前利益γ 越接近0智能体越短视只看重当前一步。为什么必须有折扣两个原因。第一个是数学上的无限时间步的情况下如果不打折扣累计回报可能变成无穷大没法比较。第二个是直觉上的未来的奖励有不确定性投资里叫“现值”越远的钱越不值钱所以打个折扣合理。格子世界里可以取 γ0.9。这样一个三步之后拿到的奖励等于现在拿到0.729算起来方便也直观。折扣因子的选择在实际调参里非常讲究后面6.1节单独展开。2.5 把这些串起来一个小环境的MDP建模样例搞个最简单的2x2格子环境状态 s1 是起点s2 是终点从 s1 只能向右或向下走。不啰嗦了我直接写一个极简的MDP定义给你看S {s1, s2}A {向右向下}P在 s1 执行“向右”有 1.0 概率到 s2执行“向下”有 0.5 概率到 s2、0.5 概率留在 s1R转移到 s2 得 1原地停留得 0γ 0.9你看一个简单的MDP就定义完了。真到写代码时我习惯把 P 和 R 写成字典嵌套结构key分别是(s, a)和(s, a, s)这样后续算价值函数时取数非常顺手。贴一段我常用的数据定义风格方便你参考# 模拟2x2环境的转移与奖励 P { (s1, 向右): [(s2, 1.0)], (s1, 向下): [(s2, 0.5), (s1, 0.5)], (s2, 向右): [(s2, 1.0)], (s2, 向下): [(s2, 1.0)], } R { (s1, 向右, s2): 1.0, (s1, 向下, s2): 1.0, (s1, 向下, s1): 0.0, (s2, 向右, s2): 1.0, (s2, 向下, s2): 1.0, }把五元组落到这种数据结构后面你写任何价值迭代、策略迭代代码都能直接上手学习曲线一下子平缓很多。五元组拆完了接下来看怎么用奖励去衡量一个策略的长期好坏。3. 从回报到价值函数智能体凭什么判断“好不好”3.1 回报与折扣计算一个时间步往后的累积奖励给定一条轨迹从某个时间步 t 开始往后累积的折扣奖励之和叫回报Return记作 G_tG_t R_{t1} γR_{t2} γ^2 R_{t3} ...这里把 γ 的幂次和轨迹时间步对应好初学最容易错的就是这里。上面的公式展开是当前奖励打0折、下一个奖励打1折、下下个奖励打2折以此类推。我最早算回报时总把第一项写成 γR_{t1}结果怎么算都不对后来专门在笔记里用红笔标了“第一项不打折”。格子世界做个练习题从 s1 出发按“向下”动作一直执行假设实际轨迹奖励依次是 0, 1, 0, 1γ0.9那么在 t0 时的回报是G_0 0 0.9 × 1 0.81 × 0 0.729 × 1 1.628这种计算练个两三道回报的含义就刻在脑子里了。回报是整个强化学习目标函数的微观单元你后面见到的所有目标函数本质上都是回报的某种期望。3.2 状态价值函数这是“这个局面值多少分”光看一条轨迹的回报不够因为同一条策略在同一个状态下环境随机性会导致每次走得不一样。所以价值函数定义为回报的期望。状态价值函数 V_π(s) 表示在策略 π 下从状态 s 出发能获得的期望回报。符号里的 π 是策略给定状态 sπ(a|s) 表示选动作 a 的概率。V_π(s) E_π[G_t | S_t s]同样在2x2格子环境如果策略是“50%概率向右、50%概率向下”那么从 s1 出发可以手算V_π(s1) 0.5 × (R向右γV_π(s2)) 0.5 × (0.5(R向下到s2γV_π(s2)) 0.5(R向下留在s1γV_π(s1)))这个形式其实就是下一步要讲的贝尔曼方程。数值上不用急着求出来理解它的含义更重要价值函数是策略的“天气预报”它告诉你在这条策略下这个状态未来平均能拿多少。3.3 动作价值函数把“状态”细分到“状态下做某个动作”状态价值函数有一个不够用的地方策略已经定好了你在状态 s 只能按策略概率选择动作没法评价“如果我不按策略来临时换个动作会怎样”。动作价值函数 Q_π(s, a) 就是专门干这个的Q_π(s, a) E_π[G_t | S_t s, A_t a]含义是从状态 s 出发先执行动作 a之后完全按策略 π 行动能获得的期望回报。注意开头这个“先执行”非常重要它把动作给固定下来了所以Q函数才能回答“某个动作值不值得做”的问题。为什么大家在做控制时总喜欢用Q而不是只用V因为最优策略选择时只要在状态 s 里挑 Q 值最大的动作就行不需要再套一层策略公式。这一点在5.3节会把两种价值函数的用法对比开。3.4 两个价值函数之间的桥梁V 和 Q 之间存在一个简单的换算关系V_π(s) 等于在该状态下所有动作 Q 值按策略概率加权的平均。V_π(s) Σ_a π(a|s) Q_π(s, a)反过来说Q_π(s, a) 也可以写成“即时奖励 下一个状态V值期望”的形式Q_π(s, a) R(s,a) γ Σ_{s} P(s|s,a) V_π(s)这两条关系式是接下来贝尔曼方程的支柱。我自己记忆的方法是V是Q的“平均”Q是V的“下一步展开”。你只要能把这两句话复述清楚推导贝尔曼方程时候就不会绕晕。实际用代码算价值函数时我习惯先算Q再算V因为Q更接近模拟器给出的原始数据状态、动作、奖励、下一状态V算出来其实是个派生的汇总指标。很多现成库的底层设计也遵从这个顺序你从动作价值入手写代码会顺很多。4. 贝尔曼方程整个强化学习算法的“源头旋钮”4.1 从胆敢写下一个自洽的等式说起贝尔曼方程不是靠逻辑推导“蹦”出来的它不过是把“回报”的定义往自己身上套了一次。你回想 G_t 的定义G_t R_{t1} γR_{t2} γ^2R_{t3} ...把它拆成第一项加“后面所有项”G_t R_{t1} γ(R_{t2} γR_{t3} ...)括号里这串恰好就是从 t1 时刻开始的回报 G_{t1}。所以G_t R_{t1} γG_{t1}一个时步的回报等于本步奖励加下一步回报的折扣。这个递推关系看着简单却是所有强化学习算法的地基。价值函数是回报的期望把这层期望一加贝尔曼方程就到手了。4.2 状态值贝尔曼方程拆成“现在”和“将来”对 V_π(s) 应用上面的递推再按策略展开动作期望就得到状态价值的贝尔曼方程V_π(s) Σ_a π(a|s) [ R(s,a) γ Σ_{s} P(s|s,a) V_π(s) ]这个公式里每一项都能找到实际意义策略决定选动作的概率即时奖励衡量眼前转移概率加下一步价值代表未来期望。整个公式就是“当前奖励 未来奖励的折扣期望”。2x2格子环境策略若是“等概率选向右或向下”则V_π(s1) 0.5 × (R(s1,向右) γV_π(s2)) 0.5 × (R(s1,向下) γ[0.5V_π(s2) 0.5V_π(s1)])把它展开写出来你才能真的看到这个方程在“递归地计算自己”。很多教材上来就说这是“动态规划方程”但没点破它把 V(s) 表示成其他 V(s) 的加权组合而 s 可能是自己也可能是别的状态。4.3 动作值贝尔曼方程策略评估其实更常算这个动作价值的贝尔曼方程同样来自递推式Q_π(s, a) R(s,a) γ Σ_{s} P(s|s,a) Σ_{a} π(a|s) Q_π(s, a)这里多了一层 Σ_{a} π(a|s)是因为动作价值进入下一步后策略又接管了动作选择。也就是说当前动作是固定的但后续动作仍按策略来。写代码做策略评估我几乎总是用Q版本的方程原因很实在模拟器里天然输出四元组 (s, a, r, s)Q版本的迭代直接采样就能更新。相比之下V版本要先对策略求平均多一步操作。你实际操作几次就会体会到学公式的时候V更清爽写代码的时候Q更顺手。4.4 为什么叫“自举”用一个猜测更新另一个猜测贝尔曼方程最独特的性质叫做“自举”bootstrapping等式右侧的 V(s) 本身就是要算的值却出现在左侧 V(s) 的定义里。就好比你先估一个未来价格用它来更新当前价格然后明天再用更新后的当前价格去校准未来价格一轮一轮迭代。这种“用猜测更新猜测”的做法让贝尔曼方程可以转化成迭代算法随便给 V 初始化成0然后反复套方程更新经过足够多次迭代就会收敛到真实价值。这个过程就是动态规划里的“策略评估”。虽然高级算法会绕开显式的P直接用样本代替期望但贝尔曼方程这层递归结构是它们共同的基因。所以我说贝尔曼方程是“源头旋钮”Q-learning、SARSA、策略梯度表面公式五花八门内核都在这个递推式上做文章。你把4.1节里那个 G_t R_{t1} γG_{t1} 吃透后面看所有算法推导都会轻松一大截。5. 最优策略怎么找目标函数、最优点与经典求解思路5.1 最优价值函数把所有策略比出一个高下策略有好有坏怎么定义“最好”定义最优状态价值函数 V* 为所有可能策略下每个状态的最大价值V*(s) max_π V_π(s)类似地最优动作价值函数 Q*(s, a) 是所有策略里最大的状态-动作价值。这时有一个非常重要的性质所有最优策略共享同一个最优价值函数而且如果已知 Q*最优策略直接选每一状态下 Q* 最大的动作即可不需要再算策略概率。这个性质是理解强化学习控制算法的关键。你在教材里常看到的一组最优贝尔曼方程V*(s) max_a [ R(s,a) γ Σ_{s} P(s|s,a) V*(s) ]Q*(s, a) R(s,a) γ Σ_{s} P(s|s,a) max_{a} Q*(s, a)把策略那层平均改成了取max意思就是在每一个状态我只挑最优动作来评估。这就是求解最优策略时“贪心”的来源也是策略迭代里策略改进步骤的理论依据。5.2 最优策略为什么可以用“贪心”来确定你可能有个疑惑MDP整个问题那么复杂为什么最优策略不能靠眼前贪心而把长远计算全部交给 Q* 来打包原因在于 Q* 已经包含了未来期望。动作价值函数的价值就是把“长远”压缩进了一个数于是决策就变成了比较这些数。换句话说强化学习的难不在“贪心选择”这一步而在“如何算准Q”。一旦有了准的Q策略就是一层皮直接取argmax就行。这也是为什么这么多算法都在试图估计Q值而不是直接算策略。这里必须分清楚“策略评估”和“策略改进”两个环节。策略评估是求当前策略的价值函数策略改进是根据价值函数更新策略比如改成贪心。两个环节交替执行就是下面要说的策略迭代。5.3 两种经典算法值迭代与策略迭代拿到一个MDP且已知P和R最简单的求解方式就是动态规划。口诀我都给你整理好了策略评估反复套贝尔曼方程更新V直到收敛得到当前策略下的价值函数。策略迭代评估完一轮立刻按V或Q改进策略改进完再重新评估循环直到策略不再变化。价值迭代不显式维护策略直接把V更新公式里的策略平均换成max反复迭代直到V收敛再从V提取最优策略。策略迭代收敛快但每轮评估要多次扫描价值迭代实现简单每次只做一个max更新适合编码入门。在2x2格子上跑价值迭代代码量非常少import math states [s1, s2] actions [向右, 向下] gamma 0.9 V {s: 0.0 for s in states} # 转移函数和奖励简写 trans { (s1, 向右): [(s2, 1.0)], (s1, 向下): [(s2, 0.5), (s1, 0.5)], (s2, 向右): [(s2, 1.0)], (s2, 向下): [(s2, 1.0)], } rew { (s1, 向右, s2): 1.0, (s1, 向下, s2): 1.0, (s1, 向下, s1): 0.0, (s2, 向右, s2): 1.0, (s2, 向下, s2): 1.0, } for it in range(100): V_new {} for s in states: best_val -math.inf for a in actions: val 0.0 for s_next, p in trans[(s, a)]: val p * (rew[(s, a, s_next)] gamma * V[s_next]) best_val max(best_val, val) V_new[s] best_val V V_new print(V)这段代码就是价值迭代最朴素的写法。最外层迭代会得到一个稳定的V你在s1上会看到最优价值收敛到某个固定值。跑完这个样例再去看Q-learning你会发现自己已经能看懂算法里每一步在干嘛了。5.4 P未知怎么办从这里跨进无模型学习的门槛大部分教材的MDP章节会一直停留在动态规划然后突然跳去蒙特卡洛和时间差分。其实那一步跨越的动机应该先讲明白一旦环境P未知上面所有需要P的计算全都没法直接用符号 P(s|s,a) 要从求和里消失你必须靠采样多条轨迹来估计那个期望。这个跨越非常关键。动态规划是“数学上精确解”无模型方法是“数据中统计估计”。两者共用同一个贝尔曼方程框架区别只不过是把“期望”换成“样本平均”而已。认识到这一点你就不再用死记硬背的方式学深度强化学习而是从“怎么用样本近似期望”这个角度去理解它们了。我在学习时最大的感触是MDP章节学得好不好不在于背了多少公式而在于闭卷能不能说出“为什么无模型算法还能用贝尔曼方程”。一旦这句话能流畅说出来说明你已经把框架逻辑吃透了。6. 实战里的坑与经验不是算法的错是建模和调参6.1 折扣因子怎么选别小看这个数它决定了智能体的“近视度”γ 的选择直接塑造智能体的行为。做直达目标的格子世界γ0.9 和 γ0.95 差别还不大但换成长期决策任务比如一个月时长的库存补货γ太低会让智能体只顾今天清货不管月底目标。反过来在回合制的游戏里γ 接近1也没问题因为回合总会结束累计回报不会爆炸。我的经验是按“有效时间视野”来估1/(1-γ) 大约等于智能体能“看得见”的有效步数。γ0.9 时大约看10步γ0.99 时大约看100步。任务的核心决策窗口有多长就往那个方向调。6.2 奖励稀疏怎么办别急着堆“中间奖励”任务如果只在最后给一次奖励智能体会非常难学因为绝大多数动作都是零奖励没有任何梯度可言。但直接把每一步都塞一点小奖励又会诱导出各种钻空子的行为。我自己踩过的坑是在某次路径规划模拟项目里为了加快收敛给“离目标更近”加了一点点正奖励结果智能体学会了在原地小碎步打转因为离得近的瞬时奖励容易刷但根本到不了终点。后来换成只在终点给大奖励、再配合回放缓冲区反而学得又快又稳。处理稀疏奖励的体感优先顺序是先检查状态表示是否太差再考虑奖励塑形最后才动奖励数值。奖励塑形本身有点像是“给目标插路标”写着写着就会发现和设计状态表示实际上是一件事的两面。6.3 状态设计比“算法选型”更值得花时间不少新人容易把精力都放在选算法上要不要上PPO要不要换SAC但真正决定任务能不能做出来往往是状态表示和动作空间设计。状态要尽量满足两点一是包含所有和长期决策相关的信息二是尽量让马尔可夫性近似成立。比如机器人抓取任务如果状态里只有手爪当前位置没有物体位置那这个任务基本没法做因为历史信息和本质关联完全被切断了。把物体坐标加进状态等于把“环境感知”补全问题一下子就变成可解的。我通常会在建模前列一张表影响最优决策的因素有哪些、哪些能被传感器测到、哪些需要通过历史记忆来补再决定状态向量到底包含什么。6.4 从MDP这一步往后学你的“接口”已经就位MDP学完之后其实你就拿到了通往后续所有强化学习算法的大门钥匙。接下来无论是蒙特卡洛、时序差分、Q-learning还是策略梯度、Actor-Critic全都默认你已经理解了“状态-动作-奖励-价值”这套脉络。往后所有新概念无非是在“如何估计期望”这一步上做文章。我自己在翻后续资料时常用一句口号自洽“任何算法先问它在估计哪个期望再问它用什么数据来算这个期望。” 这句话是MDP章节教给我的现在分享给你。7. 顺手做个小练习把“猜数字游戏”建模成MDP学MDP最怕的是只看不练。我给你留一个特别小的练习十几分钟能做完但做完对MDP的理解会扎实非常多。任务设计一个猜数字游戏。裁判在心里想一个1到10之间的整数玩家每轮猜一个数猜中得10分猜错得0分游戏继续。你有10次机会10次全错游戏结束得0分。请把这个问题建模成MDP明确写出S、A、P、R、γ并说明为什么“裁判心里的数”和“玩家已经猜过的数”都应进入状态。这个练习里最容易错的是把状态只定义成“当前还没结束”忘了把“已经猜过哪些数”放进去。但如果没有猜过的历史玩家下一轮就会重复猜同一个数这明显不是最优策略。造这个练习就是为了让你亲手体会一次“状态设计影响马尔可夫性”的滋味。做完之后再来对照状态 S 可以是“剩余次数 已猜集合”动作 A 是“猜1到10中的某个数”转移概率里“猜中/猜不中”是确定性的奖励规则上面已经给了γ 可以取0.9。你会发现照着五元组一拆整个问题无比清晰也根本不需要用什么高级算法枚举都能解。最后再分享一个小技巧写笔记的时候别只记公式把每一步遇到的“理解障碍”也记下来。比如我当时就在页边写了“γ 是折扣不是概率”后来复习的时候一眼就看到重点。这份MDP笔记我翻过很多遍每次都有新收获希望你也能建立起自己的理解版本走通强化学习这条难走但特别有趣的路。
