让每一项优秀工作，被更多人看见：点击进入投稿通道

论文追踪 APP 推荐：DailyPapers

• 论文标题：Value-Gradient Hypothesis of RL for LLMs

• 论文链接：https://arxiv.org/pdf/2605.21654

TL;DR

今天解读一篇来自 MBZUAI 与独立研究团队合作的论文《Value-Gradient Hypothesis of RL for LLMs》，它为我们重新审视大模型强化学习（RL）提供了一个全新的理论视角。

近年来，在大语言模型（LLM）的对齐与后训练（Post-training）阶段，无 Critic 的强化学习方法（例如 GRPO）因其高效的显存利用率和出色的推理表现而得到了极大的推广。然而，这带来了一个理论上的悖论：传统的强化学习理论明确指出，缺乏 Critic 进行显式价值评估的策略梯度方法（如无 Baseline 的 REINFORCE），在面临长时序（Long-horizon）信用分配问题时，会因为方差过大而失效。那么，为什么在大模型中，彻底舍弃 Critic 的方法反而能够极其稳定且高效地工作？

为了填补这一理论与实践之间的鸿沟，作者提出了值梯度假设（Value-Gradient Hypothesis）。该假设认为，大模型的反向传播天然地在计算和传递类似于值梯度的信号。具体而言，在一套连续松弛（Continuous Relaxation）的微分展开路径下，作者证明了基于策略梯度的 Actor 梯度更新在期望意义上等同于通过时间反向传播（BPTT）计算的共态（Costate），而该共态的条件期望正好等于真实的值梯度。

在离散的 Transformer 架构中，由于离散 Token 的采样瓶颈，这种微分路径在表面上似乎被切断了。然而，作者通过严格的理论推导指出，Transformer 内部的注意力机制（Attention Mechanism）实际上为信用信号的跨时序传递提供了一条完全可微的“内容旁路”。通过反向传播，算法隐式计算出一种“经验共态”，它能非常好地逼近理想状态下的 BPTT 信号。这种逼近的误差受到策略熵（Policy Entropy）以及采样差距的严格约束：当策略趋向于确定性（低熵状态）时，离散采样带来的误差会逐渐消失，Transformer 就越接近一个完美的连续值梯度优化器。

这一视角不仅解释了 GRPO 的机制，还派生出了一套实用的“RL 准备度（RL Readiness）”预测公式。研究表明，大模型在预训练阶段何时能从强化学习中获得最大的收益，取决于两个关键因子的乘积：可用值梯度信号（Usable Value-Gradient Signal）与可达头顶空间（Reachable Headroom）。利用该定律，我们能够实现完全无需训练的强化学习节点预测，为大模型预训练过程中的检查点选择（Checkpoint Selection）提供了理论指导。

1. 引言

在当前大语言模型（LLM）的技术演进路径中，强化学习（RL）已经成为提升大模型逻辑推理、数学计算以及编程能力的标准底座。在这一趋势下，诸如群组相对策略优化（GRPO, Group Relative Policy Optimization）等移除了独立 Critic/Value 模型的算法，在大模型训练中表现优异。相比传统的 PPO 算法，它不仅节省了巨大的显存开销，还能在长时序、多步推理的任务中取得极为稳健的对齐效果。

然而，这一应用成果却与经典强化学习（Classical RL）的基石理论产生了严重的冲突。在传统的时序差分（TD）或策略梯度（PG）理论中，如果一个强化学习算法既不维护一个状态价值函数 ，又不维护一个动作价值函数 （即所谓的 Critic），那么它在处理长时序信用分配（Temporal Credit Assignment）时，就必须依赖完全基于路径（Trajectory-based）的蒙特卡洛回报估算。在长时序任务中，这种估算会带来巨大的方差，通常会导致算法在没有大量样本支撑的情况下彻底无法收敛。大模型在动辄成百上千个 Token 的自回归解码过程中，面临着极度严苛的时序信用分配挑战，但实际上，不带 Critic 的 GRPO 不仅没有崩溃，反而展现出了比传统 PPO 更容易调参、更稳健的收敛特性。

这种理论与现实的背离揭示了一个可能性：大模型中的无 Critic 强化学习，实质上并不是“无 Value”的。

作者在论文中首次正面回应并系统性解答了这一谜题。他们的核心发现和论点可以总结为以下几点：

1. 反向传播就是值梯度传播：在连续松弛的 LLM 展开轨迹中，策略梯度（如 PPO、GRPO）的 Actor 梯度更新在数学期望上等价于基于 BPTT（Backpropagation Through Time）的路径梯度。BPTT 反向传播的中间敏感度（即伴随变量/共态，Costate）的条件期望，在数学上精确等于状态空间上的真实值函数梯度（Value Gradient）。
2. 注意力机制构成了微分旁路：在实际采用离散 Token 采样的 Transformer 结构中，普通的循环神经网络（RNN）会因为离散采样这一不可微边界而彻底阻断 BPTT 的梯度回传。然而，Transformer 的多头自注意力机制（Multi-Head Self-Attention）天然地在各个时间步（Token）之间建立了一条直接可微的隐状态关联通道通道。即使跨越了离散采样的瓶颈，由于注意力机制的存在，大部分时序信用信号仍然能够通过这条“微分旁路”无损地向前传递。
3. 策略熵控制着逼近误差：离散 Token 采样所造成的梯度缺失（即采样间隙，Sampling Gap），在数学上被证明与其策略的局部熵密切相关。当 LLM 在预训练中逐渐成熟，对高频、确定性词汇（例如代码语法、常见标点、高频词）的预测趋于低熵、高置信度状态时，采样间隙带来的梯度误差会迅速衰减到接近于零。这意味着，预训练中后期的大模型，在进行反向传播时，天然地就在计算近乎完美的理想值梯度。
4. 大模型强化学习就绪度的定量预测：基于上述发现，作者提出大模型对于强化学习的吸收和转化效率并不是一成不变的。强化学习所能带来的增益，可以通过一个由“可用值梯度信号量”与“当前可达的奖励头顶空间”组成的乘积定律（Product Law）来精准描述。

如图 1 所示，作者通过定量计算这套理论指标，成功地在预训练序列（以 OLMo-2 为基准模型）中高精度预测了何时启动强化学习能够获取最大幅度的评测点提升（真实 RL 增益的走势与理论预测高度契合）。

本文将对这篇论文的理论框架、数学推导、离散逼近定理以及相关的实证验证进行全面且细致的拆解。

2. 基础背景与数学形式化

在正式探讨“值梯度假设”之前，我们必须首先建立严格的符号系统，并回顾大模型强化学习中使用的主要组件和机制。

2.1 基础符号系统与大模型强化学习形式化

假定我们在处理一个提示词/问题 ，它采样自某个提示词分布 。给定 后，一个参数化为 的大语言模型策略产生一个自回归的文本片段（Completion / Rollout） 。在 Token 级因式分解（Token-level factorization）下，整个序列的生成概率可以写为：

其中，我们将 定义为 时刻的状态（State）（由提示词和截至目前已生成的 Token 历史拼接而成），而将 定义为 时刻的动作（Action）（当前解码生成的 Token）。因此，在 Token 级别上，一个完整的序列可以由轨迹 来唯一描述。

设 为 时刻模型生成的每 Token 奖励。在最常研究的仅有最终结果奖励（Outcome-only RL）的设定中，模型在中间解码步不获得任何即时奖励，而在最后一个 Token 解码结束时获得一个终端奖励：

引入折现因子 ，我们可以定义折现总回报（Discounted Return） 以及在 时刻的待归回报（Return-to-go） ：

对于任意给定的策略 ，我们还可以进一步定义其在 时刻的时间索引价值函数（Value Function）、动作价值函数（Action-value Function） 以及优势函数（Advantage Function）：

在这里，作者引入了一个区别于标量 的关键数学实体——值梯度（Value Gradient），定义为价值函数关于状态空间（即模型的隐状态空间）的导数：

需要强调的是，对于大模型而言，状态 （也就是上下文序列历史的表示）在模型内部对应的是高维连续的隐状态向量（Hidden States），因此 并不是标量，而是状态空间上的一个向量场（Vector Field）。

2.2 无 Critic 强化学习：以 GRPO 为例

GRPO（Shao et al., 2024）作为 PPO 的一种无 Critic 变体，其核心思想是摆脱了对任何价值预测模型（Critic）的显式参数化，取而代之的是通过对同一个提示词进行群组式的多次并行采样，利用群组内的相对得分来提供时序信用的基线（Baseline）。

具体来说，对于每个输入的提示词 ，GRPO 引导模型产生一组大小为 的采样序列 ，这些序列均来自旧的（或当前未更新的）策略 。我们定义这些并行采样的序列长度为 ，相应的每步状态为 。

如果当前处于结果奖励设定中，每一个生成的序列 会从环境（或 Reward Model）中得到一个标量结果得分 。GRPO 通过在当前的群组分布内执行简单的标准化，来为每一个采样序列 计算出对应的无偏差优势估算信号：

这里的 是为了防止除零的极小数值常数，而 代表整个群组的得分集合。

基于此，GRPO 将每个 Token 在当前状态下的重要性采样比率（Likelihood Ratio）定义为：

由于没有额外的 Critic，GRPO 直接将群组标准化后的序列标量得分 赋给该序列的所有生成步。因此，它在整个序列的所有 Token 步上使用了一个相同的、随时间恒定的优势度量：。其最终的裁剪代理目标函数（Clipped Surrogate Objective）并加入 KL 散度约束的形式为：

这里， 为 PPO 经典的裁剪阈值， 控制着策略偏离参考模型（Reference Model） 的惩罚。从公式可以看出，GRPO 与传统 PPO 最纯粹的区别就在于 的构造方式：它避免了基于时序差分学习（TD-learning）更新的价值网络，转而使用群组统计回报这一常量值，这在大模型领域被证明不仅能大幅缩减显存占用，其稳定性甚至在某些推理任务中压倒了 PPO。

2.3 梯度估计的两条基本路径：得分函数 vs 路径导数

大模型中的强化学习为什么能对复杂的长序进行合理的权重微调？这涉及参数 是如何向期望回报传递梯度信号的。在机器学习理论中，估计期望梯度 存在两种完全相反的基础技术路径（Schulman et al., 2015）：

1. 得分函数（Score-function, SF）估计器

如果随机变量 的采样概率分布显式依赖于参数，即 ，我们有：

这也就是政策梯度（Policy Gradient）中著名的“对数求导技巧”（Log-derivative trick）。它的优点是不要求代价函数 在 空间上可导，甚至不需要 是连续函数。这是经典强化学习中离散动作控制、环境转移未知时的金标准（因为其只使用了标量反馈 ）。但是，它的方差非常大，因为它完全忽略了环境和奖励本身的局部几何特征。

2. 路径导数（Pathwise-derivative, PD）估计器

在另一种视角下，如果我们能够将随机变量 表达为一个确定性的、可微分的关于参数 与独立外部噪声 的复合函数：，那么求导与求期望的算子将可以直接发生交换（即重参数化技巧，Reparameterization trick）（Rezende et al., 2014）：

路径导数估计器直接利用了代价函数在状态空间上的斜率信息 （即局部几何结构），其方差通常远远低于得分函数方法。但是，它的应用代价是极为高昂的：这要求所有的系统环节（包括中间动作采样、环境状态动力学、奖励函数本身）在数学上必须是连续可微且能够重参数化的。

3. 连续视角：为什么无 Critic 强化学习天然携带值梯度信息

为了揭示大模型中 GRPO 的成功之谜，作者首先构建了一个优雅的连续松弛模型（Continuous Relaxation Model）。在这一设定中，虽然最终使用的是无 Critic 优化形式，但通过路径导数估计器与得分函数估计器的等价性，一个隐藏在反向传播计算图底层的“共态”变量将被逐步剥离出来。

3.1 连续展开模型与共态定义

为了实现连续分析，我们首先将离散的 LLM Token 解码过程抽象为一套符合重参数化特征的连续状态动力学系统。

定义 1（可微展开路径）：假设策略输出函数 、状态转移函数 以及即时奖励函数 都是关于它们的参数与状态参数完全可微的函数。给定一组相互独立且同分布（i.i.d.）且不依赖于 的外部环境噪声序列 ，我们的序列生成状态与动作转移满足如下递推关系：

在这一框架中，如果所有的随机性源头均可由不受 影响的独立外部随机变量 显式表达，那么在任意给定的噪声序列实现下，最终的路径总回报 就是一个关于策略参数 的确定性可微函数。

这允许我们直接应用路径求导算子，通过时间反向传播（BPTT）（Fairbank & Alonso, 2012）来表达整个期望收益的目标梯度：

在微分流形的链式法则求导过程中，虽然反向传播的目标是计算关于大参数矩阵 的偏导数，但在物理和状态空间层面上，真正承载、向下游流动并累积时序梯度的核心中间变量，是目标总回报关于每一个中间状态 的局部导数，即所谓的共态（Costate，或称伴随状态）：

共态在直觉上代表了一个非常简单物理含义：当前状态的扰动，会对系统的未来长期回报造成多大的累积变化。

3.2 伴随递推法则（Adjoint Recursion）与证明

既然共态 承载了长期回报的时序依赖性，它本身是如何通过时间反向回传计算的呢？作者在论文中给出了其满足的经典伴随公式：

命题 1（伴随递推，Fairbank & Alonso, 2012）：在定义 1 的可微展开路径假设下，共态变量满足如下的反向递推方程（逆向时间轴自 递推至 ）：

其中，算子 代表关于状态的全导数（Total Derivative），不仅需要刻画状态对于目标函数的直接影响，还需刻画状态通过对策略动作产生间接干扰后带来的连锁反应：

相应的，整个网络的精确路径梯度关于策略参数 的完整表达式可以写为（详见论文公式 7）：

命题 1 的严密证明：

为了确保大模型研究员能够完全跟上这一套底层物理图像，我们在本节中完整重现作者在 Appendix A.2 中给出的数学链式法则展开过程。

对于折现待归回报，其满足单步时序展开式：

在固定的外部噪声流实值 下，由于中间所有的生成动作都由策略确定，我们先计算 关于状态 的总导数：

第一项即为即时奖励关于状态的全导数 。第二项中，由于未来状态 是 经过状态转移发生的第一受体，因此由多维链式求导法则，我们有：

将这两者代入，立刻便得到了伴随递推方程：

现在我们推导关于参数 的整体路径导数。设定 为状态关于参数的灵敏度张量。由状态递推公式：

接下来，总回报 关于参数 的全导数为：

我们要消除状态关于参数的项 。利用我们已经推导出的共态关系，我们将 强行代入上述表达式：

利用我们写出的 递推式，代换其中含有 的项：

合并所有项后，我们惊奇地发现，包含状态敏感度的主干项构成了一个伸缩级数（Telescoping Series）：

由于初始状态 （即提示词 ）是给定的，完全不依赖于网络参数 ，因此有 。同时根据终端定义，。因此这一串级数求和在代数上完全恒等于零。

收集所有剩余的非零微分项：

对该式求期望，两端即刻相符。命题 1 证毕。

3.3 桥梁：共态在期望上就是真实的值梯度

这是一个极具启发性的结论：为什么这一套与参数无关的中间共态变量 ，在大模型中能起到 Critic 估计器的作用？

我们对价值递推关系（Bellman 期望方程）在 上求导：

在连续可微的条件下，我们将积分号与求导号交换：

我们将这一期望导数公式与我们先前提到的共态递归式（命题 1 的公式 6）进行逐项对比：

由于这两套递推形式在数学结构上是严格同构的，由柯西-利普希茨条件和边界条件 ，我们可以得出在给定了当前状态历史 时的条件期望等价性结论（论文中的公式 9）：

推论（值梯度等价性）：通过 BPTT 反向传播流回每个时间步的敏感度共态变量 ，其在特定状态下的均值，本质上就是当前状态处真实价值函数 空间分布的值梯度。

换言之，我们根本不需要显式地去训练、收敛一个 Critic 来评估状态好坏。大模型的 BPTT 本身在逆时间流回计算时，已经隐式地完成了一个利用蒙特卡洛对值梯度进行的高效、无偏采样！

3.4 积分变换等价定理（SF = PD）与 GRPO 更新值梯度化

然而，真正的训练现实依然存在最后一个落差：大模型策略微调，使用的其实是得分函数估计器（如 GRPO / PPO 的强化学习目标梯度形式），而不是直接利用路径导数。我们在上面证明了“路径导数的中间流 是值梯度估计”，这能迁移到基于对数概率的策略梯度更新中吗？

作者在这里引入了 Fairbank & Alonso (2012) 经典的等价积分变换引理：

引理 1（移位策略下的得分函数与路径导数等价性）：假设策略在特定的状态 下，其动作产生满足具有加性加噪/位移形式的概率分布：

这里， 是关于位移量的平滑概率密度函数且在积分边界处趋近于零（例如高斯分布、常数边界的平滑分布等）。 为模型输出的主动动作均值（如 Transformer 输出的隐状态 logits 前驱）。
对于任意在动作空间上可导的回报或函数 ，我们有得分函数形式与路径导数形式在期望意义下完全恒等：

引理 1 的推导步骤（论文 Appendix A.4）：

令 为相对于均值的偏移随机噪声变量，那么它的概率密度函数为 ，完全与策略参数 无关。

首先，对对数概率分布关于 展开偏微分：

代入到得分函数期望形式的左侧积分中：

由于 ，上述积分可重写为：

我们对其应用分部积分法（Integration by Parts），利用 在边界项消失（）的平滑特征：

由于边界项为零，该项化简为：

注意复合函数关于 的偏导在数值上等同于关于 的偏导数：。因此，上式直接写为：

两负相消。将该项带回至原始的 展开式中，即刻得证：

引理 1 证毕。

这一引理在传统强化学习与神经网络反向传播之间架起了桥梁。它表明：在局部满足位移特征的策略模型下，使用似然对数去乘上外部回报进行的粗糙策略梯度更新（左侧），在期望上严格等价于利用了奖励在状态动作空间内精密局域梯度的反向传播更新（右侧）。

将引理 1 逐个 Token 套用至大语言模型的生成路径中。如果我们把 GRPO 的群组标准化相对回报 视为反向传播时的“阻断梯度变量（Stop-gradient scalar）”，并在连续松弛下应用引理 1，那么大模型的局部梯度项直接变为了路径求导格式：

这便直接导出了整篇论文最核心的理论支柱之一：

定理（局部 GRPO 的值梯度形式，Corollary 1）：在连续松弛与位移策略下，GRPO/PPO 的 Actor 期望策略更新，在数学上完全等价于一套通过时间反向传播（BPTT）计算得出的伴随敏感度更新。这种底层的反向传递信号 ，在期望上精确逼近真实的值梯度 。

这就是值梯度假设（Value-Gradient Hypothesis）。它强有力地指出：大语言模型基于策略梯度方法的对齐微调，在底层其实是在对状态空间进行一阶连续局部几何上的高维值函数优化，其本质上是不需要任何分离 Critic 来指导方向的。

4. 离散 Transformer 如何传递近似 BPTT 信号

连续松弛的结论非常精美，但在真实的大模型部署中，大模型采用的是离散 Token 采样（Discrete Categorical Sampling）。离散 Token 采样是一堵天然的“非微可微分隔离墙”，由于 Token 并不是一个能连续变动的连续标量，传统的 BPTT 链路在跨越 Token 生成边界时应该是彻底断裂、无法回传任何梯度的。

那么，离散状态下的 Transformer，又是怎么将这一套值梯度物理图像完好保存下来的？

4.1 Transformer 注意力旁路：绕过离散采样的奇迹

在离散状态下，一个 trajectory 的梯度流可以通过图示来表征其传递瓶颈。对于普通的循环神经网络（RNN）而言，状态 仅仅依赖于上一时刻的状态 以及上一步产生的离散 Token ：

当进行反向传播时，因为 是离散采样产生的，其局域微分导数 为零（或者不存在），因此整个反向梯度的链条在第一步回传时就直接撞墙死亡。这也是为什么在传统的 RNN 动作控制中，无 Critic 的方法如果面临多步延迟反馈，必须完全退化为高方差的、路径级的纯得分估计。

但是，大模型的底座是 Transformer！

在自注意力机制中，模型并不要求必须通过上一步离散的 Token 才能感知过去。模型最后一层的隐状态 依赖于过去的所有隐状态（隐藏层表征）的注意力连接：

反向传播在计算图上，可以直接通过多层的自注意力注意力矩阵（Attention matrices），架空、绕过离散的 Token 采样点，直接实现梯度向更早前驱时间的平滑渗透。

作者将其定义为经验共态（Empirical Costate，Definition 2）：

其中， 为 时刻离散 Token 生成的局部对数损失， 是对应分配给它的优势常数。
作者通过链式求导直接推导出了 Transformer 内部隐式运行的经验共态逆向递推方程（论文中的公式 15）：

其中 是通过层层自注意力网络构成的跨位置状态传递 Jacobian 矩阵。

如果我们将这一套自反求导推导出的经验共态方程，与我们先前推导出的连续、理想条件下的 BPTT 共态公式进行并列：

• 连续理想即时信用 （经验即时信用信号）
• 理想转移雅可比 （基于自注意力的转移雅可比）
• 理想共态 （经验前传梯度）

两者结构依然严格对应！也就是说，即使中间在生成 Token 时存在离散阻断，在通过 Autodiff 计算损失偏导 时，自注意力通道天然在反向传播中重构出了一套几乎与理想伴随状态严格对应的共态变量网络。

4.2 离散化采样的梯度残余误差分析（Sampling Gap）

当然，注意力旁路并不能百分之百消灭离散化采样带来的割裂。

如图所示，在一个真正的 Transformer 离散步中，前向传播隐状态 经历了如下完整路径传递到下一时刻 ：

在这里，第一路径是直接通过注意力旁路（Attention Pathway）：（这正是 Autodiff 所能自动捕捉并计算的 Jacobian 部分 ）。
第二路径是穿过离散采样瓶颈。如果是一个完全连续、精确的 BPTT 转移，它的 Jacobian 在展开中应当包含第二条漏掉的路径（论文公式 20）：