让每一项优秀工作，被更多人看见：点击进入投稿通道

论文追踪 APP 推荐：DailyPapers

• 论文标题：DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning

• 论文链接：https://arxiv.org/pdf/2605.25604

TL;DR

今天解读一篇来自阿里云团队的论文《DVAO: Dynamic Variance-adaptive Advantage Optimization for Multi-reward Reinforcement Learning》，该论文探讨了在大语言模型（LLM）对齐阶段如何更稳定、更高效地进行多目标强化学习（Multi-reward Reinforcement Learning）。随着 Group Relative Policy Optimization (GRPO) 成为极具代表性的无价值模型、低内存消耗的对齐算法，如何在这一框架下同时优化多个经常相互冲突的奖励（如数学推理准确率与回复长度限制、工具调用正确性与格式规范）成了一个迫切需要解决的工程与理论难题。

传统的标量化（Scalarization）方案主要包括奖励组合（Reward Combination）和优势组合（Advantage Combination）。然而，作者指出这两者存在严重缺陷：奖励组合由于方差不一致，往往会在组合后产生极大的优势函数平方幅值，导致策略梯度波动巨大、训练失稳；而基于独立归一化的优势组合（如 GDPO）虽然稳定了梯度幅值，却使用静态超参数，且在归一化过程中将各个目标完全隔绝，无法捕获不同目标之间的协同或对抗关系。

为解决这些局限性，作者提出了 Dynamic Variance-adaptive Advantage Optimization (DVAO，动态方差自适应优势优化) 。该方法根据每个目标在当前采样组（Rollout Group）内的实测方差动态调整其组合权重。方差越大（通常意味着学习信号更强），该目标的权重就被动态调大；方差越小，权重则被抑制。

理论分析与多模型（Qwen3、Qwen2.5 涉及 3B 到 8B 不同尺度）实验证明，DVAO 不仅在数学上保证了优势函数幅值的有界性以维护训练稳定，还引入了隐式的自适应交叉正则（Self-adaptive Cross-objective Regularization）机制。在数学推理与工具调用基准测试中，DVAO 显著优于传统基线，并在精度与约束条件的折中上实现了帕累托前沿（Pareto Frontier）的主导。

1. 引言

1.1 大模型对齐中的多目标冲突

在将大语言模型（LLM）与人类意图对齐（Alignment）的过程中，强化学习（RL）已成为标准范式。尽管基于监督微调（SFT）的训练能够使模型学会基本的指令遵循，但大量研究表明，基于人类反馈的强化学习（RLHF）在泛化能力和深度推理方面表现更佳（Chu et al., 2025）。

然而，在实际部署中，我们很少只需要优化一个孤立的指标。以数学推理为例，我们不仅要求模型给出准确的答案，还希望控制其思维链（CoT）的长度，避免“无意义的冗长回复”（Sui et al., 2025）；在工具调用（Tool-use）或代码生成中，我们不仅关注 API 调用的正确性，还要求其输出格式必须严格遵循 JSON 等特定的语法限制，以防止下游解析失败。这些经常相互冲突的目标使得大模型对齐天然地属于一个多目标强化学习（Multi-Reward Reinforcement Learning）问题。

1.2 现有两类标量化方法及其局限性

为了在强化学习框架下处理多奖励，研究者通常采用标量化方法将多个奖励函数合并为一个单一的标量，进而进行策略优化。目前最常用的两种实践方式为：

1. 奖励组合（Reward Combination, RC）：将多个原始奖励（Raw Rewards）直接进行加权求和，然后对求和后的总奖励进行统一的归一化，以此计算优势函数。这种方法虽然直观，但在实践中常常会产生具有极大平方幅值的优势函数，导致梯度更新幅度过大，引发训练不稳定。
2. 优势组合（Advantage Combination, AC）：先对每个目标对应的奖励在采样组内进行独立的归一化以获得各自的优势函数，然后对这些优势函数进行加权求和。尽管这种方法（如 GDPO, Liu et al., 2026）能够约束梯度的物理幅值，但由于它通常采用固定的静态超参数，并且在归一化阶段将不同的目标彼此完全隔离，因此它无法捕获不同目标之间在同一次 rollout 中的动态协同（Synergistic）或对抗（Antagonistic）关系。

为解决上述两类方法的局限性，作者提出了 DVAO。它能够依据当前 rollout 组内各目标的经验奖励方差，在训练过程中动态调整组合权重。这是一种全自动、免超参数调节的方法，在理论上不仅能限制优势函数的幅值以保证稳定性，还能通过引入交叉正则化机制促进多目标的协同学习。

2. 预备知识：从GRPO到多目标强化学习

2.1 经典单目标GRPO数学形式

在传统的强化学习对齐方法（如 PPO）中，需要训练一个单独的价值模型（Value Model / Critic）来提供基线（Baseline）以估计优势函数，这给大模型训练带来了极大的显存和计算开销。GRPO（Shao et al., 2024）通过在同一个提示词（Prompt）下采样一个包含 个回复的 rollout 组，利用组内的相对奖励来估计优势函数，从而省去了独立的价值模型。

形式上，给定一个输入查询 ，通过当前的策略模型 采样 个不同的输出回复 。对于每个回复 ，其获得的单目标奖励为 。该回复在组内的相对优势函数 计算如下：

其中， 和 分别代表该采样组内所有 个奖励的经验均值与经验标准差。

利用该优势函数，GRPO 的策略优化目标函数可表示为：

这里，重要性采样比率定义为：

而 则代表裁剪范围，用于防止策略更新幅度过大。

2.2 多目标强化学习的形式化定义

在多奖励强化学习设定下，假设我们有 个独立的目标。对于给定的输入输出对 ，其在第 个目标上对应的奖励被定义为 ，其中 。

在奖励组合（RC）中，通常使用一组固定的凸组合系数 对各目标的原始奖励进行线性相加：

此后，对该总奖励 在组内进行归一化，所得的总优势函数为：

2.3 基于优势组合的GDPO框架

与奖励组合不同，诸如 GDPO 等优势组合（AC）方法选择首先独立计算每个目标的优势函数。对于第 个目标，其独立的优势函数为：

然后再利用固定的凸组合系数对其进行求和：

之后，使用这个组合优势函数 代替单目标优势函数进行梯度更新。

3. 现有标量化方法的理论局限剖析与证明

为了厘清为什么现有的 RC 和 AC 方法在多目标对齐中难以取得令人满意的效果，作者从数学上深入剖析了它们的梯度特性与数值行为。

3.1 奖励组合下的“幅值爆炸”问题

因为策略梯度的大小直接正比于优势函数的取值，过大或波动剧烈的优势函数会破坏梯度更新的平稳性。为此，作者提出了如下定理：

Proposition 1. 对于固定的查询 ，设 表示在该 rollout 采样组内第 个优势函数 与第 个优势函数 之间的样本相关系数（Sample Correlation）。奖励组合方法得到的优势函数与优势组合方法得到的优势函数满足：

当且仅当对于所有的 都有 时，等号成立。

详细数学证明过程：

根据群组归一化（Group Normalization）的定义，对于任意的第 个独立目标，其均值为 ，方差为 ：

对于奖励组合方法，因为 是由 经过完整的组归一化而来的，其自身也满足标准的归一化定义，因而：

对于优势组合方法，我们将组合优势函数的均方值展开：

因为 ，且两目标在组内的经验样本相关系数定义为 ，上述公式可简化为：

已知权重满足 ，我们可以利用代数恒等式：

将该恒等式代入上述求和项中，可得：

由于权重系数 ，且样本相关系数满足 ，所以有 。这就证明了：

当且仅当所有的两两相关系数 时（即所有目标在组内变化完全同步，不存在冲突），上式取等号。证明完毕。

结论分析：

这一发现揭示了一个关键的事实：当多个优化目标之间存在冲突或不完全一致时（即某些目标的样本相关系数 ），奖励组合方法在均值意义上会产生比优势组合大得多的均方优势值。这是因为奖励相加之后再归一化，会强行消除不同奖励之间的冲突抵消效应，并把它们的组合方差拉回 。这相当于在冲突剧烈时，变相放大了优势函数的数值，从而引发巨大的策略梯度更新，导致训练极不稳定。

3.2 优势组合的“目标孤立”问题

优势组合方法（AC）虽然将组合优势函数的方差成功限制在 以下，但它依然存在固有的缺陷。如果我们忽略剪切范围，将策略梯度的数学期望展开：

其中 是仅对应于第 个目标独立优势函数 计算得到的梯度。

这意味着在优势组合下，各目标的梯度信息是完全解耦（Decoupled）的。在归一化的过程中，由于各目标的数据分布是独立处理的，它们相互之间完全失去了信息交流（例如模型在某一次 rollout 中是否同时做好了任务 A 和任务 B）。这种盲目解耦无法捕获多目标在单次决策中的协同关系，极易导致策略在多目标折中（Trade-off）时陷入次优的局部解。

4. DVAO：自适应权重与隐式交叉正则

为了在保持训练稳定性的同时，实现多目标之间的深度协同，作者提出了 DVAO（Dynamic Variance-adaptive Advantage Optimization）方法。

4.1 动态方差权重分配机制

DVAO 的核心思想是用数据驱动的动态方差权重来代替固定的静态组合系数。对于每一个 rollout 采样组，我们首先计算各个目标在该组内的经验标准差：

然后，利用这些经验标准差对初始的静态超参数权重 进行动态缩放，从而得到当前采样组特有的自适应权重 ：

DVAO 的最终组合优势函数定义为自适应加权的单目标优势之和：

从直觉上看，该机制实现了“强信号放大，弱/噪声信号抑制”的作用：如果某一个目标在当前组内的采样回复中表现出极高的方差（即某些回复特别好，某些特别差），说明该目标在当前的训练阶段蕴含着极强的学习信号（Learning Signal），DVAO 会自适应地调大该目标的权重；相反，若某目标在当前组内的方差接近于 （意味着回复的表现都差不多，没有区分度，或者该目标极其容易达到满分），DVAO 则会压低其权重，避免无谓的噪声干扰。

4.2 理论保障一：有界性与防止梯度爆炸

DVAO 在数学上具有非常好的性质。以下命题保证了其优势函数的数值范围受到严格的保护，从而天然地避免了由于多奖励冲突导致的梯度爆炸问题：

Proposition 2. 对于任意固定的查询 和采样组 ，奖励组合（RC）方法产生的优势函数 在逐点（Pointwise）意义上始终大于或等于 DVAO 产生的优势函数 的绝对值：

当且仅当对于所有的 ，奖励之间满足完美正相关（即 ）时，上式等号成立。

详细数学证明过程：

首先，我们需要在 与独立的优势函数 之间建立起桥梁关系。根据定义：

其对应的组内经验均值为 ，其中 是第 个目标奖励的经验均值。那么，

因为单目标的独立优势函数定义为 ，所以有 。将该关系代回上式，可以推导出以下核心恒等式：

接下来，我们对组合奖励的经验方差 进行展开：

根据柯西-施瓦茨不等式（Cauchy-Schwarz Inequality），任意两个变量的样本协方差始终小于或等于其经验标准差的乘积，即：

将此界限代入方差展开式中，我们得到：

由于标准差始终非负，对两边同时开平方根，得到一个极具价值的不等式关系：

现在，我们对前面的核心恒等式取绝对值，并除以 ：

因为 ，我们可以替换分母，从而得到：

而根据 DVAO 优势函数的定义：

将其绝对值代入，便得到了最终的结论：

当且仅当两两协方差均取到最大值（即完美正相关）时，等号成立。证明完毕。

这一证明展示了 DVAO 的稳定性。在多目标对齐中，如果奖励之间存在冲突，传统的 RC 方法可能会导致优势函数出现“数值暴涨”，而 DVAO 优势函数的绝对值在每个数据点上都严格小于或等于 RC 方法所得的值。这从根本上约束了策略梯度的波动范围，避免了极端的参数更新。

4.3 理论保障二：隐式自适应交叉正则机制

不仅如此，作者通过对优势函数关于原始奖励求偏导数（敏感度分析），进一步揭示了 DVAO 内部蕴含的协同机制：

Proposition 3. 对于固定的查询 和采样组 ，优势组合（AC）方法与 DVAO 方法关于第 个原始奖励 的偏导数分别由下式给出：

详细数学推导过程：

为了计算多目标优势函数关于具体某一个原始奖励 的梯度敏感度，我们首先需要推导单个归一化优势函数 的导数。
回忆定义：

其中样本均值为 ，样本方差为 。我们首先求它们关于单一观测值 的导数：

为了计算标准差的导数，我们先对经验方差 求导。由于 ，展开链式法则可得：

因为 ，所以有：

利用商法则（Quotient Rule），我们可以求得 的导数：

在优势组合（AC）方法中，由于 ，且各目标归一化是独立进行的（即 与 无关，对于 ），利用链式法则可直接得出：

至此，Proposition 3 的前半部分得证。

接下来，我们对 DVAO 的情况进行推导。我们将 DVAO 优势函数改写为如下关于分母 的形式：

因为对 求偏导时，其他目标对应的项可以看作常数，所以我们有：

同时，分母 的导数为：

下面将上述导数代入商法则展开式：

对公式进行约简（两边同时约去一个 ）：

由于根据自适应权重的定义，，这可以改写为 。将其代入上式，最终得到：

公式推导圆满完成。

核心物理内涵剖析：

我们可以将这一数学形式的推导视为论文的核心贡献之一。仔细对比 AC 方法与 DVAO 的偏导数公式：

• 在 优势组合 (AC) 中，第 个目标对应的梯度更新缩放系数由项 决定。这意味着该目标的反馈信号敏感度仅取决于该目标自身在此次 rollout 中的表现，完全无视了其它目标（如长度是否超标、格式是否错误）的成败。
• 在 DVAO 中，这个敏感度由交叉乘积项 决定。这就将当前目标单独的表现 与所有目标的全局综合表现 牢牢地绑定在一起。

这一绑定产生了一个极为神奇且符合直觉的“自适应交叉正则”效果：

1. 反向拉动（协同补齐）：若某一个 rollout 在第 个目标上表现极其优秀（），但其全局多目标的总体表现却十分糟糕（例如因为严重超时或者格式错误导致其总和优势 ），此时交叉项 。带入偏导数公式后，项 就会被自适应地放大（比 还要大）。这意味着，模型不仅会由于此样例做得好而受到惩罚，而且由于全局指标较差，模型对于这个错误样例的梯度敏感度会成倍放大，从而迫使模型优先去修正导致全局失败的短板（如过长回复、格式语法错误）。
2. 正向抑噪（防止过度压榨）：如果某个 rollout 在全局和局部都做得极好（两者皆大于 ），则交叉项为正，偏导数项被自适应缩小。这可以防止模型为了在某个容易优化的任务（如缩短长度）上过度压榨性能，而损害了更为艰难的核心任务（如逻辑推理的准确度）。