Meta AI:Scaling Agent Learning via Experience Synthesis

对于基于大型语言模型(LLM)的自主智能体(Autonomous Agents)而言,强化学习(Reinforcement Learning, RL)提供了一 ...

西湖大学提出 SimKO :一种简单的 Pass@K 策略优化方法

在RLVR的框架下,模型的训练目标通常是最大化 pass@1 的性能。pass@1 指标衡量的是模型生成一次回答时,其正确率的期望值。为了提升 pass@1, ...

Google Research 重磅研究:一种用于持续学习的新型机器学习范式 - Nested Learning

Google 在 LLM 持续学习方向有了新突破。 当前的大型语言模型(LLM)在预训练阶段结束后,其参数化知识(parametric knowledge)在 ...

腾讯 WeChat AI 提出 Continuous Autoregressive Language Models

大模型的效率受其自回归、逐 token 生成的方式所限制。 为此,来自腾讯微信 AI Lab 的论文《Continuous Autoregressive La ...

清华 & 智谱推出 CROPI 框架:通过 Off-Policy Influence 来提升 RLVR 的数据效率

RLVR 的核心挑战还在于数据选择。现有的数据选择方法,大多依赖于启发式规则,例如根据问题的难度、模型输出的不确定性或通过率等指标来筛选训练数据。这类方法虽然 ...

NVIDIA 提出 CoDeC:通过 In-Context Learning 来区分模型“记忆”还是“泛化”

对于大模型的评估来说,benchmark 必须是模型在训练阶段从未见过的。如果模型在训练中已经接触过、甚至“背诵”了测试集的内容,那么其在评测中的高分就失去了 ...

Sea AI Lab 新研究:FP16 可以解决 RL 中的训推不一致

大模型强化学习微调不稳定的一个关键来源:训练-推理不匹配(training-inference mismatch)。为了最大化训练效率,框架通常会采用两种不同 ...

浙大 & 阿里提出 RAVR:当 LLM 被“剧透”答案后,它的推理能力会发生什么变化?

我们知道 RL 在大模型应用的一个前提:模型必须已经具备以一定的概率,自主采样出有效的、有价值的推理路径的能力。强化学习的内在机制,更像是对模型现有能力的一种 ...

通义 DeepResearch 技术报告解读

当前工业界正在积极探索“ DeepResearch ”这一技术路径。然而,构建一个强大的研究型智能体面临着严峻的挑战,其中最核心的瓶颈之一在于训练数据。 ...

字节 Seed 重磅新作:Scaling Latent Reasoning via Looped Language Models

对于现代的大型语言模型(LLMs)而言,其核心挑战之一在于如何超越简单的文本生成,实现真正意义上的深度推理。目前,主流的推理增强方法,如思维链(Chain-o ...