为了解决大型推理模型如何将 LRM 扩展至通过强化学习有效地处理和推理长上下文输入的难题，通义智文提出了 QwenLong-L1 框架 ，该框架通过渐进式上下文扩展将短上下文 LRM 适配到长上下文场景
为了解决大型推理模型如何将 LRM 扩展至通过强化学习有效地处理和推理长上下文输入的难题 ，通义智文提出了 QwenLong-L1 框架，该框架通过渐进式上下文扩展将短上下文 LRM 适配到长上下文场景。具体而言，就是利用预热监督微调 (SFT) 阶段建立稳健的初始策略 ，然后采用课程引导的分阶段强化学习技术来稳定策略演化 ，并采用难度感知的回顾性采样策略来激励策略探索 。
首先需要知道，它解决了什么问题？
虽然最近的大型推理模型 (LRM)（例如 OpenAI 的 o1）通过强化学习展现出了令人印象深刻的推理能力 ，但这些改进仅限于短上下文任务（约 4K 个 token） 。
长上下文推理强化学习面临两大关键挑战：训练效率不理想 ，由于熵值降低较多导致奖励得分提升较慢；优化过程不稳定，由于较长输出的方差较大 ，导致 KL 散度波动较大。
挑战在于 ，如何扩展这些模型以处理长上下文输入（超过 12 万个 token）同时保持强大的推理能力仍未得到解决。这对于需要处理大量文档 、进行深入研究或处理信息密集型环境的实际应用尤其成问题，因为在这些环境中 ，模型既需要从长上下文中检索相关信息 ，又需要执行多步推理 。
它是如何解决这个问题的？
QwenLong-L1 是一个渐进式上下文扩展框架，该框架集成了群体相关强化学习算法 、混合奖励机制和渐进式上下文扩展策略 ，能够稳定地从短上下文到长上下文的 LRM 进行自适应 ，并具备强大的上下文基础和多步推理能力，可以系统地将短上下文推理模型适应长上下文场景 。
他们的方法包括三个关键组成部分：
首先，预热监督微调 (SFT) 阶段 ，用于建立强大的初始策略；
其次 ，课程指导的分阶段强化学习技术，在训练阶段逐步增加上下文长度以稳定优化；
第三 ，采用难度感知的回顾性抽样策略 ，优先考虑具有挑战性的样本，以鼓励策略探索。他们还实施了混合奖励机制 ，将基于规则的验证与 LLM 作为评判者的评估相结合 ，以平衡准确率和召回率 。
主要发现是什么？
QwenLong-L1 在七个长上下文文档问答基准测试中取得了领先的性能，其中 32B 模型的表现超过OpenAI-o3-mini 和 Qwen3-235B-A22B 等旗舰模型 ，甚至与 Claude-3.7-Sonnet-Thinking 的性能相当 。研究表明 ，渐进式上下文缩放可以在训练过程中实现更高的熵并稳定 KL 散度，而强化学习则自然地培养了专门的长上下文推理行为 ，例如基础推理、子目标设定、回溯和验证 ，从而提升了最终性能。
为什么这很重要？
这使得 LRM 在需要大量上下文处理的实际应用中具有实用价值 。这项研究为长上下文推理强化学习提供了首个系统性框架，解决了训练效率和优化稳定性方面的关键挑战 。这一进展为人工智能系统打开了大门，使其能够进行自动化科学研究 、分析长视频 ，以及处理复杂的信息密集型任务 ，这些任务需要上下文基础和对海量信息进行复杂的推理。
本文来自作者[许多金子]投稿，不代表义乌市灯林网络科技有限公司立场，如若转载，请注明出处：http://ywdds.top/zxkd/146.html
评论列表（4条）
我是义乌市灯林网络科技有限公司的签约作者“许多金子”！
希望本篇文章《通义发布QwenLong-L1, 长上下文大型推理模型, 强在哪里?》能对你有所帮助！
本站[义乌市灯林网络科技有限公司]内容主要涵盖：义乌市灯林网络科技有限公司
本文概览：为了解决大型推理模型如何将LRM扩展至通过强化学习有效地处理和推理长上下文输入的难题，通义智文提出了QwenLong-L...