必威亚洲官网登陆,拒绝平凡,让每一次打开都充满新鲜与期待_新万博体育
必威亚洲官网登陆 最近更新|更新列表|字母检索|下载排行|苹果专区|分类导航

当前位置:首页电脑软件足协开会反思世预赛国足0-7日本 → 必威亚洲官网登陆 v4.100.7416.958971 安卓最新版

必威亚洲官网登陆

必威亚洲官网登陆

  • 电脑版下载
猜你喜欢
标签: 必威亚洲官网登陆 AG视讯软件
详情
介绍
猜你喜欢
相关版本

内容详情

必威亚洲官网登陆

智东西编译 程茜编辑 李水青

智东西10月15日消息,10月14日,小米和北京大学联合署名的论文发表于arXiv,曾被曝获小米集团创始人兼CEO雷军以千万年薪招募的DeepSeek“天才少女”罗福莉,出现在了这篇论文的通讯作者之列,但值得注意的是,论文作者中并没有标注罗福莉属于小米大模型团队。

通讯作者中的罗福莉是95后,她本科就读于北京师范大学计算机专业,硕士毕业于北京大学计算语言学研究所计算语言学专业。随后罗福莉曾在阿里巴巴达摩院主导开发了多语言预训练模型VECO,并推动了AliceMind的开源工作,2022年入职DeepSeek,参与了MoE大模型DeepSeek-V2的研发。去年年底,小米被曝以千万年薪挖角DeepSeek-V2核心开发者之一罗福莉,使其冲上热搜,但双方至今都未公开声明是否正式入职小米。

▲DeepSeek“天才少女”罗福莉(图源:罗福莉个人公众号)

这篇论文提出了提升MoE模型强化学习训练的新方法Rollout Routing Replay(R3)。实验结果证明,R3的整体性能优于GRPO、TIS这类强化学习领域提升模型性能的优化算法,且引入R3的所有组合方法全过程无崩盘,训练过程中训练-推理KL散度等始终较低,在不影响训练速度的情况下,使得极端token比例减少一个量级。

当下,强化学习(RL)已成为提升大语言模型能力的关键方法。然而,在MoE模型中,路由机制往往会引入不稳定性,甚至导致强化学习训练崩溃,但现有的引入重要性采样机制等并不能提升训练稳定性。不同于此前采取诸如丢弃差异较大的数据之类的变通方法,这篇论文的研究人员希望通过解决路由分布也就是R3来根本性解决这个问题。

论文地址:https://arxiv.org/pdf/2510.11370

一、破解强化学习崩溃的关键方法,小米团队提出R3

强化学习已成为大语言模型后期训练的基石,利用大规模强化学习,大模型更深入、更广泛推理,获得解决复杂问题所需的高级能力,但其面临的关键挑战是如何平衡效率和稳定性。

现代强化学习框架通常使用不同的引擎进行推理和训练用于部署,但这种架构上的分离可能导致token概率出现分歧,甚至可能导致灾难性的强化学习崩溃。然而,现有的改进方法并不能完全解决MoE模型上进行强化学习训练时出现的强化学习离线策略问题。

研究人员提出的R3,其工作原理是在序列生成期间从推理引擎捕获路由分布,并将其直接重放到训练引擎中。这一过程可以缩小训练和推理之间的差距,其显著特征是不同引擎生成的逻辑向量的KL散度(量化两个概率分布之间的差异程度,值越小说明两个分布越接近)显著降低,两个阶段之间概率差异显著的token数量减少了大约一个数量级。

此外,该方法同时适用于在线策略(on-policy)和小批量(mini-batch)式离线策略强化学习(off-policy)场景。

论文提到了研究团队的三大主要贡献:

1、系统识别和分析了MoE模型中训练和推理之间的路由分布差异,强调了它们在训练不稳定性中的作用;

2、提出Rollout Routing Replay,它重用训练引擎内部的推理时间路由分布,以协调训练和推理之间的路由行为;

3、将R3应用于多种RL设置进行MoE强化学习,并表明R3在稳定性和整体性能方面优于GSPO和TIS。

二、可显著缩小训练-推理差异,对Agent任务大有裨益

R3的主要思路是在训练前向传播过程中重用推理路由掩码I,同时仍将softmax应用于训练逻辑以保持梯度流。

这种设计主要有两个目的:一是对齐训练和推理,确保训练重放期间使用的专家与推理期间选择的专家相匹配,从而消除专家选择中的不匹配;二是保留梯度数据流,通过仅重放掩码,梯度仍然可以流回logits而不会干扰计算图,这有助于有效地优化路由器。

▲重放门控权重、重放输出y的计算方式

具体来看,R3在效率优化上,通过路由掩码缓存(Router Mask Caching)适配多轮对话场景,降低计算开销。

其论文提到,缓存的路由掩码具有相似的属性,对于相同的前缀token,MoE路由器应该产生相同的结果,因此来自推理引擎的路由掩码可以与前缀KVCache一起缓存。

对于每个层和token前缀,相应的路由掩码都存储在KVCache中。当相同的前缀出现并命中缓存时,这些掩码可以被重用,从而无需重新计算,这使得R3能够与前缀缓存机制无缝集成。

研究人员称,缓存路由掩码在Agent场景中有较大应用空间。例如软件工程和网页浏览等Agent任务,都涉及自回归生成和工具调用之间的多轮交互,为了提高效率,这些过程直接重用了前几轮的KVCache,因此无需重新生成已计算的数据。路由掩码缓存使R3能够在强化学习代理任务中保持高效,而无需重新预填充以生成路由掩码。

为了证明R3在缩小训练-推理差异上的有效性,研究人员使用Qwen3-30B-A3B模型进行了验证,其将推理过程中获得的路由分布缓存在SGLang上,并在Megatron框架内重放它们。

▲使用Megatron进行两次前向传播获得的概率

结果表明,应用R3后,训练和推理之间的KL散度从1.5×10??减小到7.5×10??,接近于稠密模型的6.4×10??水平,这表明其训练-推理差异减少。

研究人员还绘制了使用R3的训练-推理差异比率的累积分布图,对于MoE模型,应用R3可将具有较大训练推理差异的token的频率降低一个数量级。

▲a、MoE模型中训练-推理差异的说明,b、MoE+R3模型中训练-推理差异的说明,c、稠密模型中训练-推理差异的说明,d、极端token分布函数

三、实测三大能力提升:整体性能、训练稳定、优化生成行为

为了评估R3对强化学习的性能改进,研究人员从BigMath、ORZ等开源数据集筛选约10万道可验证数学题,采用AIME24、AIME25、AMC23和MATH500作为基准数据集进行评估,并在单次训练过程中每5个全局步骤测量一次模型性能。

其选择的模型是Qwen3-30B-A3B-Base及其微调模型Qwen3-30B-A3B-SFT。

评估方式是每5个全局步骤记录模型性能,最终报告最佳性能及对应训练步骤,若模型后期性能骤降,同时追踪训练崩盘步骤”。

实验结果表明,整体性能上,R3在多步更新场景,GRPO+R3平均得分68.05分,比GSPO高出1.29分;GSPO+R3进一步提升至69.00,比单独GSPO高2.24分。

单步更新场景,SFT模型上,GRPO+R3平均得分71.83分,比GRPO(62.23)高9.6分,比GRPO+TIS(66.24)高5.59分;Base模型上,GRPO+R3平均得分70.73,比GRPO(61.69)高9.04分。

▲主要评估结果

研究人员还发现,将R3与TIS结合使用并不能带来明显的性能提升,甚至可能降低性能,例如在SFT模型的单小步设置下,TIS+R3的得分比单独使用R3低1.69分。由于R3已经显著降低了训练和推理之间的策略差异,因此TIS的额外校正效果微乎其微。

训练稳定性方面:如GRPO、GRPO+TIS等无R3的方法在单步更新场景中均出现崩盘,GRPO在60步崩盘、GRPO+TIS在105步崩盘。

引入R3后,所有组合方法均无崩盘,且训练过程中训练-推理KL散度等始终较低。

▲多步更新训练-推理崩溃分析

优化与生成行为方面,在训练过程中,R3还能增强优化稳定性、探索行为和生成动态。下图是研究人员绘制的单步+基础模型组训练过程中的序列长度、梯度范数、生成熵和评估分数。

▲wen3-30B-A3B-Base训练动态

结果显示,R3具有更小的梯度范数、更平滑的序列增长模式和更稳定的熵。实验中使用R3时,生成的序列长度在训练开始时迅速上升,表明R3能够快速捕捉到正确的优化方向,相比之下其他两个训练过程在第80步之后才缓慢上升,并且波动更为明显;R3始终保持较低的梯度范数,表明优化过程更加稳定;实验使用R3时,熵在大约第25步后开始稳步上升,表明模型更早地开始探索更优策略,不使用R3时,熵上升得更晚,并且波动较大。

结语:聚焦MoE模型训练难题,小米提出新思路

MoE架构如今已成为扩展现代语言模型的基石,其采用门控网络,对每个token稀疏地仅激活一部分专家参数,从而将模型的总参数数量与其推理成本分离开来,从而大幅提升了模型容量。然而,由于门控网络的敏感性,MoE模型容易受到训练不稳定性的影响,这使得路由稳健性成为有效模型收敛的核心挑战。

在这篇论文中,研究人员在训练过程中重用推理时的路由分布,以在保留梯度流的同时对齐专家选择。这种思路或为行业提供了新的研究思路。

相关版本

    多平台下载

    查看所有0条评论>网友评论

    发表评论

    (您的评论需要经过审核才能显示) 网友粉丝QQ群号:766969941

    查看所有0条评论>>

    相关软件
    葡京快速充值最佳平台 826官方安卓版本下载 皇冠体育奥门 斗地主规则及玩法 打牛牛的软件 日博体育在线登录 K8凯发全站APP AG手机平台 IM体育官网在线 棋牌类炸金花 天天玩电玩城 世界杯竞猜彩票网站 188宝金博官方网站 最新永利国际 新金沙官网是多少 乐鱼网站是多少 亿博体育开户 九州体育最新版APP 充值美高梅 欧洲杯在哪下赌注 欧洲杯2019赛程直播 2026世界杯投注录fc3典tv 凯时手机appag旗舰厅 爱游戏官网平台 AOA网址登录 世界杯预选赛2022赛程 世界杯赛程怎么买球 正版五鬼运财会员料 世界杯开户软件 best365官方登录 亚盈体育app永久网址是多少 万豪炸金花现金 皇冠怎么注册 万博体彩app下载 万赢娱乐 伯爵国际网站地址 ju11Net 王者体育网页 bwin官网登录入口 乐鱼体育进不去了 澳博app网址多少 bwin怎么开户 888真人登录官网 ag亚洲游官网倒闭 升博外围官网 永利网站官网首页 亚洲城app ?录 365体育娱乐点击进入 威尼斯正规官网 欧亿平台首页 在线真人国际 好运来彩票最新地址 乐鱼体育最新版本登录 完美体育官网登录 伟德体育真人百家乐 有哪些买球的平台 哪个平台可以正规买球 万博官网manbetx登录注册 梭哈规则现金真钱轮盘 bwin平台首页 开云体育阿斯顿维拉 英语国际音标真人发音教学 六合神童 快三下载官方 天下精英 如何进入百丽宫网页 M6体育APP 2022世界杯平台 龙8网站登陆 二八杠哪个平台有 沙巴投注登录 皇冠7982g 百姓彩票官网下载 2026世界杯投注网站 环球体育平台 斗球App 澳门国际在线 皇冠线上官方 九游体育 金沙直营网APP下载 七星彩网上投注网站 365软件下载 凯时注册送18 开元28平台 手机购彩票平台 大红鹰最新网站 爱游戏注册 斗牛游戏哪个好 博猫登录平台 皇冠新现金网下载投 摩登彩票平台登陆 手机版葡京app下载 三国真人国际赌城 欧博客户端下载 248永利游戏网站 亚娱登录 欧宝娱乐主页网址 梦幻国际 真人 沙巴足球盘口 亚盈官网网址谁知道 必赢亚洲全站下载地址 德州人士APP 果博娱乐官网 博亚手机app官方网站入口 真人雕塑国际象棋 福利彩票网上投注站 AOA在线开户 新甫京娱乐场官网 立体真人国际象棋 真人线上ag捕鱼网址 电竞游戏押注网站 威尼斯真人游戏 足球世界杯开户注册 体球网即时比分 球探体育足球比分 宝盈体育登陆 e星体育直播下载地址 kok官网地址 letou首页入口
    热门网络工具