新万博体育

　　猫眼电影记者 何美丹 报道Q8X2R7L1T4J5M9B6W3

该项目由北京大学彭一杰教授课题组完成，第一作者为任韬，其他作者包括江金阳、杨晖等。

研究背景与挑战：大模型后训练陷入「均值陷阱」，推理能力难破界

当强化学习（RL）成为大模型后训练的核心工具，「带可验证奖励的强化学习（RLVR）」凭借客观的二元反馈（如解题对错），迅速成为提升推理能力的主流范式。从数学解题到代码生成，RLVR 本应推动模型突破「已知答案采样」的局限，真正掌握深度推理逻辑 —— 但现实是，以 GRPO 为代表的主流方法正陷入「均值优化陷阱」。

这些基于均值的优化策略，过度聚焦高概率输出序列，却忽略了「低概率但高信息密度」的推理路径：模型训练早期就会出现熵坍缩，过早丧失探索能力；面对全错的难题时，优势函数直接归零，模型在薄弱环节完全无法学习。最终结果是，大模型看似在 Pass@1 等短视指标上有提升，实则推理边界从未拓宽，更无法应对 AIME 竞赛题、复杂代码生成这类高难度任务。如何让模型主动「啃硬骨头」，成为大模型后训练的关键瓶颈。

AIME2024 上的学习表现

技术方案概述：用「风险度量」破局，MVaR + 捆绑策略双管齐下

为解决传统均值优化的缺陷，北大团队提出 RiskPO，核心突破在于将风险规避（risk-averse）理念融入优化目标，用「关注奖励分布左尾（难任务）」替代「追求整体均值」，从根本上引导模型突破推理短板。

论文链接：https://arxiv.org/abs/2510.00911v1代码链接：https://github.com/RTkenny/RiskPO

为配合 MVaR 目标，团队提出「多问题捆绑」策略，将多个问题打包成 bundle 计算奖励，把稀疏的二进制反馈转化为更丰富的分布信号，彻底解决「难题零梯度」问题—— 比如将 5 个数学题打包后，模型能从整体得分中捕捉到「部分正确」的学习信号，而非单个题目非对即错的极端反馈。

算法架构图

实验：三大任务全面碾压，难问题上优势更显著

好的技术方案，终要靠硬指标说话。北大团队在数学推理、代码生成、多模态推理三大领域的 10 余个数据集上，用数据证明了 RiskPO 的突破性 —— 尤其在最能体现推理能力的「硬任务」上，优势远超 GRPO 及其变体。

在数学推理领域，RiskPO 在 AIME24（美国数学邀请赛）任务上表现惊艳：Pass@32 得分比 GRPO 高出近 7 个百分点，比最强基线 DAPO 提升 6.7 个百分点；即便是相对简单的 MATH500 数据集，其 Pass@1 也达到 81.8%，超出 GRPO 2.6 个百分点。

更关键的是，随着评估指标从 Pass@1 转向 Pass@8、Pass@16，RiskPO 的优势持续扩大 ——这意味着模型不仅能给出更优的单条答案，还能探索新万博体育：有效推理路径，真正突破了「采样效率优化」的局限。

数学推理任务

Pass@k 学习曲线

在跨领域任务中，RiskPO 同样稳定领先：代码生成任务 LiveCodeBench 上，Pass@1 比 GRPO 提升 1 个百分点；多模态几何推理任务 Geo3K 上，准确率达到 54.5%，优于 DAPO 的 54.3%。这种「全场景增益」，证明了风险度量优化的泛化能力。

其他任务

理论 + 消融：熵坍缩缓解有依据，参数设计有章法

RiskPO 的性能突破，并非依赖工程调参，而是有扎实的理论支撑和严谨的消融实验验证。

高熵更新定理

从理论层面，团队证明了「风险规避更新」能有效缓解熵坍缩：通过分析策略熵的变化机制，发现 RiskPO 的 MVaR 目标函数能降低「优势 - 对数概率」的相关性 —— 相比 GRPO，模型不会过度强化已掌握的易任务，从而保持更高的熵值和探索能力。

实验中也能清晰看到：训练 500 步后，GRPO 的熵值已趋近于 0，而 RiskPO 仍能维持 0.2 以上的熵水平，确保对难任务的持续探索。

训练集 DAPOMATH-17k 上的各项指标

值得注意的是，在训练过程中，若仅观察以均值为核心的指标曲线（如平均奖励），GRPO 与 RiskPO 的表现几乎难分伯仲，甚至 RiskPO 因更高的探索性还伴随轻微波动；但切换到风险敏感指标（如下尾 RVaR、MVaR 奖励）时，两者差距立刻凸显 ——RiskPO 的曲线始终保持显著领先，且随训练推进持续攀升。

这种「均值相近、风险指标悬殊」的现象，再结合最终测试集上 RiskPO 在 Pass@k（尤其是高 k 值）、难任务（如 AIME 竞赛题）上的优势，进一步印证了：均值目标只能让模型在「已知能力范围内优化采样效率」，而风险度量目标才是推动模型突破推理边界、真正提升核心能力的理想方向。

不同风险偏好对比实验

结果显示，风险寻求模型的熵值在训练早期就剧烈坍缩—— 训练 150 步后熵值已降至 0.1 以下，远低于 RiskPO 的 0.2；性能上，风险寻求模型在训练 50 步后便进入平台期，MATH 数据集 Pass@1 仅从 52% 提升至 54%，而 RiskPO 则持续优化至 56%，实现 1.5 倍的提升幅度。

这一对比清晰证明，聚焦易任务的风险寻求策略会加速模型「固步自封」，只有风险规避才能驱动模型突破推理边界

??时事1：台湾麻将规则

??10月16日,瑶族青年盘健与中越边境小城河口的“蜕变”,

　　“啊噗”

,网上皇冠盘口。

??10月16日,中新真探：常温牛奶保质期长，是因为加了防腐剂？,

　　7.注意饮食休息。运动会期间，第一保证充足的休息，第二运动员一定要吃早餐，科学饮食。

,体彩彩票下载官方网站,世界杯足彩在线购买,爱博体育下载。

??时事2：世界杯买球帍裱gi83婰

??10月16日,庆祝中法建交60周年暨中法文化旅游年开幕音乐会举办,

　　各位老师，同志们，抚今追昔，心潮澎湃;展望明朝，信心百倍。我们要保持“心齐、气顺、劲足、实干”的精神状态，同心同德，发扬创业精神，抓住机遇，开拓进取，再创辉煌!

,天博登录app登录,美高梅国际平台,ca88游戏官网。

??10月16日,（高质量发展调研行）安徽宿州：靶向发力助就业创业,

　　在这个过程中，风雷滚滚，穿山甲剧烈挣扎也无用，没有山地借力，它难以人立而起，不能伤到凶禽。

,beat365手机app,933433大红鹰网站,皇冠beat365安卓客户端。

??时事3：h游戏入口

??10月16日,吉林市冰雪经济逐步升温,

　　难怪有传说，紫山侯出手几次，让几个极大的部落从这片大地消失，这般手段惊世骇俗，真是难以抗拒的神威。

,通天特解图,万博登录客户端,排球比分网。

??10月16日,东莞市第十七届人民代表大会第四次会议开幕 今年GDP预期增长5%！,

　　石村众人瞠目结舌，好半天说不出话来，老柳树第一次在他们面前显化恐怖的攻击力，即便只有一根嫩条而已，依旧击杀了凶狈。

,怎样在线上买彩票,淘宝网世界杯投注,世界杯买球入口官网。

??时事4：火狐体育怎么买串

??10月16日,河湖空间成首都“新窗口” “五一”假期吸引527万市民畅游,

　　共性的有:言行不得体，讲粗口脏话，不懂得尊重他人;迟到、旷课、逃课，以自我为中心，不会尊重他人，不会礼让，自私自利，不关心集体;随地吐痰、乱扔垃圾，缺乏环保意识;观看和传播书刊、声像等不良制品;抄袭作业，考试作弊;吃带皮的食物不注意公共卫生，随意扔垃圾;还有个别同学抽烟、喝酒，私自外出上网聊天、玩游戏

,永利登入视讯,ManBetxapp下载,鸿博体育快速注册。

??10月16日,【巴黎奥运会】邹敬园：团体赛后很难受，这是一种“人生体会”,

　　回顾过去的一年，是我县经济和社会各项事业快速健康发展，并取得显著成效的一年，也是城市建设频显亮点，城市品位显著提升的一年。全县建设战线的广大干部职工在县委、县政府的正确领导下，紧紧围绕打造边陲名城这一目标，投入资金16122.3万元，突出抓好城市基本建设、市政、园林、环卫等重点项目建设，全面完成了各项工作任务，保持了城市建设快速发展的良好态势。一是城市规划实现了新突破。加大城市详细规划和专项规划编制工作力度，修编了《嘉荫县朝阳镇总体规划》，编制了《嘉荫县朝阳镇城区三期50公顷控制性详细规划》、《嘉荫县朝阳镇城区100公顷修建性详细规划》、《嘉荫县朝阳镇城市色彩规划》、《嘉荫县三供两治建设规划》，制作了《嘉荫县20xx年规划模型图》(比例：1:1000，采取沙盘形式)，城市控制性详细规划覆盖率达到42%，为科学推进城市建设的发展奠定了基础。二是城市建设开创了新局面。突出重点项目建设，全面提高市政公用基础设施水平，提升城市品位和档次。投资7323万元，完成基本建设15项，面积9.2万平方米。其中，完成住宅建设6.2万平方米，城镇人均住房面积达到23.6平方米。供水、供热、道路、路灯等市政基础建设不断完善，投资5510.6万元，完成道路升级改造7条、铺装彩板及理石路面6454平方米，安装路灯及各类造型彩灯528盏，改造供热管网6000延长米，开工建设了日处理能力0.6万吨的污水处理厂建设，完成了朝阳镇万吨净水厂工程，铺设排水管线1136延长米，极大地改善了群众的生活环境。三是园林绿化建设迈上了新台阶。进一步加快城市绿化建设，调整城市绿化结构和布局，投资252.9万元，完成了江畔公园、俄罗斯风情园、街道两侧及路口等重点区域、重点部位的园林绿化和景观雕塑建设，城市建成区绿地率、绿化覆盖率和人均公共绿地面积大幅增长，有效地提升了城市建设水平。全县新增绿化面积20.5万平方米，绿化覆盖面积增加到164.5万平方米，绿化覆盖率达到45.95%，人均公共绿地面积达到27平方米。四是市容环境有了新改善。加大环卫设施投入力度，投入资金53.2万元，购置了装载车辆、垃圾箱，提高了垃圾清运能力。巩固国家卫生县城创建成果，不断加强城市环境综合整治，对公共场所、临街道路两侧绿化带、居民小区、巷道等区域的垃圾集中进行清理，重点地区和主要街道实现了全天候巡回保洁，清扫保洁面积达到132万平方米，县城范围内的垃圾做到了日产日清。五是城市管理取得了新成效。坚持管理、服务、监督并重的原则，正确处理城市规划、建设、管理之间的关系，倾力打造“亲民城管”的良好氛围，努力做到严格执法、文明执法，城市管理行政执法水平得到不断提高。

,手机上怎么投注世界杯,bb新体育app,星星琪牌。