猫眼电影
猫眼电影记者 沈仁 报道Q8X2R7L1T4J5M9B6W3
机器之心发布
机器之心编辑部
随着大模型推理和 Agent 工具调用能力的快速发展,其通过反复搜索处理复杂信息需求的效果愈发受到业界关注。近日,第三方评测机构 SuperCLUE 发布 11 月 DeepSearch 评测报告,国产大模型 openPangu-R-72B 凭借在长链推理、复杂信息检索领域的卓越表现,在模型榜单中名列第一,体现了基于国产昇腾算力的大模型研发实力。
这款 MoE 架构模型,究竟藏着哪些技术秘密,能在激烈竞争中脱颖而出?
硬核技术底座:
MoE 架构下的效率与性能平衡术
openPangu-R-72B 为考虑效率和性能平衡,重新设计了模型底座架构。作为基于昇腾集群训练的 MoE(混合专家)模型,它采用 80 选 8 的专家选择机制,在 74B 总参数量的基础上,将激活参数量控制在 15B,既保留了大模型的复杂推理能力,又有效降低了计算开销。24T tokens 的训练数据与 128k 长序列处理能力,为其处理深度搜索任务中的长文本信息奠定了基础。
为实现稳定收敛与效果提升,openPangu 团队在预训练技术上完成了以下优化。
图. openPangu-R-72B 模型架构
1)注意力机制层面引入参数式 Sink Token 技术:有效缓解了极大激活值问题,不仅提升了训练过程的稳定性,也对后续量化更加亲和;
2)采用 K-Norm 与 Depth-Scaled Sandwich-Norm 组合的架构,其中 K-Norm 仅对 attention 的 key 施加 RMS Norm,在达到与 QK-Norm 相当稳定性的同时,降低计算开销,还保留了 Query 更灵活的表达能力。
3)注意力架构的优化兼顾了精度与效率:通过增加 Query 头数和注意力头维度,让模型能从新万博体育:角度捕获细粒度语义关系;引入 Partial RoPE 机制,仅对 Query 和 Key 中 1/3 维度应用位置编码。通过将 KV 组数量减半,在 Key 头维度增加的情况下,仍实现了 37.5% 的 KV cache 缩减,平衡了推理阶段的显存占用、速度与模型效果。
4)Adaptive Aux Free 负载优化技术:Aux free 升级版本,通过自适应调整各个专家负载 bias 的更新幅度,有效减少均衡震荡,让专家负载分布更均衡。
DeepSearch 专项突破:
三大优化破解复杂搜索难题
如果说技术底座是基础,那么针对深度搜索任务的后训练优化则是 openPangu-R-72B 登顶的关键。深度搜索作为大模型访问互联网获取深度信息的核心能力,其长链推理与工具调用水平直接决定模型的实用价值。openPangu-R-72B 通过后训练阶段进行长链难题合成、非索引信息处理、快慢思考融合三大策略,显著提升了模型 DeepSearch 能力。
图.openPangu-R-72B 模型深度搜索任务执行流程,该流程同时用于模型训练和评测
1)在长链 QA 难题合成方面,openPangu 团队在 DeepDiver-V2 和 WebExplorer 技术基础上,通过 query 条件模糊化将问题平均难度提升 10%,同时借鉴《Pushing Test-Time Scaling Limits of Deep Search with Asymmetric Verification》工作的思想,引入 verification agent,大幅提升用于训练问答对的准确性,让模型在复杂推理场景中 “见多识广”。
2)针对传统搜索引擎难以覆盖的非索引知识问答 —— 如官网附件中的财务数据、学术论文引文信息获取等场景,模型训练过程中注入了 “Planner 聚焦关键 URL+ URL_crawler 爬取网页 + Document_QA 识别下一步浏览链接” 的循环工作流,通过同一站点内的多跳浏览实现了深度信息搜集,突破了传统搜索引擎的信息边界。
3)步骤级快慢融合策略则让模型的 “思考” 更具效率。DeepSearch 的 ReACT 执行过程中,不同步骤的思考强度差异显著 ——Document_QA 需分析海量网页数据与表格,对推理精度要求更高;而普通工具调用步骤更侧重效率。为此,模型为不同步骤匹配不同思考模式:Document_QA 启用慢思考保障精度,其他步骤采用快思考提升速度,实现了精度与效率的平衡。
国产算力赋能:
openPangu 系列模型彰显集群优势
此次 SuperCLUE DeepSearch 评测登顶,不仅是 openPangu-R-72B 模型能力的体现,也彰显了国产算力与大模型研发深度融合的成效。作为基于昇腾集群训练的代表模型,openPangu-R-72B 证明了国产算力平台在支撑大参数量、高复杂度模型研发方面的坚实能力。
值得关注的是,openPangu-R-72B 的兄弟模型openPangu-718B在同期 SuperCLUE 通用榜单中斩获第二名,展现了该系列在不同任务场景下的全面实力。从深度搜索的 “单点突破” 到通用能力的 “全面开花”,openPangu 系列正以昇腾算力为根基,为国产大模型生态注做出新万博体育:贡献。
随着大模型在企业服务、学术研究、政务处理等领域的深度落地,深度搜索能力将成为模型实用化的核心竞争力。未来,随着 openPangu 系列模型的持续迭代,我们期待国产大模型在新万博体育:全球顶级评测中绽放光彩。
??时事1:十大真钱赌场
??12月02日,重庆奉节启动草堂湖岸线及消落区整治 助力打造世界知名旅游目的地, “欧洲和美国太远,成本太高;去日本、韩国和泰国不能给我长途旅行的感觉。因此,我选择了迪拜。”据孙凯尔所说,他最初同样被中东的低成本所吸引:黄金周期间,从上海到迪拜的往返机票只花了大约3700元人民币,大约是巴黎往返机票价格的四分之一。,赛酷体育官网下载。
??12月02日,中法企业积极探寻绿色低碳发展之路,
网站董事长致辞 篇28
,真人德州下载安装,线上博狗正网,开运官网入口。??时事2:赢钱一经
??12月02日,极氪领克整合:手握三大优势储备 剑指百万新能源集团,
作为。当然,有了远大的理想,还必须同时有艰苦奋斗的扎实作风。党的xx大提出了全面建设小康社会的宏伟目标,实现这一目标,需要我们干部以“三个代表”重要思想和科学发展观武装头脑,坚持执政为民、艰苦奋斗。艰苦奋斗是我们党的政治本色和优良传统,在新的历史条件下,大力发扬艰苦奋斗精神,最重要的就是始终保持昂扬向上、奋发有为的精神状态,以坚忍不拔、百折不挠的斗志做好各项工作,要不畏艰难、奋力拼搏、勇于开拓,在不断破解难题、克服困难中,推动我们的各项工作。要脚踏实地、求真务实、甘于寂寞、埋头苦干,多做得民心、暖民心的实事。把人民的冷暖放在了心上,把执政为民的要务体现在了实际工作当中。
,澳门威泥官方,优德直播视讯,国际真人cs大赛。??12月02日,北京各大公园“花样”翻新 牡丹花开京城,
今年仍是全县城市建设的高峰年、关键年、突破年。我们必须举全县之力,集全民之智,聚八方之财,同心同德,群策群力,全面推进新一轮城市建设。
,澳门在线游戏场,优德真人,华体会体育登录系统。??时事3:BET9九州平台
??12月02日,湖南东安机械化播种油菜 让农闲田不再闲,
随后,绿霞点点的嫩芽垂到其头部,晶莹汁液淌下,小红雀头上的几个爪洞也慢慢消失了,至此它遭到的重创彻底消除。
,kok登陆页面,365bet体育注册正规官方,bet356亚洲版体育在线。??12月02日,中国女排无缘巴黎奥运会四强,
逐鹿学院的一群人都发呆,这到底是怎么回事啊?他们有点发懵。
,幸运快三彩票官网,365体育欧洲版本,bbva体育场。??时事4:贝博体育官网App下载
??12月02日,重庆秀山:拓展通道经济“朋友圈” 助推内陆开放实现新飞跃,
我镇从x月中旬开始,全面开展了村委会换届选举工作。全镇xx个行政村全部通过 “海推海选”方式产生新一届村委会委员36名,其中新进委员15名、女性委员12名。换届后,支委平均年龄43.5岁,比上届下降了2.3岁,高中以上文化程度从原来的13名增加到现在的20名。在整个村委会换届选举过程中我们认真把好“五关”:
,e乐彩官网登录口,开元棋牌网站是多少,万博足球体育。??12月02日,“2024年委内瑞拉交通和公共工程研修班”在京举办,
药鼎发光,更加神秘,开始熔炼这炉宝药,散发出浓郁的芬芳,霞光万道,瑞彩千条,甚是瑰丽与神秘。
,火狐体育平台ios,伟德体育bv1946,澳门十大正规电子游戏。责编:莫建成
审核:袁仁国
责编:雷蒙德












