火狐娱乐官网

电脑版下载

18458
7

火狐娱乐官网截图Q8X2R7L1T4J5M9B6W3

内容详情

火狐娱乐官网

机器之心发布

机器之心编辑部

随着大模型推理和 Agent 工具调用能力的快速发展，其通过反复搜索处理复杂信息需求的效果愈发受到业界关注。近日，第三方评测机构 SuperCLUE 发布 11 月 DeepSearch 评测报告，国产大模型 openPangu-R-72B 凭借在长链推理、复杂信息检索领域的卓越表现，在模型榜单中名列第一，体现了基于国产昇腾算力的大模型研发实力。

这款 MoE 架构模型，究竟藏着哪些技术秘密，能在激烈竞争中脱颖而出？

硬核技术底座：

MoE 架构下的效率与性能平衡术

openPangu-R-72B 为考虑效率和性能平衡，重新设计了模型底座架构。作为基于昇腾集群训练的 MoE（混合专家）模型，它采用 80 选 8 的专家选择机制，在 74B 总参数量的基础上，将激活参数量控制在 15B，既保留了大模型的复杂推理能力，又有效降低了计算开销。24T tokens 的训练数据与 128k 长序列处理能力，为其处理深度搜索任务中的长文本信息奠定了基础。

为实现稳定收敛与效果提升，openPangu 团队在预训练技术上完成了以下优化。

图. openPangu-R-72B 模型架构

1）注意力机制层面引入参数式 Sink Token 技术：有效缓解了极大激活值问题，不仅提升了训练过程的稳定性，也对后续量化更加亲和；

2）采用 K-Norm 与 Depth-Scaled Sandwich-Norm 组合的架构，其中 K-Norm 仅对 attention 的 key 施加 RMS Norm，在达到与 QK-Norm 相当稳定性的同时，降低计算开销，还保留了 Query 更灵活的表达能力。

3）注意力架构的优化兼顾了精度与效率：通过增加 Query 头数和注意力头维度，让模型能从新万博体育：角度捕获细粒度语义关系；引入 Partial RoPE 机制，仅对 Query 和 Key 中 1/3 维度应用位置编码。通过将 KV 组数量减半，在 Key 头维度增加的情况下，仍实现了 37.5% 的 KV cache 缩减，平衡了推理阶段的显存占用、速度与模型效果。

4）Adaptive Aux Free 负载优化技术：Aux free 升级版本，通过自适应调整各个专家负载 bias 的更新幅度，有效减少均衡震荡，让专家负载分布更均衡。

DeepSearch 专项突破：

三大优化破解复杂搜索难题

如果说技术底座是基础，那么针对深度搜索任务的后训练优化则是 openPangu-R-72B 登顶的关键。深度搜索作为大模型访问互联网获取深度信息的核心能力，其长链推理与工具调用水平直接决定模型的实用价值。openPangu-R-72B 通过后训练阶段进行长链难题合成、非索引信息处理、快慢思考融合三大策略，显著提升了模型 DeepSearch 能力。

图.openPangu-R-72B 模型深度搜索任务执行流程，该流程同时用于模型训练和评测

1）在长链 QA 难题合成方面，openPangu 团队在 DeepDiver-V2 和 WebExplorer 技术基础上，通过 query 条件模糊化将问题平均难度提升 10%，同时借鉴《Pushing Test-Time Scaling Limits of Deep Search with Asymmetric Verification》工作的思想，引入 verification agent，大幅提升用于训练问答对的准确性，让模型在复杂推理场景中 “见多识广”。

2）针对传统搜索引擎难以覆盖的非索引知识问答 —— 如官网附件中的财务数据、学术论文引文信息获取等场景，模型训练过程中注入了 “Planner 聚焦关键 URL+ URL_crawler 爬取网页 + Document_QA 识别下一步浏览链接” 的循环工作流，通过同一站点内的多跳浏览实现了深度信息搜集，突破了传统搜索引擎的信息边界。

3）步骤级快慢融合策略则让模型的 “思考” 更具效率。DeepSearch 的 ReACT 执行过程中，不同步骤的思考强度差异显著 ——Document_QA 需分析海量网页数据与表格，对推理精度要求更高；而普通工具调用步骤更侧重效率。为此，模型为不同步骤匹配不同思考模式：Document_QA 启用慢思考保障精度，其他步骤采用快思考提升速度，实现了精度与效率的平衡。

国产算力赋能：

openPangu 系列模型彰显集群优势

此次 SuperCLUE DeepSearch 评测登顶，不仅是 openPangu-R-72B 模型能力的体现，也彰显了国产算力与大模型研发深度融合的成效。作为基于昇腾集群训练的代表模型，openPangu-R-72B 证明了国产算力平台在支撑大参数量、高复杂度模型研发方面的坚实能力。

值得关注的是，openPangu-R-72B 的兄弟模型openPangu-718B在同期 SuperCLUE 通用榜单中斩获第二名，展现了该系列在不同任务场景下的全面实力。从深度搜索的 “单点突破” 到通用能力的 “全面开花”，openPangu 系列正以昇腾算力为根基，为国产大模型生态注做出新万博体育：贡献。

随着大模型在企业服务、学术研究、政务处理等领域的深度落地，深度搜索能力将成为模型实用化的核心竞争力。未来，随着 openPangu 系列模型的持续迭代，我们期待国产大模型在新万博体育：全球顶级评测中绽放光彩。