猫眼电影
猫眼电影记者 吴宝胜 报道Q8X2R7L1T4J5M9B6W3
机器之心发布
机器之心编辑部
随着大模型推理和 Agent 工具调用能力的快速发展,其通过反复搜索处理复杂信息需求的效果愈发受到业界关注。近日,第三方评测机构 SuperCLUE 发布 11 月 DeepSearch 评测报告,国产大模型 openPangu-R-72B 凭借在长链推理、复杂信息检索领域的卓越表现,在模型榜单中名列第一,体现了基于国产昇腾算力的大模型研发实力。
这款 MoE 架构模型,究竟藏着哪些技术秘密,能在激烈竞争中脱颖而出?
硬核技术底座:
MoE 架构下的效率与性能平衡术
openPangu-R-72B 为考虑效率和性能平衡,重新设计了模型底座架构。作为基于昇腾集群训练的 MoE(混合专家)模型,它采用 80 选 8 的专家选择机制,在 74B 总参数量的基础上,将激活参数量控制在 15B,既保留了大模型的复杂推理能力,又有效降低了计算开销。24T tokens 的训练数据与 128k 长序列处理能力,为其处理深度搜索任务中的长文本信息奠定了基础。
为实现稳定收敛与效果提升,openPangu 团队在预训练技术上完成了以下优化。
图. openPangu-R-72B 模型架构
1)注意力机制层面引入参数式 Sink Token 技术:有效缓解了极大激活值问题,不仅提升了训练过程的稳定性,也对后续量化更加亲和;
2)采用 K-Norm 与 Depth-Scaled Sandwich-Norm 组合的架构,其中 K-Norm 仅对 attention 的 key 施加 RMS Norm,在达到与 QK-Norm 相当稳定性的同时,降低计算开销,还保留了 Query 更灵活的表达能力。
3)注意力架构的优化兼顾了精度与效率:通过增加 Query 头数和注意力头维度,让模型能从新万博体育:角度捕获细粒度语义关系;引入 Partial RoPE 机制,仅对 Query 和 Key 中 1/3 维度应用位置编码。通过将 KV 组数量减半,在 Key 头维度增加的情况下,仍实现了 37.5% 的 KV cache 缩减,平衡了推理阶段的显存占用、速度与模型效果。
4)Adaptive Aux Free 负载优化技术:Aux free 升级版本,通过自适应调整各个专家负载 bias 的更新幅度,有效减少均衡震荡,让专家负载分布更均衡。
DeepSearch 专项突破:
三大优化破解复杂搜索难题
如果说技术底座是基础,那么针对深度搜索任务的后训练优化则是 openPangu-R-72B 登顶的关键。深度搜索作为大模型访问互联网获取深度信息的核心能力,其长链推理与工具调用水平直接决定模型的实用价值。openPangu-R-72B 通过后训练阶段进行长链难题合成、非索引信息处理、快慢思考融合三大策略,显著提升了模型 DeepSearch 能力。
图.openPangu-R-72B 模型深度搜索任务执行流程,该流程同时用于模型训练和评测
1)在长链 QA 难题合成方面,openPangu 团队在 DeepDiver-V2 和 WebExplorer 技术基础上,通过 query 条件模糊化将问题平均难度提升 10%,同时借鉴《Pushing Test-Time Scaling Limits of Deep Search with Asymmetric Verification》工作的思想,引入 verification agent,大幅提升用于训练问答对的准确性,让模型在复杂推理场景中 “见多识广”。
2)针对传统搜索引擎难以覆盖的非索引知识问答 —— 如官网附件中的财务数据、学术论文引文信息获取等场景,模型训练过程中注入了 “Planner 聚焦关键 URL+ URL_crawler 爬取网页 + Document_QA 识别下一步浏览链接” 的循环工作流,通过同一站点内的多跳浏览实现了深度信息搜集,突破了传统搜索引擎的信息边界。
3)步骤级快慢融合策略则让模型的 “思考” 更具效率。DeepSearch 的 ReACT 执行过程中,不同步骤的思考强度差异显著 ——Document_QA 需分析海量网页数据与表格,对推理精度要求更高;而普通工具调用步骤更侧重效率。为此,模型为不同步骤匹配不同思考模式:Document_QA 启用慢思考保障精度,其他步骤采用快思考提升速度,实现了精度与效率的平衡。
国产算力赋能:
openPangu 系列模型彰显集群优势
此次 SuperCLUE DeepSearch 评测登顶,不仅是 openPangu-R-72B 模型能力的体现,也彰显了国产算力与大模型研发深度融合的成效。作为基于昇腾集群训练的代表模型,openPangu-R-72B 证明了国产算力平台在支撑大参数量、高复杂度模型研发方面的坚实能力。
值得关注的是,openPangu-R-72B 的兄弟模型openPangu-718B在同期 SuperCLUE 通用榜单中斩获第二名,展现了该系列在不同任务场景下的全面实力。从深度搜索的 “单点突破” 到通用能力的 “全面开花”,openPangu 系列正以昇腾算力为根基,为国产大模型生态注做出新万博体育:贡献。
随着大模型在企业服务、学术研究、政务处理等领域的深度落地,深度搜索能力将成为模型实用化的核心竞争力。未来,随着 openPangu 系列模型的持续迭代,我们期待国产大模型在新万博体育:全球顶级评测中绽放光彩。
??时事1:操B无码一级毛片
??12月03日,新疆阿克苏地区乌什县发生7.1级地震:已出现房屋倒塌情况 一被压儿童成功获救,
村人全都吃惊,看着那枚散发璀璨光辉的蛋,眼中都露出炽热的光芒,这绝对是一头难得的战禽,潜力无尽。
,网上可看的欧美日皮大片网站。??12月03日,查扣涉案黄金4976克!女子投资530万 竟是电诈“洗钱”,
“没错,我们尽全力攻击,激怒它,让它闹出的动静更大些,族长他们会提前发觉!”石大壮开口,抓起一块巨石猛地砸向凶禽。
,国产一级特黄毛片在线毛片,少妇自慰,自己插,女人十人毛片A片。??时事2:爆乳无码
??12月03日,深圳今年拟安排859个重大项目,
?学生暑假打工拿不到工资怎么办,99riAv一区二区三区,A片视频免费观看网站,日本肉体裸交 动漫樱桃视频。??12月03日,【东西问】安娜伊思·马田:我唯一的身份是中法文化艺术交流的“桥梁”,
消防安全国旗下精彩 篇32
,冢本六十路の高齢熟女,天天日天天操天天,一级毛片免费无码视频。??时事3:JM漫画官方正版入口最新版下载
??12月03日,拱北海关查获一起旅客违规携带蜈蚣干制品2.65千克进境案, [#北京为何晴热高温又雷雨频频#]#高温雷雨相伴成因如凉水掉入热油锅# 高温天持续,但每天都有雷阵雨天气。6月11日北京出现强对流天气;昨天傍晚本市又发布雷电黄色预警和大风蓝色预警;根据市气象台预报,今天傍晚到夜间,北京还将有一次明显的雷阵雨过程。,精品午夜视频,日韩精品无码中文高潮,www成人啪啪18秘 免费蜜臀。
??12月03日,冬夜里守护最东高铁的“千里眼”“方向盘”,
“你们几个野娃子,竟敢嘲笑我!”
,黄片18岁禁止免费,高清一级做a爱过程免费视,国产草莓视频A区在线观看。??时事4:一级精品视频久久免费视频观看
??12月03日,中外金融高管热议中国资产 配置空间有望进一步打开,
“这里不是有金狼部落的子弟吗,还有罗浮大泽的高手,让他们讲一讲。”
,一级特黄大片欧美久久久,fi11cnn实验室免费2023网站,自拍偷拍线上。??12月03日,11月13日人民币对美元中间价报7.1991元 下调64个基点,
同志们,医疗卫生工作是一项神圣而伟大的工作,大家要为从事这一行业感到光荣和自豪,要始终把人民群众的健康作为一件大事抓紧抓实,让人民群众真正享受到安全、优质、便捷、低廉的医疗服务。新的一年里,我们要进一步振奋精神、同心同德、齐心协力、努力开创医院建设与发展新的辉煌。
,3344在线观看无码无遮,全网特黄毛片,美乳乳头无遮挡18禁老a8。责编:张恨水
审核:彭莉
责编:孙耀威












