新万博体育

　　猫眼电影记者 李荔 报道Q8X2R7L1T4J5M9B6W3

机器之心报道

机器之心编辑部

今年 2 月，月之暗面提出了一种名为 MoBA 的注意力机制，即 Mixture of Block Attention，可以直译为「块注意力混合」。

据介绍，MoBA 是「一种将混合专家（MoE）原理应用于注意力机制的创新方法。」该方法遵循「更少结构」原则，并不会引入预定义的偏见，而是让模型自主决定关注哪些位置。

MoBA 在处理长上下文时表现出极强的潜力，它允许 Query 只稀疏地关注少量 Key-Value 块，从而大幅降低计算成本。

然而，目前业界对 MoBA 性能背后的设计原则仍缺乏深入理解，同时也缺少高效的 GPU 实现，这限制了其实际应用。

在这篇论文中，来自MIT、NVIDIA机构的研究者首先建立了一个统计模型，用于分析 MoBA 的内部机制。模型显示，其性能关键取决于路由器是否能够基于 Query-Key 的相似度，准确区分相关块与无关块。研究者进一步推导出一个信噪比，将架构参数与检索准确率建立起形式化联系。

基于这一分析，本文识别出两条主要的改进路径：一是采用更小的块大小，二是在 Key 上应用短卷积，使语义相关信号在块内聚集，从而提升路由准确性。

然而，尽管小块尺寸在理论上更优，但在现有的 GPU 实现中，小块会导致严重的内存访问碎片化和低并行度，速度甚至慢于稠密注意力。

为解决这一矛盾，研究者进一步提出了FlashMoBA，一种硬件友好的 CUDA kernel，可在小块配置下仍然高效地执行 MoBA。

结果显示优化后的 MoBA 在性能上可与密集注意力基线相匹敌。对于小块场景，FlashMoBA 相比 FlashAttention-2 可实现最高 14.7 倍加速。

论文地址：https://arxiv.org/pdf/2511.11571项目地址：https://github.com/mit-han-lab/flash-moba论文标题：OPTIMIZING MIXTURE OF BLOCK ATTENTION

FLASHMOBA：一种面向小块 MoBA 的优化内核

理论模型表明，较小的块尺寸能带来显著的质量提升，但朴素的 GPU 实现效率低下。由月之暗面发布的原始 MoBA 实现，在配置小块尺寸时会遭遇性能瓶颈，这些瓶颈抵消了稀疏性带来的计算节省，导致执行速度比稠密注意力更慢。

研究者推出了 FlashMoBA，这是一种硬件感知的 CUDA 内核，旨在使小块 MoBA 变得实用且高效。

小块带来的性能挑战

小块尺寸引入了几个关键的性能挑战，要在实际部署中应用必须解决这些问题。

首先，在为每个查询收集稀疏、不连续的键值块时，会出现低效的内存访问，导致从 HBM 读取数据时出现非合并内存读取。

FLASHMOBA 内核设计

为了克服这些挑战，FlashMoBA 采用了三个融合内核，以最大限度地减少 HBM 往返次数，并使计算与 GPU 架构相对齐，如图 1 所示。

分块 Top-K 选择

Top-k 选择过程是原始 MoBA 实现中的主要瓶颈，该实现显式生成了完整的分数矩阵并串行处理批次序列。研究者将其替换为Flash TopK（图 1 中的步骤 1），这是一个由融合内核组成的高度优化的三阶段流水线。

最后，一个高效的后处理步骤将以查询为中心的索引重新格式化为以键块为中心的变长布局，以便进行主注意力传递。整个流水线在批次和注意力头之间完全并行化，消除了原始的性能瓶颈。

采用「收集并致密化」策略的前向传播

为了处理 MoBA 的不规则稀疏性，前向内核使用了一种基于两级分块机制的「收集并致密化」策略，详见算法 1。

要区分两种类型的块：

这种两级方法是关键所在，因为在 SRAM 中缓存查询允许在逻辑键块的所有物理图块之间复用数据，从而通过高效的稠密 GEMM（通用矩阵乘法）分摊昂贵的不规则内存访问成本。

带重计算的反向传播

反向传播利用了 FlashAttention-2 的内存高效设计，并实现为三个内核的序列（算法 5）。

主内核在键维度上并行化计算，每个线程块处理一个键块。为了处理稀疏性，它镜像了前向传播的「收集并致密化」策略，使用变长索引收集查询子集并将梯度输出到片上图块中。

遵循 FlashAttention-2 的方法，研究者在反向传播期间重计算注意力分数，以避免将完整的注意力矩阵存储在内存中。虽然键和值的梯度直接写入 HBM，但部分查询梯度需要跨多个键块进行累加，这是通过对高精度全局缓冲区使用原子加法来高效且安全地处理的。

这种设计确保了反向传播在序列长度上保持线性复杂度，这是相对于标准注意力的二次复杂度的一个关键改进。由于反向传播通常构成优化注意力实现的主要性能瓶颈（通常比前向传播慢 2-3 倍），因此我们需要反向内核的高效率对于实现长序列的实际训练至关重要。

实验及结果

本文从零开始预训练模型，并进行可控实验来验证 MoBA 的设计原则。实验共训练了两个模型，所有实验均在 8× H100 80GB GPU 上完成：

340M 参数模型（hidden size 1024，16 heads，中间层规模 2816）；1B 参数模型（hidden size 2048，32 heads，中间层规模 8192）。

质量评估结果

本文在语言建模、长上下文检索以及真实任务上对 MoBA 的表现进行了评估。实验结果表明，改进后的模型在多种基准测试中提高了性能。

这一趋势在所有基准和不同模型规模上都保持一致。对 340M 模型来说，将块大小从 512 缩小到原来的 1/4 到 128，可带来如下提升：

语言建模准确率从 44.6% 提升到 45.6%（表 1）；RULER 准确率从 38.8% 提升到 63.9%（表 3）；LongBench 综合得分从 13.2 提升到 15.3（表 5）。

总体来看，小块尺寸对于 MoBA 达到与密集注意力相当的性能是必要的。

Key Convolution 。Key Convolution 在不同任务中都能带来性能提升，而且具有任务偏好特性。对于 340M 模型：

kconv3 将语言建模准确率从 45.1% 提升到 45.6%（表 1）；kconv5 在 64K 长度检索任务中达到 100% 的检索率（表 3）；在 LongBench 上，kconv3 得分达到 15.3%（表 5）。

对于 1B 模型：

kconv3 将语言建模准确率提升到 52.7%（表 2）；将 RULER 准确率提升到 68.2%（表 4）。

这些结果表明，卷积通过使相关 token 在块内聚集，提升了有效均值差异 ，从而显著提高路由准确性。

注：卷积核宽度 W∈{3,5}，分别记作 kconv3 和 kconv5。

稀疏匹配密集注意力机制。在多个基准测试和规模下，MoBA 的表现与密集注意力机制相当甚至更胜一筹。

效率结果

虽然理论上小块尺寸能够带来更高的模型质量，但此前由于 GPU 利用率低下，小块一直难以在实际中使用。FlashMoBA 的出现让这些配置真正变得可行。

端到端性能。图 3 对比了不同序列长度（8K 至 512K token）下的延迟和内存占用。FlashMoBA 在两项指标上都显著优于原始实现。

在 N=64K 且 B=128 的配置下：FlashMoBA 比原始 MoBA 快 7.4 倍，内存占用减少 6.1 倍，原始 MoBA 在 128K 序列就会 OOM（内存溢出），而 FlashMoBA 能扩展到 512K。

随着序列越长、块越小，优势更明显，因为 FlashMoBA 消除了全局 reindex 的开销，在长序列条件下可实现最高 14.7× 快于 FlashAttention-2 的速度。

为了理解 FlashMoBA 的提速来源，图 4 展示了在 N=64K 下前向传播的耗时分布。

原始 MoBA 包含 5 个阶段：（1）计算质心并执行 top-k、（2）全局 reindex、（3）在路由后的索引上执行注意力、（4）局部因果注意力以及（5）合并结果。

其中步骤 (1)、(2)、(5) 占据了超过 70% 的执行时间。

FlashMoBA 则使用两个融合 kernel，这种融合设计将 64K 序列下的前向传播时间降至 49 ms，而 FlashAttention-2 在相同设置下为 99 ms。

??时事1：m6米乐手机版登录

??11月14日,碳14供应全面国产化,

　　在城前有一群凶禽猛兽，黑压压一大片，它们并没有绕城而过，显然就是要在此立威，嘶吼震天，竟要攻城了，令人颤栗。

,神医药方。

??11月14日,联合国吁支持近东救济工程处 美国寻求建立独立的巴勒斯坦国,

　　三、我们在村务运作上不同程度的存在着或多或少、或大或小的问题，比如说村委职责不清、责任不明，缺乏交流沟通，导致“两委”关系不协调;在财务管理中违反财经纪律，在农经站的财务审计中，有17个存在着财务管理的漏洞，白条顶账，存在大额饭费，从外地小贩中购置办公用品等等;土地管理混乱，最突出的问题是宅基地的管理，所有这些，都说明我们缺乏必要的法律法规方面的知识，有些程序缺乏必要的监督环节，忽视了村务运作规程中所规定的重要程序。

,波音app官网,ub8娱乐登录网址,英雄联盟竞彩app。

??时事2：体育app新人注册送18元

??11月14日,多地开展全国“安全生产月”活动 提升公众避险自救能力,

　　“呜呜，我恨啊……”老人回光返照，说完这些，马上就不行了，最后脸上挂着泪水，混着血淌下，便一动不动了。

,必赢亚洲官网app下载,苹果购买足球app,三亿体育app平台。

??11月14日,“习近平主席是塞尔维亚真诚的朋友”,

　　“鬼爷……你大爷！”小不点愤懑。

?第一百四十五章 古剑,ballbet贝博app下载艾弗森,宝博网址是多少,世界杯官方购票网站。

??时事3：永利总站网址是多少

??11月14日,广东在全国率先立法促进新型农村集体经济发展,

　　乌云压顶，黑雾笼罩，小不点竭尽全力对抗，终究是挡不住，身体越发的模糊，他愤愤的叫着。

,世界杯买球买1赔多少,银河国际有哪几个网站,华体会hth登录。

??11月14日,“洋弟子”初识吉林从汽车开始：以后要买辆中国车,

　　“我端着一碗兽奶，放在他的眼前，他居然都没有看到，这不正常啊。”

,澳门购物巴黎人官网,申搏sunbet官网下载,爱博快速登陆。

??时事4：赢三张的游戏有哪些

??11月14日,拿门禁逼业主交物业费 任性违法解决不了问题,

　　大战越发的激烈了，四头可不想象的至强存在，舍生忘死，激烈争锋，有一种可怕气息冲向八荒，惊慑的万灵都在颤栗。

,让一球什么意思,九州BET登录,大富豪下载网址。

??11月14日,2023年“一带一路”国际帆船赛（马来西亚站）收帆,

　　以人为本是科学发展观的本质和核心，就是要把人民的利益作为一切工作的出发点和落脚点，不断满足人民群众的需求和促进人的全面发展。在党的基层组织建设中我们始终坚持以人为本，一是在价值取向上以党的政治路线为本。认真宣传贯彻落实党的路线方针政策，把党的领导和实现立党为公、执政为民的宗旨有机结合起来，做党政策的坚定实施者和群众利益的忠实维护者。几年来，我们**村始终认真贯彻落实党的方针政策，我们组织全村、干部深入农户开展“一线爱民”活动，宣传党的农村政策特别是中央的惠农政策，把党的政策宣传给群众、宣传工作落实到户。二是在队伍建设上以干部为本。既对干部从严要求、严格管理，又突出人文关怀、组织爱护。特别注重对困难、贫困的关心和帮扶，增强基层党组织在、干部中的号召力、凝聚力。我们建立健全了贫困党内帮扶联系，两年来先后结对帮扶10户贫困和困难群众26户脱贫。三是在具体工作中以人民群众为本。坚持把解决人民群众的具体问题，全面提高人民群众的生活水平作为工作的着眼点和落脚点，教育引导干部多干群众急需的事、多干群众受益的事，不断健全让、干部经常受教育，使群众长期得实惠的长效机制。近两年来，全村干部大力为民办实事，广泛开展“扶贫济困送温暖”活动，共投入资金120多万元，为民办实事12件。

,爱体育app官方登录入口,ayx在线登陆,能赢真钱的斗地主。