新万博体育

　　猫眼电影记者 邱吟文 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：完美体育在线注册

??10月26日,《“全球南方”媒体智库高端论坛圣保罗宣言》在巴西发布,

　　那个好心的少女解释，道：“我的意思是，不用写下真实姓名，只以平日最喜爱的宝具、或者神禽猛兽代替就行，我在这里的名字就是彩鸾。”

,江南娱乐app官网下载。

??10月26日,“电子奸臣”让粉丝失望 虚拟夸赞不如生活治愈,

　　这一刻，一些心地不错的人劝解小不点，告诉他不要去尝试破石毅的纪录，那几乎不可能成功，只能自取其辱。

,真钱赌场游戏,韦德体育体育APP,线上信誉app。

??时事2：赢钱的小游戏

??10月26日,从科幻想象到“进厂打工”，机器人炫“十八般武艺”,

　　把重实际、说实话、求实效，作为一切工作的出发点。一是强化全局观念和发展意识，从办事处的实际情景出发，认识、分析和思考问题，紧紧围绕办事处党委提出的要求，扎实工作，一心一意把工作做好。二是坚持抓商业化业务的拓展，抓商业化业务的管理，做好项目的风险管理，完成总公司及办事处下达的经营目标，实现办事处业务的稳定发展。

,百家乐网站多少?,188宝金博注册送18,和记娱乐网页版。

??10月26日,“沈阳故宫观景台”上线！打卡沈阳故宫有了新方式,

　　虽然是看着小石昊长大的，但是他却一次次被震撼到，小家伙的表现十分惊人，让人怀疑他是一头人形的太古凶兽幼崽。

?第十八章 山林暴动,ob官网,足球外围在什么软件上买了,英亚体育国际首页。

??时事3：永利国际彩票网站

??10月26日,“五一”假期福建宁德文旅市场“稳开高走”：民俗游、乡村游、滨海游人气高涨,

　　(三)落实配套资金，规范资金管理。做好资金保障和管理，是建立农村低保制度的关键。一要稳定资金来源。农村低保所需资金由中省市县财政分级负担。为确保农村低保有稳定的资金来源，省上要求，市县财政必须分别按上年可用财力的1%安排农村低保资金，这是一条刚性政策规定，县财政、民政部门要加大协作力度，严格按省上规定将配套资金筹措到位。二要规范资金管理。县财政部门要按照下一年度的资金需求，足额安排好农村低保资金预算，实行专户管理，专款专用。凡按预算列入低保专户的资金不准挪作他用。要完善资金管理和监督机制，定期或不定期开展专项检查，规范资金运作程序，发现问题及时纠正，保障资金安全运行。三要实行社会化发放。要严格规范低保资金发放，由民政部门将农村低保登记审批名册和拨款提供给财政部门。经复核后，由财政部门将低保资金直接拨给农村信用社，实行社会化发放，确保资金按季度足额发放到户。农村信用社要积极为农村低保户提供及时、周到、便捷的服务，通过开设代理网点、增设低保专门窗口等办法，确保低保资金方便、快捷地发放到低保户手中。低保户领取保障金原则上不准代领，对确因年老体弱、智障、残疾的对象，可由乡镇民政所委托村委会代领。

,best365体育,高手解挂,九州快速开户。

??10月26日,（两会观察）建言家国“大小事” 政协履职见真效,

　　远方，其他大族的强者也都倒吸了一口冷气，好强的大魔神，令人惊悚，一别十几年而归，再次撼动皇都。

?第二百七十章 皇都对决,世界杯买球术语,世界杯竞猜手机投注,欧博注册送18。

??时事4：七肖中特

??10月26日,“战争对美国人和美国经济都有害”,

　　这片区域内有真正的太古遗种的骨，用以镇压与守护此地，但可惜他挖不动，真要去深掘的话可能会遭遇重创，而且会闹出极大的动静来。

,澳门各大娱乐网站,365完美体育吧,jdb夺宝游戏。

??10月26日,瑞银资产管理报告：中国股市的投资机遇乐观,

　　“这个少年真的太强了，一个人类能达到这一步，简直不可思议，生平仅见！”顽石低语，在小不点的发丝上闪烁晶莹光泽。

,万博max手机,am8亚美ag旗舰,18博体育。