新万博体育

　　猫眼电影记者 罕·哈利利 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：age官方网站入口

??10月28日,成马赛道的特殊跑者：奔跑中为跑友完赛护航,

　　第八区域内，小不点背着一个硕大的兽皮包裹，共计挖出十八块符骨，全都晶莹剔透，闪动霞光，密布符文。

,ballbet贝博登陆备用。

??10月28日,限时先享指导价10.98—14.58万元 吉利银河E5全球上市,

　　今天是第十三个全国中小学生安全教育日，我们希望这个日子能够再次唤醒同学们对安全的重视。大地苏醒，春风又绿。我们要把平安的种子撒播进自己的心田。当它发芽开花、长成参天大树时，我们必将收获新万博体育：的祥和、幸福和安宁。

,betway体育,365体育登录入口,大奖18dj18vip。

??时事2：澳门百老汇官网入口

??10月28日,暴雨蓝色预警继续发布：福建、广西等地局地有大暴雨,

　　石家庄工程职业学院是我省教育厅直属的民办高校之一，历来重视学生创业就业工作，近几年在学生创业方面做了大量工作，学校董事会和学院领导高度重视，从人力物力财力各个方面投入很大，取得了初步成效，显示出了良好的发展前景。民办高校的资源和条件与国办相比还都存在差距，作为一所民办高校能够克服困难，首先启动“众创空间”，为民办高校学生的创业就业起到了引导作用，非常值得赞赏，具有很好的推广价值。

,贝博在线登录,万博手机网页版网址,众恒网址。

??10月28日,第74集团军某旅党委提升领战能力,聚焦该旅领战抓训细节之变,

　　要牢固树立规划效益是最大效益、规划失误是最大浪费的思想，切实抓好规划的编制、实施与管理，真正发挥城镇规划的引导和调控作用。

,AG鸭游,bepkay体育怎么下载,y6体育。

??时事3：联众天天单机斗地主

??10月28日,广州公安举行开训动员大会,

　　新的春天，新的希望、新的憧憬、新的征程。作为教师的我们，已经做好了充分的准备。在教书育人的岗位上做好自己的本职工作，以敬业务实的精神，向课堂45分钟要效率、要质量，力争在新的学期里取得更大的成绩。

,博鱼体育下载地址,米乐入口,Ag九游会官网。

??10月28日,（乡村行·看振兴）浙江象山渔村码头推“东海第一口鲜” 共富味十足,　　1989年，李龙出生于黑龙江省哈尔滨市道外区的一个普通家庭。直到高中前，李龙的学习成绩并不算拔尖。初中后，李龙逐渐将新万博体育：的心思用在学习上，到了初三时，他就在学校里名列前茅。,必赢亚洲官网网站,KU游娱乐登录入口,万博官网登录手机版本是多少。

??时事4：飞禽走兽老虎机单机

??10月28日,京西电竞节开幕 设置《黑神话：悟空》线下体验专区,

　　最后，祝愿这次培训班圆满成功!祝大家工作顺利、万事如意!谢谢大家!

,英皇娱乐app链接,亚虎娱乐国际中心,火狐体育网址多少。

??10月28日,通讯：煤炭大市鄂尔多斯龙年新春打出三张牌,

　　一是全民参与整治卫生。首先整治责任区域。巩固国家卫生县城创建成果，全面整治城市环境，提升人居质量。要继续推行实行县四大班子包片制，将分区任务落实到每个单位和每个干部，做到每个战区、每个分区、每条街道、每个小区都有专人负责、专人管理，层层落实责任;要将城市新建成区、背街小巷特别是城乡结合部的绿化带和路边沟纳入整治范围，彻底解决个别地段“垃圾靠风刮、污水靠蒸发”的问题。建设局和执法局要充分发挥职能作用，理顺管理体制，加大对各建筑工地的管理力度，各建筑工地要通过围挡等屏障与主次干道隔离，减少砖瓦沙石对市容市貌的影响。建设部门也可以适时召集建筑业主开展一次建筑工地管理互访活动，相互评比，相互学习，促进工程的规范化管理。其次是整治住宅小区。要下大力气抓好小区物业管理，要在宣传上下功夫，打好基础，社区要把这项工作抓在手上，各小区要及时成立物业管理委员会，建立健全物业管理规章制度，明确责任;各物业服务公司要进一步完善服务流程，细化服务环节，规范服务行为，提升物业管理服务品质和服务水准，逐步实现小区物管全覆盖。

,澳门贵宾会登录,爱体育app官方登录入口,mile体育官方版下载。