新万博体育

　　猫眼电影记者 阿布力孜 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：A片在线不卡观看免费观看

??10月27日,国家外汇管理局：2023年银行累计结汇155336亿元人民币,

　　现在在交通繁忙的现代社会中，不遵守交通规则是不行的。每年全球发生的交通事故数不胜数，若我们在不遵守交通规则，下一个受害者很可能就是我们。朋友们，让我们一起来遵守交通规则，呵护我们的健康成长!

,日韩精品-iGAO视频网-为爱搞点激情。

??10月27日,尼泊尔廓尔喀县报告超过1200名登革热病例,

　　大爪子剧烈挣动，石板摩擦的声音更大了，响彻天地，此外赤金链绷的笔直，它在用力，哗啦啦作响，如来自地狱的惊魂曲。

,欧美激情1,伊人久久大香线蕉综合不卡,又粗又黄A片三男一女。

??时事2：大肚子孕妇淑媛和老朱电视剧

??10月27日,年终特稿·回望新疆2023⑨丨栽梧引凤,

　　“吧唧”一声，毛球直接将蛋扔给了小不点，而后跳到独角兽背上，很没义气，就要抢先奔逃。

,真人被 到爽 奶头性巴克,丁香婷婷亚洲精品综合,国产欧美日韩综合在线一区二区。

??10月27日,（经济观察）首席看经济：中国在全球经济复苏中发挥重要引擎作用,

　　众人都吃了一惊，尤其是几位族老，他们曾听说过，上古先民祭祀时，会产生各种奇异的力量，神秘无比。

,日本黄色三片,在线播放免费中文,18禁黄色网站 污。

??时事3：户籍猎手黄

??10月27日,香港特区政府全动员举办超强台风来袭演练,

　　“嗖”

?第十五章 小不点显威,色哟哟av,欧美午夜久久久久,火影自慰网站。

??10月27日,我国14种船型新接订单量全球第一,

　　二是切实提高村级民主管理水平。 为确保稳定和发展的大局，提高基层组织管理本村事务的能力和村民自治水平，下一步，我们要加大力气，切实提高村级民主管理水平。一要提高党支部的领导核心作用，村党支部是农村基层的战斗堡垒，在推进村级民主管理建设中，村党支部的领导核心作用不能弱化，对村级经济建设和社会发展中的重要问题必须召开支部会议进行讨论决定。同时，要带头按照民主管理制度规定，把需要由村委会讨论决定的事放心让他们去做，并做好指导工作。二要建立健全长效的工作管理机制。村级民主管理工作必须依靠相应的长效工作机制来保证，要把建立健全村务公开和民主管理制度作为提高村级民主管理水平、促进基层民主政治建设的治本之策，坚持以法律、法规和政策为依据，建立完善以村党支部为核心，村委会为主体，村民会议和村民(社员)代表会议为主要形式的民主决策制度，定期对村内重大事项进行商量;制订完善村民村规民约，对各村原有的各项规定进行一次清理，修改与国家法律、法规和政策相抵触的内容，经村民代表会议讨论之后生效;完善监督制度，各村(社)的村(社)务监督小组，要对村级财务收支情况进行监督、核查，并定期进行公布。三要推行村务提议制度。对新万博体育：村级经济发展和社会事业发展的重大提议，村委会要提交村支部，进行共同商量，坚决杜绝“一言堂”和“先斩后奏”现象，进一步密切村级干群关系，促进村民自治。

,717秋霞网,亚洲美女自拍偷拍视频,自拍偷拍精。

??时事4：国产伦费免费全部午夜最新

??10月27日,“潭美”减弱为热带低压 海南岛将有暴雨到大暴雨,

　　(2)不在公路上骑自行车、玩耍，追赶车辆，进县城不闯红灯(未满十二周岁的同学禁止骑自行车)。

,爱搞国产视频,色色色一级视频,WWW久久国产A片。

??10月27日,上海日供水量持续攀升 供水服务平稳有序,

　　绿莹莹柳枝落下，将毛球勒住，吊了半空中，不细看的话，还以为它自己上吊了呢，这个变故惊得它一双大眼瞪圆，奋力挣扎。

,欧美性爱艹b大片,黄色国产精华视频一区,丰满少妇午夜理论。