新万博体育

　　猫眼电影记者 郑板桥 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：亚洲精品夜夜夜尤物

??10月28日,多地出现雨雪冰冻天气 铁路公安积极应对守护旅客出行,

　　“别动，金翅大鹏乃是半血神禽，这样吃掉太浪费，我这里有张古方，等寻到宝药，熬炖在一起，可以发挥出神效。”火灵儿开口阻止大红鸟等。

,黄片天天V片色。

??10月28日,湖北去年因灾倒损住房恢复重建工作全面完成,

　　“哎呀，不好，好像有小股兽潮，该不会是那头太古遗种提前发动，来此立威吧？”

,青青青视频自偷自拍,98欧美精品系列一区二区,国产av综合久久。

??时事2：国产一区精品在线免费

??10月28日,中国的反恐怖主义法律制度体系与实践,

　　随着年龄的慢慢增长，我了解了新万博体育：的消防知识，也更加明白了“水火无情”的道理。一但遇到着火，千万不要慌张，必须要坚持冷静镇定，最好早报警，牢记火警电话“119”，报警时讲清楚地址。起火原因等;决不能贪恋财物。首先要逃跑或找大人;逃跑时应用湿毛巾捂住鼻子，以免中毒;同样也要严守秩序，不能争先恐后，互相拥挤，自相踩踏，以免发生不该发生的杯具。

,欧美第一在线视频,非洲黑人与俄罗斯女人交配乱伦,日本色片中文字幕。

??10月28日,【你好，小镇】黑龙江星火：稻香聊源,

　　“我什么时候跟你约定了，我自己还要研究呢，不换！”小不点拒绝。

,91色视,欧美一级性爱黄色视频免费,最新国产91啪大学生。

??时事3：亚洲视频3

??10月28日,银川2024年冰上龙舟赛开赛 特色“战袍”点燃冬日激情,

　　人人生而平等。平等是与生俱来的，是上天对人性的关怀而赐予每个人的礼物。每个人一出生就与他人平等，不分地位，不分贵贱，不分种族，即使有任何差别。是平等让人与人之间存在公平的待遇，是平等让人拥有了追求幸福的权利。

,放荡奶婬欲A片色情免费观看,www.loosenx.com,欧美日韩一区二区免费综合视频。

??10月28日,中国建设银行优秀县域支行巡礼丨陕西府谷支行,　　公器私用，将地质调查、矿产开发等权力作为敛财纳贿的工具，搞权钱交易，利用职务便利为他人在企业经营、项目承揽、矿权审批等方面谋利，并非法收受巨额财物；,亚洲第一天堂无码激情AV,男生自慰 高清免费,看国产日比一级黄片。

??时事4：亚洲精品在线观看一区二区

??10月28日,百所高校教师走进雄安 助推“雄安实践”融入思政课,

　　一个人只有自信和努力才能使自己有所成就，一个企业更是如此。商海茫茫，千舟竞发。自信使我们在这个竞争与发展同在，机遇与挑战并存的环境中信心更足;努力让我们学会脚踏实地和不懈追求。企业有了这两点，就扎下了发展的根。它使企业里的每一个人在生活和工作中闪耀着人性、智慧的灵光，使我们的合作者和我们一样更加信心百倍地迎接未来。这是我们的财富，也是我们的价值，更是我们为客户提供每一件优质产品的动力和信念。优秀的思想源于优秀的文化，尊重人是博深企业文化的精髓。创建公平竞争和惟才是举的体制，是支撑企业发展的核心。我们愿为广大有志青年提供优越的工作环境和充分展示才华的舞台，让德才兼备的人实现人生的价值，共同推动博深的更大发展。

,一级二级三级毛片网站,A级毛片视频,新久久久久一级毛片护士Aⅴ。

??10月28日,商务部国际贸易谈判代表兼副部长王受文会见联合国贸发会议秘书长格林斯潘,

　　显然，这头老狈很恐怖，身上隐约间有原始符文闪烁，是一头极其强大凶兽！

?第二十一章 狻猊,奶头又大又 又白喷奶水白梦妍,潮喷自慰裸体网站,五月激情天天在线。