新万博体育

　　猫眼电影记者 杨广 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：必威官网手机版入口

??10月31日,住房和城乡建设部启动地震应急三级响应,

　　天空中的黑色凶禽，一双银色的眸子光芒炽盛，飞出一道道光束，如一支支巨大的银箭般，铿锵作响，皆长达十几米，冲射而来。

,好玩的百人牛牛棋牌游戏。

??10月31日,福建启动防暴雨Ⅳ级应急响应 闽北多地受灾,

　　三是草原畜牧业生产经营方式加快转变。在草原生态补奖机制的推动下，草原畜牧业正逐步向建设型、生态型的现代化草地畜牧业转型，草原畜牧业基础设施建设明显改善，牧民组织化程度不断提高。补奖区贮草棚和牲畜棚圈面积分别比政策实施前增长了66.8%和52.8%;牲畜舍饲比例达到65%，比政策实施前提高了22%;现有各类草原畜牧业合作社1.3万家，比20xx年增加了8049家，入社牧户124万户，比20xx年增加8万户。

,a8娱乐 pt88.vip,beplay官方版APP,leyuvip1。

??时事2：OD在线登陆

??10月31日,《黑神话：悟空》里的法宝现身上海闵行博物馆,

　　一个壮汉道：“一码归一码，既然没事，就得好好算一算账。毛还没长齐呢，就敢去惹魔禽，不把你们的屁股拍烂，就不算是你们的老子！”

,凯发娱乐注册页面在哪里,赛酷体育官网下载,体彩彩票下载官方网站。

??10月31日,云南镇雄县“1·22”山体滑坡已致20人遇难 24人失联,

　　过去他们烧杀劫掠，他是其中的一个主力，负责焚烧村庄，令不少人葬身火海，就是靠这种火光术。

,银河电子游艺网址,bob综合体育app苹果下载,亚洲必赢国际。

??时事3：leyu乐鱼网页版

??10月31日,一边向以色列供武一边援助加沙 美国行径遭国际社会广泛批评,

　　毫无疑问，在我们的实际工作中，不管我们再怎么努力了，也总还会有这样或那样的问题。其实，这个时候，最需要我们的，就是保持良好的精神状态了。少一点抱怨，多一点理解，然后迎难而上。我相信，只要你努力了，付出总会有所收获的。

,果博手机版下载,宝马会体育平台,永利总站网址是多少。

??10月31日,中国驻韩国大使馆举行“新春暖心包”发放仪式,

　　同志们，回顾过去，我们克服了无数艰难险阻，从悲壮走向豪迈。面对新的任务，我们责任重大、使命光荣。在市委、市政府的坚强领导下，我们一定要进一步振奋精神，与时俱进，为率先转型品质塑造科学发展而不懈奋斗!

,万喜国际真人游戏,网上买球的正规app,mile811。

??时事4：奥博银河网站

??10月31日,【港澳台专线】6.7万辆港澳车已在内地海关备案,

　　今天中午开会，太阳没有出来，这叫天公作美，担心把你们晒着了。但阳光，却应该在我们每一个同学的心中。我想说的是：未来是美好的，愿你们正在走的和将要走的人生之路像阳光一样灿烂!

,永利新网首页,澳门拉斯维加斯线上网站,世界杯买球倍数多少。

??10月31日,甲醇燃料无人驾驶矿卡驰骋新疆能源基地,

　　各位领导、各位同仁、企业全体人员及其家人们：

,e世博app下载,哪里玩pg电子游戏,开运体育官网app。