新万博体育

　　猫眼电影记者 马耀飞 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：澳门官网真人游戏

??10月27日,福建罗源：鲍鱼分苗季 养殖户海上收获忙,

　　“什么，这般珍贵，若是少见的王种，那就更逆天了，走，我也去看一看！”

,ag8亚洲国际。

??10月27日,东西问丨王晓莲：为什么说西汉齐王墓出土的银豆是个地道的“混血儿”？,　　当地时间8月29日，巴黎残奥会首个比赛日。在伊夫林省圣康坦自行车馆，中国队选手李樟煜上演了一场“速度与激情”。男子C1级3000米个人追逐赛资格赛，他以3：31.338的成绩刷新该项目世界纪录。决赛中，李樟煜状态火热，夺得金牌，这也是中国体育代表团在本届残奥会上获得的首枚金牌。另一位中国队选手梁伟聪摘得银牌，恭喜中国队包揽该项目金银牌！,188宝金博网站是什么,吉祥体育官网入口,真钱赌场游戏。

??时事2：抢庄牛牛赢现金软件

??10月27日,谎称白宫着火！虚假报警电话引发消防紧急反应,

　　小不点从一个大孩子身上借来一杆铁矛，足有四五十斤重，他一阵小跑，而后突然加速，向洞口那里冲去，最后猛的掷出铁矛，顿时若一道闪电破空，寒光冲向洞口。

,捕鱼达人2金币,bob综合体育app苹果下载,万博真人投注。

??10月27日,习言道｜习近平再访法国 元首外交三个“特别”引人关注,

　　紫云、大鹏、小青都目瞪口呆，降落下来，盯着这个金色的圆球，露出奇异的目光。刚才这个生灵可是三头六臂啊，那可是古代传说中的一种至强宝术，让它们着实很紧张，可现在这个圆球竟这个德性了，有吃的什么都不顾。

,八方体育娱乐,开元官方,2026世界杯投注柯fc3。tv。

??时事3：乐博可靠吗

??10月27日,鼓励优质作者持续产出，抖音上线《精选开放麦》,

　　（二）常规学习方法。

,万博manxbet官网登录,网页捕鱼游戏辅助工具,斗球APP下载网址。

??10月27日,【台青在大陆】南京台青何冠奕：锦丝手中穿 文化代代传,

　　福田区各校正在举行“文明”教育活动的启动仪式。为此，我在这儿作一个动员讲话。中国号称“文明古国，之邦”。“文明”是中华民族的优良传统。要开展这项活动，我们要弄懂三个问题：什么是“文明”? 为什么要开展“文明教育”活动?我们应怎么做呢?

,澳博入口登录,凯时kb88LAI来就送38,凯发K8旗舰厅App下载。

??时事4：利澳彩票平台官网

??10月27日,浙江杭州：原生态古楠木森林银装素裹,

　　最后送给同学们一首小诗：我知道你很累，寒窗苦读是为了把信念点燃;我知道你很苦，披星戴月为的是拥有美好的明天;我知道你需要休息，可前方的路需要我们去开辟;我知道你心跳在加快，可人生的高峰需要你们去攀登。

,澳门赌场游戏,日博体育平台首页,万博手机端。

??10月27日,德国创业者：中国是发展科研教育对口业务理想市场,

依据我国相关法律的规定，我国的道路是分为比较多车道的，一般可以分为机动车道和非机动车道，而机动车道又分为超车道、快车道、慢车道等，那么机动车不走机动车道如何处罚?

网友咨询：

机动车走非机动车道会受到什么处罚

律师解答：

机动车在非机动车道行驶属于不按照规定车道行驶，处警告或者二十元以上二百元以下罚款，不扣分，根据道路交通安全法规定，道路划设专用车道的，在专用车道内只准许规定的车辆通行，其他车辆不得进入专用车道内行驶。

机动车不按照规定车道行驶的处罚有：

1、普通道路，不按所需行进方向驶入导向车道的，处警告或者二十元以上二百元以下罚款，一般是罚款100元，不记分；

2、在普通道路逆行的，罚款200元，一次记3分；

3、驾驶机动车在高速公路、城市快速路，倒车、逆行、穿越中央分隔带掉头的，一次记12分，罚款200元。

4、驾驶机动车在高速公路或者城市快速路上违法占用应急车道行驶的，一次记6分，罚款200元以下，记6分。

5、驾驶机动车在高速公路或者城市快速路上不按规定车道行驶的，一次记3分，罚款200元、

律师补充：

开车被追尾的赔偿如下：

1、维修被损坏车辆所支出的费用、车辆所载物品的损失、车辆施救费用；

2、如果车辆灭失或者无法修复，可以请求赔偿为购买交通事故发生时与被损坏车辆价值相当的车辆重置费用；

3、如果车辆是依法从事货物运输、旅客运输等经营性活动的车辆，可以请求赔偿因无法从事相应经营活动所产生的合理停运损失；

4、如果车辆车是非经营性车辆，可以请求赔偿因无法继续使用，所产生的通常替代交通工具的合理费用。

【法律法规】

《中华人民共和国道路交通安全法》 第九十条

机动车驾驶人违反道路交通安全法律、法规新万博体育：道路通行规定的，处警告或者二十元以上二百元以下罚款。本法另有规定的，依照规定处罚。

?交通事故的赔偿项目有哪些,捕鱼游戏现金手机版,欧博亚星,亿博体育备用网址。