新万博体育

　　猫眼电影记者 巴罗佐 报道Q8X2R7L1T4J5M9B6W3

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

Transformer的时代，正在被改写。

月之暗面最新发布的开源Kimi Linear架构，用一种全新的注意力机制，在相同训练条件下首次超越了全注意力模型

在长上下文任务中，它不仅减少了75%的KV缓存需求，还实现了高达6倍的推理加速。

有网友表示期待：这个架构下的Kimi K2.5何时来？？

不过，咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明，但聪明得有点太烧钱。

它的注意力机制是全连接的，每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长（O(N?)），而且每生成一个新词，还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大，尤其是在128K以上的上下文中，显卡直接崩溃警告。

模型越强，显卡越崩，钱包越痛。

所以，过去几年无数团队都在研究线性注意力，希望把计算从 O(N?) 降到 O(N)，让模型能又快又省。

但问题是，以前的线性注意力都记不住东西，快是快了，but智商打折。

现在，Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention（KDA）

它在原有线性注意力的基础上，引入了细粒度遗忘门控，不再像传统线性注意力那样一刀切地遗忘，而是让模型可以在每个通道维度上独立地控制记忆保留，把重要信息留下，把冗余信息扔掉。

更关键的是，KDA的状态更新机制是基于一种改进的Delta Rule（增量学习规则）。

它在数学上保证了稳定性，即使是在百万级token序列中，梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计，每3层线性注意力（KDA）后加1层全注意力。这样既保留全局语义的建模能力，又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE（旋转位置编码）砍掉，让KDA自己通过时间衰减核函数学习序列位置信息。

结果，没有RoPE，模型反而更稳、更泛化。

在KDA的状态更新过程中，Kimi Linear用了一种叫Diagonal-Plus-Low-Rank（DPLR）的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」，这样GPU在并行计算时能一次性处理新万博体育：内容，吞吐率直接翻倍。

此外，团队还引入了分块并行计算和kernel fusion优化（内核融合），极大地减少了显存I/O开销。

在工程部署上，它还能无缝对接vLLM推理框架，不需要改模型结构，也不需要改缓存管理，直接替换即可。

这意味着，任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示，在相同训练规模下，比如1.4T tokens，Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中，解码速度提升最高达6倍，KV缓存减少75%。

不仅没丢精度，还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说，Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法，状态空间模型（SSM）在长序列建模和高效计算上展现出强大的替代潜力，这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构，探索用递归结构取代部分注意力，通过动态计算深度来减少冗余推理，进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba，而非传统Transformer，理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在，Kimi Linear则从另一条路线突围，在线性注意力方向上取得突破。

或许这也预示着，AI架构正在告别对传统Transformer的路径依赖，迈向多元创新时代。

但值得一提的是，刚刚坐上开源模型王座的MiniMax M2，却重新用回了全注意力机制。

技术报告：https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

??时事1：国产91精品无码麻豆

??11月02日,《乡愈》首发出版 引发读者思考回归亲情本源,

　　目前，我们需要倡导一种蓬勃向上的团队作风，一种脚踏实地的学习，将学风建设的目标指向我们“潜心读书高尚做人爱我母校爱我自己”的校训。好的校风如春风化雨，会不声不响地吸引每个学子奋勇向前，为了理想而努力拼搏。团结奋进的校风和刻苦勤奋的学风会促使每一位学生在良好的环境中成长，校风积极向上，自然能够打造和谐的教育氛围。因此，全校教职工一定要进一步增强大局意识、责任意识。热爱、关心我们的学校，关爱我们的学生，积极钻研业务，努力构建文明、诚实、互助、向上的人际关系，树立“厚德博学、为人师表”的崇高风范和良好形象，认真完成学校交给的各项任务，我相信，我们的校园一定会成为充满书香、充满活力、充满欢乐、充满希望、充满和谐校园。

,国产黄色视频 www.dq163.net。

??11月02日,专家称炒作中国产能过剩有失公允,

　　最后，祝愿这次培训班圆满成功!祝大家工作顺利、万事如意!谢谢大家!

,黄网站免费进,免费看AA发在线观看,久久水蜜桃亚洲av无码精品。

??时事2：伊人大香交

??11月02日,英雄从未远去，我们不曾忘记！王伟墓前有了歼-35A战斗机模型,　　经查，陈玉祥丧失理想信念，背弃初心使命，执纪违纪，执法犯法，罔顾中央八项规定精神，热衷于吃喝享乐，长期频繁接受宴请，违规接受旅游、健身等活动安排；无视组织原则，在干部选拔任用中为他人谋取利益并收受财物；违规收受礼品、礼金；违反工作要求，干预和插手司法及执纪执法活动；甘于被“围猎”，把组织赋予的权力当作谋取私利的工具，大搞权钱交易，利用职务便利为他人在企业经营、项目运营等方面谋利，并非法收受巨额财物。,8X8Ⅹ永久免费视频在线观看,欧美性交 农夫导航,欧美性交激情黄片免费观看。

??11月02日,刘振民：深化中国与东盟能源合作应对气候变化挑战,

　　尊敬的老师们，亲爱的同学们：

,www.人人,澳门少妇屄心,sxm9.cne。

??时事3：色无码免费视频一区二区三区色欲

??11月02日,“艺起飞扬 逐梦湾区”2024年“瑕之美”特殊孩子艺术节在广州举办,

　　各位代表、同志们，我相信，在X乡党委和大会主席团的正确领导下，只要大家同心同德，上下一致，齐心协力，与时俱进，一定能够圆满完成大会的各项议程，把这次大会开成一个民主团结、鼓舞人心、振奋精神、开拓进取的大会。

,日韩乱码人奏无码中文视频,妈妈姨妈姐姐妹妹收入的小说,a片网站在线观看。

??11月02日,新疆夏嘎乐团：更多人感受原生态音乐的魅力,

　　“立刻施法，用这罐宝血滋养毅儿的身体，尽快与至尊骨融为一体，不分彼此。”少妇很急迫。

,激情综合二区,狠狠躁日日躁夜夜躁A片无码视频,在线播放黄色网站公司。

??时事4：免费试看120秒免费

??11月02日,昆明机场口岸暑运首月超24万人次出入境,

　　(十三)深入分析案件情况，做好案情通报。建立和完善案件、案件风险信息合账制度，做好案件、案件风险信息的登记、汇总和统计分析工作。认真分析案发形势，及时总结案发特点，研究案发趋势，提出案防要求，提高案件风险识别、监测、分析能力，定期开展案情通报。

,三级无码毛片,欧美一级爽快片婬片免费观看,稀缺哟哟91高清。

??11月02日,粤港澳大湾区短剧影视产业基地在南沙成立,

　　是谁在泥泞的日子里最初给人们带来春的消息?又是谁为人类定格一方绿色晴空?是小草——一个最平凡而又最伟大的绿色战士。

,精品tv一区在线观看,www.jjzzjjzz在线观看,国产精品免费看的黄色网站。