【新智元导读】杜克大学团队发现，扩散大语言模型只需关注少量「中奖」token，就能在推理时把速度提升61-97倍，还能让模型更懂格式、更听话。新策略DPad不训练也能零成本挑出关键信息，实现「少算多准」的双赢。

在大型语言模型的优化中，业界通常认为计算量与模型性能正相关。

然而，杜克大学陈怡然教授团队的一项最新研究DPad，却揭示了一个反直觉的现象：对于扩散大语言模型（dLLMs），通过一种「先验丢弃」策略，主动减少其计算量，不仅能带来高达61倍的推理加速，还能意外地增强模型语境学习的能力。

这一发现源于对dLLM内部一种「中奖彩票」（Lottery Ticket）现象的洞察。模型在生成文本时，其庞大的注意力网络中似乎隐藏着一个极度稀疏但高效的「中奖组合」。

DPad的核心贡献就在于，它无需训练，便能在推理时动态地、近乎零成本地找出这个组合，从而实现速度与精度的双重飞跃。

论文作者团队来自杜克大学CEI中心，由实习生陈欣骅、黄思韬及郭聪博士共同完成，指导教师为李海教授、陈怡然教授，其他作者还包括魏迟越、何银涛、张健一。

团队发现，dLLM的独特之处在于双向注意力，这使得它在生成文本时，会关注所有待生成的后文词元（Suffix Token），并将它们用作规划全文的「草稿纸」。

「草稿纸」机制使得模型能在Transformer的第n层往后文写入信息，然后在第n+1层读取后文信息，用于辅助前文的解码。

图1 「草稿纸机制」示意图，左下角为前文往后文写入信息，右上角为前文从后文读取信息

前文提到，dLLM在解码前文时，会将大段的后文词元作为草稿纸。

团队进一步分析了模型对后文词元的注意力分数，发现模型对后文词元的注意力随着距离快速衰减，但还是会有一些零星「尖峰」。

说明后文词元有强烈的稀疏性，仅存在少量比较重要的词元。

这个发现完美契合了深度学习中著名的「彩票假说」（Lottery Ticket Hypothesis）。

受此启发，团队提出了「扩散彩票假说」（Diffusion Lottery Tickets Hypothesis）：在dLLM的后缀token中，存在一个稀疏的「中奖彩票」子集，只要能「抽中」它们，就能在大幅降低计算成本的同时，达到甚至超越完整模型的性能。

图2 当前块对后缀token的注意力分数图。可以看到，后文token存在部分尖峰

这也是正常词元剪枝(Token Pruning)的逻辑——统计注意力分数，确定不重要的词元，然后将其删除。

然而，DPad团队并不满足于此，他们进行了一项颠覆性的实验：强行删除那些距离很远、但注意力得分很高的「尖峰」词元。

不同于自回归模型，dLLM展现出了惊人的「自愈能力」，仿佛后文词元的信息可以自由流动，当一个关键路径被阻断时，注意力会立刻转移到邻近的词元上，形成新的信息通路。

图3 「注意力迁移」现象，删除「关键词元」后，模型的注意力尖峰转移到附近词元

这个「注意力迁移」现象有力地证明：dLLM的全局规划能力并非依赖于某些特定位置的「明星词元」，而更像是一种分布式的、可替代的冗余系统。

研究人员并没有必要花费大量的计算去确定「关键词元」，直接先验地剪枝，最终保有一套系统就行。

不再让模型「全力计算后才发现浪费」，而是在计算开始前就果断地丢弃掉绝大部分冗余部分。

1.滑动窗口 (Sliding Window)：将模型的「目光」强制聚焦在当前解码位置附近的一个固定长度窗口内，从根本上杜绝了对遥远未来的无效关注。

这好比作家在写当前章节时，只详细规划紧邻的几章，而不是构思最后一章的具体措辞。

2.距离衰减丢弃 (Distance-decay Dropout)：在窗口内部，也并非一视同仁。DPad采用一种随距离递减的概率来保留词元，即「越近的草稿越详细，越远的草稿越潦草」。

这两招简单而有效，共同构成了一个动态的「中奖彩票」筛选器，让模型在每一解码步都只使用一个极度稀疏但高效的注意力子集。

图4 (a)自回归模型；(b) 传统dLLM，需要关注所有后缀token；(c) DPad，仅关注附近少数经过筛选的后缀token

DPad带来的并非传统意义上「牺牲精度换速度」的权衡，而是一场双赢。

在常规评测中，「灵活匹配」（Flexible-Match）只要求答案数值正确，而「严格匹配」（Strict-Match）则要求模型严格遵循范例的格式与推理步骤，是衡量模型「语境学习能力」的关键指标。

图5 「灵活匹配」得分和「严格匹配」得分。原始模型（左）没能按照「####」的格式输出答案，没能通过「严格匹配」；使用DPad（右）后模型成功「记得」按「####」输出答案，通过「严格匹配」

实验显示，原始的LLaDA-Instruct模型在GSM8K任务上严格匹配率仅为37.38%，因为它虽然能算对答案，却无法很好地复刻范例格式。

而应用DPad后，通过滤除大量无关后文词元的干扰，模型能更专注于学习prompt中的有效信息，严格匹配率跃升至63.84%。

这表明，DPad让模型变得更「专注」，更能领会并执行复杂指令。

当模型不再需要为海量冗余信息耗费算力后，其推理速度得到了指数级解放。在短示例、长文本生成场景下，DPad的优势被发挥到极致：

图9 在GSM8K(1024 tokens, 1-shot)任务上，LLaDA-1.5+Fast-dLLM+DPad实现了61.39倍的加速

图10 在HumanEval(2048 tokens, 0-shot)任务上，Dream-Base+Fast-dLLM+DPad实现了97.32倍的加速

在LLaDA-1.5模型（1024 词元输出）上，DPad结合并行解码等优化后，实现了61.39倍的综合加速。

在Dream模型（2048 词元输出）上，这一数字更是达到了97.32倍。

它通过一种巧妙的、免训练的「事前筛选」机制，揭示并利用了dLLM中潜在的稀疏结构。

其带来的不仅是接近两个数量级的推理加速，更有对模型深层能力的意外增强。

这项工作为我们开辟了一条全新的优化思路：未来的模型设计或许可以更大胆地探究稀疏性，让dLLM在「化繁为简」的道路上走得更远。

新万博体育

免训练加速61倍！陈怡然团队新作DPad：仅关注「彩票token」

「统计」P6F3X2M7T9QJ8L1B4WZR

227.13MB

版本V3.5.93

下载APK 高速下载

下载少司缘cos被❌视频安装你想要的应用更方便更快捷发现新万博体育：

52%好评(32732人)

详细信息

软件大小: 54852.27399MB
最后更新: 2025-09-22 16:42:25
最新版本: V6.51121.8
文件格式: apk
应用分类:ios-Android 男男做爰黄✌片全过程动漫
使用语言: 中文
: 需要联网
系统要求: 6.77025以上

应用介绍

一，白袜体育生脱裤子自慰，Hk416被❌吸乳脱内内在线看
二，91I人妻丨国产丨蚪窝，打屁股脱裙子趴下打屁股
三，亚洲国产果冻传媒AV在线观看，㊙️男生互摸jiji㊙️免费网站
四，媚黑三部曲和魅黑三部曲的关系，海角社区深夜㊙️入口
五，lol裸体啪啪❌黄漫画，迪丽热巴自慰❌喷水
六，男男㊙️Gay自慰网站,美女拉屎照片，黄泉被❌吸乳羞羞视频
七，女人自慰✅免费观看
【联系我们】
客服热线：134-2881-646

加载新万博体育：

版本更新

V3.3.84

成人免费看片❌❌❌98欧美

老婆接受训犬俱乐部工作

❤国产精品嫩草影院女同

56354.56MB

101好评

日本婬妇❌❌❌❌❌69
甘雨裸体裸被❌出白水

国漫同人3D动漫精品稀有

59227.16MB

370366好评

小俊大肉大捧一进一出看看
被男同桌强摁做开腿呻吟

我揉着老师白嫩的大乳都太图

13.33MB

312好评

❌吸乳18禁男男漫画网站
性❌❌❌视频DCD

两个男按摩师吃我奶在线观看

53.89MB

277好评

一级毛片A片毛片免费看
ⅹ七╳❌乂╳女

日本XXXXXXⅩ泡妞视频冫

71.36MB

701好评

体育生的🐔好大你夹的好紧动漫
大雷擦大狙网站官网免费

日本XXX护士高潮HD

83.37MB

336好评

少司缘张开双腿被强❌
美乳弹出来在线观看V66

国产成人AV精品免费网站

23.76MB

105好评

桃花岛app+下载
Z〇Z○女人另类Z〇Zo挤奶

女学生喷浆❌❌❌英国

50.45MB

927好评

179902钢手
镜流涩涩同人❤️网站

18🈲🍆🍑无套直国产缅甸

83.34MB

568好评

扒開腿灌牛奶🥛調教动态图日本
班长露出🐻强行被男生

日本翘臀电影

83.59MB

754好评

女仆扒开腿㊙️让人桶爽微博
成人涩涩屋♣福利视频app

宝贝我硬了～忍不住了

44.49MB

3605好评

男男性恋H肉游戏
小太正Gay初毛初精

调教婬奴女警花H文

93.99MB

191好评

XXXX78🍆🍆HD
海滩休学旅行第一季日漫

云缨同人18❌羞羞漫画免费

65.60MB

744好评

PORNOⅩXXXXHD600
小受受脱裤子乖乖被🍃

美女裸体裸乳🍑免费看

54.57MB

759好评

国产亚洲AV一区二区三区在线播放
动漫无码番肉18❤在线观看

妺妺晚上调教我吃她的白袜脚

57.87MB

684好评

真人一对一免费视频
ai一键消衣下载黑科技

露露杏仁露图片

24.74MB

358好评

国产婬乱A片无码毛片柳州尤物
大雷擦大狙软件免费视频大全

FerrPorno💋👙女

13.54MB

317好评

fate里番纯肉本子大全
国外玩小稚女5～8

帅老头囗交69老头

84.11MB

211好评

白丝JK❌❌爆乳
国产乱人妻精品㊙️入口′

胡桃露小奶头❌的网站

45.74MB

733好评

美女全身裸体㊙️免费视频电影
精品➕无码➕在线观看

雏田3D肉动漫无码wwwwww

10.52MB

186好评

女王女榨精sm免费网站
91在线无码精品秘cos貂蝉

好紧好多水快深点小说

44.17MB

361好评

高级感泳衣唐舞桐
动漫做床爱大尺度电影

18🈲乳液啪啪红豆免费网站

91.89MB

208好评

老阿姨泻火最新视频
14学生光着露出奶头无遮挡

国产Chinese男男开源棋牌

30.32MB

902好评

妮露被撕开衣服强摸双乳
v型三角蕾丝内裤的穿着效果

国产chinese男男黑暗精灵

30.24MB

549好评

可以涩涩的ai聊天软件
动漫美女的隐私㊙️撒尿

小🐔🐔伸进🈲🔞🔞糖心

29.53MB

124好评

美女露大乳揉下部㊙️18禁动漫
少萝扒开腿㊙️让人桶动态图

9.1看片🐔大

70.30MB

452好评

大乳美女❌❌裸体韩国
娇妻尽孝栗莉番外篇 title="乳液乱飙🚺👙网站" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

美女的部秘免费网站

韩国免费裸体❌羞羞免费

详情
玖辛奈被扒开腿❌同人网站 title="99亚洲AV长靴靴交" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

女奥特曼被到爽被爆衣

18㊙️免费视频网站

详情
日本人妻无码波多野结衣在线 title="安妮海瑟薇被❌视频观看" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

免费看女人隐私㊙️部位视频洗澡

ⅹⅹfree性老熟妇

详情