新万博体育

　　猫眼电影记者 董云很 报道Q8X2R7L1T4J5M9B6W3

周展辉（https://zhziszz.github.io/）：加州大学伯克利分校计算机博士生；

陈凌杰（https://lingjiechen2.github.io/）：伊利诺伊大学厄巴纳香槟分校计算机博士生

扩散式语言模型（Diffusion Language Model, DLM）虽近期受关注，但社区长期受限于（1）缺乏易用开发框架与（2）高昂训练成本，导致多数 DLM 难以在合理预算下复现，初学者也难以真正理解其训练与生成机制。

为此，伯克利与 UIUC 团队基于自研的扩散语言模型工具 dLLM，做了一个简单的实验：让 BERT 通过离散扩散学会对话。结果远超预期 —— 无需生成式预训练，仅约 50 GPU?小时的监督微调，ModernBERT-large-chat-v0（0.4B 参数）在多项任务中的表现已逼近 Qwen1.5-0.5B，证明「离散扩散 + 轻量级指令微调」即可赋予经典 BERT 强生成能力，为社区提供了真正高效、低成本的方案。

更重要的是，团队已将训练、推理与评测的全流程代码完全开源，并封装为可直接运行的「Hello World」示例，使初学者也能轻松复现并理解扩散式语言模型的关键步骤。同时团队也开源了其背后的支持框架 dllm，兼容当前主流开源扩散模型且有极强的可扩展性。

项目链接：https://github.com/ZHZisZZ/dllm项目报告：https://wandb.ai/asap-zzhou/dllm/reports/dLLM-BERT-Chat--VmlldzoxNDg0MzExNg项目模型：https://huggingface.co/collections/dllm-collection/bert-chat

dLLM: 支撑 BERT Chat 的通用扩散语言模型框架

BERT Chat 系列的训练、评测与可视化均基于团队自研的 dLLM—— 一个面向扩散式语言模型的统一开发框架。dLLM 不仅是工具库，更是一体化的研究平台，持续吸引研究者使用与贡献。

在设计上，dLLM 强调易用性与可复现性。框架结构清晰、脚本完善，使 BERT Chat 等扩散式训练实验能够在单卡甚至笔记本环境复现，非常适合初学者快速入门。同时，它兼容当前主流的开源扩散语言模型，包括 Dream、LLaDA、RND 等，提供灵活的模型基座选择。

更重要的是，dLLM 还实现了多个缺乏公开实现的研究算法，如 Edit Flows，使许多原本停留在论文中的扩散式生成方法得以真正落地，为社区进一步探索提供了坚实基础。

基座模型选择：为何最终选择 ModernBERT

在选择基座模型之前，实验首先关注 ModernBERT 这一近期提出的 BERT 变体。相比原始 BERT 的 512-token 上下文窗口，ModernBERT 将上下文长度显著扩展至 8,192 tokens，并在多个非生成式基准任务上表现更优。因此，实验的核心问题是：这些改进是否能够在生成式训练场景中带来实际收益？为此，实验采用离散扩散语言建模，在 Wikitext-103-v1 数据集上进行了预训练测试。结果显示，在一众对比的模型中，ModernBERT 达到了最低的训练 loss，表明它在生成式训练中同样具备优势。基于这一表现，我们选定 ModernBERT 为后续离散扩散训练与指令微调的主要基座模型。

扩散式预训练是否必要？

SFT 已足以激活生成能力

在探索扩散式训练路径时，实验首先尝试在更大规模的语料库（OpenWebText）上对 ModernBERT 进行离散扩散语言建模预训练。然而，与在 Wikitext-103-v1 上的训练效果不同，模型在 OpenWebText 上的训练 loss 并未出现显著下降。这一结果表明，ModernBERT 的原始 MLM 预训练已经提供了大量语言与世界知识，对相似语料进行额外的 MDLM 预训练可能收益有限。

由此进一步提出疑问：对于 ModernBERT 而言，持续的生成式预训练是否真的必要？为验证这一点，实验分别对三种 ModernBERT-large 检查点进行指令微调（SFT）：

(1) 未经任何生成式预训练的版本，

(2) 在 Wikitext-103-v1 上做过 MDLM 预训练的版本，

(3) 在 OpenWebText 上做过 MDLM 预训练的版本。

尽管经过生成式预训练的模型（2 和 3）在 SFT 初期具有更低的训练 loss，但三者最终在训练与评测 loss 上的收敛表现几乎相同。该结果说明，ModernBERT 的原始 MLM 预训练已编码了足够的语言知识，在此基础上进行额外的离散扩散语言建模预训练，对后续的指令微调带来的收益非常有限。

在确认预训练并非必要后，团队扩大了 SFT 数据规模，将 allenai/tulu-3-sft-mixture 与 HuggingFaceTB/smoltalk 拼接，并分别在 ModernBERT-base 与 ModernBERT-large 上进行离散扩散微调，最终得到两个模型权重：ModernBERT-base-chat-v0（0.1B） 与 ModernBERT-large-chat-v0（0.4B）。两者均展现出稳定的多轮对话能力。综合这些结果可以得到结论：对于 BERT 而言，扩散式 SFT 本身就足以激活生成能力；额外的生成式扩散预训练带来的收益极小，而决定最终性能的关键是指令微调。

实验结果：超乎预期的小模型表现

在多项主流评测任务上，对 ModernBERT 系列模型进行了系统测试，包括 LAMBADA（语言理解）、GSM8K（数学推理）以及 CEVAL-valid（中文知识测评）。结果显示，ModernBERT-base-chat-v0（0.1B）与 ModernBERT-large-chat-v0（0.4B）在各项指标上均表现稳定，其中 large 版本的整体性能已接近 Qwen1.5-0.5B。值得注意的是，ModernBERT-base-chat-v0 仅使用约四分之一规模的参数（0.1B），便能够生成流畅自然的语言，这进一步说明扩散式训练在小模型规模下依然具备竞争力。

项目说明：一份为学习而生的扩散模型示例

团队将 BERT Chat 系列定位为一项教学与研究实验，而非商用系统。在 0.1B 与 0.4B 这样的小模型规模下，我们并不过多追求其在基准测试集上的表现，但它们足以作为入门示例，帮助研究者理解扩散式语言模型的训练与生成机制。若希望进一步探索模型潜力，也可以尝试减少扩散步数（例如将 T 减半），通常会带来明显的生成速度提升，因为扩散模型能够在一次迭代中并行生成多个 token。

为保持研究过程的透明与可复现性，团队不仅开放了完整的训练脚本，还公布了全部训练曲线、消融实验、参数设置与运行指令。相关记录可直接在 W&B 报告中查看。我们相信，开放研究不应只呈现成功的结果，而应将完整的探索过程一并公开，帮助社区更全面地理解扩散语言模型的研究路径。

总结：BERT 的新潜力

本研究展示了一个简单却关键的结论：仅依靠扩散式 SFT 与少量指令数据，就能够赋予传统 BERT 实用级的对话生成能力。无需庞大的自回归预训练，也无需 TB 级 token 的数据成本，BERT 仍然具备被「重新激活」的潜力。对于一直希望找到一个「能跑通、能看懂」的 Diffusion LM 教程的读者而言，dLLM 正是一个从训练、推理到评测都能完整贯通的起点。

??时事1：国产igao为爱做激情

??11月23日,假日里的“唐潮”：“Z世代”汉服妆造师点染长安之韵,

　　“少族长快退吧，不祥之兆啊，祭灵抛弃了我们，而且还夺了我族祖器！”一位族老惊恐地大叫。

,一男一女操逼。

??11月23日,国家粮食和物资储备局：做好雨雪冰冻灾害防范应对工作,

　　三是强化节约用水。截至目前，全区新增节水灌溉面积366万亩，已超额完成新增350万亩节水灌溉面积的年度目标任务，其中新增高效节水灌溉面积184万亩;农田灌溉水有效利用系数达到0.532，为自治区粮食安全、生态安全和经济社会健康持续发展提供了有力保障。

,91视频,免费观看,偷拍久久精品,黃色A片三級三級三級免费看密使。

??时事2：一级大片网址

??11月23日,香港立法会议员陈勇：建议香港发展红色旅游,

　　同学们，中学时代是人生的黄金时代，是人生最宝贵的时光。现在正是丰收的季节，倘若没有春天播种的希望，没有夏天耕耘的辛劳，有哪来秋天的累累硕果呢?希望同学们珍惜宝贵的时光，刻苦学习，艰苦奋斗，苦练成才。

,91空姐光胸洗澡被91看,美女羞羞视频网站,国产精品免费视频色无码。

??11月23日,受短时对流和强降雨影响 广西藤县部分厂房坍塌,

　　“都是天才啊，究竟谁最强，我们这一辈战了很多年，也让小辈切磋下。”镇中也有人开口，向这里赶来。

,日韩欧美亚洲国产福利在线观看,黄色视频视频视视视视视视视视视,大石纱季最经典。

??时事3：免费观看一及片

??11月23日,长沙：“00后”外籍男美人鱼火“出圈” 刚柔并济徜徉水下世界,

　　潮落潮起，花谢花开，承前启后，继往开来。高二的学弟学妹们，你们准备好了吗?过去的一年，你们在学业上取得了辉煌的成绩，大红榜上还贴着你们骄傲的讯息，而今，我们接过了高考的接力棒，而你们也将成为明天的栋梁。不要再一味的沉浸于过去而沾沾自喜，也不要一味地哀叹过去的虚度时光，须知：奋力攀登，绝顶风光无限美;固步自封，前功尽弃徒悲伤。惜取现在的点点滴滴，惜取你珍贵的少年时，在书山上辛勤地跋涉，在学海中快乐的行舟。衷心地祝愿你们，再接再厉，努力拼搏，欲与天公试比高，一年更比一年好。

,韩国日本黄色视频,超大胆优优人体艺术国模吧,美女在我两腿中间。

??11月23日,画框中的二十四节气——大雪,

　　我们真诚的期望：通过入住嗨喽酒店，能进一步加深您对我们的了解，增进我们之间的深厚友谊，使我们能时刻以您的需求为出发点，更好的为您提供优质、快捷、高效的服务;同时，也期盼您对本酒店的服务和管理提出宝贵的意见和建议，我们将不胜感激!

,4399黄色毛片网站免费播放,亚洲国产v高清在线观看综合,秘 不良研究院在线入口。

??时事4：色情片在线观看

??11月23日,“碳”路先行｜生态灵山岛：建设“负碳海岛”守护绿水青山,

　　小不点见到毛球浑身金色毛发炸立，起初还惊异，可忽然间他亦通体发凉，感觉一阵悚然，这是一种本能使然，并非真的看到了什么。

,jiZZ免费网站,99久久精品国产免,黄色网站入口视频。

??11月23日,“赣鄱粮仓”收粮记：智能守护科技收储,

　　我相信在我们的共同努力下，我乡小学毕业班教育教学质量将会有力提高，更相信我们在坐毕业班老师不负众望，团结协作，为自己所做努力收到最好回报而不懈努力！

,国产精品一级18一区二区,撕掉内裤强摁做开腿呻吟,黄色视频最好看最刺激的真实真人真实的黄色视频一级二级特级。