2025-09-23 05:42:38 8,821次浏览

衡宇 发自 凹非寺量子位 | 公众号 QbitAI

刚刚，Meta FAIR推出了代码世界模型！

CWM（Code World Model），一个参数量为32B、上下文大小达131k token的密集语言模型，专为代码生成和推理打造的研究模型

这是全球首个将世界模型系统性引入代码生成的语言模型。

与现有代码大模型相比，CWM最与众不同的一点在于，它不仅能生成代码、理解语义。

更关键的是，它“懂得”代码如何执行，能模拟代码运行过程中变量的状态变化与环境反馈，从而推动代码理解、调试乃至规划的整体能力提升。

也就是说，它具备接近人类程序员的思考能力。

在多个代码与推理任务上，CWM均有出色表现，譬如其在SWE-bench Verified得分65.8%，领先所有开源同规模模型，已接近GPT-4级别。

更重要的是，Meta FAIR这次开源了模型代码、训练细节以及多个阶段的权重检查点，诚意十足。

有人给LeCun留言问：

“你不是一直认为语言模型只是AI道路上的一个支线（LLMs are an off ramp），怎么又推出了以语言模型为基础的世界模型？”

LeCun轻松回复称：

是的，不过咱现在讲的是编程，不是ASI哟～让大模型“懂动态执行”

CWM的诞生，直击当前大模型在代码生成中的一大痛点：

尽管现有大模型已经具备写代码的能力，但代码执行效果并不稳定，生成内容难以调试、不可执行，甚至存在隐藏逻辑错误。

FAIR团队认为，其根源在于大模型只是把代码当作文本来预测。

它不理解代码会如何运行，对变量状态的变化、函数调用的副作用一知半解（甚至一无所知）。

在FAIR团队看来：

如果希望模型像程序员一样思考，就必须教会它代码执行的“世界状态”变化。

因此，CWM首次在训练过程中引入代码世界建模（code world modeling）的概念，明确让模型学习“代码运行过程中，程序状态如何一步步演变”。

这意味着，CWM的理解维度，从静态文本跃迁到了动态执行。

Meta FAIR专攻AI与代码生成的资深研究科学家，也是CWM的资深核心贡献者Gabriel Synnaeve在上分享了CWM追踪执行计算”strawberry”中”r”个数的代码的例子：

你可以把它想象成一个可以设置为任何初始帧状态的神经‘pdb’，推理可以作为工具在标记空间中查询。

相较于传统代码大模型生成token接token的静态预测，CWM在三大能力有所升级——

第一，代码执行模拟。

CWM可以逐行模拟代码执行过程，预测每一行代码如何影响变量状态，甚至提前判断出执行中的潜在错误。

这种能力为构建“神经调试器”提供了可能。

在CWM的推理过程中，变量状态可以随代码运行不断更新。

它甚至可以模拟终止条件、循环展开、边界情况，从而更精准地理解程序逻辑。

第二，自我调试与修复。

不止会写代码，CWM还能自测、修错。

它能够在生成代码后自动构造测试用例，并在发现代码失败后用多种修改路径来尝试自我修复。

整个流程模拟了人类程序员常见的开发闭环：写→测试→改→再测。

第三，推理与规划能力。

面对复杂问题时，CWM还能进行推理与规划。

例如，在编程竞赛或数学任务中，它可以根据问题描述分析步骤、规划函数结构，再结合执行预测逐步生成并验证代码，展现出多轮逻辑推理能力。

CWM模型信息：参数、架构、性能一次看全

CWM的模型架构采用了64层的decoder-only Transformer，参数规模为32B。

它支持131k tokens的长上下文输入——这大幅拓展了复杂项目、多文件代码、文档上下文的处理能力。

相对应的，Attention结构采用了局部+全局交替机制，兼顾效率与上下文覆盖。

FAIR提供了以下3个checkpoints，供研究人员使用：

CWM预训练模型：例如用于新的后训练方法。CWM SFT：例如用于强化学习研究。CWM：例如用于推理时间扩展。

在与多个一线模型的评测对比上，CWM成绩如下：

SWE-bench Verified得分65.8%，领先所有开源同规模模型，接近GPT-4级别；LiveCodeBench v5得分68.6%，展示高复杂度编程任务上的准确性；Math-500得分96.6%，AIME 2024模拟题达76.0%；Terminal-Bench得分26.3%，高于Gemini 2.5 Pro；Aider Polyglot（多语言代码生成）得分35.1%，与Qwen3-32B相近。

综合来看，CWM在理解、生成、验证、修复等多个环节上，都有不俗表现。

FAIR团队称CWM验证了“代码世界建模”对提升推理与代码生成的价值。

Gabriel Synnaeve表示：

我对我的CodeGen团队所做的工作感到无比自豪！这个团队由博士生和经验丰富的资深员工组成。我们所有人都齐心协力，全力以赴，绝不将任何问题归咎于他人。整个Meta AI社区都为此共同努力。非常感谢整个领导层始终如一的支持。

三阶段训练流程，与数据集构建

CWM分三阶段进行训练——

第一阶段，预训练阶段（Pretrain）。

在这个阶段，CWM使用了8T tokens的数据进行通用语言与代码建模训练。

其中代码占比约30%，上下文长度为8k token。

第二阶段，中期训练阶段（Mid-train），这也是CWM最具特色的一步。

在这个阶段，模型引入了5T tokens的世界建模数据，用于训练模型识别“代码运行过程中，程序状态如何变化”。

这部分核心数据类型包括：

Python执行轨迹数据来自数千万函数调用与代码提交，记录每一行代码执行时变量的值如何变化；ForagerAgent数据模型驱动的智能体在真实Docker环境中运行代码，修复Bug，执行任务，生成真实交互轨迹（共300万条）；自然语言描述版本将执行过程转化为自然语言，便于泛化迁移。

也是在这一阶段，CWM的上下文能力扩展到了131k token，支撑对大型项目和代码流程的完整建模。

第三阶段，后训练阶段（SFT+多任务RL）。

最后，CWM进行了100B tokens的监督微调训练（SFT）和172B tokens的多任务强化学习（RL）训练。

训练任务覆盖了真实软件工程任务（如SWE-bench）、编程竞赛问题（CodeContests等）、数学推理题目（如AIME模拟题、MathQA）。

在这一阶段，FAIR团队使用异步RL机制、分布式环境以及自举方法，提升了模型在多环境、多任务间的泛化能力。

基础设施方面，CWM训练使用了FlashAttention-3、FSDP+TP并行策略，并采用fp8低精度加速。

Meta FAIR强调其训练过程遵循了Frontier AI Framework中的前沿AI安全框架。

结果表明，CWM不会对网络安全、化学、生物等高敏感领域构成滥用风险。

此外需要注意的一点是，当前CWM的世界建模数据仅支持Python语言，尚未覆盖C++、Java等主流语言或符号执行任务。

不过，研究团队表示未来将探索多语言扩展，有望形成自动化编程助手的通用框架。

Two More Things

BTW，如果你想使用使用CWM，有两点需要特别注意：

第一点，CWM主要面向代码理解与复杂推理研究，没有做RLHF。

因此，它并不适合对话任务或作为Chatbot使用。

第二点，CWM明确定位是“研究用”，即仅供非商业研究使用。

Anyway，总之，CWM团队选择了模型开源、数据透明、训练复现全开放。借此也向研究社区抛出一个重要问题：

如果大模型能理解世界，它能成为更好的程序员吗？

独家快讯 LeCun团“队开源首个代码世界模型：能生成代码还能自测自”修_新万博体育

新万博体育

图片 LeCun团队开源首个代码世界模型：能生成代码还能自测自修
首页 > > 中国大型长征文化沉浸式演艺剧目《伟大转折》在贵州遵义首演
LeCun团队开源首个代码世界模型：能生成代码还能自测自修

LeCun团队开源首个代码世界模型：能生成代码还能自测自修

「统计」P6F3X2M7T9QJ8L1B4WZR

408.7MB
版本V3.6.74
下载APK 高速下载
下载裸体被❌到爽网站安装你想要的应用 更方便 更快捷 发现新万博体育：
喜欢 77%好评(68530人)
评论 27
LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图0 LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图1 LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图2 LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图3 LeCun团队开源首个代码世界模型：能生成代码还能自测自修截图4
详细信息
  • 软件大小: 64097.28793MB
  • 最后更新: 2025-09-23 05:42:38
  • 最新版本: V1.54023.7
  • 文件格式: apk
  • 应用分类:ios-Android 18🈲视频
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 7.82151以上
应用介绍
一，cos原神小草神裸体❌开腿，小哈宝调mvk
二，重口黄暴玩烂h拳交，云韵裸体图片
三，人妖TuBEHD╳㐅╳HD青少年，男男涩涩🔞猛顶
四，女人洗澡㊙️免费看的视频，刻晴爆乳被❌🔞🔞㊙️软件
五，美杜莎女王㊙️让男人桶爽，中国屁股眼交HD
六，双男主日漫八尺大人漫画,樱桃直播5775•tv，妓女丶自慰丶偷窥丶另类
七，原神♥禁漫♥天堂♥
【联系我们】
客服热线：134-2881-646
加载新万博体育：
版本更新
V3.7.75
女人下部㊙️照拉屎
  • 老师打开🍑让我❌视频

    小太正Gay初毛初精❌❌

    婷婷包ZZZ在线播放

    36310.36MB
    104好评

    水咲萝拉AV无码播放视频

  • 成色18k.8.35mb

    女王手交S榨精寸止手交

    女生啊～你tm别㖭了蓝莓

    74720.70MB
    238384好评

    小🐤🐤戳进🍑无遮挡电影

  • 美女双奶头被绑死sm绳艺白丝

    黑料绿帽社区91海角51在线

    欧美ZC0O人与善交

    13.71MB
    318好评

    我趁老师睡觉摸她奶脱她内裤照片

  • 日本❌❌奶头❌❌裸体酒店

    小🐤🐤戳进🍑是什么感觉

    欧美大片颜色指数六颗星

    53.28MB
    271好评

    五十路近亲祖母

  • 🔞无遮挡裸光屁屁打屁股调教

    福利姬

    李毅吧动态第270期内容

    71.98MB
    704好评

    qq黄群秒进qq群2023

  • 疯狂喷水自慰爽www竹菊

    女学生喷浆❌❌❌软件动漫

    白袜足控免费视频Xx

    83.74MB
    336好评

    小初生被到爽无套

  • 国V精品㊙️久久V88AV

    欧美⭕⭕⭕⭕XXXX医生

    少司缘裸体开腿裸体小说

    23.78MB
    106好评

    草妹社

  • 九色丨9lpoNY丨白丝

    俩个美女❌狂揉❌网站

    🔞无遮挡裸光打屁股视频

    50.89MB
    926好评

    王馨瑶㊙️无遮挡胸

  • 美女的洗澡㊙️裸体视频

    少妇高潮灌满白浆毛片免费看

    18禁美女裸体被❌吸乳羞画原神

    83.24MB
    561好评

    CHINESEGAYBIGCOCKS南京大雕

  • 崩铁云璃被啪高潮污文

    女人狂躁男人㊙️免费下载

    白丝女仆❌❌自慰网站

    83.39MB
    756好评

    贞子～婬辱のAV动漫

  • 骚妇浓毛ass撒尿pissing

    再来一次好吗动漫免费观看

    HD欧美❌❌❌❌❌

    20.25MB
    1546好评

    失禁…顶弄…触手男男

  • ❌到爽🔞巨乳视频'

    田朴珺被揉到高潮下不了床

    雏田被鸣人扒开腿狂❌动漫

    87.64MB
    373好评

    95久久久久精品无码一区二区

  • 火影爆乳18禁🔞动漫视频

    美女跪床被

    扒开美女❌狂揉视频怎么做

    65.61MB
    744好评

    t66y技术讨论区2024

  • 免费看H无码动漫入口

    忘川49秒生孩子视频

    🈲18❌❌❌OOO美女

    54.70MB
    751好评

    日本老师撒尿无遮挡㊙️

  • 下面好湿～想要～深一点视频

    欧美接受❌❌❌高潮手拳

    猛男白袜打网站

    57.46MB
    684好评

    艳。女高潮汇编

  • free性zoz0交体内谢3d

    DH-NVD0605H-4K

    美女扒开腿裸私密无遮让人摸

    24.41MB
    358好评

    小樱疯狂❌喷水自慰爽

  • 玖辛奈被❌到深处喷水的

    A片夜夜爽爽AAAAA片

    欧美成人午夜无码A片秀色直播

    13.66MB
    314好评

    扒下美女的内衣👙挠痒痒网站

  • 二次元人物与动漫人物结合的动漫

    挠脚心+折磨+抹油+哭喊+全身

    国产十八🈲熟妇AV成人一区

    84.88MB
    219好评

    鞠婧祎裸乳被爆❌白浆

  • 体育生白袜自慰出精🔞小说

    同人裸体被❌漫画

    男军人自愿脱裤子露蛋网站

    45.80MB
    736好评

    性爆乳❌巨乳

  • 日本掀裙子露白内裤打屁股

    扒开➕揉➕羞耻➕强制➕

    国产高潮的无套A片激情视频大全

    10.98MB
    188好评

    魅魔居然是OVA拯救精灵森林

  • 小🐤🐤戳进去无遮的视频

    一级A片囗交吞精视频

    女性私密紧致情趣玩具

    44.46MB
    366好评

    躁BBB躁BBB躁BBBBBB

  • 日本全体裸体洗澡无码视频

    JAV HD milk Online ✅

    免费真人视频网站

    91.79MB
    203好评

    海贼王娜美裸体被❌叫爽

  • 美女的下部㊙️真人图片

    无尽❌大胸❌触手樱花

    爱奇艺黑料爆料站最新版

    30.75MB
    909好评

    大精鱼网页版1破解

  • 好爽好紧再深一点3p

    翁H狠狠躁死你h

    奇优影院手机❤️理论片

    30.79MB
    549好评

    快C我啊〜用力〜嗯〜轻一点软件

  • 欧美同性猛男Gay 同志

    乳夹 调教 鞭打 惩罚 sm

    免费播放白峰美羽主演的电影大全

    29.18MB
    124好评

    鸣人强❌小樱微博

  • Free性饿老太太

    赵今麦裸体被c到高潮

    여자ㅈㅇ전문日本ポルノビデオ

    70.22MB
    453好评

    成人免费视频🔞国产免费菠萝

  • 休内谢精一汇编五内容概括yy4060高清影院理❤论 title="女学生打屁股露白内裤" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    玖辛奈被鸣人❌❌黄漫画

    原神涩涩同人❤❌18网站

    详情
  • 原神胡桃18❌AV黄漫嗯～啊～快点🌿死我男男 title="乌女兵骑炮弹在线观看" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    cekc学生виДeo

    新田雪主演在线观看

    详情
  • 初音未来洗澡光胸光屁屁无遮挡pokemon同人婬乱漫画 title="赵美延的婬奴生活小说" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    亲嘴还扔衣服的

    乳欲の馆～无删减在线观看

    详情

王者荣耀姬小满身材 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 成人男模🔞高潮 3天前
    吴艳妮脱了内裤求被c
  • ❌c🐻黄扒衣服做小说鞠婧祎 1天前
    欧美男男GAy露j自慰HD
  • 性饥渴老妇XXXⅩOOOO月经 5天前
    4i小狗被爆炒
  • 桃子视频成人看片app 7天前
    🌿我～慢点～好爽好大～炮机
  • 原神涩涩同人18网站刻晴 3天前
    成人🔞福利视频在线观看
  • 张婉莹裸体扒开腿自慰 1天前
    纳西妲被吸乳脱内内
  • 99久久国产精品麻豆开元 3天前
    欧美熟女群交Videos
  • 🌸国产极品🌸白皙爆乳 6天前
    小舞被🔞黄漫免费
  • 美女露出双乳㊙️ 1天前
    奶头和荫蒂添的好爽
  • 赵云把貂蝉弄到高潮漫画 7天前
    国产做受❌❌❌高潮东京热
巴巴塔扒开腿做×同人3d
医生扒开腿揉花蒂调教H -安卓手机网上最贴心的Android软件应用平台! 版权所有：牡丹生活 当前域名www.zuonidemaoseo.com 蜀ICP备2023036221号-2