猫眼电影
猫眼电影记者 陈剑飞 报道Q8X2R7L1T4J5M9B6W3
克雷西 发自 凹非寺量子位 | 公众号 QbitAI
Meta的“分割一切”,这回给3D建模带来了新的范式——
现在,图像分割得到的切片,可以直接转换成3D模型了。
只要一张图,就能对里面的每个物体进行单独重建,有遮挡也不用怕。
这就是Meta MSL实验室刚刚发布的三维重建模型SAM 3D。
与此同时,MSL实验室之前投稿ICLR 2026的分割模型SAM 3,也终于露出了真容。
之前SAM 3就在一般图像分割的基础上增强了语义理解,论文一公布就备受关注。
现在又上新SAM 3D,许久不见出成果的Meta AI,总算是打出了一组王炸。
分割结果生成3D模型
SAM 3D家族包含两个新模型——SAM 3D Objects,用于物体和场景重建;以及SAM 3D Body,专注于人体,这两个模型均能够将静态2D图像转换为精细的3D重建模型。
SAM 3D Objects能够从单张自然图像中实现基于视觉的3D重建和物体姿态估计。
即使存在小物体、间接视角和遮挡现象等障碍,依然可以进行重建,弥补了仅凭像素不足以完成重建的不足。
SAM 3D Objects的性能显著优于现有方法,能够很好地泛化到多种类型的图像,并支持密集场景重建。
在与人类用户进行的直接对比测试中,其胜率至少达到其他领先模型的5倍。
类似地,SAM 3D Body在涉及不寻常姿态、图像部分被遮挡或多人等复杂情况下也依然能对人物进行建模。
相比其他人物重建模型,SAM 3D Body同样取得了SOTA成绩。
同时,Meta还与艺术家合作构建了SAM 3D艺术家物体数据集SA-3DAO,用于评估基于视觉的物理世界图像三维重建能力。
不只分割,还更懂语义
再来看SAM 3。
传统模型通常专注于使用固定的文本标签集进行对象分割,这限制了它们处理用户请求的能力,因为用户请求往往涉及分割预定义列表中不存在的概念。
这意味着现有模型可以分割像“人”这样常见的概念,但难以处理像“红色条纹伞”这样更细微的概念。
SAM 3则通过引入可提示概念分割功能克服了这些局限。
它能够查找并分割由文本或示例提示定义的概念的所有物体,消除了固定标签集的限制。
你可以直接通过文本指令,让SAM 3从图像中找到符合描述的物体。
也可以处理稍复杂的提升,例如输入“条纹猫”,SAM 3自己就能找出并分割图中所有带条纹的猫猫。
除了文本,还可以直接在图中选中某个物体,让SAM 3找到所有同类。
为了评估大词汇量检测和分割性能,Meta还创建了“基于概念的任意分割”(SA-Co)基准测试,用于图像和视频中的可提示概念分割。
与之前的基准测试相比,SA-Co要求模型识别更大的概念词汇量。
实验结果表明,SAM 3在可提示分割任务中刷新了SOTA。
在LVIS数据集的零样本分割任务中,SAM 3的准确率达到了47.0,比此前的SOTA 38.5提升不少。
在新的SA-Co基准测试中,SAM 3的表现至少比基线方法强2倍。
另外,在针对视频的PVS(Promptable Visual Segmentation)任务中,SAM 3的性能也优于SAM 2。
SAM如何实现?
SAM 3的核心架构建立在一个共享的Perception Encoder视觉骨干网络之上。
该骨干网络同时服务于检测器和追踪器两个模块,确保了图像特征提取的一致性与高效性。
其检测器部分基于DETR架构进行了改进,引入了包含文本提示和图像示例的提示Token。
这些Token与图像特征在融合编码器中通过交叉注意力机制进行交互,随后输入到解码器中生成对象查询。
为了解决开放词汇检测中常见的幻觉问题(即模型在目标不存在时仍强制预测出物体),SAM 3创新性地设计了一个Presence Head来解耦识别与定位任务。
该模块引入了一个可学习的全局存在Token,专门负责预测目标概念在当前图像中出现的概率,而原本的对象查询则专注于在假设目标存在的前提下计算局部匹配概率,最终的置信度得分为两者的乘积。
在视频处理方面,SAM 3继承并扩展了SAM 2的记忆机制,即通过追踪器利用记忆库存储过去帧的空间特征,将上一帧的掩码传播到当前帧。
为了处理新出现的物体,系统使用一种匹配函数,基于IoU等指标将追踪器预测的掩码与检测器在当前帧新发现的对象进行关联和更新,从而实现跨帧的身份保持与新目标的自动捕获。
SAM 3D Objects的核心则是通过两阶段的生成模型来实现几何与纹理的逐步构建。
首先,系统使用DINOv2编码器分别提取裁剪后的物体特征和全图上下文特征作为条件输入。
第一阶段的几何模型采用了一个参数量达12亿的流匹配Transformer,并结合了Mixture-of-Transformers(MoT)架构,主要用于预测物体的粗糙体素形状以及其在相机坐标系下的旋转、平移和缩放等6D布局参数。
当粗糙的几何结构确定后,第二阶段的纹理与精细化模型接手工作。
该模型基于稀疏潜在流匹配架构,仅从第一阶段预测的粗糙形状中提取活跃体素进行处理。
这种稀疏化处理极大地提高了计算效率,它可以细化几何细节并合成高保真的物体纹理,最终通过一对VAE解码器将潜在表示解码为网格(Mesh)或3D高斯溅射以适应不同的渲染需求。
为了支撑这一生成过程,Meta构建了一个独特的model-in-the-loop(MITL)数据引擎。
由于人类难以直接标注3D形状,该引擎让模型生成多个3D候选结果,利用Best-of-N搜索策略由人类标注员从8个候选中选择最佳匹配项。
然后,基于点云参考对齐物体在场景中的位姿,从而低成本地获取了大规模且精准的图像-3D配对数据。
针对人体结构的SAM 3D Body模型,其核心在于摒弃了传统的Skinned Multi-Person Linear模型,转而采用Momentum Human Rig表示法。
这种表示法将骨骼姿态与身体形状参数显式解耦,避免了传统模型中骨肉粘连导致的调整失真问题。
在模型架构上,SAM 3D Body采用了一种可提示的编码器-解码器设计,支持输入二维关键点或掩码作为提示Token,与图像特征一起指导推理过程。
为了解决全身模型往往难以兼顾手部细节的痛点,SAM 3D Body设计了独特的双路解码器结构。
虽然身体和手部共享同一个图像编码器,但在解码阶段分流——
身体解码器利用全局特征和Momentum Human Rig Token预测全身的姿态、形状及相机参数;手部解码器则专门关注手部裁剪图像的特征,利用交叉注意力机制处理手部细节。
这种设计通过在Token层面融合全身与手部信息,使得模型既能通过身体解码器输出连贯的全身网格,又能利用手部解码器的输出来修正末端细节。
网友评价其精妙之处在于它并非凭空臆造几何图形,而是像人类一样,利用日常经验推断几何形状,这意味着混合场景理解从此普及开来,是真正意义上的基础模型具身化。
现在,成为开发者的最好时机已经来临了。
项目主页SAM 3:https://ai.meta.com/sam3SAM 3D:https://ai.meta.com/sam3dGitHubSAM 3:https://github.com/facebookresearch/sam3SAM 3D Objects:https://github.com/facebookresearch/sam-3d-objectsSAM 3D Body:https://github.com/facebookresearch/sam-3d-body论文地址SAM 3:https://ai.meta.com/research/publications/sam-3-segment-anything-with-concepts/SAM 3D Objects:https://ai.meta.com/research/publications/sam-3d-3dfy-anything-in-images/SAM 3D Body:https://ai.meta.com/research/publications/sam-3d-body-robust-full-body-human-mesh-recovery/
??时事1:斗球app官网入口苹果
??11月19日,“新”中有数新澳门,
现在已经是4 月中旬了,大家要对照年初定下的目标,看看离这个目标还有多远,然后寻找自身存在的问题,特别是作风方面的问题。目前最重要的就是要咬紧目标,鼓足干劲,把思想和精力聚集到狠抓落实上来。抓好落实,关键在人,核心在干部,在干部的工作作风上。一个地方与一个地方的竞争,很大程度上是干部素质的竞争,干部作风的竞争。近年来,我们通过学习江浙等先进地区经验,就强烈地感受到,我们的干部与浙江的干部比,有很大的差距,主要体现在抓发展的理念没有人家新,抓落实的作风没有人家实,困难环境下破解难题的能力没有人家强。我们千人桥区位和资源优势相对滞后,发展基础相对薄弱,这两年之所以取得了这么大的成绩,靠的是艰苦奋斗的作风,靠的是埋头苦干的精神,靠的是改革创新的魄力,靠的是优质高效的服务。总之一句话,靠的是人,是干部,是扎实的作风。大家都好好琢磨一下,同是一个环境,同是一样的地方,为什么有的村和单位镇上布置的工作项项能落实,事事能成功,而且有特色,但是有的单位和村,镇上布置的工作却没有多大起色。有的甚至是上级给他钱,也干不好事情。我镇的计划生育、村村通水泥公路和农业结构调整总体上应该是很不错的。但我们一年到头抓计生工作,一年到头讲计生工作,可是我们就是有少数村、少数干部就是抓不好,抓不到点子上去,一到检查就出问题。问题出来后,不从自身找原因,总是强调这样那样的客观原因。村规模要讲大,没有比重阳村再大的;人口多,有比重阳村再多的吗?为什么重阳村在镇上和县里组织的计生检查中,就是不出问题,这不是重阳村干部作风扎实,是什么?再说,我们村村通水泥公路工程,全镇50% 的村在实施,为什么有的村群众捐款踊跃,捐款达到90% 以上,而有的村几乎一分钱收不上来,这又能说明什么呢?这只能说明我们的一些干部工作没有做到家,方法不对路,措施不得力。
,九游会ag永久网址。??11月19日,南昌城区银装素裹 江西或迎本世纪以来最强降雪,
让我们用第一次热烈的掌声送别逝去的高一,送别过去的自我。
,足球新闻万博,希尔顿游戏8456,环球投注登录。??时事2:永城国际
??11月19日,海旅会携手文旅业者亮相台湾秋季旅展——来大陆,跟着潮玩去旅行,
仙桃树不高,银光闪烁,枝干蜿蜒,若虬龙蛰伏,上面结有两枚桃子,银白中带着淡金色,清香扑鼻。
,ag平台正规吗,凯发k8AG旗舰,金沙app下载客户端吗。??11月19日,【两会30秒】全国人大代表王旭:尊重差异、相信孩子,才能鼓舞孩子的梦想,
“够了,都去吧,我只看结果。”管事挥手,将这些人打法走。
,银河玖乐app,天博线路检测,优博官方网站。??时事3:环球注册送18
??11月19日,中国冰雪休闲市场热雪沸腾,
雨族,一位宗老叹气,竟然发生了这等祸事,实在想不到。真要彻查下去,雨族部分人注定会显得很不光彩。
,2026世界杯网上买球,火狐真人,亚洲十大体育app。??11月19日,人民论坛网评|人才培育当多管齐下,
4、加强协作组工作,全面提升档案工作水平。进一步加强和完善档案协作组工作,召开了市级机关档案协作组组长会议,认真总结工作经验,安排布置了今年,确保协作组工作的正常开展,为全面提升市级机关档案工作的整体水平起到了积极的推动作用。
,七肖中特,杏彩网页版在线登录,幸运快三彩票官网。??时事4:正版银河游戏中心
??11月19日,浙江金华文物资源总数列该省首位,
“你是来找柳神的吧,以前你来时就落在了它的树干上,这次是想让它帮你疗伤吗?”小不点问道。
,杏耀官方网站,九州外围,亚洲十大赌场。??11月19日,艺术家袁熙坤创作的顾拜旦雕塑在巴黎“中国之家”揭幕,
终于盼到了争“国防章”的时候了,盼着能争得“国防章”,盼着能学到新万博体育:的知识。
,澳门新葡亰官方APP,新百胜下载网址,牛宝体育app下载。责编:林思祖
审核:盖尔玛
责编:斯珀梅












