业界首个高质量原生3D组件生成模型来了!来自腾讯混元3D团队。
现有的3D生成算法通常会生成一体化的3D模型,而下游应用通常需要语义可分解的3D形状,即3D物体的每一个组件需要单独地生成出来。
一般来说,组件式3D生成主要有2个应用场景:
1) 视频游戏制作管线: 在游戏中, 很多资产是要根据语意信息将其绑定不同的游戏逻辑, 比如,汽车模型应该能够被分解为主体和四个可滚动的轮子, 这样轮子是可以单独滚动起来的。所以组件拆分很重要。
与此同时,3D几何生成的下游链路,包括低模拓扑,UV展开等模块。这些模块处理很复杂的几何会变得困难,通过将复杂几何进行拆分简单的小组件,这种分而治之的策略,可以大大降低下游算法的处理难度。
2)3D打印: 这对3D打印行业也是不错的消息, 用户可以把组件一个一个打印出来然后再组装,像搭积木一样。
然而,现有的组件式3D生成方法通常缺乏足够的可控性,生成部件的几何质量不够理想,并且语义连贯性有限。
对此,Hunyuan3D-Part提出了一种用于打造可投入生产,几何质量高,可编辑,且结构合理的组件式3D生成新范式。
下面详细来看。
技术流程介绍
如下图所示,给定一张输入图片,团队首先使用Hunyuan3D的基模型获取整体形状(可以是V2.5或者V3.0)。
然后,将整体Mesh传递给部件检测模块P3-SAM,以获得语义特征和部件的边界框(bounding boxes)。
最后,由X-Part将整体形状分解为各个部件。
△图1. Hunyuan3D-Part组件拆分整体流程
其技术亮点在于:
1)提出了业界首个原生3D分割模型P3-SAM, 利用大规模高质量3D数据训练,摆脱对2D数据的依赖,大幅提高3D组件分割的精度和鲁棒性。
2)提出了工业级组件生成模型X-Part,重新定义3D组件生成可控性和生成质量的天花板。
技术展开介绍
以下为P3-SAM和X-Part的详细介绍。
原生3D分割模型P3-SAM
团队提出了一种原生3D的分割模型,称为Point-PromptablePartSegmentation,即P3-SAM。
该模型旨在实现对任意复杂三维物体的全自动分割,生成精确掩码并具备极强的鲁棒性。作为开创性的可提示图像分割工作,SAM为实现这一目标提供了可行的方案。
然而,本方法聚焦于自动实现精确的组件分割,并对SAM的体系结构进行了简化。团队未采用SAM中复杂的分割解码器和多类型提示,仅采用单一正点提示进行处理。
具体来说,如图2所示,P3-SAM包含一个特征提取器、三个分割头和一个IoU(交并比)预测头。
△图2. P3-SAM训练流程
PointTransformerV3作为特征提取器,并融合其不同层级的特征作为点级特征。输入的点提示和特征信息会被融合,并传递至分割头,用于预测三个多尺度掩码。同时,IoU预测头用于评估掩码质量。
为实现物体的自动分割,如图3所示,团队利用FPS(最远点采样)生成点提示,配合NMS(非极大值抑制)合并冗余掩码。点级掩码随后被投影到网格面上,从而获得部件分割结果。
△图3. P3-SAM自动分割流程
本方法的另一关键创新在于,完全摒弃2D SAM的影响,依赖于原生3D部件监督,进行原生3D分割模型的训练。
鉴于现有3D部件分割数据集规模普遍较小且缺乏详细部件标注,本方案开发了一套用于美术师创建网格的自动化部件标注流程,并据此生成了一个包含370万个高质量部件级掩码的三维网格数据集。
最终模型在该数据集上展现出优越的可扩展性,并实现了强鲁棒性、精确性及全局一致性的组件级分割。
X-Part:高保真且结构一致的形状分解
X-Part能够实现具有语义意义且结构一致的部件生成。目标是在给定物体点云的情况下,生成高保真、结构一致的部件几何体,同时保证对分解过程的灵活可控性。
如图4所示,首先利用P3-SAM得到组件的包围盒,点云语义特征。 为实现可控性提出了一个基于部件级提示的特征提取模块,利用P3-SAM包围盒作为提示,指示部件的位置和尺寸,而不是直接将分割结果作为输入。
与细粒度、点级分割提示相比,包围盒提供了一种更粗粒度的引导方式,有助于缓解对输入的过拟合。
此外,包围盒还为部分可见部件提供了额外的体积信息,从而有利于生成和可控性。
其次,尽管分割结果可能存在不准确,团队注意到高维点级语义特征并没有受到P3-SAM中聚类算法或预测头所导致的信息压缩影响,因此能够提供更准确的语义表示。
因此,团队将语义特征以精心设计的特征扰动方式引入到其框架中,这有助于实现有意义的部件分解。
△图4. X-Part训练流程
Benchmark定量对比结果
本方案在三个数据集上进行了效果评估:PartObj-Tiny、PartObj-Tiny-WT和PartNetE。
PartObj-Tiny是Objarvse的一个子集,包含8个类别共200个数据样本,并且都带有人工标注的部件分割信息。
PartObj-Tiny-WT是PartObj-Tiny的闭合水密(watertight)版本。
如表1(组件分割模型P3-SAM和现有工作对比结果)、表2(组件生成模型X-Part和竞品对比结果)所示,其分割和生成结果大幅超越现有工作。
可视化效果
团队还对模型的分割及生成效果进行了可视化。
下图为P3-SAM的分割结果:
然后是X-Part的生成结果:
下图为X-Part的生成结果, 左中右依次为输入图、混元3D V2.5生成结果、组件拆分结果。
下图为X-Part的生成结果和开源对比:
下图为X-Part的生成结果和闭源R模型对比:
体验地址及相关技术论文如下。
代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part权重: https://huggingface.co/tencent/Hunyuan3D-Part
P3-SAM论文及项目地址:https://arxiv.org/abs/2509.06784https://murcherful.github.io/P3-SAM/
X-Part论文及项目地址:https://arxiv.org/abs/2509.08643https://yanxinhao.github.io/Projects/X-Part/
体验入口:(轻量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Part(满血版)混元3D Studio:https://3d.hunyuan.tencent.com/studio
《棋牌娱乐游戏大厅排行》,《P6F3X2M7T9QJ8L1B4WZR》亿博注册
“扑克王app地址”
天和棋牌苹果版
……
09月23日
“至尊网app”沙丘2值得看吗?
↓↓↓
09月23日,雪鸮现身呼伦贝尔雪原,华体会登不上,澳门捕鱼游戏手机版下载,网投体育平台有哪些,至尊千炮捕鱼攻略版
09月23日,一场学生课程衍生出的展览 “尔滨·宝藏”让人眼前一亮,凤凰彩票app下载,AG真人电竞,纬来体育在线官网,beat365网址
09月23日,《可看香港》全国两会特别报道|港区全国人大代表文颕怡:建议加快推动粤港澳大湾区医院接轨国际标准,电竞游戏比分网,伯爵国外官网,AG亚游官网登录,qy千赢国际
09月23日|端午看房忙 中介一天带看六组|世界杯玩法|大富豪下载链接|ag真人app官网|凯发app官方网站
09月23日|父母与启蒙教练眼中的刘洋:用天赋与坚持铸就卫冕之路|真人斗地主2|易博体育官方下载|欧宝app最新|威尼斯人手机客户端登入
09月23日|李强同瑞士联邦主席阿姆赫德会谈|金宝慱体育|立享现金入口|188金宝搏备用网站|大发体育体育外围……
09月23日,中方回应七国集团外长会声明:奉劝改改甩锅推责的老毛病,彩神彩票网站,九游会登录中心,好乐国际棋牌斗地主真人游戏下载,万博手机版max登
09月23日,(巴黎奥运)走进法兰西体育场紫色跑道,千分秒之差何以呈现?,米乐入口登录,乐鱼官网登录地址,永利体育登录官网,完美体育平台官网下载
09月23日|中国香港泳手何诗蓓返港:享受比赛、没有遗憾|千亿手机官网娱乐首页|新宝在线下载安装|最新版本的满贯捕鱼|十博10BET欢迎您
09月23日,“红通人员”王国庆骗取贷款案一审开庭,十博体育app下载,宝马会注册彩金,m8体育app2019专业平台,巴黎人导航
09月23日,消失的野味在网上卷土重来 多措并举禁食野味,亚星娱乐场官网,E世博app平台,大众娱乐,澳门匍京娱乐场
09月23日,美国遭遇大规模冬季风暴 多地迎来恶劣天气 ,leyu乐鱼娱乐电竞,k1体育赌博,188体育是哪个公司,伟德体育app
09月23日|第二届“良渚论坛”将启幕 汇聚五大洲63个国家和地区嘉宾|华体会投注网|365亚洲官方|pg电子棋牌有哪些平台|彩投网app官网
09月23日|(文化中国行)“中国第一座公共博物馆”南通博物苑为何取名“苑”?|必威手机端官网登录|365bet唯一授权|天博体育官网APP在线|永利体育在哪开户
09月23日|第29届沃尔沃高尔夫中国公开赛落幕 奥代吉夺冠|哪个反水最高|星际扑克网页注册|西甲买球平台|金宝搏188d网址
韩国3比1巴林,大连一烤肉店用玉米粒作燃料|重达2492克拉!博茨瓦纳发现世界第二大钻石|线上百家乐|eb007|KY棋牌APP|禁肖图《另版》
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺