(5分钟快速体验)日本英文名黄漫苹果版v08.3.59.18.25.0.94.369-2265安卓网_新万博体育

新万博体育

图片
搜索
猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

抖音SAIL团队联合港中文MMLab推出SAIL-Embedding

2025-11-03 20:45:46
来源:

猫眼电影

作者:

张栋博

手机查看

  猫眼电影记者 杨均巨 报道Q8X2R7L1T4J5M9B6W3

在短视频推荐、跨模态搜索等工业场景中,传统多模态模型常受限于模态支持单一、训练不稳定、领域适配性差等问题。

近日,字节跳动抖音 SAIL 团队联合香港中文大学 MMLab 提出 SAIL-Embedding——一款专为大规模推荐场景设计的全模态嵌入基础模型,不仅实现了视觉、文本、音频的统一表征,更在抖音真实业务场景中带来显著效果提升,相关技术报告已正式公开。

论文标题:SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model技术报告:https://arxiv.org/pdf/2510.12709HuggingFace:https://huggingface.co/BytedanceDouyinContent/collections

SAIL-Embedding 能力概览

突破传统局限:

全模态 + 工业级优化双管齐下

现有多模态嵌入模型主要分为两类:以 CLIP 为代表的双塔架构,虽高效但模态融合浅;以 MLLM 为基础的融合架构,虽语义能力强却多局限于图文模态。SAIL-Embedding 则从根源上解决这些痛点:

全模态输入:覆盖短视频核心信息维度

不同于仅支持图文的传统模型,SAIL-Embedding 可处理任意模态组合——包括视觉模态侧的视频关键帧/封面、文本模态侧的标题/标签/OCR/ASR 文本、以及音频模态侧的背景音乐/语音,以适配抖音等短视频平台的信息结构。例如,在视频检索任务中,模型能同时利用画面内容、字幕文本与背景音效,避免单一模态信息缺失导致的语义偏差。

SAIL-Embedding 架构图

训练稳定性升级:动态难负样本 + 自适应数据平衡

为解决大规模训练中的噪声干扰与数据分布不均问题,团队提出引入两种策略:

动态难负样本挖掘:通过 F1 分数自适应确定相似度阈值,筛选「难区分」的负样本(如主题相似但内容不同的视频),让模型更聚焦细粒度语义差异,避免简单负样本导致的训练低效。

自适应多源数据平衡:基于 Sinkhorn 算法计算训练集与验证集的分布相似度,自动分配各数据源权重,减少人工调参依赖,同时兼顾数据质量与多样性,缓解工业数据与开源数据的领域鸿沟。

创新训练体系:

从内容理解到推荐适配的全链路优化

SAIL-Embedding 的训练并非单一阶段,而是一套覆盖「基础能力-任务适配-推荐增强」的多阶段体系,确保模型既能理解内容语义,又能贴合真实推荐场景需求:

内容感知渐进式训练:从通用到领域的精准过渡

训练分三阶段逐步深入:

第一阶段:用超 10B 样本的大规模多模态数据(含图文音)预训练,奠定基础语义理解能力;第二阶段:聚焦与下游任务(如视频检索、标签分类)对齐的高质量数据,优化任务适配性;第三阶段:引入难负样本微调,强化模型对相似内容的判别能力。

内容感知的渐进式训练

推荐感知的增强训练:融入用户行为信号

针对推荐场景,团队将多模态表征向用户历史序列表征和线上 ID 表征两个维度进行知识蒸馏以融于用户协同行为信息:

序列到物品蒸馏:通过多维度的用户历史兴趣序列筛选机制,利用用户具有正向交互行为的历史观看序列(如最近 10 个观看视频)与目标视频的关联,让模型学习用户兴趣的时序延续性;

ID 到物品蒸馏:对齐推荐系统中的多元化 ID 表征嵌入,将用户偏好信号(如点击、关注等)融入多模态表征,使嵌入结果更贴合推荐侧应用需求。

协同感知的两阶段推荐增强训练

实测性能:

刷新多任务 SOTA,抖音业务指标显著提升

无论是标准数据集的基准测试,还是抖音真实场景的在线实验,SAIL-Embedding 均展现出卓越性能:

离线任务性能:多场景检索与分类任务综合领先

(1) Item-to-Item Retrieval (物品到物品检索)

在 21 个涵盖内容理解、搜索,以及协同感知的多任务场景下,SAIL-Embedding 显著优于 CLIP-based 模型与 VLM-based 的模型:

(2) Query-to-Item Retrieval (查询到物品检索)

在 9 个涵盖检索为导向和分类为导向的多任务场景下,模型的 AUC 与 Recall 指标均取得领先:

在线落地效果:抖音多场景推荐指标显著提升

在抖音 Feed 流、冷启动、抖音精选、消息推送等核心场景中,SAIL-Embedding 通过潜入向量与嵌入离散化的语义 ID 两种形式赋能推荐全链路,带来了一致的 LT 和 AUC 增益,体现了其显著的业务应用潜力。

SAIL-Embedding 的核心价值在于,它不仅是一款性能领先的全模态嵌入模型,更构建了一套从学术研究到工业落地的完整解决方案:通过全模态架构突破输入局限,用动态数据策略解决训练稳定性问题,以推荐增强训练填补产业鸿沟,最终在抖音真实场景中验证了技术价值,在短视频、直播等富模态推荐场景中,具备极强的推广价值。

抖音 SAIL 团队在未来将进一步探索 VLMs 与推荐系统的深度融合,例如通过生成式任务注入推荐知识,让模型不仅能「理解」内容,更能「预测」用户偏好。

??时事1:国产精选AV网站

??11月03日,以新质生产力推动高质量发展 智库专家山西临汾共论中国经济下一程,

  (十三)深入分析案件情况,做好案情通报。建立和完善案件、案件风险信息合账制度,做好案件、案件风险信息的登记、汇总和统计分析工作。认真分析案发形势,及时总结案发特点,研究案发趋势,提出案防要求,提高案件风险识别、监测、分析能力,定期开展案情通报。

,女人裸体一级牲交视频。

??11月03日,第九届亚洲冬季运动会志愿者出征,

  在你思考之前,先来听听一个真实的故事。

,全国男人的天堂之天堂网,黄片一级免费视频,www.性交网。

??时事2:91亚洲精品在看在线观看高清

??11月03日,北京市政协十四届二次会议举行第二次全体会议,

  明明是一株植物,但是却能祭出这等霸道的赤剑,这等剑形花蕊可称为惊世利器,无坚不摧,所有猛兽与异禽的攻击都放缓了。

,满十八岁免费高清完整版观看,爱豆传媒国产剧沈娜娜校花,看黄片免费看。

??11月03日,重庆高温:电网负荷创下历史新高,

  坚持高起点编制规划,分阶段实施规划,严要求管理规划,多角度宣传规划,城乡一体的规划管理模式初步形成。规划编制步伐明显加快,完成了白河新区等新区开发项目、商业步行街等老城改造项目以及大桥路改建工程等道路景观建设项目的规划编制与实施,全县控规面积占规划区6以上,1000平方米以上地块建设项目修建性详规覆盖率达100,各项规划指标均居全市前列。城市配套功能得到完善,对中心城区农贸等各类专业市场和垃圾点等市政配套设施进行了规划选址,对部分规划项目进行了规划设计,对预留的绿地等公共用地严格规划控制,进一步优化了人居环境。规划管理成效显著,全年共查处各类违法建设案件120余起,依法拆除违法建筑2100余平方米;共查处公路沿线违法占地284宗,面积344?4亩,从而规范了用地和建设行为,为建设高品位的城镇打下了基础。

,国产高潮视频,班主任脱丝袜自慰流白浆,国产黄页网站在线观看国产。

??时事3:欧美猛男军人自慰Gay

??11月03日,云南镇雄突发山体滑坡47人失联 搜救工作紧张有序开展,

  ②率先垂范,树立威信。学校领导班子,要做教师的表率,做服务、工作的表率,做勤政、廉政的表率。从五个方面不断提升自己的素养和领导水平:一是 政治品质和道德修养应堪称教师表率,在学生评教和教师测评中要达到优秀;二是具有较好的业务知识和 组织能力,教学成绩要能处在同学科的平均水平以上,分管工作要能出色完成;三是有较好的工作作风,深入实际,能中肯地自我批评,勇于承担责任;四是知人善用,有知人之明、用人之胆、爱人之心和服人之德,;五是有服 。 务意识,有强烈的事业心和责任感,积极进取,敢为人先。

,免费看欧美一级性交黄片,国产三级精美国产,髙清无码一级爱a视频。

??11月03日,人类第11次成功预警小行星撞击 我国再次开展多站点组网观测,

  虚神界一片喧嚣,到处都是嘈杂声,皮孩子现身补天阁这则消息如陨星坠落大海,激起轩然大波,很快成为了热话题。

,在线不卡毛片,在线播放你懂亚洲你懂的,色综合色欲色综合一区。

??时事4:阳兴网络你我共健。黄色网

??11月03日,民族舞剧《二十四时舞》长沙展演 演绎30余项苗族非遗,

  “子陵别乱来,太古神山可不是能乱闯的地方,也许会栖居有真犼、金翅大鹏这类无上的生物,会丢掉性命的!”

,宁荣荣 爆乳 无遮挡,亚洲乱色熟女一区二区三区,一級黃片真人視頻。

??11月03日,不折不扣抓落实,  6月17日,澎湃新闻(www.thepaper.cn)从陈政高同志多位亲友处获悉,住房和城乡建设部原部长、党组书记陈政高同志,因病于2024年6月16日在北京逝世,享年72岁。,免费网站性爱视频,最新先锋影音资源网址,欧美专区日韩黄。

责编:鲁洪·艾

审核:朱福寿

责编:卢汉

相关推荐 换一换