v4.206.5932 安卓漢化版
v1.804 最新版
v1.945 安卓漢化版
v1.546.8232.257775 安卓漢化版
v2.795.2473 安卓最新版
v4.646 PC版
v5.549 安卓最新版
v5.205 安卓版
v7.688 安卓漢化版
v2.809.2690.752785 安卓版
v3.755 安卓版
v3.355.6465.270483 PC版
v9.985.7828.517731 最新版
v4.987 IOS版
v3.43.1888 安卓漢化版
v2.11.9379 安卓版
v5.941.2309 安卓版
v3.91.5196.302989 IOS版
v4.427.3058 PC版
v4.843 PC版
v3.376.1719.667677 安卓最新版
v7.503 安卓版
v9.151.6433 最新版
v1.864.650.721548 IOS版
v3.44.8300 最新版
v3.415.4425.772190 安卓免費版
v8.196.3227 安卓免費版
v9.984 安卓最新版
v8.399.2913.403246 IOS版
v6.661.5404 PC版
v7.605.9488 PC版
v1.389.4371.813917 最新版
v7.110.4404.354236 安卓漢化版
v3.506.7323 PC版
v5.584.3544 安卓最新版
v7.698 安卓最新版
v8.73.9952.631682 PC版
v7.738.1811 安卓漢化版
v5.394.3230.115359 安卓免費版
v2.913 安卓漢化版
v6.661 PC版
v2.938.3247 安卓漢化版
v4.717.6555.166616 安卓漢化版
v7.972.1323 IOS版
v6.274 安卓版
v3.766.9782 安卓最新版
v8.199 安卓漢化版
v4.356.2273 安卓最新版
v2.372.5863.818191 安卓免費版
v3.265.3806.461326 安卓漢化版
v5.646.2896.975362 PC版
v6.827.5225.991615 最新版
v5.468.7075.114929 PC版
v5.439.8737.744441 安卓漢化版
v6.760.8594.159519 安卓版
v5.119 安卓漢化版
v7.793 安卓漢化版
v5.798.5978.290455 最新版
v2.491 安卓漢化版
v9.175.4288.278908 安卓漢化版
v6.892.713.4840 最新版
v7.396.3378.377640 安卓漢化版
v7.233.9998.233580 PC版
v3.259.7801.111074 安卓最新版
v6.794.7029.169896 安卓漢化版
v7.121 最新版
v7.822.5810.504331 安卓免費版
v6.351 安卓漢化版
v9.610 安卓版
v7.93.8553.184759 安卓最新版
v3.211.966.314668 安卓版
v4.403 最新版
v6.974.6881.47869 最新版
v5.497.1115 PC版
v6.0.176 安卓漢化版
v8.544.5410.576919 IOS版
v9.802 IOS版
v9.701.4532.837269 安卓最新版
v4.916.900.234379 安卓漢化版
v1.840.6781.843032 安卓最新版
nba买球app
本文第一作者为四川大学博士研究生刘泓麟,邮箱为tristanliuhl@gmail.com,通讯作者为四川大学李云帆博士后与四川大学彭玺教授。
一张图片包含的信息是多维的。例如下面的图 1,我们至少可以得到三个层面的信息:主体是大象,数量有两头,环境是热带稀树草原(savanna)。然而,如果由传统的表征学习方法来处理这张图片,比方说就将其送入一个在 ImageNet 上训练好的 ResNet 或者 Vision Transformer,往往得到的表征只会体现其主体信息,也就是会简单地将该图片归为大象这一类别。这显然是不合理的。
图 1:传统表征学习(上)与条件表征学习(下)的比较。传统的表征学习方法只能学习到一种通用的表征,忽略了其他有意义的信息;文章提出的条件表征学习能够基于指定准则,得到该准则下表现力更强的条件表征,适应多种下游任务。
此外,在各大电商平台,用户通常根据不同的标准(例如颜色、材质或场合)搜索商品。例如,用户今天可能搜索 “红色连衣裙”,明天搜索 “正装”,后天搜索某个全新的关键词。这对于拥有庞大规模商品的平台来说,手动打标签是不现实的,而传统的表征学习也仅仅只能获取到 “连衣裙” 这个层面的信息。
要获取图片中除了 “大象”、“连衣裙” 之外的信息,一个很容易想到的方法就是进行针对性的有监督训练:基于不同的准则比如环境,进行额外的标注,再从头训练或者基于已有表征训练一个额外的线性层。但是基于这种方式,显然是 “治标不治本” 的。因为一旦有了新的需求,便又需要进行针对性的数据收集、标注和训练,需要付出大量的时间和人力成本。
很幸运的,我们处在多模态大模型的时代,这个在以前可能会很困难的问题在今天是有很多解法的。我们可以直接通过询问 LLaVA,它便会告诉我们图片在指定准则下的信息。但这种方式也还不够高效,至少在 2025 年的今天,多模态大模型的使用成本还是需要考虑的。如果需要处理 ImageNet 之类的大规模数据集或者电商平台繁杂的商品,得到其在指定准则下的信息,这个开销就比较大了。所以对大多数人来说,现如今要获取图片的多维信息,还是需要找到一个更加高效的方法。
论文标题:Conditional Representation Learning for Customized Tasks论文链接:https://arxiv.org/abs/2510.04564代码链接:https://github.com/XLearning-SCU/2025-NeurIPS-CRL
方法
我们知道,对于三维直角坐标系,一组基,比如 [(1, 0, 0), (0, 1, 0), (0, 0, 1)],其线性组合即可构建出该坐标系中的任何向量。类似的,对于颜色体系,只需要 “红”、“绿”、“蓝” 三原色即可调出所有的颜色。
受此启发,我们想到,是否对于任意一个给定的准则,也存在着一个对应的 “概念空间” 及其基?如果能在这个空间中找到一组基,那么我们只需要将原始表征投影到该空间上,理论上就能获得在该准则下更具表现力和判别性的特征。
找到给定准则对应的基,这听起来有些困难。但没关系,我们不需要很准确地找到,只需要接近它就好。
基于这个想法,论文提出了一种即插即用的条件表征学习方法。如图 2 所示,给定准则(例如 “颜色”),CRL 首先让大语言模型 LLM 生成该准则相关的描述文本(例如 “红色”,“蓝色” 和 “绿色” 等)。随后,CRL 将由 VLM 得到的通用图片表征,投影到由描述文本张成的空间中,得到该准则下的条件表征。该表征在指定的准则下表达更充分,并且具有更优的可解释性,能有效适应下游定制化任务。
图 2:所提出的条件表征学习(CRL)的总体框架。图中以通用表征空间(准则为隐式的 “形状”)转换到 “颜色” 准则空间为例。
直白地说,只需要将对齐的图片和文本表征,做个矩阵乘法就好了,甚至不需要训练。复现难度约等于:
实验
分类和检索任务是衡量表征学习性能的两个经典下游任务。论文在两个分类任务(少样本分类、聚类)和两个检索任务(相似度检索、服装检索)上进行了充分的实验验证,部分实验结果如下:
图 3:分类任务
表 1:所提出的 CRL 在少样本分类任务上的性能。
表 2:所提出的 CRL 在聚类任务上的性能。
图 4:相似度检索任务。上为 “Focus on an object”(Focus),下为 “Change an Object”(Change)。
表 3:所提出的 CRL 在相似度检索任务上的性能。
图 5:服装检索任务。
表 4:所提出的 CRL 在服装检索任务上的性能。
从上述结果中可以看出, CRL 可以作为一个即插即用的模块,与现有多模态方法相结合,在不同准则下,其得到的条件表征在下游任务中都取得了比原表征更加优异的表现,性能甚至超过了对应领域的专用方法。新万博体育:实验可参见论文。
总结
与传统的表征学习只得到单一的通用表征不同,本文提出了条件表征学习,通过获取指定准则下的文本基,并将图像表征投影到该文本基张成的空间中,即可得到该准则下表现力更强的条件表征,以更好地适应各种下游任务。
相关版本
多平台下载
查看所有0条评论>网友评论