v8.238 PC版
v2.622 最新版
v1.267.2085.54227 安卓漢化版
v1.310.6548.661725 最新版
v9.205.7741 安卓漢化版
v1.650.3201.88971 安卓漢化版
v6.621 安卓免費版
v2.405 PC版
v8.513.7752.89550 安卓免費版
v9.745.6120.352367 安卓版
v7.575.9396 IOS版
v2.20.1850.340098 安卓版
v4.209.8118.416990 PC版
v9.731.4183.504323 安卓漢化版
v3.979 PC版
v2.894.6450.31014 安卓漢化版
v3.113 安卓漢化版
v4.668.9968.440057 PC版
v8.135 安卓版
v4.343.7289.143752 IOS版
v2.161.4997.733024 安卓最新版
v2.218.6936.705403 安卓最新版
v6.77.5340 PC版
v7.372.939.13375 安卓漢化版
v6.8.5212.881393 PC版
v7.732.9.779925 安卓版
v2.180.5129.107512 安卓漢化版
v1.207.4308.91413 PC版
v2.452 安卓免費版
v9.194.9060.499882 安卓最新版
v4.185.4231.95764 安卓漢化版
v7.680.7625 安卓最新版
v9.936.8714 最新版
v2.535.7181 安卓版
v6.260.7490.398566 安卓免費版
v6.689.2106.661986 安卓漢化版
v7.767.7146 安卓最新版
v8.859.4304.494946 安卓版
v7.220 最新版
v7.264.2047.163996 安卓漢化版
v3.790 安卓最新版
v8.911.424.942531 最新版
v8.632 最新版
v4.267.5916.6931 PC版
v9.423.2003.233766 安卓版
v4.607 最新版
v5.523.8674.471749 IOS版
v1.353.6893.267294 安卓版
v4.706 安卓漢化版
v4.552 安卓最新版
v6.348.5672.662900 安卓漢化版
v5.736.7747.822784 安卓漢化版
v9.966.6095 安卓版
v6.73.8673.342313 最新版
v8.702 安卓免費版
v4.990.9021.861106 安卓免費版
v6.297.7743 IOS版
v3.52 IOS版
v9.188.994.199138 安卓版
v7.659.1599.546771 安卓最新版
v2.178.9700 安卓版
v5.411.9968.760076 最新版
v6.429.7635.11370 PC版
v4.46.9095 安卓版
v4.74 安卓免費版
v5.174.3257.238671 安卓免費版
v7.93.1405 安卓版
v4.957.8147.145989 最新版
v1.358 PC版
v1.965.1530.205625 最新版
v8.752.795 安卓最新版
v5.537.341.609904 IOS版
v7.300 最新版
v3.521.5411.291937 安卓漢化版
v7.79 最新版
v5.554.6093.346039 最新版
v1.338.622.768912 安卓版
v9.5 最新版
v8.524 PC版
v1.986.6275 安卓漢化版
365bet体育欢迎您注册登录
本文第一作者为四川大学博士研究生刘泓麟,邮箱为tristanliuhl@gmail.com,通讯作者为四川大学李云帆博士后与四川大学彭玺教授。
一张图片包含的信息是多维的。例如下面的图 1,我们至少可以得到三个层面的信息:主体是大象,数量有两头,环境是热带稀树草原(savanna)。然而,如果由传统的表征学习方法来处理这张图片,比方说就将其送入一个在 ImageNet 上训练好的 ResNet 或者 Vision Transformer,往往得到的表征只会体现其主体信息,也就是会简单地将该图片归为大象这一类别。这显然是不合理的。
图 1:传统表征学习(上)与条件表征学习(下)的比较。传统的表征学习方法只能学习到一种通用的表征,忽略了其他有意义的信息;文章提出的条件表征学习能够基于指定准则,得到该准则下表现力更强的条件表征,适应多种下游任务。
此外,在各大电商平台,用户通常根据不同的标准(例如颜色、材质或场合)搜索商品。例如,用户今天可能搜索 “红色连衣裙”,明天搜索 “正装”,后天搜索某个全新的关键词。这对于拥有庞大规模商品的平台来说,手动打标签是不现实的,而传统的表征学习也仅仅只能获取到 “连衣裙” 这个层面的信息。
要获取图片中除了 “大象”、“连衣裙” 之外的信息,一个很容易想到的方法就是进行针对性的有监督训练:基于不同的准则比如环境,进行额外的标注,再从头训练或者基于已有表征训练一个额外的线性层。但是基于这种方式,显然是 “治标不治本” 的。因为一旦有了新的需求,便又需要进行针对性的数据收集、标注和训练,需要付出大量的时间和人力成本。
很幸运的,我们处在多模态大模型的时代,这个在以前可能会很困难的问题在今天是有很多解法的。我们可以直接通过询问 LLaVA,它便会告诉我们图片在指定准则下的信息。但这种方式也还不够高效,至少在 2025 年的今天,多模态大模型的使用成本还是需要考虑的。如果需要处理 ImageNet 之类的大规模数据集或者电商平台繁杂的商品,得到其在指定准则下的信息,这个开销就比较大了。所以对大多数人来说,现如今要获取图片的多维信息,还是需要找到一个更加高效的方法。
论文标题:Conditional Representation Learning for Customized Tasks论文链接:https://arxiv.org/abs/2510.04564代码链接:https://github.com/XLearning-SCU/2025-NeurIPS-CRL
方法
我们知道,对于三维直角坐标系,一组基,比如 [(1, 0, 0), (0, 1, 0), (0, 0, 1)],其线性组合即可构建出该坐标系中的任何向量。类似的,对于颜色体系,只需要 “红”、“绿”、“蓝” 三原色即可调出所有的颜色。
受此启发,我们想到,是否对于任意一个给定的准则,也存在着一个对应的 “概念空间” 及其基?如果能在这个空间中找到一组基,那么我们只需要将原始表征投影到该空间上,理论上就能获得在该准则下更具表现力和判别性的特征。
找到给定准则对应的基,这听起来有些困难。但没关系,我们不需要很准确地找到,只需要接近它就好。
基于这个想法,论文提出了一种即插即用的条件表征学习方法。如图 2 所示,给定准则(例如 “颜色”),CRL 首先让大语言模型 LLM 生成该准则相关的描述文本(例如 “红色”,“蓝色” 和 “绿色” 等)。随后,CRL 将由 VLM 得到的通用图片表征,投影到由描述文本张成的空间中,得到该准则下的条件表征。该表征在指定的准则下表达更充分,并且具有更优的可解释性,能有效适应下游定制化任务。
图 2:所提出的条件表征学习(CRL)的总体框架。图中以通用表征空间(准则为隐式的 “形状”)转换到 “颜色” 准则空间为例。
直白地说,只需要将对齐的图片和文本表征,做个矩阵乘法就好了,甚至不需要训练。复现难度约等于:
实验
分类和检索任务是衡量表征学习性能的两个经典下游任务。论文在两个分类任务(少样本分类、聚类)和两个检索任务(相似度检索、服装检索)上进行了充分的实验验证,部分实验结果如下:
图 3:分类任务
表 1:所提出的 CRL 在少样本分类任务上的性能。
表 2:所提出的 CRL 在聚类任务上的性能。
图 4:相似度检索任务。上为 “Focus on an object”(Focus),下为 “Change an Object”(Change)。
表 3:所提出的 CRL 在相似度检索任务上的性能。
图 5:服装检索任务。
表 4:所提出的 CRL 在服装检索任务上的性能。
从上述结果中可以看出, CRL 可以作为一个即插即用的模块,与现有多模态方法相结合,在不同准则下,其得到的条件表征在下游任务中都取得了比原表征更加优异的表现,性能甚至超过了对应领域的专用方法。新万博体育:实验可参见论文。
总结
与传统的表征学习只得到单一的通用表征不同,本文提出了条件表征学习,通过获取指定准则下的文本基,并将图像表征投影到该文本基张成的空间中,即可得到该准则下表现力更强的条件表征,以更好地适应各种下游任务。
相关版本
多平台下载
查看所有0条评论>网友评论