猫眼电影
猫眼电影记者 钟建财 报道Q8X2R7L1T4J5M9B6W3
近一年以来,统一理解与生成模型发展十分迅速,该任务的主要挑战在于视觉理解和生成任务本身在网络层间会产生冲突。早期的完全统一模型(如 Emu3)与单任务的方法差距巨大,Janus-Pro、BAGEL 通过一步一步解耦模型架构,极大地减小了与单任务模型的性能差距,后续方法甚至通过直接拼接现有理解和生成模型以达到极致的性能。
香港中文大学 MMLab 和美团的研究者相信,在不久的将来统一模型的性能一定能够达到单任务的水平,但同时也引起了他们的思考,目前通过拆解架构换取性能提升的方式真的是正确的吗,它是否背离统一模型的初衷,它能够提升性能的内在原因又是什么,这种方式真的是统一模型必须的吗?
「统一模型的初衷」以及「 架构解耦的缺点」
统一理解生成模型的初衷是为了通过透明化、合理化的图文交错思考过程,提高单任务的性能,例如让模型走迷宫时统一模型可以生成每一步对应的图像,可以在模型做数学题的时候给图像画上辅助线,或者是在生成一张图像的时候边画边思考有没有生成不合理的地方并且自动修正,这些都是 Uni-MMMU 等当前统一模型基准所关注,也是它本身被独立成一个领域的初衷。
再回到架构解耦的模型,例如 BAGEL 上,它本身如果要实现图文交错思考,需要经历隐空间解码到文字或者像素空间,然后再编码到隐空间的复杂过程,两个任务也几乎不在同一个模型空间中,具有计算开销大、信息丢失两大问题。虽然在当前情况下相比于其可观的性能,这个问题似乎并不显著,但是研究者认为随着研究的进行,这会是一个很大的问题。
AIA: 模型架构解耦不是统一模型必须的
为了探究清楚「架构解耦带来性能提升的内在原因」以及「探索不使用架构解耦的前提下提升模型性能的方式」,香港中文大学 MMLab 和美团联合推出了 AIA。
论文标题:Architecture Decoupling Is Not All You Need For Unified Multimodal Model论文链接:https://arxiv.org/abs/2511.22663代码:https://github.com/zhengdian1/AIA网页:https://github.com/zhengdian1/AIA-project
研究者首先通过研究不同架构的统一模型在每一层网络中跨模态交互的强度,他们惊讶地发现不管如何进行模型架构解耦,理解和生成任务在同一层网络中始终呈现负相关的关系,同时进一步验证了这个现象与输入的模态、长度和类别都没有关系,这说明是模型自发在学习如何合理地分配两个任务在每一层中的占比,从而 「缓解冲突」,这又说明架构解耦本质上并没有解决任务之间冲突的问题。
研究者进一步在最后一列可视化了现在单任务 SOTA 的模型的多模态交互模式(HunyuanImage-3.0 虽然是统一模型,但更侧重于生成效果),结果发现随着模型解耦程度的增强,其对应的跨模态交互模式会趋向于单任务的表现,这也是能够实现性能提升的主要原因。
基于这个发现,研究者设计了Attention Interaction Alignment (AIA) 损失,通过将单任务模型的跨模态交互模式作为学习目标,在训练的过程中显式地约束统一模型的交互模式。
AIA 效果如何?
研究者在 Emu3 和 Janus-Pro 这两种完全统一架构、轻微模型解耦架构上进行了实验,如下表所示,结果表明本文的方法能够在没有任何其他 trick 的情况下提升这些模型的性能,减小了与更高解耦程度模型的差距。
同时,研究者给出了使用 AIA 损失之后 Emu3 和 Janus-Pro 跨模态交互模式曲线变化,可以发现加入了 AIA 损失之后,两个模型的交互曲线都向单任务模型的表现靠近了,既证明了 AIA 损失的有效性,同时也说明了模型架构解耦不是唯一能够提高统一模型性能的方式。
当然,研究者也承认在目前情况下完全统一的方法和高解耦程度的模型之间存在很大的差距,但正如 Emu3.5 的出现,他们认为这个差距会越来越小。因此,研究者呼吁新万博体育:的人抛开表层的框架和数据配比,深入研究统一模型的任务冲突问题,寻找更优的解法。
AIA 好训吗?
由于 Emu3 只有预训练 (PT) 阶段是统一训练的,因此研究者在其 PT 权重上进行微调,而 Janus-Pro 给的是最终 SFT 微调后的权重,研究者在此基础上进行后训练。
研究者通过调整 AIA 损失与 next-token-prediction (NTP) 损失的比重来测试其微调的敏感度,结果发现训练 Emu3 的时候由于其预训练知识比较薄弱,AIA 损失在一个很大的范围内都能达到稳定收敛的效果。而在 Janus-Pro 中,由于其本身预训练知识很强,AIA 的加入非常容易影响模型训练,但在合适的比重情况下仍然能够达到不错的效果。
AIA 有什么优势?
AIA 损失的加入可以一定程度上减少现在常见的数据配比工程问题,本文的方法在生成与理解数据配比在 1:1 的情况下能够达到更好的效果,这说明在一定程度上两个任务的训练不再是冲突的,产生了协同优化的效果。
统一模型训练的正确道路是什么?
通过结合现在所有统一模型训练的问题以及本文的实验分析,可以发现不管怎样解耦模型,其始终会在统一训练的过程中动态分配不同任务在同一层的权重来缓解冲突,那这是否实际上代表了统一模型的正确行为?
另一条统一路径是移除所有可以用来区分任务的线索(即采用统一分词器、消除任务相关特殊 token、使用交错数据数据输入),迫使模型只能从输入中学习真正的统一空间。虽然这种方法或许可以解决任务间的负相关问题,但也会显著增加训练难度。
未来展望
AIA 迈出了统一模型训练原理分析的第一步,研究者希望能够有新万博体育:志同道合的研究者加入这个领域的探索。统一模型现在的理论、架构都远远没有达到成熟,需要大家共同进行探索。同时研究者也希望大家能够更加关注统一模型真正的意义,不要一味地关注当前单任务基准上的性能。
??时事1:国产精品三级片网站
??11月27日,山西公布太原致3死中毒事故评估报告:4企业和11人被行政处罚,
银色的大鳄很疯狂,接连掀开巨石,突然一抹灿烂的金色霞光绽放,像是一轮小太阳升起,在山石间闪耀。
,轻点嗯啊视频在线观看日本。??11月27日,超130款新闻资讯鸿蒙原生应用搭载AI技术、意图框架、服务卡片等能力 完成上架,
山峰落下,压盖灵湖上方,所有人都心惊,这是谁,竟如此强势?同时镇杀所有人!
,人人夜色精品国产噜噜噜,美女粉嫩极品国产在线,l仙踪东南亚幼稚网。??时事2:一区二区三区性爱视频
??11月27日,强降雨致上万名旅客滞留湖南郴州 当地上演紧急转运,
开展好农村工作,除了要有比较强的政策理论水平、实际工作经验之外,还需要讲究工作方法、完善工作制度,搞好个人品德修养,以身作则。一要联系群众。村干部不仅是村级组织的负责人,更是一个村几百户群众的当家人。因此不仅要争取和上级党组织的支持,更离不开广大群众的支持。作为村干部,要善于同群众打成一片,串百家门,听百家言,解百家难,了解群众所关心的热点、难点问题。老百姓是最重感情的,只要你多同他们拉拉家常,聊聊天,就能够拉近和群众的距离,群众就会把你当成知心人。要争取群众的支持和信任,更重要的是要为老百姓办实事。老百姓是最讲究实惠的,他们选你们当村干部,就是希望你们能在任期内多办几件实事。大家要在任期内办为老百姓办几件实事,解决几个影响老百姓生产、生活的热点、难点问题,把钱用到刀刃上,让老百姓感受到村干部是让他们放心的当家人,从而赢得群众的信任和爱戴。二要注重团结。团结就是力量,团结出战斗力、出凝聚力,能团结人是最大的本事。一个村如果干部不团结就是一盘散沙。当前在个别农村有这样一种现象,就是台下整台上,台上整台下,弄得村里乌烟瘴气,群众意见很大。在团结这个问题上,村干部特别是村支部书记首先要负起责任来。要有容人之量,要有宽广的胸怀。对那些对自己有看法、有意见的同志,要主动沟通,消除矛盾,增进团结。要有合作的心态。主要就是村 “两委 ” 之间的合作,说到底就是村干部之间加强合作的问题。村 “ 两委 ” 虽然产生的程序不同,法定职能不同,但是为村民当家谋福利的目标是一致的。村支部书记要领导好村委会工作,就要主动做工作,要支持村委会的工作,不能过多的包揽具体事务,更不能把村委会抛在一边,而要领导和监督好村委会开展工作,由村委会具体负责实施的工作,党支部不能两手一撒,冷眼旁观,而要发挥好监督作用,多指导,多协助,多配合。对在工作中产生的矛盾和分歧,要通过支部会议、村民议事会等形式,广泛征求群众意见,把决策权交给群众,让群众当家作主,不能搞家长制,一言堂。三要注重品德修养。品德修养在干部素质中是第一位的。作为村干部,要与人为善。心存善念是做人的根本,做官一阵子,做人一辈子,要抱着对老百姓深厚的感情开展工作,不害人、不坑人、不整人,要心里想着群众,行动向着群众,为群众办实事、办好事。要保持平和的心态,清醒地看待名利。要诚实守信。人无信不立,作为一名村干部更应该诚实守信。只有你说话算数,为人正派,办事公道,群众才能相信你,你在群众心中才会有位置,你说话才有号召力。如果把对群众的承诺当成拉选票的口号,一旦坐稳了位置,就把当初的承诺抛到脑后,置群众的利益而不顾,那你这个位置是坐不稳的,群众是不会拥护你的。要廉洁自律。 “ 公生明,廉生威 ” ,作为村干部,就必须廉洁自律,克己奉公,要堂堂正正做人,清清白白做事,做到心中有正气,身上有骨气,这样你说话才硬气,别人才能服你。所以作为村干部,一定要洁身自好,注意小节,时时处处为人表率,真正树立党在群众中的良好形象,赢得广大和农民群众的信任。四要处事公道。农民群众的满意程度,是衡量农村工作的最高标准。村干部是为农民服务的, “ 官 ” 当得怎么样,发言权在农民群众。要当好村干部,必须公道正派。在处理农村各种矛盾、协调各种利益关系时,一定要坚持从大局出发,处以公心,公道正派,一碗水端平,不能凭个人好恶办事,也不能偏亲厚友。只有办事公道,才能赢得群众的信任和拥护。五要讲究工作艺术。在座的各位开展工作面对的不是亲戚就是朋友,都是熟悉的人,这就要求我们考虑好各种关系,顺好理,有一定的领导艺术。学会弹钢琴,能够团结一班人形成一个战斗堡垒;还要各项工作走在前头,遇到困难带头上,难的工作主动干,不能互相推诿扯皮。胸怀要宽广、大度,做到容人、容事、容话,听得进一些同志的反对意见,能承受各种误解、责备和困难,团结同志,增强班子凝聚力,多为村民办实事、办好事,赢得认可。六要加强制度建设。没有规矩,不成方圆,不按制度办事,不严格办事程序,就有可能好心办不成好事。这就要求我们必须建立健全各项制度,并严格按制度办事。一是抓好各项制度的建立。包括 “ 三会一课 ” 制度、学习制度、党支部和目标管理制度、民主评议制度、党组织议事规则等党内制度,以及村民议事会制度、村务公开制度等。制定制度不一定越多越好,而是要简便易行,便于操作,有针对性。二是抓好各项制度的落实。有了制度,村干部要带头执行,并督促广大遵守和执行各项制度,使制度真正地落到实处,避免把制度当 “摆设 ” 。三是抓好制度的完善。制度不是一成不变的,在执行过程中,要及时进行修改和完善,使制度更加完备,更符合农村实际。
,孟子义透明泳衣,欧美黄色精品区,娇小 枯瘦 汇编 亚洲 高潮。??11月27日,跨省也能给家人用 快来学习“医保钱包”如何操作,
节俭资源,保护环境,做保护地球的小主人。
,国产办公室A片在线观看免费,欧洲美熟女乱又伦av,手机在线看片1024免费新闻。??时事3:真人自慰120秒免费观看动漫
??11月27日,年销超900万辆 中国新能源车何以成为“领跑者”?,
“我还怕你们不成?不给我一宗宝术,别想将人领走。”小不点道。
,亚洲情色欧美情色,无码精品久久久曰本AV中文,啊啊啊网址。??11月27日,广西“兵支书”回乡创业 将甜蜜水果变身“致富果”,
在社会层面上,平等,是对每个人生存的权利与状态的保障,是一种制度上的平等。比如九年义务教育,他让所有孩子都能够平等的享受受教育的权力。若没有他,也许在偏远贫穷的地方,教育仍将是贵族的特权,贫者永世贫穷。而我们的父辈,又有多少不是从外地,从一个村镇里通过常人不及的努力通过高考而来北京的呢?这也充分证明了,良好的制度是保证平等的客观要素。客观的差异是完全可以为自身的努力所填补的。
,黄色软件下载。,91AV你的在线影院,免費看農村特A片不卡。??时事4:对白脏话肉麻粗话视频
??11月27日,“疫行300天”邓予立摄影展在伦敦举行,
尊敬的各位患者、亲爱的同事们:
,欧美真实强奸,哥哥买了100棉签,avxcl路AV。??11月27日,韩国政治纷争加剧 总统尹锡悦深夜宣布“紧急戒严”,
“还真想冒充神灵?蛟叔,给我血洗此地,另外将石村的祭灵的嫩枝给我折下来!”蛟鹏肆无忌惮,大声喝道。
,A级毛片免费久久下 载,y y 6080,亚洲怡红院一区二区三区。责编:亚速尔
审核:王天龙
责编:吕永志












