新万博体育

　　猫眼电影记者 刘国成 报道P6F3X2M7T9QJ8L1B4WZR

在工业级大语言模型（LLM）应用中，动态适配任务与保留既有能力的 “自进化” 需求日益迫切。真实场景中，不同领域语言模式差异显著，LLM 需在学习新场景合规规则的同时，不丢失旧场景的判断能力。这正是大模型自进化核心诉求，即 “自主优化跨任务知识整合，适应动态环境而无需大量外部干预”。

为解决此问题，北邮百家 AI 团队与腾讯 AI Lab 团队提出参数高效的对抗性混合专家架构 MoE-CL，专门用于 LLM 的自进化持续指令微调。其核心设计在于 “解耦 LoRA 专家” 与 “GAN 对抗降噪” 的结合：为每个任务配置专属 LoRA 专家以保留任务特定知识，避免参数更新相互干扰；同时设置共享 LoRA 专家，通过生成对抗网络（GAN）中的任务感知鉴别器抑制无关噪声，确保跨任务知识高效且精准传递，最终实现 “知识保留” 与 “跨任务泛化” 的平衡，这也是 LLM 自进化的核心逻辑。

从实验效果来看，MoE-CL 的自进化能力已在实际场景与基准测试中得到验证。在腾讯真实业务场景 A/B 测试中，它将人工介入成本降低 15.3%；在公开 MTL5 跨域基准与工业级 Tencent3 基准测试中，其平均准确率优于现有主流方法，且在不同任务训练顺序下保持稳定，证明其无需人工调整即可适配任务动态变化。

论文标题： Self-Evolving LLMs via Continual Instruction Tuning论文链接： https://arxiv.org/abs/2509.18133代码仓库：https://github.com/BAI-LAB/MoE-CL

01 引言

在数字经济蓬勃发展的当下，海量文本数据如潮水般涌入互联网平台。例如，新闻资讯的快速更新、电商平台的海量评论等多源异构数据每日激增，面临跨领域、高时效、强精度的多重挑战。若采用传统方案，为每种文本类型单独训练模型，将消耗巨大的计算资源与人力成本；而使用单一模型处理全领域文本，又因数据分布差异导致性能失衡，难以满足业务需求。在此背景下，亟需一种既能高效处理新任务，又能保留旧任务知识的通用技术方案。为此，我们提出 MoE-CL 大模型混合专家（MoE）持续学习架构，致力于打破传统方法的局限，以实现多领域文本任务的高效协同处理。使得大模型具备自进化能力：动态适应训练数据，自主优化跨任务知识整合。

02 方法

混合专家持续学习（MoE-CL）框架聚焦多任务学习中的知识积累与任务适应难题。其核心采用 Transformer 块的 LoRA 增强技术，重点优化前馈神经网络（FFN）层，通过引入低秩矩阵降低参数更新量与计算成本，同时提升学习效率。

MoE-CL 将 LoRA 专家分为任务特定与任务共享两类：前者专攻特定任务知识，后者提取跨任务通用信息。结合生成对抗网络（GAN）分离任务特定与共享信息，确保模型获取高质量共享知识。

架构上，N 层 LoRA 增强的 Transformer 块级联提取信息，最终由门控网络融合两类信息，为任务预测提供支撑。这种设计使模型既能满足任务特异性需求，又能利用任务共性，实现高效持续学习。

图 1：MoE-CL 的整体框架。MoE-CL 通过采用带有任务感知判别器的对抗性 MoE-LoRA 架构，缓解了灾难性遗忘问题。MoE-CL 主要由两部分组成，任务感知判别器优化和指令调整优化。

2.1 任务感知判别器优化

2.2 指令调整优化

03 实验

我们在 MTL5 和 Tencent3 两个评测基准上进行了实验，并将我们的方法与几种具有代表性的持续学习方法进行比较，以展示 MoE-CL 的有效性。

3.1 主实验结果

MTL5 和 Tencent3 评测基准上的实验结果如图 2，3 所示，有以下结论：

Tencent3 评测基准上的实验结果，使用腾讯混元作为基座模型。粗体和斜体表示根据主要评估指标准确率的最优和次优。

泛化能力与稳定性突出：相比所有基线方法，MoE-CL 平均准确率显著提升，且方差极小，在复杂任务中展现出优异的泛化能力与稳定性；知识迁移优势显著：MoE-CL 在正反向迁移上表现稳定，较 MoCL 更不易受后续任务影响，验证了生成对抗网络集成至混合 LoRA 专家网络的有效性；鲁棒性表现出色：面对不同任务序列顺序，MoE-CL 通过分离共享与特定任务专家的架构设计，在 MTL5 和 Tencent3 基准测试中展现出极强的鲁棒性 ，远超其他基线方法。

3.2 验证生成对抗网络的有效性

为验证对抗性 MoE-LoRA 架构对灾难性遗忘的抑制效果，本文构建了不含生成对抗网络（GAN）的 MoE-CL 对比版本。实验结果（图 4）显示，含 GAN 的 MoE 专家架构在持续学习任务中平均性能显著优于无 GAN 版本。这是因为 GAN 能够精准将特定任务信息分配至对应低秩适配器专家，有效规避任务间知识干扰，尤其在反向迁移（BwT）指标上表现突出，有力证明了 GAN 在防止灾难性遗忘方面的关键作用。

图 4：生成对抗网络对 MoE-CL 的影响。三个指标都是数值越大表明性能越好。

3.3 离线 A/B 测试

在腾讯真实文本分类任务中，模型依据置信度得分自动判定内容样本类别：超出阈值的样本被直接标记为合规（白样本）或不合规（黑样本），无需人工介入。剔除率作为核心评估指标，直观反映自动分类样本占比，剔除率越高，意味着人工成本越低。

为验证 MoE-CL 的实际应用价值，研究团队开展离线 A/B 测试，对比其与生产算法的剔除率表现。实验数据（图 5）显示，在任务 A 和任务 B 场景下，MoE-CL 均实现显著突破。其中，任务 A 场景中 MoE-CL 剔除率高达 28.8%，较基线算法提升 15.3%，直接降低了同等比例的人工介入工作量，切实为业务场景带来降本增效的商业价值。

通过剔除率衡量的离线 A/B 测试。

04 总结

混合专家持续学习框架 MoE-CL 通过三大核心设计破局：专属任务专家防止灾难性遗忘，任务共享专家促进跨任务知识迁移，生成对抗网络保障共享信息质量。三者协同运作，使模型高效适应新任务，实现大模型持续学习中的自进化。

??时事1：bob手机版官网APP

??09月24日,北交所920代码号段22日启用 上市“身份证”凸显差异化市场价值,

　　四、认真研究解决城镇化建设的突出问题，确保城镇化建设健康稳步发展

,明博体育官方网站。

??09月24日,高质量发展看中国 | 融智出新 传统产业“老树出新芽”,

　　4.发生火灾时要迅速逃生，不可贪恋财物。

,龙8国际游戏官网,九五至尊体育平台,澳门威斯尼斯人8567vlp。

??时事2：亿博体育外围

??09月24日,（乡村行·看振兴）江西南城：“90后”小伙创业记 米粉搭上电商“顺风车”,

　　“后来，发生了很多事情，很多年后我们才摆脱，带着伤逃回石村。”

,皇马真人平台,日博体育玩法介绍,vwin手机登录苹果版下载。

??09月24日,改革为人民｜助力“通道经济” 总书记关注“数智”港口建设,

　　面对这个敌人，小不点没有敢大意，符文闪烁，祭出宝术，准备进攻。

,线上真人国际网站,米乐m6官网首页,三九手机。

??时事3：jxf官方登录

??09月24日,“五一”假期广东激发消费潜力 为广大群众和游客提供“文旅大餐”,

　　根据区委总体布署，我街道于2 月份开始，对全街道10 个行政村、4 个经联社进行了换届，目前，换届工作已顺利结束。在此，我代表街道党工委、办事处表示祝贺。为进一步提高广大村干部理论水平和工作能力，促进我街道经济和社会各项事业继续保持快速、持续、健康的发展势头，经街道党工委决定，举办此次东城街道村干部培训班。现在，我根据街道党工委、办事处讨论意见，讲四方面问题。

,皇冠2094登录入口,识破玄机(保证香港版),开元app官网版。

??09月24日,两会好声音,

　　现在已经是2月中旬了，大家要对照年初定下的目标，看看离这个目标还有多远，然后寻找自身存在的问题，特别是作风方面的问题。目前最重要的就是要咬紧目标，鼓足干劲，把思想和精力聚集到狠抓落实上来。抓好落实，关键在人，核心在干部，在干部的工作作风上。一个地方与一个地方的竞争，很大程度上是干部素质的竞争，干部作风的竞争。近年来，我们通过学习江浙等先进地区经验，就强烈地感受到，我们的干部与浙江的干部比，有很大的差距，主要体现在抓发展的理念没有人家新，抓落实的作风没有人家实，困难环境下破解难题的能力没有人家强。我们开发区这几年之所以取得了这么大的成绩，靠的是艰苦奋斗的作风，靠的是埋头苦干的精神，靠的是改革创新的魄力，靠的是优质高效的服务。总之一句话，靠的是人，是干部，是扎实的作风。大家都好好琢磨一下，同是一个环境，同是一样的地方，为什么有的村和单位开发区布臵的工作项项能落实，事事能成功，而且有特色，但是有的单位和村，开发区布臵的工作却没有多大起色。有的甚至是上级给他钱，也干不好事情。就是有少数村、少数干部，一提工作就讲客观、提条件，而且就是抓不好，抓不到点子上去，一到检查就出问题。问题出来后，不从自身找原因，总是强调这样那样的客观原因。而我们大多数村，开发区两委布臵的工作基本都能完成，有的还很有特色，而且，我们眼中的先进村，好像什么工作都可以，这说明什么问题呢?这只能说明我们的一些干部工作没有做到家，方法不对路，措施不得力。

,百家乐体育官方,九五至尊网站是什么,mgm怎么开户。

??时事4：宝盈体育下载

??09月24日,农业农村部：2023年粮食产量13908.2亿斤 再创历史新高,

　　“我想那处至尊地应该还在这片区域，纵然后来沉入地下漂走了，也应该不会太远。”

,fun88官网下载app,贝博bb平台体育,注册下载送5块。

??09月24日,东西问｜黄桂秋：广西歌圩文化为何能唱响海内外？,

　　读了这个故事，相信大家都一目了然，这起重大火灾事故的起因就是因为施工的工人对消防安全的忽视。他们并没按照规章制度操作，而是为了方便使用明火喷枪进行烘烤，最终酿成这样一齐损失惨重的火灾事故。

,电玩百家乐,尊龙app最新版,千亿官方下载。