多任务参数适配推理系统及方法、电子设备、程序产品及存储介质与流程

本公开涉及人工智能领域，具体而言涉及一种多任务参数适配推理系统及方法、电子设备、程序产品及存储介质。

背景技术：

1、众所周知，深度学习模型在视觉理解、多模态分析等任务中取得了显著进展，实际工程应用中需在多任务、多域、多版本并行的条件下，持续完成模型适配、任务切换与迭代更新。系统不仅要满足推理精度与实时性要求，还需具备多任务切换效率与工程可部署性。

2、目前提出的各类现有技术在多任务快速适配与低成本部署层面存在各自的技术缺陷。例如，逐任务独立训练部署方案针对每一项任务或每一种场景分别训练并部署独立模型版本。然而，该类方案虽然具备针对单一任务可深度调优的优势，但容易产生训练成本、存储成本与维护成本显著偏高的问题，且模型升级周期延长，难以满足快速交付与持续迭代的工程需求。

3、作为另一种现有解决方案，参数高效适配技术在基础模型上引入少量可训练参数，使得基础模型主体参数保持不变，仅更新少量附加参数即可实现任务迁移或性能提升。然而，该类方案虽然在一定程度上降低了训练成本，但在多任务快速切换与规模化部署场景中仍面临适配参数生产与管理缺乏闭环的问题，当任务数量增长、任务切换频率升高或目标设备资源受限时，难以保证适配效果的同时实现快速生成、快速加载与可持续迭代。

4、此外，作为又一种现有解决方案，纯自然语言任务条件方案仅依赖自然语言描述作为任务条件输入。然而，该类方案虽然具备输入灵活的优势，但容易产生因表达差异、歧义或不完整信息导致适配过程不稳定的问题，且在部分任务中存在能够更直接刻画任务特征的视觉样例信息但缺乏统一组织与融合方式的情况，难以形成稳定、一致且可复用的多模态任务条件表示。

5、近年来多模态大模型技术逐步应用于视觉任务适配领域，其语义理解与跨模态推理能力可提升任务条件表达效果，但现有方案直接采用自由自然语言作为任务条件，天然存在表述结构、措辞粒度与信息顺序的不确定性，易引发适配输出歧义与训练信号不稳定的问题，无法形成稳定可对齐的任务条件表示。同时，在多任务切换场景中，适配参数的生成、管理与迭代缺乏闭环机制，已积累的任务适配经验难以复用与持续优化。此外，针对轻量模型的适配参数生成需同时考虑任务语义信息、目标模块结构信息与参数状态信息，但现有方案缺乏将上述多源条件信息统一融合的机制。

技术实现思路

1、本公开是基于上述情况而形成的，其目的在于提供一种多任务参数适配推理系统及方法、电子设备、程序产品及存储介质，能够实现多任务条件的结构化表达与统一语义表征，以低秩适配参数消除重复训练需求，通过多模态提示搭建任务条件与参数生成的协同链路，兼顾适配效率与工程可部署性。

2、本公开提供了一种多任务参数适配推理系统，包括：

3、输入获取模块，配置成获取与目标任务相关的任务描述文本以及任务视觉示例，并确定目标模型及其目标可注入模块集合；

4、提示生成模块，配置成接收所述任务描述文本以及所述任务视觉示例，基于预设的提示词模板库对所述任务描述文本以及所述任务视觉示例进行模板匹配，生成并输出结构化多模态提示内容；

5、多模态融合模块，配置成接收所述结构化多模态提示内容，对所述结构化多模态提示内容进行融合编码，生成并输出融合语义表征；

6、条件信息构建模块，配置成基于所述目标模型的参数状态以及所述目标可注入模块集合构建模型参数统计量向量以及位置编码集合；

7、适配参数生成模块，配置成接收所述融合语义表征、所述模型参数统计量向量以及所述位置编码集合，生成并输出与所述目标可注入模块集合一一对应的低秩适配参数集合及适配配置描述；以及

8、参数注入执行模块，配置成依据所述适配配置描述，将所述低秩适配参数集合注入所述目标模型的目标可注入模块集合，以使得能够使用注入后的目标模型执行任务推理而生成并输出任务输出结果。

9、根据本技术方案所述的多任务参数适配推理系统，通过输入获取模块获取任务描述文本与任务视觉示例、提示生成模块输出结构化多模态提示内容、多模态融合模块生成融合语义表征、条件信息构建模块构建模型参数统计量向量与位置编码集合、适配参数生成模块生成低秩适配参数集合及适配配置描述以及参数注入执行模块注入参数并执行推理，能够构建从任务条件获取到参数注入执行的协同链路，实现多任务条件的结构化表达与统一语义表征，提升适配参数生成的精准度与多任务切换效率。

10、可选地，所述多任务参数适配推理系统还包括历史适配库管理模块，所述历史适配库管理模块配置成对历史任务适配信息进行管理，所述历史任务适配信息至少包括所述目标任务的任务标识、所述目标模型的目标模型标识以及与所述任务标识和所述目标模型标识关联的低秩适配参数集合。

11、根据本技术方案所述的多任务参数适配推理系统，通过历史适配库管理模块对历史任务适配信息进行存储与检索，能够使已积累的适配参数经验得到复用，提升重复任务的适配效率与参数管理的可追溯性，增强系统的持续迭代能力。

12、可选地，所述多任务参数适配推理系统还包括闭环迭代控制模块，所述闭环迭代控制模块配置成：接收所述任务输出结果对应的性能指标摘要；在所述性能指标摘要满足预设的触发条件时，使所述历史适配库管理模块对所述历史任务适配信息进行写入或更新；以及触发对所述适配参数生成模块进行训练或调优。

13、根据本技术方案所述的多任务参数适配推理系统，通过闭环迭代控制模块基于性能指标摘要触发历史适配库更新与模型调优，能够使适配参数生成能力在新任务与新场景下持续优化，形成"生成—验证—沉淀—迭代"的闭环机制，提升系统的泛化能力与长期可维护性。

14、可选地，所述结构化多模态提示内容至少包括结构化文本字段与结构化视觉字段。所述结构化文本字段通过对所述目标任务的描述文本进行字段抽取与归一化而生成，所述结构化视觉字段通过根据从所述提示词模板库选择的模板对所述任务视觉示例及其元信息进行处理而生成。

15、根据本技术方案所述的多任务参数适配推理系统，通过提示生成模块将任务描述文本与任务视觉示例分别组织为结构化文本字段与结构化视觉字段，能够减少自由输入导致的歧义与格式不一致问题，提升系统在不同使用者与不同描述方式下的稳定性与一致性。

16、可选地，所述条件信息构建模块进一步配置成基于所述目标可注入模块集合中各目标模块的模块类型标识以及层索引标识构建所述位置编码集合。所述位置编码集合中的各位置编码通过将模块类型嵌入及层索引嵌入进行拼接而生成，所述模块类型嵌入是所述模型类型标识的向量表示，所述层索引嵌入式所述层索引标识的向量表示。

17、根据本技术方案所述的多任务参数适配推理系统，通过条件信息构建模块基于模块类型标识与层索引标识构建位置编码集合，能够使适配参数生成模块对不同目标模块产生差异化适配参数，提升生成的低秩适配参数与目标模块的匹配性，减少因模块不匹配导致的适配失效风险。

18、可选地，所述低秩适配参数集合包含低秩参数对，并包含秩与缩放系数的配置项。所述低秩参数对与所述目标可注入模块集合中的各目标模块对应，所述适配配置描述至少包括目标模块的模块类型标识以及层索引标识。

19、根据本技术方案所述的多任务参数适配推理系统，通过适配参数生成模块使低秩适配参数集合按目标模块一一对应包含低秩参数对及配置项，能够使适配参数以独立参数包形式进行存储、加载与管理，支持在不改变目标模型主体参数的情况下完成能力更新与交付，提升多终端部署的工程可维护性。

20、可选地，所述参数注入执行模块进一步配置成将所述低秩适配参数集合以及所述适配配置描述封装为参数包。

21、此外，本公开还提供一种多任务参数适配推理方法，包括：

22、第一步骤，获取与目标任务相关的任务描述文本以及任务视觉示例，并确定目标模型及其目标可注入模块集合；

23、第二步骤，基于预设的提示词模板库对所述任务描述文本以及所述任务视觉示例进行模板匹配，生成并输出结构化多模态提示内容；

24、第三步骤，对所述结构化多模态提示内容进行融合编码，生成并输出融合语义表征；

25、第四步骤，基于所述目标模型的参数状态以及所述目标可注入模块集合，构建模型参数统计量向量以及位置编码集合；

26、第五步骤，将所述融合语义表征、所述模型参数统计量向量以及所述位置编码集合作为条件输入，生成并输出与所述目标可注入模块集合一一对应的低秩适配参数集合及适配配置描述；以及

27、第六步骤，依据所述适配配置描述，将所述低秩适配参数集合注入所述目标模型的目标可注入模块集合，以使得能使用注入后的目标模型执行任务推理而生成并输出任务输出结果。