基于行为感知的图像生成模型动态微调方法与流程

本技术涉及人工智能图像生成，尤其涉及一种基于行为感知的图像生成模型动态微调方法。

背景技术：

1、现有ai图像生成模型通常采用固定的模型参数配置，无法适配不同用户群体的个性化需求。游戏原画设计师、商业美工与人像修图师等不同用户群体在编辑场景、操作习惯与生成偏好上存在显著差异，固定参数配置难以同时满足多类用户的生成效果要求。

2、为提升生成效果，部分方案允许用户手动调整采样步数、引导系数与去噪强度等核心参数，但手动调整依赖用户的专业经验，普通用户难以获得最优参数配置，且每次生成任务均需重复调整，操作效率低。

技术实现思路

1、本技术提供了一种基于行为感知的图像生成模型动态微调方法，旨在解决现有图像生成模型的个性化适配主要依赖大规模全量微调，训练成本高、周期长，无法根据单个用户的历史生成数据与效果反馈快速生成专属风格模型的问题。

2、第一方面，本技术实施例提供了一种基于行为感知的图像生成模型动态微调方法，所述方法包括：

3、采集用户在图像生成过程中的操作行为数据，根据操作行为数据提取用户群体类型、编辑场景、操作习惯与生成偏好特征，构建用户专属特征画像；根据用户专属特征画像，动态调整图像生成模型的采样步数、引导系数与去噪强度核心参数，根据调整后的核心参数执行图像生成任务；

4、采集用户对生成图像的效果反馈数据，根据效果反馈数据从用户历史生成图像中筛选高质量样本，将高质量样本输入图像生成模型执行轻量化增量微调，生成适配用户专属风格的个性化适配模型；

5、记录不同核心参数配置下的生成效果数据与对应效果反馈数据，根据生成效果数据与效果反馈数据更新参数适配策略，将更新后的参数适配策略用于下一轮核心参数动态调整。

6、在一些实施例中，所述采集用户在图像生成过程中的操作行为数据，包括：通过图像生成平台的操作日志接口实时采集用户在图像生成过程中的操作行为数据，操作行为数据包括用户选择的模型类型数据、输入的提示词数据、参数调整记录数据、编辑操作记录数据、生成次数数据与生成时长数据；将操作行为数据按照用户标识与时间戳执行结构化存储，生成用户操作行为序列。

7、在一些实施例中，所述根据操作行为数据提取用户群体类型、编辑场景、操作习惯与生成偏好特征，包括：根据操作行为数据中的参数调整记录数据与编辑操作记录数据计算用户专业技能指标，根据专业技能指标判定用户群体类型；根据操作行为数据中的提示词数据与生成图像的主题用途判定编辑场景；根据操作行为数据中的参数调整记录数据计算参数调整频率与参数调整范围，根据参数调整频率与参数调整范围判定操作习惯；根据操作行为数据中的提示词数据提取关键词分布特征，根据关键词分布特征与用户选择的模型类型数据判定生成偏好。

8、在一些实施例中，所述构建用户专属特征画像，包括：将用户群体类型、编辑场景、操作习惯与生成偏好特征执行结构化编码，生成用户群体类型标签、编辑场景标签、操作习惯向量与生成偏好向量；将用户群体类型标签、编辑场景标签、操作习惯向量与生成偏好向量组合为用户专属特征画像；将用户专属特征画像存储于用户画像数据库，建立用户标识与用户专属特征画像的对应映射关系。

9、在一些实施例中，所述根据用户专属特征画像，动态调整图像生成模型的采样步数、引导系数与去噪强度核心参数，包括：从用户画像数据库调取对应用户的用户专属特征画像；根据用户专属特征画像中的用户群体类型标签与编辑场景标签确定采样步数、引导系数与去噪强度核心参数的基准取值区间；根据用户专属特征画像中的操作习惯向量与生成偏好向量在基准取值区间内执行精细化偏移调整；输出调整后的采样步数、引导系数与去噪强度核心参数。

10、在一些实施例中，所述根据调整后的核心参数执行图像生成任务，包括：将调整后的采样步数、引导系数与去噪强度核心参数加载至图像生成模型的推理配置中；接收用户输入的提示词，根据提示词与加载后的核心参数执行图像生成推理；输出生成图像并记录本次生成任务使用的采样步数、引导系数与去噪强度核心参数配置。

11、在一些实施例中，所述采集用户对生成图像的效果反馈数据，包括：在生成图像展示界面设置效果反馈采集入口；通过效果反馈采集入口采集用户对生成图像的评分数据、收藏操作数据、重新生成操作数据与编辑修改操作数据；将评分数据、收藏操作数据、重新生成操作数据与编辑修改操作数据整合为效果反馈数据。

12、在一些实施例中，所述根据效果反馈数据从用户历史生成图像中筛选高质量样本，将高质量样本输入图像生成模型执行轻量化增量微调，生成适配用户专属风格的个性化适配模型，包括：根据效果反馈数据中的评分数据与收藏操作数据计算用户历史生成图像中每张图像的质量评分；将质量评分超过预设质量阈值的用户历史生成图像确定为高质量样本；将高质量样本对应的提示词与高质量样本组成微调训练样本对；将微调训练样本对输入图像生成模型执行轻量化增量微调，更新图像生成模型的低秩适配权重参数；将更新后的低秩适配权重参数封装为适配用户专属风格的个性化适配模型。

13、在一些实施例中，所述记录不同核心参数配置下的生成效果数据与对应效果反馈数据，根据生成效果数据与效果反馈数据更新参数适配策略，包括：建立采样步数、引导系数与去噪强度核心参数配置与生成效果数据的对应映射关系；建立生成效果数据与效果反馈数据的对应映射关系；根据效果反馈数据评估不同核心参数配置的适配效果，生成适配效果评估结果；根据适配效果评估结果更新参数适配策略中的参数调整规则。

14、在一些实施例中，所述将更新后的参数适配策略用于下一轮核心参数动态调整，包括：将更新后的参数适配策略加载至参数动态适配引擎；在下一轮图像生成任务启动时，参数动态适配引擎根据用户专属特征画像与更新后的参数适配策略执行采样步数、引导系数与去噪强度核心参数的动态调整；输出下一轮图像生成任务使用的采样步数、引导系数与去噪强度核心参数。

15、本技术所提供的方法具有以下有益效果：

16、1.通过采集用户操作行为数据并构建用户专属特征画像，实现对不同用户群体的编辑场景、操作习惯与生成偏好的自动识别，为模型参数动态适配提供精准的用户特征依据。

17、2.根据用户专属特征画像动态调整图像生成模型的采样步数、引导系数与去噪强度核心参数，无需用户手动调整即可获得适配用户场景的最优参数配置，提升生成效率与生成效果。

18、3.基于用户效果反馈筛选高质量样本执行轻量化增量微调，生成适配用户专属风格的个性化适配模型，相比全量微调大幅降低训练成本与周期，实现单用户级别的快速个性化适配。

19、4.通过记录不同核心参数配置下的生成效果与用户反馈并闭环更新参数适配策略，使参数适配能力随用户使用持续优化，不断提升生成内容的用户满意度。

20、5.将用户行为感知、模型参数动态适配、个性化增量微调与闭环优化机制整合为完整技术方案，实现图像生成模型从固定参数配置向千人千面动态适配的转变。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。