一种融合感知先验与视觉语言模型的图像编辑质量评估方法

本发明涉及一种融合感知先验与视觉语言模型的图像编辑质量评估方法，属于图像编辑质量评估、多模态学习、计算机视觉和视觉语言模型，应用于指令引导图像编辑结果的自动化质量评估场景。

背景技术：

1、随着扩散模型、图像到图像生成模型以及多模态大模型的发展，用户能够通过自然语言指令对图像进行对象添加、对象移除、对象替换、背景修改、颜色或属性调整等多种编辑操作。相应地，如何自动判断编辑后图像是否正确执行文本指令、是否保留未编辑区域、以及是否具有视觉合理性，已经成为图像编辑模型训练、模型选择和结果筛选中的关键问题。

2、现有图像编辑质量评估方法主要包括基于像素或深度特征距离的评估方法、基于视觉语言对齐模型的评估方法以及基于视觉语言模型的评估方法。像素级指标或一般感知相似度指标通常面向图像重建任务，难以准确反映指令编辑中“应改变部分”与“应保持部分”的差异。基于视觉语言对齐模型的指标通常将图像、文本或图像变化映射到统一嵌入空间，并通过余弦相似度或点积得到质量分数；该类方法能够捕获一定的语义相关性，但往往缺乏对编辑任务本身的上下文理解，难以区分正确的大幅结构变化与错误的图像破坏。

3、另一方面，视觉语言模型虽然具有较强的语义理解和推理能力，可以根据源图像、编辑后图像和编辑指令进行综合判断，但其视觉输入通常经过分块、降采样或离散化编码，导致模型对细粒度视觉变化不够敏感。例如，在轻微颜色变化、局部纹理变化或小目标添加等场景中，视觉语言模型可能无法稳定感知实际变化是否发生，从而产生过高或过低的评价结果。

4、因此，现有方法存在如下缺陷：第一，基于嵌入相似度的指标缺乏对不同编辑类型的语义判断能力，容易在对象移除、背景替换等大幅变化任务中产生系统性偏差；第二，视觉语言模型在细粒度变化识别上存在感知瓶颈，容易遗漏局部或微弱编辑；第三，现有方法通常将视觉变化信号压缩为单一分数或简单拼接特征，未能在视觉语言模型的多层推理过程中持续利用结构化感知信息；第四，缺乏针对不同编辑类型自适应校准感知信息与语义推理信息权重的机制。

5、因此，如何将具备细粒度变化感知能力的图像编辑感知特征与视觉语言模型的语义推理能力进行有效融合，从而提高指令引导图像编辑质量评估的准确性和鲁棒性，已经成为亟待解决的问题。

技术实现思路

1、本发明的目的是解决现有图像编辑质量评估方法难以同时兼顾细粒度视觉变化感知和高层语义理解的技术问题，提出一种融合感知先验与视觉语言模型的图像编辑质量评估方法。

2、本发明的目的是通过以下技术方案实现的：

3、第一方面，本发明公开的一种融合感知先验与视觉语言模型的图像编辑质量评估方法，包括以下步骤：

4、步骤1：获取待评估的图像编辑样本，对样本中的源图像is、编辑后图像ie和文本编辑指令s分别执行预处理操作；所述图像编辑样本包含源图像、编辑后图像以及对应编辑操作的文本编辑指令；

5、所述预处理操作具体包括：

6、对源图像和编辑后图像进行尺寸归一化、像素值归一化和通道格式统一处理；将作为视觉编码器和视觉语言模型的输入；对文本编辑指令进行分词、特殊标记添加和长度截断或填充处理，形成文本令牌序列；根据编辑任务类型，将图像编辑样本划分为对象添加、对象移除、对象替换、背景修改和属性编辑中的一种或多种类别，用于类型感知的模型训练或评估校准；

7、步骤2：将预处理的源图像与编辑后图像组成图像对在通道维度上进行拼接，并输入至整体参数保持冻结状态的预训练 editclip 图像编辑感知编码器中进行联合编码，经过编码器最后隐藏层或指定中间层提取特征向量，作为感知先验特征f；所述感知先验特征用于表征图像编辑操作所引起的局部或全局视觉变化信息；

8、所述感知先验特征f表示为：

9、f = f(concat (is ，ie))；

10、其中，concat (·)表示通道维度上拼接；f(·)表示图像编辑感知编码器；

11、步骤3：利用可训练的感知先验投影模块，将所述感知先验特征映射至视觉语言模型的隐藏维度空间，并重塑为与视觉语言模型的词嵌入维度一致的连续软前缀令牌p；对软前缀令牌进行携带源图像与编辑后图像之间的结构化变化信息的训练，用于视觉语言模型的注意力层读取；

12、所述感知先验投影模块由第一线性层、gelu 激活层与第二线性层串联构成；

13、所述软前缀令牌p表示为：p = reshape(g( f))，p ∈ r^(k×d)；

14、其中，k表示软前缀令牌数量，d表示视觉语言模型的隐藏维度；g表示先验投影模块；r表示为实数空间；

15、步骤4：将预处理的源图像与编辑后图像输入至视觉语言模型的参数保持冻结视觉编码器中，编码得到图像令牌序列；将预处理的文本编辑指令输入视觉语言模型的参数保持冻结文本嵌入模块，经文本分词器和文本嵌入层编码得到文本令牌序列；按照软前缀令牌、图像令牌序列、文本令牌序列的顺序进行融合拼接形成增强输入序列e；

16、所述增强输入序列表示为：e = [p；v；t]；

17、其中，软前缀令牌为p、图像令牌序列为v和文本令牌序列为t；

18、步骤5：将增强输入序列输入主体参数保持冻结状态的视觉语言模型的transformer注意力层，并在注意力层中的查询投影矩阵wup与值投影矩阵wdown引入低秩适配模块进行参数微调，在多层自注意力计算中，将软前缀令牌作为键和值参与推理，使视觉语言模型自适应融合感知先验信息；

19、所述参数微调具体包括：

20、通过包括可训练的查询投影矩阵与值投影矩阵的低秩适配模块，通过低秩分解对原投影矩阵进行增量更新；在低秩适配模块中对查询投影矩阵进行软前缀令牌关注强度的动态调控；对值投影矩阵将感知先验信息融合至多模态隐藏表示中；具体满足：

21、w' = w + ( α / r )·wup·wdown ；

22、其中，r为低秩矩阵的秩，α为缩放系数；w为视觉语言模型注意力层中原始预训练的查询投影矩阵或值投影矩阵、w'为引入低秩适配模块后的等效投影矩阵；

23、所述视觉语言模型采用 qwen3-vl 多模态大模型；

24、步骤6：提取视觉语言模型输出序列中最后一个令牌的隐藏状态、特殊分类令牌的隐藏状态，或经池化处理得到的全局隐藏表示作为质量预测表示h，通过可训练的回归预测模块mlp输出取值位于预设数值区间内的图像编辑质量评分q；

25、所述图像编辑质量评分取值范围为[0,1]，用于表征编辑后图像相对于源图像和文本编辑指令的编辑完成程度与视觉质量；

26、当质量评分趋近于1时，则指令一致性越高、视觉效果越自然；当质量评分趋近于0时，编辑失败或存在明显伪影与指令偏差；

27、所述回归预测模块为多层感知机结构，依次由第一线性层、gelu 激活层、第二线性层与 sigmoid 归一化层串联构成；

28、所述质量评分q表示为：q = σ( mlp ( h ) )；

29、其中，σ为sigmoid函数或归一化函数；

30、步骤7： 构建包含源图像、编辑后图像、文本编辑指令的训练样本以及对应的质量标签；基于编辑类型对训练样本进行分组采样并引入类型嵌入提示，并采用均方误差损失、二元交叉熵损失、排序损失或其加权组合作为损失函数对质量评估模型进行端到端训练，使质量评估模型学习编辑类型下感知先验信息的权重分配；利用已训练的质量评估模型进行推理，输出包含修改正确性、指令一致性、视觉合理性维度的解释性评价结果；

31、所述质量标签包括二值质量标签、连续质量评分或多维评价标签中的至少一种；所述多维评价标签包含修改正确性、指令一致性与视觉合理性，其中修改正确性用于评价目标视觉变化是否完成，指令一致性用于评价编辑结果是否符合文本编辑指令，视觉合理性用于评价编辑后图像是否自然连贯、无明显伪影；

32、第二方面，本发明公开的一种融合感知先验与视觉语言模型的图像编辑质量评估系统，用于实现上述方法；包括样本获取模块、感知先验提取模块、先验投影模块、多模态融合模块、视觉语言推理模块、评分输出模块和训练校准模块。

33、所述样本获取模块，用于获取待评估图像编辑样本中的源图像、编辑后图像和文本编辑指令，并对源图像、编辑后图像和文本编辑指令分别进行预处理，得到预处理后的源图像、预处理后的编辑后图像和文本令牌序列；所述预处理后的源图像和预处理后的编辑后图像作为感知先验提取模块和视觉语言模型视觉编码部分的输入，所述文本令牌序列作为多模态融合模块的输入。

34、所述感知先验提取模块，用于接收样本获取模块输出的预处理后的源图像和预处理后的编辑后图像，并利用图像编辑感知编码器对源图像和编辑后图像进行联合编码，提取表征编辑前后视觉变化的感知先验特征；所述感知先验特征作为先验投影模块的输入。

35、所述先验投影模块，用于接收感知先验提取模块输出的感知先验特征，并将所述感知先验特征映射为视觉语言模型隐藏维度下的一个或多个连续软前缀令牌；所述软前缀令牌作为多模态融合模块的输入。

36、所述多模态融合模块，用于接收先验投影模块输出的软前缀令牌、视觉语言模型视觉编码部分输出的图像令牌序列以及样本获取模块输出的文本令牌序列，并将所述软前缀令牌、图像令牌序列和文本令牌序列按照预设顺序拼接，形成增强输入序列；所述增强输入序列作为视觉语言推理模块的输入。

37、所述视觉语言推理模块，用于接收多模态融合模块输出的增强输入序列，并基于视觉语言模型的多层自注意力结构进行多模态推理；在推理过程中，通过参数高效适配模块自适应读取和融合软前缀令牌所携带的感知先验信息，得到多模态隐藏表示；所述多模态隐藏表示作为评分输出模块的输入。

38、所述评分输出模块，用于接收视觉语言推理模块输出的多模态隐藏表示，并通过回归预测模块生成图像编辑质量评分，所述图像编辑质量评分用于表征编辑后图像相对于源图像和文本编辑指令的编辑完成程度、指令一致性和视觉合理性。

39、所述训练校准模块，用于接收带标签的图像编辑训练样本，并基于所述带标签的图像编辑训练样本对先验投影模块、参数高效适配模块和评分输出模块进行训练；所述训练校准模块还用于根据不同编辑类型对模型进行质量评估校准，使模型在对象添加、对象移除、对象替换、背景修改和属性编辑等不同编辑类型下自适应利用感知先验信息。

40、第三方面，本发明公开的一种电子设备，包括处理器、存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法。

41、第四方面，本发明公开的一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序在处理器中运行时实现上述任一项所述的方法。

42、与现有技术相比，具有如下有益效果：

43、1、本发明通过将图像编辑感知编码器提取的视觉变化特征作为感知先验注入视觉语言模型，解决了传统视觉语言模型仅依赖原始图像令牌时对细粒度视觉变化不敏感的问题，能够提升对颜色、纹理、小目标添加等细微编辑结果的识别能力。

44、2、本发明通过将感知先验转换为软前缀令牌并插入多模态输入序列，使视觉语言模型在多层注意力推理过程中持续利用结构化视觉变化信息，避免将感知信息压缩为单一分数所导致的信息损失。

45、3、本发明通过视觉语言模型的语义推理能力结合感知先验的视觉变化建模能力，解决了基于嵌入相似度的评估指标难以区分正确大幅结构变化与错误图像破坏的问题，提高对象移除、对象替换和背景修改等复杂编辑类型的评估准确性。

46、4、本发明通过在视觉语言模型中引入低秩适配模块，实现不同编辑类型下对感知先验的自适应利用，能够根据对象添加、对象移除、背景修改和属性编辑等编辑类别动态调整评价依据，提高跨类型评估的鲁棒性。

47、5、本发明采用参数高效训练方式，仅需训练感知先验投影模块、低秩适配模块和评分输出模块，减少模型训练成本和部署成本，适用于大规模图像编辑结果筛选、模型评测和自动化数据标注场景。