个性化审美评估与重排方法、装置及介质

本发明涉及图像排序领域，尤其是涉及一种个性化审美评估与重排方法、装置及介质。

背景技术：

1、随着多模态大模型在图像理解与交互任务中的普及，个性化审美评估逐渐成为图像推荐、内容生成与人机交互中的关键环节。

2、例如中国专利cn 121563972 a公开了一种基于多模态大模型的图像美学全链路分析与增强方法，包括：利用视觉编码器提取输入图像的高维视觉特征；将视觉特征输入至多模态大语言模型中，利用多模态对齐与推理模块将视觉特征映射至语言空间，并结合个性化适配器进行推理；基于预定义词表映射的连续词元量化评分机制，从模型输出的词元概率分布中计算得到连续美学评分，基于模型在生成美学评价词元时对图像各区域的关注度权重生成美学热力图；基于视觉特征和模型的多维度专家级文本分析能力，输出针对输入图像的多维度美学文本分析结果；根据多维度美学文本分析结果，通过思维链推理自动生成针对输入图像的美学增强建议。本发明的方法提高了评分精度。

3、然而，包括上述方法在内的现有技术，一般都是将文本华西那个和待测图像直接拼接输入的大语言模型进行评估，这种方式会存在以下缺陷：

4、1、文本劫持视觉问题，即模态干扰，大语言模型在图文混合提示场景中，文本信息密度与约束性更强，模型注意力容易被文本规则主导，从而忽略待测图像的微观视觉细节，导致评估结果出现与图像本体不一致的偏差，并且大语言模型并不会开放其模态权重设置，用户无法通过增加图像模态的权重来解决此问题。

5、2、锚定偷懒与算平均分倾向：当评估链路包含多个中间评分或参考分数时，终局模型容易对中间分数进行如平均等简单组合而非重新审视图像事实，导致融合阶段难以实现性能增益。

6、3、个性化注入成本高与工程可落地性不足：传统个性化方案往往依赖模型微调或长文本历史描述，带来高标注成本、推理上下文膨胀与调用成本上升，不利于形成token 成本可控、工程可复现的评测管线。

7、基于此，本领域技术人员致力于提供一种可以不需要对模态权重进行调节即可解决因大语言模型存在的文本劫持问题导致的忽略待测图像的微观视觉细节的问题，以及避免因大语言模型因锚定偷懒导致的融合度不足的问题。

技术实现思路

1、本发明的目的就是为了解决上述现有技术的问题而提供一种个性化审美评估与重排方法、装置及介质。

2、本发明的目的可以通过以下技术方案来实现：

3、一种个性化审美评估与重排方法，包括：

4、步骤s1：构建情景记忆层和语义记忆层，其中，所述情景记忆层存储有各历史图像的视觉嵌入向量，以及对应的用户评分反馈，所述语义记忆层存储有用户偏好规则；

5、步骤s2：为待评估图像在历史图像库中筛选相似图像构建相似图像集合，并至少基于用户评分反馈在相似图像集合中选择正样本和负样本构建对比图像组合；

6、步骤s3：将待评估图像及其对比图像组合作为第一大语言模型的输入，以视觉对比推理和评分构建提示词，得到由第一大语言模型输出的第一评估结果，

7、将待评估图像和语义记忆层作为第二大语言模型的输入，以规则契合度评估和评分构建提示词，得到由第二大语言模型输出的第二评估结果；

8、步骤s4：将第一评估结果和第二评估结果的评分隐藏分别得到视觉逻辑报告和规则逻辑报告，并将视觉逻辑报告和规则逻辑报告，以及待评估图像作为第三大语言模型的输入，以交叉逻辑验证构建关键词，得到由第三大语言模型输出的交叉验证结果；

9、步骤s5：基于交叉验证结果，结合第一评估结果、第二评估结果得到待评估图像的综合评分，并基于各待评估图像的综合评分进行排序。

10、所述步骤s2包括：

11、步骤s2-1：为待评估图像在历史图像库中筛选相似图像构建相似图像集合；

12、步骤s2-2：在相似图像集合中选择用户评分反馈最优的历史图像作为正样本，以及选择用户评分反馈最劣的历史图像作为负样本；

13、步骤s2-3：将正样本和负样本拼接得到对比图像组合。

14、所述正样本上边缘处设有第一色框，所述负样本的边缘处设有第二色框，所述第一色框和第二色框的颜色不同。

15、所述步骤s2-3中，将正样本和负样本降低分辨率后拼接得到对比图像组合。

16、所述第一评估结果包括：

17、待评估图像在各图像指标上与正样本和负样本的接近度，

18、基于待评估图像在各图像指标上与正样本和负样本的接近度得到的第一中间评分；

19、所述第二评估结果包括：

20、待评估图像与每一条用户偏好规则的契合度，

21、基于待评估图像与每一条用户偏好规则的契合度得到的的第二中间评分。

22、所述图像指标至少包括色彩保护度、构图平衡性、光影层次、纹理细节和主体突出度。

23、所述将第一评估结果和第二评估结果的评分隐藏，具体为，去除第一评估结果中的第一中间评分，以及去除第二评估结果中的第二中间评分。

24、所述交叉验证结果包括：

25、第一验证结果，用于表示第一大语言模型对待评估图像在各图像指标上与正样本和负样本的接近度的判断是否成立；

26、第二验证结果，用于表征第二大语言模型对待评估图像与每一条用户偏好规则的契合度的判断是否成立。

27、一种个性化审美评估与重排装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述的方法。

28、一种存储介质，其上存储有程序，所述程序被执行时实现如上述的方法。

29、与现有技术相比，本发明具有以下有益效果：

30、1、一方面，通过构建情景记忆层和语义记忆层，分别作用于图像模态和文本模态，由两个不同的大语言模型对话，分别生成带有逻辑对比分析的第一评估结果和第二评估结果，并在后续对两者通过交叉逻辑验证的方式进行校验得到交叉验证结果，从而可以在不需要修改模态权重的情况下解决大语言模型在同时输入图像模态和文本模态时的文本劫持现象；另一方面，在交叉逻辑验证环节，两个模态的评分被隐藏，从而可以避免大语言模型直接用显式的中间评分值进行算术运算得到结果的现象，迫使大语言模型必须要重新阅读原始的待评估图像，从而提高了交叉逻辑验证环节的模态融合能力。

31、2、一方面，通过在历史图像库中筛选出与待评估图像相似的图像集合，保证了对比是在同类图像之间进行的，避免了因图像内容差异过大而导致对比失去意义。在此基础上，选取用户评分反馈最优和最劣的图像分别作为正负样本，形成了清晰的好坏标杆，使得第一大语言模型在进行视觉对比推理时有明确的参照系，从而能够更精准地定位待评估图像的审美水平；另一方面，直接利用用户的历史评分数据来定义正负样本，无需额外的标注工作，是一种低成本、高效率的个性化信息注入方式，这有助于模型更好地理解用户的个体审美偏好，而非通用的美学标准。

32、3、当正负样本被拼接在一起时，大语言模型需要自行区分哪一个是高分样本、哪一个是低分样本。通过为它们添加不同颜色的边框，可以直接、明确地告诉模型样本的属性，避免了模型在理解对比图像组合时产生混淆，从而使其能将全部注意力集中在分析图像本身的视觉差异上；并且明确的颜色标识简化了模型的输入理解过程，使其无需花费额外的计算资源去推断哪个样本更好，从而加快了推理速度，并降低了因误判样本属性而导致评估错误的风险。

33、4、高分辨率的图像包含了大量细节信息，可能会与文本指令争夺模型的注意力，通过降低正负样本的分辨率，有意地削弱了它们的视觉信息强度，使得模型在处理对比图像组合时，更倾向于关注待评估图像的微观细节，从而在一定程度上缓解了因文本规则主导而忽略待评估图像细节的文本劫持问题；较低分辨率的图像占用的token数量更少，直接降低了第一大语言模型的计算开销和推理延迟，这对于需要处理大量图像的排序任务而言，具有重要的工程实践意义。

34、5、将评估结果分解为接近度/契合度和中间评分两部分，前者是定性或半定量的逻辑分析，后者是定量的分数，这种结构化的输出使得整个评估过程不再是黑盒，而是具备了可解释性，便于开发者和用户理解模型是如何得出结论的；并且，这种将逻辑推理过程与量化评分结果分离的设计，是实现隐藏评分策略的前提，只有先分离，才能在后续步骤中单独取出逻辑报告，迫使第三大语言模型进行真正的交叉验证，而不是简单地依赖数字进行计算。

35、6、色彩饱和度、构图平衡性、光影层次、纹理细节和主体突出度，这五个指标涵盖了摄影和视觉艺术中评价一幅图像美感的最基本、最重要的方面。通过在这些公认的维度上进行对比，可以确保评估的全面性和专业性，避免模型遗漏关键的评价角度。

36、7、交叉验证结果不仅验证了第一大语言模型的判断是否成立，也验证了第二大语言模型的判断是否成立。这是一种双向、对称的校验机制，能够全面评估两个模态分析结果的可信度。