基于影调风格识别与重构的视觉提示词生成方法、装置与流程

本技术涉及视觉提示词生成，具体为一种基于影调风格识别与重构的视觉提示词生成方法、装置。

背景技术：

1、随着图文生成模型在广告主视觉、影视分镜和产品宣传图制作中的应用，创作者常需要借助参考图像或视频片段确定目标画面的影调风格；影调通常包括画面明暗关系、色彩冷暖、对比度、高光形态、颗粒感以及材质反射等视觉属性，该类属性在一定程度上可以脱离具体拍摄对象迁移至新的创作内容中。

2、现有视觉提示词生成方式多依赖对参考画面的整体识别或人工描述，容易将参考画面中的物体、场景、道具和人物动作等内容语义一并写入提示词；例如参考画面为雨夜街道时，系统可能同时提取街道、行人、霓虹招牌等内容词，并将其作为生成指令输入模型，导致目标画面出现与用户创意无关的元素；若简单删除上述内容词，又可能同时丢失湿润反光、暗部偏冷、局部彩色高光等具有迁移价值的影调信息。

3、此外，当参考画面中的主体对象占据较大面积时，图像表征往往更偏向主体类别、外观轮廓或场景结构，背景中的环境光、暗部色调和轮廓光等影调信息容易被弱化；现有方法难以在保留参考影调风格的同时有效排除参考内容语义，也难以将提取到的影调属性合理指向目标画面中的对象，影响生成结果的准确性和稳定性。

技术实现思路

1、本技术的目的在于提供一种基于影调风格识别与重构的视觉提示词生成方法、装置，以解决上述背景技术中提出的问题。

2、根据本技术一方面，提供了一种基于影调风格识别与重构的视觉提示词生成方法，包括如下步骤：

3、接收目标内容文本和参考视觉数据；

4、将从所述参考视觉数据中提取的候选内容文本经文本编码器编码得到内容表征向量，以所述内容表征向量构成内容子空间；

5、将所述参考视觉数据经图像编码器编码得到参考视觉表征向量，计算所述参考视觉表征向量在所述内容子空间上的正交投影分量，从所述参考视觉表征向量减去所述正交投影分量得到影调残差表征向量；

6、将影调属性文本集合中各影调属性文本经所述文本编码器编码得到影调属性表征向量，根据各所述影调属性表征向量与所述影调残差表征向量的相似度以及与所述内容子空间的相似度计算匹配得分，按所述匹配得分筛选得到影调属性候选；

7、将各所述影调属性候选中的原始承载对象替换为所述目标内容文本中的目标对象，得到替换后的影调描述；

8、根据所述目标内容文本与所述替换后的影调描述构造视觉提示词。

9、优选地，计算所述匹配得分包括：各所述影调属性表征向量与所述影调残差表征向量的余弦相似度，减去平衡系数与各所述影调属性表征向量和所述内容子空间中各内容表征向量的余弦相似度最大值的乘积；所述平衡系数的取值范围为0-1之间。

10、优选地，在得到所述影调残差表征向量之后，还包括：将所述参考视觉数据的图像划分为若干区域，所述区域至少包括主体区域和背景区域；将各区域的图像数据分别经所述图像编码器编码得到各区域图像表征向量，对各所述区域图像表征向量分别计算其在所述内容子空间上的正交投影分量并减去，得到各区域影调残差表征向量；对各所述区域影调残差表征向量加权汇总得到区域级影调残差表征向量，将所述区域级影调残差表征向量与所述影调残差表征向量融合为影调表征向量，以所述影调表征向量替代所述影调残差表征向量参与后续所述匹配得分的计算。

11、优选地，所述影调残差表征向量与所述区域级影调残差表征向量的融合比例根据所述参考视觉数据中主体区域面积占整图面积的比值确定，主体区域面积占比越大则所述区域级影调残差表征向量的融合权重越高。

12、优选地，将所述原始承载对象替换为所述目标对象时，根据各所述影调属性候选的物理呈现条件与各所述目标对象的表面特性之间的适配关系选择替换对象；对于不依赖特定表面的影调属性候选，保留其原始文本而不执行替换。

13、优选地，组装所述视觉提示词时，将所述视觉提示词划分为目标内容段、光线段、色彩段、材质段和约束段进行分段组装；所述目标内容段的内容取自所述目标内容文本；所述光线段和所述色彩段的内容取自所述替换后的影调描述中分别与光线和色彩对应的部分；所述材质段的内容取自所述替换后的影调描述中描述所述目标对象质感表现的部分；所述约束段根据构成所述内容子空间的候选内容文本生成，列出目标画面中排除的元素。

14、优选地，在组装所述视觉提示词之后，还包括：将所述目标内容文本经所述文本编码器编码得到目标内容表征向量，将所述视觉提示词经所述文本编码器编码得到提示词表征向量；分别计算所述提示词表征向量与所述目标内容表征向量的余弦相似度、与所述影调残差表征向量的余弦相似度以及与所述内容子空间的余弦相似度；根据三组余弦相似度判定所述视觉提示词是否需要调整，需要调整时仅修改所述视觉提示词中源自所述替换后的影调描述的部分，保持源自所述目标内容文本的部分不变。

15、优选地，据三组余弦相似度判定所述视觉提示词是否需要调整包括：生成多个候选视觉提示词，各候选中源自所述目标内容文本的内容相同而源自所述替换后的影调描述的内容不同；对各候选分别计算所述三组余弦相似度，通过各候选之间的相对比较，选择与所述目标内容表征向量和所述影调残差表征向量的余弦相似度高且与所述内容子空间的余弦相似度低的候选作为最终输出的视觉提示词。

16、优选地，当所述参考视觉数据包含多个代表帧时，对各代表帧分别执行从所述候选内容文本提取至所述影调属性候选筛选的处理，统计各影调属性在多个代表帧中所述匹配得分排在前列的频次，保留在多数代表帧中频次满足预设条件的影调属性。

17、本技术另一方面，还提供一种基于影调风格识别与重构的视觉提示词生成装置，包括：

18、数据接收模块，用于接收目标内容文本和参考视觉数据；

19、内容子空间构建模块，用于将从所述参考视觉数据中提取的候选内容文本经文本编码器编码得到内容表征向量，以所述内容表征向量构成内容子空间；

20、影调残差表征获取模块，用于将所述参考视觉数据经图像编码器编码得到参考视觉表征向量，计算所述参考视觉表征向量在所述内容子空间上的正交投影分量，从所述参考视觉表征向量减去所述正交投影分量得到影调残差表征向量；

21、影调属性候选筛选模块，用于将影调属性文本集合中各影调属性文本经所述文本编码器编码得到影调属性表征向量，根据各所述影调属性表征向量与所述影调残差表征向量的相似度以及与所述内容子空间的相似度计算匹配得分，按所述匹配得分筛选得到影调属性候选；

22、影调描述生成模块，用于将各所述影调属性候选中的原始承载对象替换为所述目标内容文本中的目标对象，得到替换后的影调描述；

23、视觉提示词构造模块，用于根据所述目标内容文本与所述替换后的影调描述构造视觉提示词。

24、本技术通过从参考视觉数据中提取候选内容文本并构建内容子空间，将参考视觉表征中与物体、场景及动作相关的内容语义投影去除，得到更集中表征光线、色彩和质感的影调残差，从而降低参考画面内容被错误迁移至目标画面的风险；在此基础上，结合区域级影调残差融合和影调属性匹配得分筛选，可在主体占比较高或背景影调较弱的情况下仍保留具有迁移价值的环境光、暗部色调和材质反射信息；同时，通过将影调属性的原始承载对象替换为目标内容中的适配对象，并对生成的视觉提示词进行表征校验，本技术能够在保持目标内容不变的前提下，将参考影调稳定重构为可被视觉生成模型识别的提示词，提高影调复现准确性，减少无关元素引入，增强目标画面生成结果的一致性和可控性。