基于语义锚点与生成式扩图的多规格视觉素材自适应方法及系统与流程

摘要: 本发明属于计算机视觉和数字图像处理,尤其涉及一种基于语义锚点与生成式扩图的多规格视觉素材自适应方法及系统。背景技术:1、随着电子商务、数字广告、社交媒体及终端显...
基于语义锚点与生成式扩图的多规格视觉素材自适应方法及系统与流程

本发明属于计算机视觉和数字图像处理,尤其涉及一种基于语义锚点与生成式扩图的多规格视觉素材自适应方法及系统。

背景技术:

1、随着电子商务、数字广告、社交媒体及终端显示设备的发展,同一视觉素材通常需要转换为横图、竖图、方图等多个目标规格。现有处理方式主要包括等比例缩放、中心裁剪、显著区域裁剪、模板排版和图像扩边。等比例缩放容易产生留白或主体过小;直接裁剪可能截断人物、商品、标题或品牌标识;针对各目标规格分别排版或扩图,又容易使主体位置、背景纹理及文字关系产生差异,增加重复处理和人工复核成本。

2、中国专利cn103914689b公开了一种基于人脸识别的图片裁剪方法及装置,其根据人脸的数目、位置和面积以及目标裁剪尺寸确定裁剪框;未识别到人脸时,再依据主体显著性识别结果确定裁剪框,从而尽量避免人脸或主体被截断。该方案能够改进单幅图片的裁剪位置,但主要围绕人脸或显著主体选择裁剪框。当目标画布不能通过裁剪容纳全部视觉对象和文字对象,或者需要在原图边界外补充内容时,单纯调整裁剪框难以兼顾多个对象的完整性及其相对位置,也未涉及多个目标规格之间的协同处理。

3、另有中国专利申请cn107609193a公开了一种适合商品详情页中图片的智能自动处理方法和系统,能够识别商品图片及模板中的展示位置,并通过缩放、拉伸、裁剪、扩边和展示位置调整,使图片适配商品详情页及不同平台的宽度要求。该方案实现了模板化的图片匹配和排版,但扩边及排版结果仍按相应图片或页面生成,未明确以对象标识、原始区域和相对位置关系建立供多个目标规格共用的约束数据,也未给出将不同规格的待生成区域映射至共享坐标系、合并重合部分并通过一次生成形成共享扩图层的处理机制。

4、生成式图像扩展技术能够根据原图内容补充原边界之外的背景和场景。然而,若对每一目标规格独立扩图,由于生成过程具有不确定性,各规格在相同语义位置可能形成不同的纹理、光照或物体细节,同一区域还可能被重复生成。若仅判断单幅图像质量,也难以及时发现跨规格素材之间的锚点内容缺失、相对位置偏移以及扩图衔接不连续。因此,仍需在保护关键视觉及文字对象的同时,根据画布冲突选择处理方式,使多个目标规格复用共同生成的像素内容,并通过一致性校验和同步修正形成相互协调的输出结果。

技术实现思路

1、本发明旨在提供一种基于语义锚点与生成式扩图的多规格视觉素材自适应方法及系统,以解决多规格转换过程中关键对象易被截断、相同扩展区域被重复生成以及不同规格素材内容不一致的问题。

2、为达到上述技术目的,本发明提供如下技术方案。

3、第一方面,本发明提供一种基于语义锚点与生成式扩图的多规格视觉素材自适应方法,包括如下步骤:

4、s1,获取参考视觉素材和多个目标规格,识别视觉及文字对象,以对象标识和原始区域建立语义锚点及其相对位置关系,形成共用语义锚点图;

5、s2,将语义锚点图映射至各目标规格画布,按锚点区域交叠或越界确定冲突;根据冲突从裁剪处理、锚点重排处理和生成式扩图处理中为各目标规格确定一种处理路径,并为采用生成式扩图处理路径的目标规格确定待生成区域;

6、s3,按对象标识和原始区域的对应关系,将待生成区域映射至共享扩图坐标系;将映射后的重合部分作为重合区域,并将对应待生成区域合并为共享生成区域;以参考视觉素材为条件,对共享生成区域执行一次生成式扩图,形成共享扩图层并记录投影关系;

7、s4,按处理路径处理各目标规格;对于采用生成式扩图处理路径的目标规格,将共享扩图层投影至对应目标规格画布,使各目标规格的重合区域复用相同像素内容,得到多规格候选素材;

8、s5,校验候选素材的锚点内容完整性、相对位置关系和扩图衔接区域的视觉连续性,将不满足要求的区域确定为待修正区域;按待修正区域对应的处理路径重新处理;更新共享扩图层时,将更新像素同步至对应目标规格画布;重新校验后输出多规格视觉素材。

9、具体地,步骤s1中,所述视觉对象包括人物、商品、品牌标识、装饰对象和背景区域,所述文字对象包括标题、说明文字和行动引导文字;所述语义锚点还记录对象掩膜、内容特征、保护等级和允许变换方式;所述语义锚点图中的边记录对应语义锚点间的相对方向、排列次序和间距关系。

10、更具体地,所述保护等级包括第一保护等级、第二保护等级和第三保护等级;第一保护等级用于限定对应对象的内容和形状保持不变,第二保护等级用于限定对应对象在预定范围内位移或缩放,第三保护等级用于允许对应对象被裁剪、替换或生成。

11、具体地,步骤s2中,将语义锚点的原始区域转换至以参考视觉素材的宽度和高度归一化的坐标系后映射至各目标规格画布;根据目标规格画布的有效显示边界和界面遮挡区域确定画布安全区,根据画布安全区、保护等级和允许变换方式确定锚点可行域;以语义锚点为节点,记录锚点区域交叠冲突和锚点区域越出画布安全区的越界冲突,建立锚点冲突图,并针对所述锚点区域交叠冲突记录对应语义锚点的间距和相对位置关系。

12、具体地,步骤s2中,在第一保护等级和第二保护等级的语义锚点能够位于同一裁剪窗口且不存在锚点冲突时,确定对应目标规格采用裁剪处理路径;在锚点冲突能够通过第二保护等级对应的允许变换方式解除时,确定对应目标规格采用锚点重排处理路径;在执行所述允许变换方式后仍存在锚点冲突或画布空缺区域时,确定对应目标规格采用生成式扩图处理路径。

13、具体地,步骤s3中,所述共享扩图坐标系由参考视觉素材的归一化坐标系向外扩展形成;为映射至共享扩图坐标系的每一待生成区域建立映射记录,所述映射记录包括目标规格、区域掩膜以及共享扩图坐标系与目标规格画布之间的投影关系;将区域掩膜存在交集的部分作为重合区域,并将对应待生成区域合并为共享生成区域。

14、更具体地,步骤s3中,对共享生成区域执行生成式扩图时,保持参考视觉素材中位于共享生成区域之外的像素不变,以共享生成区域邻接部分的边缘、纹理、色彩、光照和透视特征以及参考视觉素材的场景语义作为生成条件;以共享生成区域的区域标识关联存储共享扩图层,并依据所述映射记录将共享扩图层投影至对应目标规格画布。

15、具体地,步骤s5中,根据视觉对象的掩膜覆盖情况和内容特征匹配情况以及文字对象的识别字符串确定锚点内容完整性,根据语义锚点间的相对方向、排列次序和间距确定相对位置关系,根据扩图衔接区域两侧的颜色、亮度、纹理和轮廓延续情况确定视觉连续性;对待修正区域重新处理时,保持已经满足校验要求的区域不变;更新共享扩图层后,根据映射记录将更新像素同步至对应目标规格画布,并对同步后的候选素材重新校验。

16、第二方面,本发明还提供一种基于语义锚点与生成式扩图的多规格视觉素材自适应系统,该系统用于实施第一方面所述的多规格视觉素材自适应方法,包括如下模块:

17、语义锚点构建模块,用于根据参考视觉素材建立各目标规格共用的语义锚点图;

18、处理路径确定模块,用于根据语义锚点在各目标规格画布中的冲突,从裁剪处理、锚点重排处理和生成式扩图处理中为各目标规格确定一种处理路径;

19、共享扩图模块,用于将待生成区域映射至共享扩图坐标系,合并对应待生成区域并执行一次生成式扩图,以形成共享扩图层;

20、多规格处理模块,用于根据处理路径处理各目标规格,并使各目标规格的重合区域复用共享扩图层中的相同像素内容;

21、校验修正模块,用于校验多规格候选素材,重新处理待修正区域,并将共享扩图层的更新像素同步至对应目标规格画布。

22、第三方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,使所述处理器执行第一方面所述的多规格视觉素材自适应方法。

23、本发明通过共用语义锚点图记录视觉及文字对象的对象标识、原始区域和相对位置关系,使各目标规格在统一对象约束下选择裁剪、锚点重排或生成式扩图处理,降低关键对象被截断、遮挡或错误移位的可能性;通过将不同目标规格的待生成区域映射至共享扩图坐标系,合并对应区域并执行一次生成式扩图,使多个目标规格能够在重合区域复用共享扩图层中的相同像素内容,减少重复扩图处理及生成结果的随机差异;通过对锚点内容完整性、相对位置关系和扩图衔接区域视觉连续性进行校验,并对待修正区域重新处理及同步更新相关画布,能够提高多规格视觉素材之间的内容一致性和处理结果的稳定性。