一种图像侵权识别方法、系统、电子设备和存储介质与流程
本发明涉及图像处理与版权保护,尤其涉及一种图像侵权识别方法、系统、电子设备和存储介质。
背景技术:
1、随着生成式人工智能技术的快速发展,文生图模型已能够生成高度逼真的图像。这一技术突破在拓展创作应用的同时,也带来了严峻的版权保护挑战。当前围绕人工智能生成内容的版权侵权诉讼日益增多,如何自动、准确且可解释地识别人工智能生成图像是否侵犯已有作品的版权,已成为司法实践与版权保护领域面临的关键难题。
2、现有技术中的图像版权侵权识别方案主要包含三种技术路线。全局图像特征比对方案通过提取待检测图像的整体特征生成指纹,再与版权库中的整体特征进行比对,依靠相似度分数判定侵权。整体角色与场景比对方案多用于视频侵权检测,将待判定视频解码为图像帧后提取帧指纹、人物及场景特征,与版权视频特征库进行逐级比对并综合判定,虽引入了人物与场景维度,但仍以整张图像或视频帧为最小检测单元。版权智能审查系统依托海量图库实现图像查重比对,但核心仍依赖全局相似度检索,输出报告仅展示整体相似度,缺乏细分的侵权说明。
3、然而,上述现有方案在实际应用中存在诸多局限。这些方案普遍以整图或完整角色为最小检测单元,当侵权方仅盗用原作品中的局部元素并替换背景或主体时,整图相似度偏低,造成大量漏判,而现实侵权行为多为局部要素抄袭而非完整原图搬运。同时,现有方案未将图像风格作为独立判定维度,对于画面内容不同但光影、笔触、色彩风格高度复刻知名作品的侵权行为缺乏识别能力。此外,现有方案仅依靠单一维度阈值进行判断,无法识别多维度低相似度叠加构成实质性相似的情形,且仅输出相似度数值或侵权概率,无法标注具体侵权元素与侵权维度,输出结果黑盒化,难以满足司法举证的解释性要求。
4、因此,亟需一种能够从局部元素、风格特征等多维度进行组合式分析,并输出可解释侵权判定依据的图像侵权识别方法。
技术实现思路
1、为解决上述技术问题,本发明提供了一种图像侵权识别方法、系统、电子设备和存储介质。
2、第一方面,本发明提供一种图像侵权识别方法,该方法的技术方案如下:
3、获取待检测图像与版权基准图像;
4、分别对所述待检测图像和所述版权基准图像进行三层多维图像版权特征的解耦提取,将所述版权基准图像的三层多维图像版权特征分别存入对应的独立指纹库;
5、将所述待检测图像的三层多维图像版权特征分别在对应的独立指纹库中进行检索,得到结构相似度、局部相似度和风格相似度;
6、根据所述待检测图像中检测到的每个局部单元,计算每个局部单元的显著性权重;
7、根据所述结构相似度、所述局部相似度、所述风格相似度和每个局部单元的显著性权重,执行组合侵权判定,其中,若任一相似度大于等于第一阈值,则判定所述待检测图像侵权;若每个相似度均小于所述第一阈值,则计算各相似度与对应显著性权重的加权总分,若所述加权总分大于等于第二阈值,则判定所述待检测图像侵权;
8、在判定所述待检测图像侵权的情况下,生成结构化侵权证据报告。
9、本发明的一种图像侵权识别方法的有益效果如下:
10、本发明的方法通过对三层多维图像版权特征进行解耦提取并分别存入独立指纹库,将待检测图像在对应指纹库中检索获得结构、局部与风格相似度,结合局部单元显著性权重执行组合侵权判定,并在判定侵权时生成结构化证据报告,解决了现有方案以整图为最小检测单元导致的局部要素盗用漏判、未将风格作为独立维度造成的风格抄袭识别不足、单一维度阈值无法识别多维度低相似度叠加构成的实质性相似,以及输出结果黑盒化难以满足司法举证解释性要求的问题,提升了图像侵权识别的全面性、准确性与可解释性。
11、在上述方案的基础上,本发明的一种图像侵权识别方法还可以做如下改进。
12、在一种可选的方式中,所述三层多维图像版权特征包括结构层特征、局部层特征和风格层特征;所述结构层特征用于表征图像的构图布局信息,所述局部层特征用于表征图像中各独立局部单元的视觉信息,所述风格层特征用于表征图像的色彩光影笔触风格信息。
13、采用上述可选方式的有益效果为:进一步明确三层多维图像版权特征的具体分类与各自表征内容,将图像信息划分为结构布局、局部单元视觉和色彩光影笔触三个独立维度,使解耦提取与独立指纹库存储具备清晰的特征划分依据,三个维度相互补充,为后续多维度组合侵权判定奠定特征基础。
14、在一种可选的方式中,对任一图像进行结构层特征提取的步骤,包括:
15、将所述任一图像输入swin transformer网络,提取所述swin transformer网络末层的全局池化输出,得到所述任一图像的结构特征向量,作为所述任一图像的所述结构层特征;其中,所述构图布局信息包括边缘轮廓分布、显著性主体区域和构图类型。
16、采用上述可选方式的有益效果为:进一步通过swin transformer网络提取末层全局池化输出作为结构特征向量,将边缘轮廓分布、显著性主体区域和构图类型等构图布局信息转化为可量化的数值表示,为结构相似度的计算提供了稳定的特征来源,使图像整体构图层面的侵权比对具备可执行性。
17、在一种可选的方式中,对任一图像进行所述局部层特征提取的步骤,包括:
18、通过目标检测网络对所述任一图像进行目标检测与实例分割,裁剪分割出的每个独立局部单元,将每个独立局部单元输入resnet50网络,输出每个独立局部单元对应的局部特征向量,得到所述任一图像的各个局部单元的局部特征向量,作为所述任一图像的所述局部层特征;其中,所述独立局部单元包括人物头部、服饰、配饰和道具。
19、采用上述可选方式的有益效果为:进一步通过目标检测网络与实例分割获取独立局部单元,再利用resnet50网络分别提取各局部单元的特征向量,使人物头部、服饰、配饰和道具等关键视觉元素得以单独编码和存储,为局部相似度的精细化比对提供数据支撑,避免以整图为单元造成的局部要素漏判。
20、在一种可选的方式中,对任一图像进行所述风格层特征提取的步骤,包括:
21、将所述任一图像输入基于vgg19网络的gram矩阵构建的风格编码器,输出所述任一图像的风格特征向量,作为所述任一图像的所述风格层特征;其中,所述色彩光影笔触风格信息包括主色调、对比度、光影明暗曲线和色彩搭配偏好。
22、采用上述可选方式的有益效果为:进一步通过基于vgg19网络的gram矩阵构建风格编码器,输出风格特征向量,将主色调、对比度、光影明暗曲线和色彩搭配偏好等色彩光影笔触风格信息独立量化并存储,为风格维度的相似度计算提供专门的特征通道,使风格抄袭行为能够被独立识别。
23、在一种可选的方式中,计算每个局部单元的显著性权重的表达式为:
24、
25、其中,为第个局部单元的显著性权重,为第个局部单元的信息熵,为第个局部单元的独创性评分,和为预设平衡系数。
26、采用上述可选方式的有益效果为:进一步将信息熵与独创性评分引入局部单元显著性权重的计算过程,使不同局部单元在侵权判定中的贡献度能够根据信息丰富程度与原创价值进行差异化分配,提升了加权总分计算过程中局部层特征权重分配的合理性。
27、在一种可选的方式中,计算各相似度与对应显著性权重的加权总分的步骤,包括:
28、将每个局部单元的显著性权重进行聚合,得到所述局部层特征对应的显著性权重,并预设所述结构层特征对应的显著性权重和所述风格层特征对应的显著性权重;
29、计算所述加权总分的表达式为:
30、
31、其中,为所述加权总分,为所述结构层特征对应的显著性权重,为所述局部层特征对应的显著性权重,为所述风格层特征对应的显著性权重,为所述结构相似度,为所述局部相似度,为所述风格相似度。
32、采用上述可选方式的有益效果为:进一步将各局部单元的显著性权重聚合为局部层特征的整体显著性权重,并与预设的结构层和风格层显著性权重共同参与加权总分计算,使结构相似度、局部相似度和风格相似度在组合侵权判定中按照各自重要性进行加权融合。
33、第二方面,本发明提供一种图像侵权识别系统,该系统的技术方案如下:
34、获取模块,用于获取待检测图像与版权基准图像;
35、提取模块,用于分别对所述待检测图像和所述版权基准图像进行三层多维图像版权特征的解耦提取,将所述版权基准图像的三层多维图像版权特征分别存入对应的独立指纹库;
36、检索模块,用于将所述待检测图像的三层多维图像版权特征分别在对应的独立指纹库中进行检索,得到结构相似度、局部相似度和风格相似度;
37、计算模块,用于根据所述待检测图像中检测到的每个局部单元,计算每个局部单元的显著性权重;
38、判定模块,用于根据所述结构相似度、所述局部相似度、所述风格相似度和每个局部单元的显著性权重,执行组合侵权判定,其中,若任一相似度大于等于第一阈值,则判定所述待检测图像侵权;若每个相似度均小于所述第一阈值,则计算各相似度与对应显著性权重的加权总分,若所述加权总分大于等于第二阈值,则判定所述待检测图像侵权;
39、生成模块,用于在判定所述待检测图像侵权的情况下,生成结构化侵权证据报告。
40、本发明的一种图像侵权识别系统的有益效果如下:
41、本发明的系统通过对三层多维图像版权特征进行解耦提取并分别存入独立指纹库,将待检测图像在对应指纹库中检索获得结构、局部与风格相似度,结合局部单元显著性权重执行组合侵权判定,并在判定侵权时生成结构化证据报告,解决了现有方案以整图为最小检测单元导致的局部要素盗用漏判、未将风格作为独立维度造成的风格抄袭识别不足、单一维度阈值无法识别多维度低相似度叠加构成的实质性相似,以及输出结果黑盒化难以满足司法举证解释性要求的问题,提升了图像侵权识别的全面性、准确性与可解释性。
42、第三方面,本发明的一种电子设备的技术方案如下:
43、包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序,所述处理器执行所述程序时实现如本发明的图像侵权识别方法的步骤。
44、第四方面,本发明提供的一种计算机可读存储介质的技术方案如下:
45、计算机可读存储介质中存储有指令,当计算机可读存储介质读取所述指令时,使所述计算机可读存储介质执行如本发明的图像侵权识别方法的步骤。
46、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com