一种基于对抗样本的图片水印编码方法及解码方法与流程

1.本发明属于数字图像处理技术领域，特别涉及一种基于对抗样本的图片水印编码方法及解码方法。


背景技术：

2.随着现代信息技术的发展，新的it技术、电子商务以及大量的网络多媒体不断涌现，而对于内容敏感的多媒体数据，例如社交平台上的个人照片图片、视频和音频等，版权的拥有者大都不愿数据被传播盗用，即需要对被授权者授权后才可以被使用。
3.现阶段，为了追溯盗用了受版权保护的多媒体数据的泄露者，通常会将一个指定的信息嵌入到受版权保护的数据中，即水印信息，针对于不同的被授权者，其嵌入的信息均不相同。一旦发现数据被泄露盗用后，就可以通过对比提取到的泄漏数据中的水印信息，从而追溯到泄漏者，并追究其责任。
4.但现有技术通常存在着追溯侵权者效率低和水印抗干扰能力低的两个问题。水印信息经过嵌入原始数据再从原始数据中提取出来，其提取出来的水印可能在一定程度存在损失和误差，导致追溯泄漏源的准确性和效率性降低；加之，如果水印信息遭受了一些干扰或者恶意攻击，那么当受版权保护后的数据被泄露侵权后，版权拥有者就无法正常提取水印信息，导致追溯侵权者失败。


技术实现要素：

5.本发明所要解决的技术问题在于，提供了一种基于对抗样本的图片水印编码方法及解码方法，无需提取水印而通过对抗样本直接对图片进行检测，解决了水印抗干扰能力差、鲁棒性低的问题。
6.为了解决上述技术问题，本发明提供了一种基于对抗样本的图片水印编码方法，包括：
7.根据目标检测模型以及预设的关键信息确定规则，获取原始图像的关键信息中的第一目标数据，生成第一集合；其中，所述第一目标数据包括可检测目标的类别、坐标信息和检测框高宽度；
8.将对抗样本覆盖至所述原始图像的关键信息上，生成编码图像；其中，所述对抗样本中含有多个人眼不可见的可检测目标；
9.根据目标检测模型，获取所述编码图像的第二目标数据，组成第二集合；其中，所述第二目标数据包括可检测目标的类别、坐标信息和检测框高宽度；
10.对所述第一集合和所述第二集合进行数据整理，并计算第一归一化互信息值，对所述第一归一化互信息值与所述第二集合进行一一映射，并将映射结果添加至索引池中，从而完成图片水印编码方法；其中，所述索引池包括所有可检测目标的信息。
11.进一步地，所述可检测目标的类别依据预设的类别量化规则进行量化。
12.进一步地，所述对所述第一集合和所述第二集合进行数据整理，并计算第一归一
化互信息值，具体为：
13.分别对所述第一集合和所述第二集合进行元素去重，并对去重后的所述第一集合和去重后的所述第二集合进行第一互信息的计算，从而计算出两个集合之间的第一归一化互信息值。
14.进一步地，所述对去重后的所述第一集合和去重后的所述第二集合进行第一互信息的计算，从而计算出第一归一化互信息值，具体为：
15.计算去重后的所述第一集合和去重后的所述第二集合的初始互信息mi1(a，b)，从而计算出第一归一化互信息值e-nmi1(s1，s2)；
[0016][0017]
其中，a为去重后的所述第一集合，b为去重后的所述第二集合，p(x)和p(y)为边缘概率分布，p(x，y)为联合概率分布；
[0018][0019][0020]
其中，e-nmi0(s1，s2)为第一标准归一化互信息值，s1为所述第一集合，s2为所述第二集合，k1为每次迭代时去重后的所述第一集合和去重后的所述第二集合保留的小数点后的位数，n1为k1取值的个数，h(a)和h(b)为以2为底的对数的交叉熵，m1为第一标准归一化互信息值保留小数点后的位数。
[0021]
进一步地，所述对所述第一归一化互信息值与所述第二集合进行一一映射，并将映射结果添加至索引池中，从而完成图片水印编码方法，具体为：
[0022]
将所述第一归一化互信息值进行36进制转换，并将进制转换后的第一归一化互信息值与所述第二集合进行一一映射，并将映射结果添加至索引池中，从而完成图片水印编码方法。
[0023]
同时，本发明还提供一种基于对抗样本的图片水印解码方法，用于对由上述基于对抗样本的图片水印编码方法而生成的编码图像进行解码，包括：
[0024]
获取待检测图像；所述待检测图像包括未设置对抗样本的第一图像和设置了对抗样本的第二图像；其中，所述对抗样本中含有多个人眼不可见的可检测目标；
[0025]
根据目标检测模型，分别获取所述第一图像和所述第二图像的目标数据，分别组成相对应的第三集合和第四集合；其中，所述目标数据包括可检测目标的类别、坐标信息和检测框高宽度；
[0026]
分别对所述第三集合和所述第四集合进行数据整理，并计算第二归一化互信息值，对所述第二归一化互信息值在索引池中进行匹配查询；其中，所述索引池包括所有可检测目标的信息；
[0027]
若能在索引池中匹配达到预设相似度的对抗样本的信息，则完成对所述待检测图像的解码，并将匹配到的对抗样本的信息作为解码信息；
[0028]
否则，解码过程失败，确定所述第二图像已被破坏。
[0029]
进一步地，所述分别对所述第三集合和所述第四集合进行数据整理，并计算第二归一化互信息值，具体为：
[0030]
对所述第三集合和所述第四集合进行元素去重，并对去重后的所述第三集合和去重后的所述第四集合进行初始互信息的计算，从而计算出第二归一化互信息值。
[0031]
进一步地，所述对所述第三集合和所述第四集合进行元素去重，并对去重后的所述第三集合和去重后的所述第四集合进行初始互信息的计算，从而计算出第二归一化互信息值，具体为：
[0032]
计算去重后的所述第三集合和去重后的所述第四集合的初始互信息mi2(a，c)，从而计算出第二归一化互信息值e-nmi2(s3，s4)；
[0033][0034]
其中，c为去重后的所述第三集合，d为去重后的所述第四集合，p(i)和p(j)为边缘概率分布，p(i，j)为联合概率分布；
[0035][0036][0037]
其中，e-nmi0(s3，s4)为第二标准归一化互信息值，s3为所述第三集合，s4为所述第四集合，k2为每次迭代时去重后的所述第三集合和去重后的所述第四集合保留的小数点后的位数，n2为k2取值的个数，h(c)和h(d)为以2为底的对数的交叉熵，m2为第二标准归一化互信息值保留小数点后的位数。
[0038]
进一步地，所述对所述第二归一化互信息值和索引池进行匹配查询，具体为：
[0039]
将所述第二归一化互信息值转换为36进制数，通过相似度匹配查询，在所述索引池里匹配并映射达到预设相似度的对抗样本的信息。
[0040]
实施本技术实施例，具有如下的有益效果：
[0041]
本发明提供的一种基于对抗样本的图片水印编码方法及解码方法，与现有技术相比，通过对图片的关键区域添加肉眼不可见的对抗样本后，无需进行水印的提取，直接对图片进行目标检测，避免了现有技术中提取水印过程而导致的水印信息缺失或多于噪声添加的问题，能够提高水印的抗干扰性以及鲁棒性。
[0042]
进一步地，通过对编码图片的解码过程，由于无需对编码图像进行水印提取，直接检测的方式能够极大提高检测效率，并通过对检测出来的目标数据信息进行匹配查询，能够进一步地追溯泄漏源，弥补了现有技术水印检测准确度不足的问题。
附图说明
[0043]
图1是本发明实施例所提供的一种基于对抗样本的图片水印编码方法的步骤流程图；
[0044]
图2是本发明实施例所提供的一种基于对抗样本的图片水印解码方法的步骤流程图；
[0045]
图3是本发明实施例所提供的对泄漏的版权图片进行溯源的步骤流程图；
[0046]
图4是本发明实施例所提供的对版权图片的检测方法示意图；
[0047]
图5是本发明实施例所提供的对添加对抗样本的版权图片的检测方法示意图。
具体实施方式
[0048]
为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合本发明中的附图，对本发明实施例中的技术方案进行进一步详细说明。显然，此所描述的实施例仅是本发明一部分实施例，而不是全部实施例，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所用其他实施例，都属于本发明保护的范围。
[0049]
请参阅图1，其是本发明实施例提供的一种基于对抗样本的图片水印编码方法，包括以下步骤：
[0050]
步骤s101：根据目标检测模型以及预设的关键信息确定规则，获取原始图像的关键信息中的第一目标数据，生成第一集合；其中，所述第一目标数据包括可检测目标的类别、坐标信息和检测框高宽度。
[0051]
在本实施例中，目标检测模型包括但不限于yolov3；预设的关键信息确定规则为对原始图像中的主体信息进行确定，根据实际不同的图像，图像中的主体信息也会不同。
[0052]
优选地，依据目标检测模型检测出来的可检测目标，即为原始图像的关键信息。获取原始图像的关键信息中的第一目标数据可以是一个或多个可检测目标的类别、坐标信息和检测框高度。
[0053]
优选地，所述可检测目标的类别依据预设的类别量化规则进行量化，不同的可检测目标的类别赋予的数字不同，每一个可检测目标的类别都有一个数字所对应。
[0054]
依据可检测目标的类别、坐标信息和检测框高宽度，即可生成第一集合。
[0055]
步骤s102：将对抗样本覆盖至所述原始图像的关键信息上，生成编码图像；其中，所述对抗样本中含有多个人眼不可见的可检测目标。
[0056]
在本实施例中，编码图像与原始图像在人眼看来是两幅相同的图像，且对抗样本直接覆盖至原始图像的关键信息上，防止编码图像进行了几何缩放、裁剪等攻击手段后导致对抗样本信息的丢失。
[0057]
步骤s103：根据目标检测模型，获取所述编码图像的第二目标数据，组成第二集合；其中，所述第二目标数据包括可检测目标的类别、坐标信息和检测框高宽度。
[0058]
在本实施例中，通过目标检测模型对编码图像进行检测，目标检测模型会检测到编码图像中对抗样本的可检测目标，而非原始图像的可检测目标，即得到了对抗样本的可检测目标的类别、坐标信息和检测框高宽度，从而组成第二集合。
[0059]
步骤s104：对所述第一集合和所述第二集合进行数据整理，并计算第一归一化互信息值，对所述第一归一化互信息值与所述第二集合进行一一映射，并将映射结果添加至索引池中，从而完成图片水印编码方法；其中，所述索引池包括所有可检测目标的信息。
[0060]
优选地，分别对所述第一集合和所述第二集合进行元素去重，并对去重后的所述
第一集合和去重后的所述第二集合进行第一互信息的计算，从而计算出两个集合之间的第一归一化互信息值。
[0061]
在本实施例中，通过unique函数分别对第一集合和第二集合进行元素的去重，即可分别得到去重后的第一集合和去重后的第二集合。
[0062]
优选地，计算去重后的所述第一集合和去重后的所述第二集合的初始互信息mi1(a，b)，从而计算出第一归一化互信息值e-nmi1(s1，s2)。
[0063][0064]
其中，a为去重后的所述第一集合，b为去重后的所述第二集合，p(x)和p(y)为边缘概率分布，p(x，y)为联合概率分布。
[0065][0066][0067]
其中，e-nmi0(s1，s2)为第一标准归一化互信息值，s1为所述第一集合，s2为所述第二集合，k1为每次迭代时去重后的所述第一集合和去重后的所述第二集合保留的小数点后的位数，n1为k1取值的个数，h(a)和h(b)为以2为底的对数的交叉熵，m1为第一标准归一化互信息值保留小数点后的位数。
[0068]
优选地，将所述第一归一化互信息值进行36进制转换，并将进制转换后的第一归一化互信息值与所述第二集合进行一一映射，并将映射结果添加至索引池中，从而完成图片水印编码方法。
[0069]
同时，请参阅图2，本发明还提供一种基于对抗样本的图片水印解码方法，用于对由上述基于对抗样本的图片水印编码方法而生成的编码图像进行解码，包括以下步骤：
[0070]
步骤s201：获取待检测图像；所述待检测图像包括未设置对抗样本的第一图像和设置了对抗样本的第二图像；其中，所述对抗样本中含有多个人眼不可见的可检测目标。
[0071]
在本实施例中，第一图像和第二图像在人眼看来是两幅相同的图像。
[0072]
步骤s202：根据目标检测模型，分别获取所述第一图像和所述第二图像的目标数据，分别组成相对应的第三集合和第四集合；其中，所述目标数据包括可检测目标的类别、坐标信息和检测框高宽度。
[0073]
优选地，对所述第三集合和所述第四集合进行元素去重，并对去重后的所述第三集合和去重后的所述第四集合进行初始互信息的计算，从而计算出第二归一化互信息值。
[0074]
在本实施例中，通过unique函数分别对第三集合和第四集合进行元素的去重，即可分别得到去重后的第三集合和去重后的第四集合。
[0075]
进一步地，所述对所述第三集合和所述第四集合进行元素去重，并对去重后的所述第三集合和去重后的所述第四集合进行初始互信息的计算，从而计算出第二归一化互信息值，具体为：
[0076]
计算去重后的所述第三集合和去重后的所述第四集合的初始互信息mi2(a，c)，从
而计算出第二归一化互信息值e-nmi2(s3，s4)；
[0077][0078]
其中，c为去重后的所述第三集合，d为去重后的所述第四集合，p(i)和p(j)为边缘概率分布，p(i，j)为联合概率分布。
[0079][0080][0081]
其中，e-nmi0(s3，s4)为第二标准归一化互信息值，s3为所述第三集合，s4为所述第四集合，k2为每次迭代时去重后的所述第三集合和去重后的所述第四集合保留的小数点后的位数，n2为k2取值的个数，h(c)和h(d)为以2为底的对数的交叉熵，m2为第二标准归一化互信息值保留小数点后的位数。
[0082]
步骤s203：分别对所述第三集合和所述第四集合进行数据整理，并计算第二归一化互信息值，对所述第二归一化互信息值在索引池中进行匹配查询；其中，所述索引池包括所有可检测目标的信息。
[0083]
优选地，将所述第二归一化互信息值转换为36进制数，通过相似度匹配查询，在所述索引池里匹配并映射达到预设相似度的对抗样本的信息。
[0084]
在本实施例中，预设相似度依据实际图像的情况进行确定，因此尽管在索引池中匹配不到完全相同的对抗样本，也能通过相似度比较得到与索引池中对抗样本的信息最接近的映射，从而达到本发明具有一定的鲁棒性，在一定程度上对抗干扰和攻击。
[0085]
步骤s204：若能在索引池中匹配达到预设相似度的对抗样本的信息，则完成对所述待检测图像的解码，并将匹配到的对抗样本的信息作为解码信息；否则，解码过程失败，确定所述第二图像已被破坏。
[0086]
在本实施例中，若能在索引池中匹配达到预设相似度的对抗样本的信息，则将匹配到的对抗样本的信息作为本实施例解码的信息；其中，对抗样本的信息包括但不限于归一化互信息值以及可检测目标的类别、坐标和检测框高宽度。
[0087]
在本实施例中，若不能在索引池中匹配达到预设相似度的对抗样本的信息，则解码过程失败，确定了第二图像已被破坏。
[0088]
同时，请参阅图3，本发明还提供对泄漏的版权图片进行溯源的另一实施例，包括以下步骤：
[0089]
步骤s301：获取版权图像中可检测目标信息的集合s1。请参阅图4，根据目标检测模型yolov3，对版权图像进行检测，得到版权图像的可检测目标的类别、坐标信息和检测框高宽度，组成集合s1＝{0,0.446695,0.448669,0.897056,0.953449}；其中，第一个元素“0”代表可检测目标的类别，即版权图像中“people”的类别；第二个、第三个元素分别代表“people”这个类别的可检测目标的检测框归一化后的中心点坐标；第四个、第五个元素分别代表检测框归一化后的宽度和高度。
[0090]
步骤s302：获取添加了对抗样本的版权图像的可检测目标信息的集合s2。请参阅图5，将一层人眼不能识别的对抗样本覆盖至步骤s301中版权图像的可检测目标上，根据目标检测模型yolov3，对添加了对抗样本的版权图像可检测目标的信息，组成集合s2＝{2,0.246644,0.288043,0.613677,0.432135,63,0.720135,0.579939,0.643574,0.820734}；其中，元素“2”和“63”分别代表可检测目标的类别“car”和“laptop”，元素“2”之后的四个元素和元素“63”之后的四个元素分别代表检测框归一化后的中心点坐标和高宽度。在本实施例中，由于对抗样本会干扰目标检测模型的检测准确性，对添加了对抗样本的版权图像进行检测的目标检测模型则会错误的得到对抗样本的信息，对不同的版权图像使用授权方设置不同的对抗样本，并把对抗样本的信息生成一个数据库，作为后续添加编码信息和解码中的索引池。
[0091]
步骤s303：分别对集合s1和集合s2进行元素去重。通过unique函数得到去重后的集合s1和去重后的集合s2。
[0092]
步骤s304：计算去重后的集合s1和去重后的集合s2之间的归一化互信息值e-nmi(s1，s2)，并对e-nmi(s1，s2)进行36进制转化。通过以下公式进行计算：
[0093][0094]
其中，a为去重后的集合s1，b为去重后的s2，p(x)和p(y)为边缘概率分布，p(x，y)为联合概率分布。
[0095][0096][0097]
其中，e-nmi0(s1，s2)为第一标准归一化互信息值，k1为每次迭代时去重后的所述第一集合和去重后的所述第二集合保留的小数点后的位数，n1为k1取值的个数，h(a)和h(b)为以2为底的对数的交叉熵，m1为第一标准归一化互信息值保留小数点后的位数。对得到的e-nmi(s1，s2)进行36进制转化。
[0098]
步骤s305：对集合s2与36进制转化后的e-nmi(s1，s2)进行一一映射，并将结果添加至索引池中。其中，索引池包括了所有授权图像使用者所对应的对抗样本，并对对抗样本与的e-nmi(s1，s2)进行一一映射，将映射结果添加至该索引池中。
[0099]
后续步骤为对泄漏的版权图像的解码过程。
[0100]
步骤s306：获取被泄漏的版权图像的可检测目标信息的集合s3。被泄露的版权图像中覆盖有步骤s302所设定的对抗样本信息。
[0101]
步骤s307：计算去重后的集合s1和去重后的集合s3之间的归一化互信息值e-nmi(s1，s3)，并对e-nmi(s1，s3)进行36进制转化。
[0102]
通过以下公式进行计算：
[0103][0104]
其中，a为去重后的集合s1，c为去重后的s3，p(x)和p(z)为边缘概率分布，p(x，z)为联合概率分布。
[0105][0106][0107]
其中，e-nmi0(s1，s3)为第二标准归一化互信息值，k2为每次迭代时去重后的集合s1和去重后的集合s2保留的小数点后的位数，n2为k2取值的个数，h(a)和h(c)为以2为底的对数的交叉熵，m2为第二标准归一化互信息值保留小数点后的位数。对得到的e-nmi(s1，s3)进行36进制转化。
[0108]
s308：将36进制转化后的e-nmi(s1，s3)进行精准匹配查询，在索引池里匹配并映射到最接近的对抗样本。通过相似度比较，对将36进制转化后的e-nmi(s1，s3)进行精准匹配查询，并映射到最接近的对抗样本，并根据对抗样本信息，即可追溯到对抗样本所对应的版权图片使用者，完成对版权图片的解码过程。
[0109]
实施本发明实施例，具有如下效果：
[0110]
本发明实施例提供了一种基于对抗样本的图片水印编码方法及解码方法，通过对原始图像可检测目标的关键区域添加对抗样本，使得图像在遭受剪切等攻击时都不会对对抗样本产生较大的影响，使得图像具备抗干扰和攻击的能力，并直接对原始图像和添加对抗样本的图像进行目标检测，避免了现有技术中需要对水印信息的提取，提高了编码以及解码的效率，同时还能准确且快速确定泄漏源，极大的提高了对抗样本的鲁棒性。
[0111]
以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。