一种数字水印的训练方法、装置、设备及存储介质与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种数字水印的训练方法、装置、设备及存储介质。


背景技术：

2.随着移动互联网的蓬勃发展，海量数据开始通过这种开放渠道传输，在网络传输过程中，数据可以被轻松地转换、更改、复制和分发，而形式多样的处理和传播手段使得数据的真实所有权和版权变得难以追溯，且他人可轻易地通过更改、删减等二次创作的手段证明其所有权。因此，数字水印作为一种保护版权、维护内容认证的技术，被引入到视频、图像或文档等版权保护相关的场景中。
3.相比于传统的logo型单一明水印，数字水印具有不可见、携带信息量大、可定制内容、美观的特点，不仅能最大程度低降低用户的观感影响，还能起到标示版权归属、追溯泄露源头的作用。
4.而目前常使用的水印嵌入和检出技术不仅需要人为设计嵌入和检出算法，还需要人工手动调整水印算法的参数，且传统的水印算法涉及到相当多的参数，导致人工穷举或试凑的方式并不能高效地找到最合适的参数，从而导致数字水印的嵌入和检出的效率不高。


技术实现要素：

5.本技术实施例提供了一种数字水印的训练方法、装置、设备及存储介质，用于通过对样本水印图像进行数据增强处理来增强数字水印的鲁棒性，以及模拟图像流通过程中的真实破坏行为，使得信息提取模型能够更好地从图像信息增强后的噪声水印图像中学习到数字水印特征，从而能够提高信息提取模型的提取数字水印的能力以及效率。
6.本技术实施例一方面提供了一种数字水印的训练方法，包括：
7.获取样本载体图像以及原始水印信息；
8.将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像；
9.对样本水印图像进行数据增强处理，得到样本水印图像对应的噪声水印图像；
10.将噪声水印图像输入至信息提取模型，通过信息提取模型对噪声水印图像进行数字水印提取，得到样本水印信息；
11.根据原始水印信息和样本水印信息构造第一损失函数；
12.通过第一损失函数对信息提取模型的模型参数进行更新。
13.本技术另一方面提供了一种数字水印的训练装置，包括：
14.获取单元，用于获取样本载体图像以及原始水印信息；
15.处理单元，用于将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像；
16.处理单元，还用于对样本水印图像进行数据增强处理，得到样本水印图像对应的噪声水印图像；
17.处理单元，还用于将噪声水印图像输入至信息提取模型，通过信息提取模型对噪声水印图像进行数字水印提取，得到样本水印信息；
18.处理单元，还用于根据原始水印信息和样本水印信息构造第一损失函数；
19.处理单元，还用于通过第一损失函数对信息提取模型的模型参数进行更新。
20.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
21.获取单元，还用于获取待处理水印图像以及与待处理水印图像相对应的初始水印信息；
22.处理单元，还用于将待处理水印图像输入至信息提取模型，通过信息提取模型对待处理水印图像进行数字水印提取，得到目标水印信息；
23.处理单元，还用于计算初始水印信息与目标水印信息的水印相似度；
24.确定单元，用于若水印相似度满足相似条件，则确定待处理水印图像未被破坏或篡改；
25.确定单元，还用于若水印相似度不满足相似条件，则确定待处理水印图像已被破坏或篡改。
26.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
27.获取单元，还用于获取待处理图像以及与待处理图像相对应的待嵌入水印信息；
28.处理单元，还用于将待处理图像以及待嵌入水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对待处理图像进行特征提取，得到待处理特征图；
29.处理单元，还用于通过图像生成模型的第二神经网络对待处理特征图以及待嵌入水印信息进行特征融合处理，得到目标水印图像。
30.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
31.获取单元，还用于若接收到携带有模板标识和至少一个图像对象标识的水印图像处理请求，则获取与模板标识相对应的视频生成模板，以及与至少一个图像对象标识相对应的至少一个目标水印图像；
32.处理单元，还用于按照视频生成模板的生成规则，将至少一个目标水印图像添加至视频生成模板，生成目标水印视频。
33.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，处理单元具体可以用于：
34.将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对样本载体图像进行特征提取，得到样本特征图；
35.通过图像生成模型的第二神经网络对样本特征图以及原始水印信息进行特征融合处理，得到样本水印图像。
36.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
37.处理单元，还用于根据样本载体图像和样本水印图像构造第二损失函数；
38.处理单元，还用于通过第二损失函数对图像生成模型的模型参数进行更新。
39.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，处理单元具体可以用于：
40.对样本水印图像进行尺寸调整；
41.对样本水印图像进行噪声干扰；
42.对样本水印图像进行水印叠加；
43.对样本水印图像进行滤波处理。
44.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
45.处理单元，还用于将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率；
46.确定单元，还用于若目标判别概率小于概率阈值，则确定样本水印图像为负例水印图像；
47.确定单元，还用于若目标判别概率大于或等于概率阈值，则确定样本水印图像为正例水印图像；
48.处理单元具体可以用于：对正例水印图像进行数据增强处理，得到正例水印图像对应的噪声水印图像。
49.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
50.处理单元，还用于根据样本载体图像以及目标判别概率构造第三损失函数；
51.处理单元，还用于通过第三损失函数对图像判别模型的模型参数进行更新。
52.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
53.处理单元，还用于对样本载体图像以及样本水印图像分别进行数据增强处理，得到样本载体图像对应的第一噪声图像以及样本水印图像对应的第二噪声图像；
54.处理单元具体可以用于：将第一噪声图像以及第二噪声图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率。
55.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
56.获取单元，还用于获取样本载体图像上的p个第一像素值以及噪声水印图像上的p个第二像素值，其中，p为大于1的整数；
57.处理单元，还用于根据p个第一像素值以及p个第二像素值计算样本载体图像与噪声水印图像之间的峰值信噪比；
58.处理单元具体可以用于：根据原始水印信息、样本水印信息以及峰值信噪比构造第一损失函数。
59.在一种可能的设计中，本技术实施例另一方面的一种实现方式中，
60.处理单元，还用于对样本载体图像进行数据增强处理，得到样本载体图像对应的样本噪声图像；
61.处理单元具体可以用于：将样本噪声图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像。
62.本技术另一方面提供了一种计算机设备，包括：存储器、处理器以及总线系统；
63.其中，存储器用于存储程序；
64.处理器用于执行存储器中的程序时实现如上述各方面的方法；
65.总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。
66.本技术的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。
67.从以上技术方案可以看出，本技术实施例具有以下有益效果：
68.通过获取样本载体图像以及原始水印信息，并将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像，可以对样本水印图像进行数据增强处理，以获取样本水印图像对应的噪声水印图像，并将噪声水印图像输入至信息提取模型，通过信息提取模型对噪声水印图像进行数字水印提取，输出样本水印信息，然后可以根据原始水印信息和样本水印信息构造第一损失函数，并通过第一损失函数对信息提取模型的模型参数进行更新。通过上述方式，基于图像生成模型能够将原始水印信息更好地隐藏在样本载体图像中，并将数据增强处理作为图像信息增强以及丰富图像信息多样性的手段，通过对样本水印图像进行数据增强处理，不仅能够增强数字水印的鲁棒性，避免因图像生成模型的参数初始化不科学或损失函数设计存在缺陷导致的生成的样本水印图像样式或内容单一的情况，还能够通过数据增强处理样本水印图像来模拟图像流通过程中的真实破坏行为，使得信息提取模型能够更好地从图像信息增强后的噪声水印图像中学习到数字水印特征，从而能够提高信息提取模型的提取数字水印的能力以及效率。
附图说明
69.图1是本技术实施例中数字水印控制系统的一个架构示意图；
70.图2是本技术实施例中数字水印的训练方法的一个实施例流程图；
71.图3是本技术实施例中数字水印的训练方法的另一个实施例流程图；
72.图4是本技术实施例中数字水印的训练方法的另一个实施例流程图；
73.图5是本技术实施例中数字水印的训练方法的另一个实施例流程图；
74.图6是本技术实施例中数字水印的训练方法的另一个实施例流程图；
75.图7是本技术实施例中数字水印的训练方法的另一个实施例流程图；
76.图8是本技术实施例中数字水印的训练方法的另一个实施例流程图；
77.图9是本技术实施例中数字水印的训练方法的另一个实施例流程图；
78.图10是本技术实施例中数字水印的训练方法的另一个实施例流程图；
79.图11是本技术实施例中数字水印的训练方法的另一个实施例流程图；
80.图12是本技术实施例中数字水印的训练方法的另一个实施例流程图；
81.图13是本技术实施例中数字水印的训练方法的一个原理流程示意图；
82.图14是本技术实施例中数字水印的训练方法的另一个原理流程示意图；
83.图15是本技术实施例中数字水印的训练方法的另一个原理流程示意图；
84.图16是本技术实施例中数字水印的训练方法的一个水印嵌入流程示意图；
85.图17是本技术实施例中数字水印的训练方法的一个水印检出流程示意图；
86.图18是本技术实施例中数字水印的训练装置的一个实施例示意图；
87.图19是本技术实施例中计算机设备的一个实施例示意图。
具体实施方式
88.本技术实施例提供了一种数字水印的训练方法、装置、设备及存储介质，用于通过对样本水印图像进行数据增强处理来增强数字水印的鲁棒性，以及模拟图像流通过程中的真实破坏行为，使得信息提取模型能够更好地从图像信息增强后的噪声水印图像中学习到
数字水印特征，从而能够提高信息提取模型的提取数字水印的能力以及效率。
89.本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
90.为了便于理解，先对本技术实施例涉及到的一些术语或概念进行解释。
91.1、图像隐写术
92.图像隐写术是一门关于信息隐藏的技巧与科学，所谓信息隐藏指的是不让除预期的接收者之外的任何人知晓信息的传递事件或者信息的内容。图像隐写术是指将信息隐藏在图像中，需通过额外手段从图像中恢复出原始信息的技术。
93.2、水印信息
94.水印信息是需嵌入到图像中的信息，常见形式为台标logo或平台logo的图片、公司名称或部门名称的字符串以及视频或图像自身的id字符串等。
95.3、卷积神经网络(cnn)
96.卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。
97.4、对抗生成网络(gan)
98.对抗生成网络是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。
99.5、编码器(encoder)
100.编码器用于将水印信息嵌入到载体图像中，并尽可能地降低对载体图像画质的影响。
101.6、解码器(decoder)
102.解码器用于从嵌入有水印信息的图像中提取水印信息。
103.7、鲁棒性
104.鲁棒性可以用来评价嵌入水印后的图像在遭受到各种攻击后，水印信息的留存程度。其中，鲁棒性高意味着嵌入水印后的图像在遭受到图像破坏行为(如噪声、编码或jpeg压缩等)后，水印信息依然能被较好的保留。
105.8、检出率
106.检出率用于表示成功提取水印信息的图像数量占总测试图像数量的比例。
107.9、模式坍塌(mode collapse)
108.模式坍塌指的是在gan在训练过程中，由于参数初始化不科学或损失函数设计缺陷导致的生成图像样式单一、不具多样性的问题。
109.可以理解的是，如本技术所公开的数字水印的训练方法，具体涉及云技术(cloud technology)，下面进一步地对云技术进行介绍。云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技
术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
110.而云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
111.作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为iaas(infrastructure as a service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
112.按照逻辑功能划分,在iaas(infrastructure as a service，基础设施即服务)层上可以部署paas(platform as a service,平台即服务)层，paas层之上再部署saas(software as a service,软件即服务)层，也可以直接将saas部署在iaas上。paas为软件运行的平台，如数据库、web容器等。saas为各式各样的事务软件，如web门户网站、短信群发器等。一般来说，saas和paas相对于iaas是上层。
113.其次，云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和事务访问功能的一个存储系统。
114.目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(id，id entity)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
115.存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(raid，redundant array of independent disk)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
116.进一步地，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品
服务层以及应用服务层。
117.区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监测等处理模块，提供身份信息管理、验证事务请求的有效性、事务存储、合约的注册发行、合约触发、合约执行以及产品运营等服务给区块链参与者进行使用。平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加事务的特性，完成事务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给事务参与方进行使用。
118.应理解，本技术提供的数字水印的训练方法可以应用于云技术、人工智能、智慧交通等领域，用于通过数字水印的嵌入或者检出维护数据所有权以及防止数据被篡改等场景。作为示例，例如通过将水印信息为企业a的名称的字符串嵌入至企业a产品宣传图像中，以维护企业a对该产品宣传图像的所有权。作为另一个示例，例如通过企业b的某一广告图像中提取水印信息来判断该广告图像中的水印信息是否被篡改。作为再一示例，例如水印信息为部门c的名称的字符串嵌入至部门c的部门宣传视频中，以维护部门c对该宣传视频的所有权。在上述种种场景中，为了完成数字水印的嵌入或者检出，通常是需要人工设计水印算法以及手动调整水印算法的参数，从而导致数字水印的嵌入和检出的效率不高。
119.为了解决上述问题，本技术提出了一种数字水印的训练方法，该方法应用于图1所示的数字水印控制系统，请参阅图1，图1为本技术实施例中数字水印控制系统的一个架构示意图，如图1所示，服务器通过获取终端设备提供的样本载体图像以及原始水印信息，并将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像，可以对样本水印图像进行数据增强处理，以获取样本水印图像对应的噪声水印图像，并将噪声水印图像输入至信息提取模型，通过信息提取模型对噪声水印图像进行数字水印提取，输出样本水印信息，然后可以根据原始水印信息和样本水印信息构造第一损失函数，并通过第一损失函数对信息提取模型的模型参数进行更新。通过上述方式，基于图像生成模型能够将原始水印信息更好地隐藏在样本载体图像中，并将数据增强处理作为图像信息增强以及丰富图像信息多样性的手段，通过对样本水印图像进行数据增强处理，不仅能够增强数字水印的鲁棒性，避免因图像生成模型的参数初始化不科学或损失函数设计存在缺陷导致的生成的样本水印图像样式或内容单一的情况，还能够通过数据增强处理样本水印图像来模拟图像流通过程中的真实破坏行为，使得信息提取模型能够更好地从图像信息增强后的噪声水印图像中学习到数字水印特征，从而能够提高信息提取模型的提取数字水印的能力以及效率。
120.可以理解的是，图1中仅示出了一种终端设备，在实际场景中可以由更多种类的终端设备参与到数据处理的过程中，终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等，具体数量和种类因实际场景而定，具体此处不做限定。另外，图1中示出了一个服务器，但在实际场景中，也可以有多个服务器的参与，特别是在多模型训练交互的场景中，服务器的数量因实际场景而定，具体此处不做限定。
121.需要注意的是，本实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，终端设备以及服务
器可以连接组成区块链网络，本技术在此不做限制。
122.为了解决上述问题，本技术提出了一种数字水印的训练方法，该方法一般由服务器或终端设备执行，也可以由服务器和终端设备共同执行。
123.下面将对本技术中数字水印的训练方法进行介绍，请参阅图2，本技术实施例中数字水印的训练方法一个实施例包括：
124.在步骤s101中，获取样本载体图像以及原始水印信息；
125.在本实施例中，当需要将水印信息嵌入至图像中时，可以读取数据库，从数据库中获取样本载体图像以及原始水印信息，以使后续可以将获取到的原始水印信息自动嵌入至样本载体图像中，从而可以在一定程度上提高数字水印的嵌入效率。
126.其中，样本载体图像(coverimage指的是待嵌入原始水印信息的图像。原始水印信息具体可以表现为台标logo或平台logo的图片、公司名称或部门名称的字符串以及视频或图像自身的id字符串等。可以理解的是，样本载体图像可以是经过常规图像处理得到的符合预设图像规范的图像，原始水印信息也是常规图像处理或字符串格式转换得到的符合预设数字水印规范的水印信息。
127.具体地，如图13所示，当需要将水印信息嵌入至图像中时，可以向服务器发送水印数据获取指令，则可以根据水印数据获取指令从数据库的样本载体图像集合中任意抽取一个图像即样本载体图像，以及可以从数据库的数字水印集合中任意抽取一个水印信息即原始水印信息。
128.在步骤s102中，将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像；
129.在本实施例中，如图13所示，在获取到样本载体图像和原始水印信息之后，可以将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像，能够通过图像生成模型将原始水印信息自动嵌入至样本载体图像中，从而能够在一定程度上提高数字水印的嵌入效率，其中，样本水印图像为原始水印信息嵌入完成的图像，即编码图像(encodedimage)。
130.具体地，如图16所示，在获取到样本载体图像和原始水印信息之后，可以将样本载体图像以及原始水印信息输入至图像生成模型，其中，图像生成模型具体可以表现为编码器(encoder)，如图13所示，图像生成模型可以由两个卷积神经网络(cnn)构成，其中，cnn结构具体可以表现为resnet或mobilenet等网络，还可以表现为其他网络，此处不作具体限制。
131.进一步地，如图16所示，在将样本载体图像以及原始水印信息输入至图像生成模型之后，可以由两个卷积神经网络构成的编码器即图像生成模型将样本载体图像和原始水印信息进行特征融合，以获取到嵌入了原始水印信息的样本水印图像，其中，编码器工作原理如下式(1)所示:
132.y＝f2(f1(x) m)(1)；
133.其中，f1和f2分別表示表示两个互相独立的神经网络。样本载体图像x首先经过f1网络中进行图像特征提取，可以去掉样本载体图像的原始图像数据中容易被破坏，叠加水印后容易被观察到的区域和特征，筛选出稳定以及对画质影响小的特征，用于和原始水印信息m进行叠加，在叠加完成后可以送入到f2网络进行编码，生成带水印的样本水印图像。
134.在步骤s103中，对样本水印图像进行数据增强处理，得到样本水印图像对应的噪声水印图像；
135.在本实施例中，由于在水印图像实际传输的过程中通常会遇到的一些图像破坏行为，如jpeg压缩、椒盐噪声干扰、高斯模糊干扰以及图像裁切等，因此，在获取到样本水印图像之后，可以对样本水印图像进行数据增强处理，以获取样本水印图像对应的噪声水印图像，来真实模拟水印图像在流通过程中常见的图像破坏行为，从而可以增强数字水印的鲁棒性，同时，还可以丰富样本水印图像的图像信息，使得样本水印图像多样化。
136.其中，数据增强处理可以用于丰富图像信息，增加数据集中相关数据的数据量。数据增强处理具体可以表现为翻转(flip)、旋转(rotation)、缩放比例(scale)、裁剪(crop)、移位(translation)以及高斯噪声(gaussian noise)等，还可以表现为其他数据增强手段，此处不作具体限制。
137.其中，翻转是可以对图片进行水平和垂直翻转。可以理解的是，如果一些框架不提供垂直翻转功能，则可以同通过将图片的180度旋转，然后再执行水平翻转即等同于一个垂直反转。旋转指的是对一个图像进行顺时针旋转或逆时针旋转，可以理解的是，当图像旋转之后，图像的维数可能并不能保持跟原来一样，如果图像是正方形的，那么以直角旋转将会保持图像大小；如果图像是长方形，那么180度的旋转才会保持原来的大小；同理，以更精细的角度旋转图像也会改变最终的图像尺寸。缩放比例指的是图像可以向外或向内缩放，向外缩放时，最终图像尺寸将大于原始图像尺寸。剪裁与缩放不同，剪裁只是从原始图像中随机抽样一个部分，然后，可以将此部分的大小调整为原始图像大小，这种方法通常称为随机裁剪。移位指的是沿x或y方向(或两者)移动图像。高斯噪声指的是通过添加适量的噪音可以增强神经网络的学习能力，可以理解的是，当神经网络试图学习可能无用的高频特征(大量出现的模式)时，通常会发生过度拟合，而具有零均值的高斯噪声基本上在所有频率中具有数据点，可以有效地扭曲高频特征。
138.具体地，如图13所示，在获取到样本水印图像之后，可以对样本水印图像进行数据增强处理，具体可以是将样本水印图像通过一个噪声层，在噪声层中随机选取一种或多种数据增强处理手段，如在样本水印图像上添加椒盐噪声，以获取到样本水印图像对应的噪声水印图像，其中，噪声层的工作原理如下式(2)所示：
[0139][0140]
其中，y为通过图像生成模型编码得到的带水印的图像即样本水印图像，n为噪声层，在训练中，每单次迭代，每次对样本水印图像进行数据增强处理具体可以是通过噪声层随机选取一种或多种数据增强处理手段如噪声施加在y上，以获取到噪声水印图像能够丰富图像信息，增加图像数据的多样性。
[0141]
在步骤s104中，将噪声水印图像输入至信息提取模型，通过信息提取模型对噪声水印图像进行数字水印提取，得到样本水印信息；
[0142]
在本实施例中，如图13所示，在获取到样本水印图像对应的噪声水印图像后，可以将噪声水印图像输入至信息提取模型，通过信息提取模型对噪声水印图像进行数字水印提取，以获取样本水印信息，能够通过数据增强处理来真实模拟水印图像在流通过程中常见的图像破坏行为，使得信息提取模型能够更好地从图像信息增强后的噪声水印图像中学习到数字水印特征，从而能够提高信息提取模型的提取数字水印的能力以及效率。
[0143]
具体地，如图17所示，在获取到样本水印图像对应的噪声水印图像后，可以将噪声水印图像输入至编码网络即信息提取模型，其中，信息提取模型可以由一个独立cnn构成，用于从噪声水印图像中提取水印信息，其中，cnn结构具体可以表现为resnet或mobilenet等网络，还可以表现为其他网络，此处不作具体限制。
[0144]
进一步地，在将噪声水印图像输入至信息提取模型之后，如图13所示，可以将通过由一个独立cnn构成解码器(decoder)即信息提取模型对噪声水印图像进行数字水印提取，以获取样本水印信息，其中，解码器工作原理如下式(3)所示：
[0145][0146]
其中，是由样本水印图像经过数据增强处理后得到的噪声水印图像。d为解码器中的神经网络，为将噪声水印图像经过解码器后获取到样本水印信息。
[0147]
在步骤s105中，根据原始水印信息和样本水印信息构造第一损失函数；
[0148]
在步骤s106中，通过第一损失函数对信息提取模型的模型参数进行更新。
[0149]
在本实施例中，在获取到样本水印信息之后，可以根据原始水印信息和样本水印信息来构造第一损失函数，然后，可以通过第一损失函数对信息提取模型的模型参数进行更新，以使信息提取模型收敛，从而可以更好地从图像信息增强后的噪声水印图像中学习到数字水印特征，从而能够提高信息提取模型的提取数字水印的能力。
[0150]
具体地，如图13所示，在对样本水印图像进行数据增强处理，以获取样本水印图像对应的噪声水印图像，来真实模拟水印图像在流通过程中常见的图像破坏行为之后，为了让信息提取模型在训练环节就能适应对带噪声图片即噪声水印图像的水印信息检出，本实施例采用第一损失函数来对噪声水印图像进行约束，具体可以是基于信息重构损失函数lm，对原始水印信息和样本水印信息进行损失计算，得到第一损失结果，还可以是采用其他损失函数，此处不作具体限制。
[0151]
进一步地，可以基于第一损失函数对原始水印信息和样本水印信息进行损失计算，得到第一损失结果之后，可以基于第一损失结果对信息提取模型的模型参数进行更新，具体可以是基于第一损失结果对信息提取模型的模型参数进行反向传播训练，直至信息提取模型的模型参数趋向于平稳，即信息提取模型收敛，还可以采用其他模型参数更新方式，此处不作具体限制。
[0152]
在本技术实施例中，提供了一种数字水印的训练方法，通过上述方式，基于图像生成模型能够将原始水印信息更好地隐藏在样本载体图像中，并将数据增强处理作为图像信息增强以及丰富图像信息多样性的手段，通过对样本水印图像进行数据增强处理，不仅能够增强数字水印的鲁棒性，避免因图像生成模型的参数初始化不科学或损失函数设计存在缺陷导致的生成的样本水印图像样式或内容单一的情况，还能够通过数据增强处理样本水印图像来模拟图像流通过程中的真实破坏行为，使得信息提取模型能够更好地从图像信息增强后的噪声水印图像中学习到数字水印特征，从而能够提高信息提取模型的提取数字水印的能力以及效率。
[0153]
可选地，在上述图2对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图3所示，通过第一损失函数对信息提取模型的模型参数进行更新之后，该方法还包括：
[0154]
在步骤s301中，获取待处理水印图像以及与待处理水印图像相对应的初始水印信
息；
[0155]
在步骤s302中，将待处理水印图像输入至信息提取模型，通过信息提取模型对待处理水印图像进行数字水印提取，得到目标水印信息；
[0156]
在步骤s303中，计算初始水印信息与目标水印信息的水印相似度；
[0157]
在步骤s304中，若水印相似度满足相似条件，则确定待处理水印图像未被破坏或篡改；
[0158]
在步骤s305中，若水印相似度不满足相似条件，则确定待处理水印图像已被破坏或篡改。
[0159]
在本实施例中，在通过第一损失函数对信息提取模型的模型参数进行更新之后，得到训练好的信息提取模型后，可以获取待处理水印图像以及与待处理水印图像相对应的初始水印信息，并将待处理水印图像输入至信息提取模型，通过信息提取模型对待处理水印图像进行数字水印提取，以获取目标水印信息，然后，可以计算初始水印信息与目标水印信息的水印相似度，如果当水印相似度满足相似条件时，可以确定待处理水印图像未被破坏或篡改，同理，如果当水印相似度不满足相似条件时，可以确定待处理水印图像已被破坏或篡改，能够通过信息提取模型快速准确地提取目标水印信息，并基于目标水印信息与初始水印信息的对比，能够准确判断出待处理水印图像中的水印信息是否被篡改，从而能够及时地对被篡改的待处理水印图像进行维护，以更好地保护待处理水印图像的所有权。
[0160]
其中，待处理水印图像是含有水印信息的图像。初始水印信息是待处理水印图像最初被嵌入的水印信息。
[0161]
具体地，在通过第一损失函数对信息提取模型的模型参数进行更新之后，得到训练好的信息提取模型后，当需要确定待处理水印图像中的水印信息是否被破坏或被篡改时，目标对象可以通过终端设备的客户端的图像选择界面输入水印图像选择指令，客户端通过感知水印图像选择指令生成携带有水印图像标识的水印信息提取指令，使得客户端或服务器可以根据水印信息提取指令，先获取与水印图像标识相对应的待处理水印图像，以及与待处理水印图像相对应的初始水印信息；或者，当需要确定待处理水印图像中的水印信息是否被破坏或被篡改时，服务器可以遍历数据库中的水印图像集合，依次获取带有水印信息的待处理水印图像以及与待处理水印图像相对应的初始水印信息；或者，当需要确定待处理水印图像中的水印信息是否被破坏或被篡改时，可以从水印图像的目录中随机抽取一个水印图像即待处理水印图像，以及与与待处理水印图像相对应的初始水印信息，还可以通过其他方式获取待处理水印图像以及与待处理水印图像相对应的初始水印信息，此处不作具体限制。可以理解的是，目标对象在本实施例以及后续的实施例中指的是终端设备的使用者，在本实施例中也可以指开发人员。
[0162]
进一步地，在获取到待处理水印图像以及与待处理水印图像相对应的初始水印信息之后，服务器可以通过调用训练好的信息提取模型，如图13所示的解码器或图17所示的编码网络，对待处理水印图像进行数字水印提取，以获取目标水印信息，然后，可以计算初始水印信息与目标水印信息的水印相似度，具体可以是采用欧氏距离公式或余弦距离公式来计算初始水印信息与目标水印信息的水印相似度，还可以是采用其他相似度计算公式计算水印相似度，此处不作具体限制。
[0163]
进一步地，当本实施例计算得到初始水印信息与目标水印信息之间的余弦相似度
即水印相似度时，可以理解的是，如果当水印相似度满足相似条件时，即水印相似度大于或等于相似度阈值时，可以理解为初始水印信息与目标水印信息相似或相同，则可以确定待处理水印图像未被破坏或篡改，同理，如果当水印相似度不满足相似条件时，即水印相似度小于相似度阈值时，可以理解为初始水印信息与目标水印信息不相似，目标水印信息发生变化，则可以确定待处理水印图像已被破坏或篡改。
[0164]
可以理解的是，在获取到的待处理水印图像已被破坏或篡改时，可以向目标对象发送待处理水印图像已被破坏或篡改的提示，该提示中可以包含有目标水印信息以及初始水印信息与目标水印信息之间的水印相似度等，以使目标对象可以根据目标水印信息查询到水印信息篡改方，以更好地维护和管理待处理水印图像。
[0165]
可选地，在上述图2对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图4所示，通过第一损失函数对信息提取模型的模型参数进行更新之后，该方法还包括：
[0166]
在步骤s401中，获取待处理图像以及与待处理图像相对应的待嵌入水印信息；
[0167]
在步骤s402中，将待处理图像以及待嵌入水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对待处理图像进行特征提取，得到待处理特征图；
[0168]
在步骤s403中，通过图像生成模型的第二神经网络对待处理特征图以及待嵌入水印信息进行特征融合处理，得到目标水印图像。
[0169]
在本实施例中，在通过第一损失函数对信息提取模型的模型参数进行更新之后，可以获取待处理图像以及与待处理图像相对应的待嵌入水印信息，并将待处理图像以及待嵌入水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对待处理图像进行特征提取，以获取待处理特征图，然后，可以通过图像生成模型的第二神经网络对待处理特征图以及待嵌入水印信息进行特征融合处理，以获取目标水印图像，能够通过图像生成模型中的第一神经网络和第二神经网络将待嵌入水印信息更隐蔽地嵌入至待处理图像中，从而在一定程度上提高数字水印的鲁棒性以及数字水印的嵌入效率。
[0170]
其中，待处理图像指的是未含有水印信息，且需要嵌入水印信息的图像。待嵌入水印信息是待处理图像需要嵌入的水印信息。
[0171]
具体地，在通过第一损失函数对信息提取模型的模型参数进行更新之后，得到训练好的信息提取模型后，当需要将水印信息嵌入图像中时，目标对象可以通过终端设备的客户端的图像选择界面输入图像和水印选择指令，客户端通过感知图像和水印选择指令生成携带有水印标识和图像标识的水印信息嵌入指令，使得客户端或服务器可以根据水印嵌入提取指令，先获取与图像标识相对应的待处理图像，以及水印标识相对应的水印信息，即与待处理图像相对应的待嵌入水印信息；或者，当需要将水印信息嵌入图像中时，服务器可以遍历数据库中的原始图像集合，依次获取没有经过水印信息处理的待处理图像以及与待处理图像相对应的待嵌入水印信息；或者，当需要将水印信息嵌入图像中时，可以从原始图像的目录中随机抽取一个水印图像即待处理图像，以及与与待处理图像相对应的待嵌入水印信息，还可以通过其他方式获取待处理图像以及与待处理水印图像相对应的待嵌入水印信息，此处不作具体限制。
[0172]
进一步地，在获取到待处理图像以及待嵌入水印信息之后，服务器可以调用训练好的图像生成模型，如图13所示的编码器或图16所示的编码网络，将待处理图像以及待嵌
入水印信息输入至图像生成模型，通过图像生成模型的通过第一神经网络对待处理图像进行特征提取，以获取待处理特征图，具体可以是通过图像生成模型的第一个cnn来提取待处理图像的空间特征，生成特征图即待处理特征图，并自动挑选适合嵌入水印的空间区域，然后，可以通过图像生成模型的第二神经网络对待处理特征图以及待嵌入水印信息进行特征融合处理，以获取目标水印图像，具体可以是通过图像生成模型的第二个cnn将待处理特征图与待嵌入水印信息进行叠加，然后对叠加了待嵌入水印信息的特征图进行水印编码，使得待嵌入水印信息与待处理特征图充分融合，生成最终的编码图像即目标水印图像。
[0173]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图5所示，通过图像生成模型的第二神经网络对待处理特征图以及待嵌入水印信息进行融合处理，得到目标水印图像之后，该方法还包括：
[0174]
在步骤s501中，若接收到携带有模板标识和至少一个图像对象标识的水印图像处理请求，则获取与模板标识相对应的视频生成模板，以及与至少一个图像对象标识相对应的至少一个目标水印图像；
[0175]
在步骤s502中，按照视频生成模板的生成规则，将至少一个目标水印图像添加至视频生成模板，生成目标水印视频。
[0176]
在本实施例中，在通过图像生成模型的第二神经网络对待处理特征图以及待嵌入水印信息进行融合处理，得到目标水印图像之后，当接收到携带有模板标识和至少一个图像对象标识的水印图像处理请求时，可以获取与模板标识相对应的视频生成模板以及与至少一个图像对象标识相对应的至少一个目标水印图像，然后，可以按照视频生成模板的生成规则，将至少一个目标水印图像添加至视频生成模板，以生成目标水印视频，能够通过视频生成模板将基于图像生成模型生成的至少一个目标水印图像快速生成带有水印信息的目标水印视频，从而可以更好地基于水印信息对目标水印视频的所有权进行维护，提高目标水印视频的安全性。
[0177]
其中，模板标识也可以称为模板身份标识码(identity，id)，用于指示目标对象想要使用的视频生成模板，可以具体表现为整数(int)型的数字串，也可以具体表现为字符串等。图像对象标识用于指示目标对象想要添加中的视频生成模板中的带有水印信息的图像，可以具体表现为整数(int)型的数字串，也可以具体表现为字符串等。视频生成模板是包含有视频样式以及视频生成规则的模板。
[0178]
具体地，在通过图像生成模型的第二神经网络对待处理特征图以及待嵌入水印信息进行融合处理，得到目标水印图像之后，当目标对象想要获取带有水印信息的视频时，目标对象可以通过终端设备的客户端输入视频图像选择指令，则客户端可以通过视频图像选择指令感知目标对象选择的视频生成模板以及待添加至视频生成模板中的目标水印图像，生成携带有模板标识和至少一个图像对象标识的水印图像处理请求。
[0179]
进一步地，当服务器接收到客户端发送的携带有模板标识和至少一个图像对象标识的水印图像处理请求时，可以读取数据库，从数据库中查询并获取与模板标识相对应的视频生成模板以及与至少一个图像对象标识相对应的至少一个目标水印图像，进而，可以按照视频生成模板的生成规则，具体可以是将至少一个图像对象标识对应的时间戳作为每个目标水印图像的时间戳，然后，可以按照每个时间戳的先后顺序，将至少一个目标水印图像添加至视频生成模板，以生成目标水印视频，还可以是采用其他视频生成规则生成目标
水印视频，此处不作具体限制。
[0180]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图6所示，将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像，包括：
[0181]
在步骤s601中，将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对样本载体图像进行特征提取，得到样本特征图；
[0182]
在步骤s602中，通过图像生成模型的第二神经网络对样本特征图以及原始水印信息进行特征融合处理，得到样本水印图像。
[0183]
在本实施例中，在获取到样本载体图像以及原始水印信息之后，可以将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对样本载体图像进行特征提取，以获取样本特征图，并通过图像生成模型的第二神经网络对样本特征图以及原始水印信息进行特征融合处理，以获取样本水印图像，能够基于对抗生成网络，通过图像生成模型中的第一神经网络和第二神经网络之间的博弈学习，能够将原始水印信息更加隐秘地嵌入至样本载体图像中，从而在一定程度上提高数字水印的鲁棒性以及数字水印的嵌入效率。
[0184]
其中，对抗生成网络gan启发自博弈论中的二人零和博弈(two-player game)，gan模型中的两位博弈方分别由生成式模型(generative model)和判别式模型(discriminative model)充当。生成模型g可以捕捉样本数据的分布，通过服从某一分布(如均匀分布或高斯分布等)的噪声z来生成一个类似真实训练数据的样本，以追求越像真实样本越好；判别模型d是一个二分类器，用于估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，d输出大概率(如大于0的正值)，否则，d输出小概率(如小于0的负值)。
[0185]
其中，第一神经网络用于提取样本载体图像的空间特征，生成特征图即样本特征图，第一神经网络具体可以表现为一个卷积神经网络cnn，cnn结构具体可以表现为resnet或mobilenet等网络，还可以表现为其他网络，此处不作具体限制。第二神经网络用于叠加融合待处理特征图与待嵌入水印信息，生成样本水印图像，第二神经网络也可以表现为一个卷积神经网络cnn，cnn结构具体可以表现为resnet或mobilenet等网络，还可以表现为其他网络，此处不作具体限制。第一神经网络与第二神经网络是两个互相独立的神经网络。
[0186]
具体地，如图16所示，在获取到样本载体图像以及原始水印信息之后，本实施例可以基于对抗生成网络中的生成模型g的原理，构建如图13所示的编码器或图16所示的编码网络，即由两个互相独立的第一神经网络和第二神经网络构成的图像生成模型，进而，可以将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对样本载体图像进行特征提取，以获取样本特征图，具体可以是通过图像生成模型的第一个cnn来提取样本载体图像的空间特征，生成特征图即样本特征图，并自动挑选适合嵌入水印的空间区域，然后，可以通过图像生成模型的第二神经网络对样本特征图以及原始水印信息进行特征融合处理，以获取样本水印图像，具体可以是通过图像生成模型的第二个cnn将原始水印信息叠加至样本特征图中适合嵌入水印的空间区域，然后，通过第二个cnn对叠加了原始水印信息的样本特征图进行水印编码，使得原始水印信息与样本特征图充分融合，生成最终的编码图像即样本水印图像。
[0187]
可选地，在上述图4对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图7所示，将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像之后，该方法还包括：
[0188]
在步骤s701中，根据样本载体图像和样本水印图像构造第二损失函数；
[0189]
在步骤s702中，通过第二损失函数对图像生成模型的模型参数进行更新。
[0190]
在本实施例中，在将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像之后，可以根据样本载体图像和样本水印图像构造第二损失函数，然后，可以通过第二损失函数对图像生成模型的模型参数进行更新，能够通过构造第二损失函数来对图像生成模型进行约束，使得样本水印图像与样本载体图像更加相似，从而能够将水印信息更好地隐藏在图像中，可以在一定程度上提高数字水印的嵌入效率。
[0191]
具体地，如图13所示，在将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像之后，为了让图像生成模型在训练环节就能更好地将原始水印信息隐藏在样本载体图像中，本实施例采用第二损失函数来对图像生成模型进行约束，具体可以是基于如下公式(4)图像重构损失函数li，对样本载体图像和样本水印图像进行损失计算，得到第二损失结果，还可以是采用其他损失函数，此处不作具体限制，能够通过图像重构损失函数li来对比图像生成模型生成的样本水印图像与样本载体图像之间的差别，使得图像生成模型生成的样本水印图像能够尽可能与样本载体图像相似，从而减少因水印信息嵌入造成的图像画质影响：
[0192]
li＝||x-y||2(4)；
[0193]
其中，x表示未经过水印信息处理的图像，即样本水印图像；y表示经过图像生成模型编译得到的包含有原始水印信息的图像，即样本水印图像。
[0194]
进一步地，可以基于第二损失函数对样本载体图像和样本水印图像进行损失计算，得到第二损失结果之后，可以基于第二损失结果对图像生成模型的模型参数进行更新，具体可以是基于第二损失结果对图像生成模型的模型参数进行反向传播训练，直至图像生成模型的模型参数趋向于平稳，即图像生成模型收敛，还可以采用其他模型参数更新方式，此处不作具体限制。
[0195]
可选地，在上述图2对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，数据增强处理包括以下的一项或多项：
[0196]
对样本水印图像进行尺寸调整；
[0197]
对样本水印图像进行噪声干扰；
[0198]
对样本水印图像进行水印叠加；
[0199]
对样本水印图像进行滤波处理。
[0200]
在本实施例中，在获取到样本水印图像之后，可以对样本水印图像采用一项或多项数据增强处理手段来丰富图像信息，增加图像信息的多样性，以获取到样本水印图像对应的噪声水印图像，增强数字水印的鲁棒性，防止在训练过程中出现gan常见的模式坍塌问题(modecollapse)，还能够真实模拟图像流通过程中常见的图像破坏行为，使得后续信息提取模型能够更好地从图像信息增强后的噪声水印图像中学习到数字水印特征，从而能够提高信息提取模型的提取数字水印的能力以及效率。
[0201]
其中，模式坍塌指的是在gan在训练过程中，由于参数初始化不科学或损失函数设
计缺陷导致的生成图像样式单一、不具多样性的问题。
[0202]
具体地，如图13所示，在获取到样本水印图像之后，可以对样本水印图像进行数据增强处理，具体可以是将样本水印图像通过一个噪声层，在噪声层中随机选取如表1所示的一种或多种数据增强处理手段，可以对样本水印图像进行尺寸调整，如对样本水印图像进行旋转、裁切或缩放等操作；或者是对样本水印图像进行噪声干扰，如在样本水印图像上添加椒盐噪声或高斯噪声等操作；或者是对样本水印图像进行水印叠加，如在样本水印图像上叠加新水印来破坏原有水印；或者是对样本水印图像进行滤波处理，如对样本水印图像进行高斯过滤或中值过滤等操作，以获取到样本水印图像对应的噪声水印图像，还可以在每次迭代中采用其他数据增强处理，此处不作具体限制。
[0203]
表1
[0204][0205]
可选地，在上述图2对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图8所示，对样本水印图像进行数据增强处理，得到样本水印图像对应的噪声水印图像之前，该方法还包括：步骤s801、步骤s802和步骤s803，以及步骤s103包括：步骤s804；
[0206]
在步骤s801中，将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率；
[0207]
在步骤s802中，若目标判别概率小于概率阈值，则确定样本水印图像为负例水印图像；
[0208]
在步骤s803中，若目标判别概率大于或等于概率阈值，则确定样本水印图像为正例水印图像；
[0209]
在步骤s804中，对正例水印图像进行数据增强处理，得到正例水印图像对应的噪声水印图像。
[0210]
在本实施例中，在获取到样本水印图像之后，为了能够让图像生成模型更好更快地收敛，帮助图像生成模型更好地生成与样本载体图像相似的样本水印图像，以更好地将原始水印信息隐藏，而不是生成乱码图像，本实施例可以基于对抗生成网络中的判别式模
型d的原理构造一个图像判别模型，将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率，如果当目标判别概率小于概率阈值时，确定样本水印图像为负例水印图像，如果当目标判别概率大于或等于概率阈值时，确定样本水印图像为正例水印图像，则可以对正例水印图像进行数据增强处理，以获取正例水印图像对应的噪声水印图像，能够通过图像判别模型对嵌入了原始水印信息的样本水印图像的真实性进行判断，以引导图像生成模型训练走向，使得图像生成模型快速收敛，减少嵌入原始水印信息对应样本水印图像的画质的影响。
[0211]
其中，正例水印图像指的是与样本载体图像相似的样本水印图像，负例水印图像指的是与样本载体图像不相似或者乱码的样本水印图像。
[0212]
具体地，如图13所示，在获取到样本水印图像之后，本实施例可以基于对抗生成网络中的判别式模型d的原理，即用于估计一个样本水印图像来自于训练数据(而非生成数据)的概率，如果样本水印图像与真实的样本载体图像相似，即d可以输出大概率(如目标判别概率大于或等于概率阈值)，否则，d输出小概率(如目标判别概率小于概率阈值)，来构造一个图像判别模型。
[0213]
进一步地，可以将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率，如果当目标判别概率小于概率阈值时，可以理解为，样本水印图像是与真实的样本载体图像不相似，具体可以表现为水印信息没能够很好地隐藏在水印图像中，或者原始水印信息嵌入样本载体图像失败，或者样本水印图像编译乱码等情况，还可以表现为其他形式，此处不作具体限制，即原始水印信息对样本水印图像的画质影响很大，则可以确定样本水印图像为负例水印图像，其中，概率阈值是根据实际应用需求进行设置的，此处不作具体限制。
[0214]
进一步地，如果当目标判别概率大于或等于概率阈值时，可以理解为，样本水印图像是与真实的样本载体图像较为相似，具体可以表现为水印信息能够很好地隐藏在水印图像中，即原始水印信息对样本水印图像的画质影响不大，则可以确定样本水印图像为正例水印图像，然后，可以对正例水印图像进行数据增强处理，以获取正例水印图像对应的噪声水印图像。
[0215]
可选地，在上述图8对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图9所示，将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率之后，该方法还包括：
[0216]
在步骤s901中，根据样本载体图像以及目标判别概率构造第三损失函数；
[0217]
在步骤s902中，通过第三损失函数对图像判别模型的模型参数进行更新。
[0218]
在本实施例中，在将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率之后，可以根据样本载体图像、样本水印图像以及目标判别概率构造第三损失函数，然后，可以通过第三损失函数对图像判别模型的模型参数进行更新，能够通过构造第三损失函数来对图像判别模型进行约束，使得样本水印图像与样本载体图像更加相似，从而减少嵌入水印信息对水印图像的画质的影响，能够将水印信息更好地隐藏在图像中，可以在一定程度上提高数字水印的嵌入效率。
[0219]
具体地，如图13所示，在将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率之后，为了让图像判别模型在训练环节就
能更好地将原始水印信息隐藏在样本载体图像中，本实施例采用第三损失函数来对图像判别模型进行约束，具体可以是基于如下公式(5)对抗损失函数lg，对样本载体图像、样本水印图像以及目标判别概率进行损失计算，得到第三损失结果，还可以是采用其他损失函数，此处不作具体限制，能够通过对抗损失函数lg来引导图像生成模型训练走向，让图像生成模型更快更好地收敛，能够通过图像判别模型更好更快速出地筛选出能够很好地隐藏水印信息的正例水印图像：
[0220]
lg＝e[logd
x
] e[log(1-d
x
)]x(5)；
[0221]
其中，e表示图像真实性的期望值如1；d
x
表示经过图像判别模型计算得到的概率值，即目标判别概率，x表示未经过水印信息处理的真实图像，即样本载体图像。
[0222]
进一步地，可以基于第三损失函数对样本载体图像、样本水印图像以及目标判别概率进行损失计算，得到第三损失结果之后，可以基于第三损失结果对图像判别模型的模型参数进行更新，具体可以是基于第三损失结果对图像判别模型的模型参数进行反向传播训练直至图像判别模型的模型参数趋向于平稳，即图像判别模型收敛，还可以采用其他模型参数更新方式，此处不作具体限制。
[0223]
可选地，在上述图8对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图10所示，将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率之前，该方法还包括：步骤s1001，以及步骤s801包括：步骤s1002；
[0224]
在步骤s1001中，对样本载体图像以及样本水印图像分别进行数据增强处理，得到样本载体图像对应的第一噪声图像以及样本水印图像对应的第二噪声图像；
[0225]
在步骤s1002中，将第一噪声图像以及第二噪声图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率。
[0226]
在本实施例中，如果在训练的过程中有样本图像的数量较少或较为单一时，容易引发图像判别模型的模式坍塌问题，因此，在获取到样本载体图像和样本水印图像之后，可以分别对样本载体图像和样本水印图像进行数据增强处理，以获取样本载体图像对应的第一噪声图像和样本水印图像对应的第二噪声图像，可以通过第一噪声图像以及第二噪声图像中的干扰信息来干扰图像判别模型对样本水印图像的真实性的判断，提高图像判别模型的判别能力，从而可以提高样本水印图像的质量。
[0227]
具体地，如图14所示，在获取到样本载体图像和样本水印图像之后，可以分别对样本载体图像和样本水印图像进行数据增强处理，以获取样本载体图像对应的第一噪声图像和样本水印图像对应的第二噪声图像，具体可以是将样本水印图像和样本载体图像分别通过一个噪声层，在噪声层中随机选取如上表1所示意的一种或多种数据增强处理手段，如分别在样本水印图像或样本载体图像上添加椒盐噪声或高斯噪声，或是在样本水印图像上添加其他水印信息，以获取到样本载体图像对应的第一噪声图像样本和水印图像对应的第二噪声图像，然后，可以将第一噪声图像以及第二噪声图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率。
[0228]
可选地，在上述图2对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图11所示，根据原始水印信息和样本水印信息构造第一损失函数之前，该方法还包括：步骤s1101和步骤s1102，以及步骤s105包括：步骤s1103；
[0229]
在步骤s1101中，获取样本载体图像上的p个第一像素值以及噪声水印图像上的p个第二像素值，其中，p为大于1的整数；
[0230]
在步骤s1102中，根据p个第一像素值以及p个第二像素值计算样本载体图像与噪声水印图像之间的峰值信噪比；
[0231]
在步骤s1103中，根据原始水印信息、样本水印信息以及峰值信噪比构造第一损失函数。
[0232]
在本实施例中，在获取到原始水印信息和样本水印信息之后，可以获取样本载体图像上的p个第一像素值以及噪声水印图像上的p个第二像素值，并根据p个第一像素值以及p个第二像素值计算样本载体图像与噪声水印图像之间的峰值信噪比，然后，根据原始水印信息、样本水印信息以及峰值信噪比构造第一损失函数，以使后续可以通过第一损失函数对信息提取模型的模型参数进行更新，以使信息提取模型收敛，从而可以更好地从图像信息增强后的噪声水印图像中学习到数字水印特征，从而能够提高信息提取模型的提取数字水印的能力。
[0233]
具体地，如图13所示，在获取到原始水印信息和样本水印信息之后，为了让信息提取模型在训练环节就能更好地适应带有噪声或水印信息被破坏的噪声水印图像，从而可以更好更准确地检出被破坏过的噪声水印图像中的水印信息，本实施例采用第一损失函数来对信息提取模型进行约束，具体可以是基于如下公式(6)的信息重构损失函数lm，对原始水印信息和样本水印信息进行损失计算，得到第一损失结果，还可以是采用其他损失函数，此处不作具体限制，能够通过信息重构损失函数lm来对比信息提取模型检出的样本水印信息与原始水印信息之间的差别，使得信息提取模型检出的样本水印信息能够尽可能与原始水印信息相似，从而提高水印信息的检出率：
[0234][0235]
其中，m表示待嵌入样本载体图像的水印信息，即原始水印信息；表示经过信息提取模型从噪声水印图像中检出水印信息，即样本水印信息。
[0236]
其中，在lm中的峰值信噪比(psnr)是用于衡量图像的画质损失的损失函数。psnr的具体计算如下公式(7)和公式(8)：
[0237][0238][0239]
其中，max表示长宽为m,n的样本载体图像和噪声水印图像之间的最大采样值，mse表示长宽为m,n的样本载体图像和噪声水印图像之间的均方误差，其中，m和n均是大于1的整数；i(i,j)表示样本载体图像上的第(i,j)个像素点的像素值；k(i,j)表示噪声水印图像上的第(i,j)个像素点的像素值。
[0240]
可以理解的是，根据均方误差的数学性质可知，在信息提取模型的训练过程中，均方误差倾向于比对逐个像素的误差，尽量减小每个像素的失真程度，能够通过关注局部的计算方式可以使图像在具体细节上较好的保留，同时，由于在观察画面整体时，容易发现大面积的色块问题，因此，本实施例通过引入psnr损失函数来确保在宏观层面画质的保留程度。
[0241]
进一步地，可以获取样本载体图像上的p个第一像素值以及噪声水印图像上的p个第二像素值，可以按照峰值信噪比的计算方式，通过p个第一像素值以及p个第二像素值计算样本载体图像与噪声水印图像之间的峰值信噪比，然后，可以基于第一损失函数对原始水印信息、样本水印图像以及峰值信噪比进行损失计算，得到第一损失结果之后，可以基于第一损失结果对信息提取模型的模型参数进行更新，具体可以是基于第一损失结果对信息提取模型的模型参数进行反向传播训练，直至信息提取模型的模型参数趋向于平稳，即信息提取模型收敛，还可以采用其他模型参数更新方式，此处不作具体限制。
[0242]
可选地，在上述图2对应的实施例的基础上，本技术实施例提供的数字水印的训练方法另一个可选实施例中，如图12所示，将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像之前，该方法还包括：步骤s1201，以及步骤s102包括：步骤s1202；
[0243]
在步骤s1201中，对样本载体图像进行数据增强处理，得到样本载体图像对应的样本噪声图像；
[0244]
在步骤s1202中，将样本噪声图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像。
[0245]
在本实施例中，如果在训练的过程中有样本图像的数量较少或较为单一时，容易引发图像生成模型的模式坍塌问题，因此，在获取到样本载体图像之后，可以对样本载体图像进行数据增强处理，以获取样本载体图像对应的样本噪声图像，然后，可以将样本噪声图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像，可以丰富样本水印图像的图像信息，使得样本水印图像多样化，来增加训练样本载体图像的数量，以使后续可以有充足且图像信息丰富的训练样本对图像生成模型进行训练，从而可以在一定程度上提高图像生成模型的精度，提高数字水印嵌入的效率。
[0246]
具体地，如图15所示，在获取到样本载体图像之后，可以对样本载体图像进行数据增强处理，具体可以是将样本载体图像通过一个噪声层，每次迭代时，可以在噪声层中随机选取如上表1所示意的一种或多种数据增强处理手段，如在样本载体图像上添加椒盐噪声或对样本载体图像进行旋转或缩放等操作，以获取到丰富的样本噪声图像，然后，可以将样本噪声图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像。
[0247]
下面对本技术中的数字水印的训练装置进行详细描述，请参阅图18，图18为本技术实施例中数字水印的训练装置的一个实施例示意图，数字水印的训练装置20包括：
[0248]
获取单元201，用于获取样本载体图像以及原始水印信息；
[0249]
处理单元202，用于将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像；
[0250]
处理单元202，还用于对样本水印图像进行数据增强处理，得到样本水印图像对应的噪声水印图像；
[0251]
处理单元202，还用于将噪声水印图像输入至信息提取模型，通过信息提取模型对噪声水印图像进行数字水印提取，得到样本水印信息；
[0252]
处理单元202，还用于根据原始水印信息和样本水印信息构造第一损失函数；
[0253]
处理单元202，还用于通过第一损失函数对信息提取模型的模型参数进行更新。
[0254]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0255]
获取单元201，还用于获取待处理水印图像以及与待处理水印图像相对应的初始水印信息；
[0256]
处理单元202，还用于将待处理水印图像输入至信息提取模型，通过信息提取模型对待处理水印图像进行数字水印提取，得到目标水印信息；
[0257]
处理单元202，还用于计算初始水印信息与目标水印信息的水印相似度；
[0258]
确定单元203，用于若水印相似度满足相似条件，则确定待处理水印图像未被破坏或篡改；
[0259]
确定单元203，还用于若水印相似度不满足相似条件，则确定待处理水印图像已被破坏或篡改。
[0260]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0261]
获取单元201，还用于获取待处理图像以及与待处理图像相对应的待嵌入水印信息；
[0262]
处理单元202，还用于将待处理图像以及待嵌入水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对待处理图像进行特征提取，得到待处理特征图；
[0263]
处理单元202，还用于通过图像生成模型的第二神经网络对待处理特征图以及待嵌入水印信息进行特征融合处理，得到目标水印图像。
[0264]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0265]
获取单元201，还用于若接收到携带有模板标识和至少一个图像对象标识的水印图像处理请求，则获取与模板标识相对应的视频生成模板，以及与至少一个图像对象标识相对应的至少一个目标水印图像；
[0266]
处理单元202，还用于按照视频生成模板的生成规则，将至少一个目标水印图像添加至视频生成模板，生成目标水印视频。
[0267]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，处理单元202具体可以用于：
[0268]
将样本载体图像以及原始水印信息输入至图像生成模型，通过图像生成模型的第一神经网络对样本载体图像进行特征提取，得到样本特征图；
[0269]
通过图像生成模型的第二神经网络对样本特征图以及原始水印信息进行特征融合处理，得到样本水印图像。
[0270]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0271]
处理单元202，还用于根据样本载体图像和样本水印图像构造第二损失函数；
[0272]
处理单元202，还用于通过第二损失函数对图像生成模型的模型参数进行更新。
[0273]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，处理单元202具体可以用于：
[0274]
对样本水印图像进行尺寸调整；
[0275]
对样本水印图像进行噪声干扰；
[0276]
对样本水印图像进行水印叠加；
[0277]
对样本水印图像进行滤波处理。
[0278]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0279]
处理单元202，还用于将样本载体图像以及样本水印图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率；
[0280]
确定单元203，还用于若目标判别概率小于概率阈值，则确定样本水印图像为负例水印图像；
[0281]
确定单元203，还用于若目标判别概率大于或等于概率阈值，则确定样本水印图像为正例水印图像；
[0282]
处理单元202具体可以用于：对正例水印图像进行数据增强处理，得到正例水印图像对应的噪声水印图像。
[0283]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0284]
处理单元202，还用于根据样本载体图像以及目标判别概率构造第三损失函数；
[0285]
处理单元202，还用于通过第三损失函数对图像判别模型的模型参数进行更新。
[0286]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0287]
处理单元202，还用于对样本载体图像以及样本水印图像分别进行数据增强处理，得到样本载体图像对应的第一噪声图像以及样本水印图像对应的第二噪声图像；
[0288]
处理单元202具体可以用于：将第一噪声图像以及第二噪声图像分别输入至图像判别模型，通过图像判别模型分别输出目标判别概率。
[0289]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0290]
获取单元201，还用于获取样本载体图像上的p个第一像素值以及噪声水印图像上的p个第二像素值，其中，p为大于1的整数；
[0291]
处理单元202，还用于根据p个第一像素值以及p个第二像素值计算样本载体图像与噪声水印图像之间的峰值信噪比；
[0292]
处理单元202具体可以用于：根据原始水印信息、样本水印信息以及峰值信噪比构造第一损失函数。
[0293]
可选地，在上述图18对应的实施例的基础上，本技术实施例提供的数字水印的训练装置的另一实施例中，
[0294]
处理单元202，还用于对样本载体图像进行数据增强处理，得到样本载体图像对应的样本噪声图像；
[0295]
处理单元202具体可以用于：将样本噪声图像以及原始水印信息输入至图像生成模型，通过图像生成模型输出样本水印图像。
[0296]
本技术另一方面提供了另一种计算机设备示意图，如图19所示，图19是本技术实施例提供的一种计算机设备结构示意图，该计算机设备300可因配置或性能不同而产生比
较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)310(例如，一个或一个以上处理器)和存储器320，一个或一个以上存储应用程序331或数据332的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器320和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备300中的一系列指令操作。更进一步地，中央处理器310可以设置为与存储介质330通信，在计算机设备300上执行存储介质330中的一系列指令操作。
[0297]
计算机设备300还可以包括一个或一个以上电源340，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口360，和/或，一个或一个以上操作系统333，例如windows server
tm
，mac os x
tm
，unix
tm
,linux
tm
，freebsd
tm
等等。
[0298]
上述计算机设备300还用于执行如图2至图12对应的实施例中的步骤。
[0299]
本技术的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现如图2至图12所示实施例描述的方法中的步骤。
[0300]
本技术的另一方面提供了一种包含计算机程序的计算机程序产品，当计算机程序被处理器执行时实现如图2至图12所示实施例描述的方法中的步骤。
[0301]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0302]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0303]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0304]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0305]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储计算机程序的介质。