基于3D视频的水印嵌入、提取和对比方法及系统

基于3d视频的水印嵌入、提取和对比方法及系统
技术领域
1.本发明涉及信息安全技术领域，特别是涉及一种基于3d视频的水印嵌入、提取和对比方法及系统。


背景技术：

2.随着三维显示技术日渐成熟，3d产品的传播制作门槛逐渐降低，在很多领域都得到了更广泛的应用，如电影、游戏、远程教育和医疗等，普通消费者也可以在家中享受3d技术。作为信息载体，一方面，3d视频能承载比2d视频更丰富的信息量，且可以为观众提供更新颖的视觉体验，另一方面，3d视频的制作成本较高，非法复制和非法使用3d视频将给版权所有者带来比2d视频更严重的损失。而dibr(depth-image-based-rendering，基于深度图的渲染技术)方法作为生成3d视频的一种成本低廉的技术，它将一系列2d视频帧和对应的深度图进行像素水平位移和孔洞填充，就得到了虚拟左、右立体图像，进而制作3d视频帧。dibr方法既可以生成新形式的媒体内容，又可以作为一种工具来评价水印的鲁棒性。但由于dibr方法生成的3d视频来自两个载体，即原始的二维帧和深度图，这也给3d视频的版权保护带来了难度。且dibr操作后合成的帧相对于原始二维帧发生了像素的水平移动，对图像内容造成了一定的扭曲，这意味着3d视频的保护方案应该是dibr不变的，且需要保护的内容来源相比传统的二维视频更加复杂，因此具有一定的挑战性。并且关于二维多媒体技术产品的版权保护研究方法起步较早，且日益成熟，因此针对3d视频进行版权保护的研究更有实际意义和价值，3d视频的版权保护问题也成为近年来数字媒体版权保护领域的热点问题。
3.为了有效保护视频的版权，保护方法可以分为两类：
4.水印嵌入：利用载体的冗余，在需要保护的载体中嵌入信息，例如文本、logo和图像等，后续如果能在载体中提取出水印，则可证明版权所属。一般方法有空域和频率域，在空域中，经典方法为最低有效位(least significant bit，lsb)方法和直方图方法，例如直方图方法的做法为对二维视频帧构造直方图后，根据直方图选择合适大小的像素范围进行水印的嵌入；在频域中，应用离散傅里叶变换、离散小波变换和双树复小波变换等方法对二维视频帧进行分解，通过可逆的量化方法，结合水印轻微地改变低频子带的系数实现嵌入。
5.零水印特征构造：零水印方案不直接将水印嵌入到三维视频内容中，而是生成三维视频特征与水印之间的关系，保证了三维视频没有直接信息的嵌入，从而不会对其内容造成任何影响。常见的方法有将二维视频帧转换到频率域中，格式化其中的小波系数来进行二值化；或者基于各种矩，例如zernike矩、径向谐波傅里叶矩和切比雪夫八元矩等方法，计算左右立体图像的矩结果，提取两帧立体图像的特征并对其构造哈希值。
6.但是上述现有技术存在以下缺点：
7.(1)现有的基于二维帧的数字水印方案具有的鲁棒性和可区分性虽然可以满足需求，但是基于二维帧的数字水印方案在视频帧中嵌入信息，这必然会破坏像素之间的关联，导致视频内容产生不可逆的失真，这对精度要求高的领域是不允许的。
8.(2)基于无直接信息嵌入的零水印算法可生成表示视频特征和拥有版权信息的水印之间的映射关系，从而不需要通过直接在视频帧中嵌入水印来对3d视频进行版权保护，所以零水印保护方案相比传统水印算法而言不会对视频内容质量产生影响，在视频质量和水印鲁棒性方面优于水印嵌入方案，但不能保证足够的鲁棒性下实现较好的可区分性，即鲁棒性和可辨识度性能仍然难以满足需求，因为鲁棒性和可辨识度是互相矛盾的，目前只能尽可能地找到它们之间的平衡点，在两者性能达到可以接受的程度下进行折中，所以保证算法的高鲁棒性仍然是一个挑战。


技术实现要素：

9.本发明的目的是提供一种基于3d视频的水印嵌入、提取和对比方法及系统，可以在保证水印高鲁棒性的前提下，进一步提高版权保护的精度。
10.为实现上述目的，本发明提供了如下方案：
11.一种基于3d视频的水印嵌入方法，包括：
12.将待嵌入三维视频中的各二维视频帧分别进行分块均得到多个子块；
13.对于任意一个二维视频帧中的任意一个子块，对所述子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述子块在各级分解下的子带；
14.根据待嵌入水印对所述子块在设定级数范围分解下得到的子带的幅值矩阵进行修改得到修改后的子带；
15.对所述修改后的子带进行逆dt-cwt操作得到所述子块对应的嵌入水印子块；
16.将所述二维视频帧对应的所有所述嵌入水印子块进行拼接得到所述二维视频帧对应的水印嵌入二维视频帧；
17.根据所述待嵌入三维视频对应的所有水印嵌入二维视频帧得到水印嵌入视频和所述待嵌入三维视频的零水印。
18.可选地，根据所述待嵌入三维视频对应的所有水印嵌入二维视频帧得到所述待嵌入三维视频的零水印，具体包括：
19.对所述待嵌入三维视频对应的各水印嵌入二维视频帧分别进行分块均得到多个水印子块；
20.对于任意一个水印嵌入二维视频帧中的任意一个水印子块，对所述水印子块颜色空间中的所有分量分别进行多级dt-cwt分解，得到所述水印子块在各级分解下的子带；
21.对所述水印子块的在设定级数分解下得到的子带的幅值矩阵进行svd操作得到所述水印子块对应的奇异值；
22.根据所述水印嵌入二维视频帧中所有所述水印子块对应的奇异值生成所述水印嵌入二维视频帧的零水印；
23.根据所述待嵌入三维视频对应的所有水印嵌入二维视频帧的零水印生成所述待嵌入三维视频的零水印。
24.可选地，所述根据待嵌入水印对所述子块在设定级数范围分解下得到的子带的幅值矩阵进行修改得到修改后的子带，具体包括：
25.计算所述子块在设定级数范围分解下得到的子带的幅值矩阵和相位矩阵；
26.根据待嵌入水印对所述子块在设定级数范围分解下得到的子带的幅值矩阵进行
量化处理得到所述子块对应的量化子带幅值矩阵；
27.根据所述相位矩阵和所述子块对应的量化子带幅值矩阵得到修改后的子带。
28.一种基于3d视频的水印提取方法，包括：
29.将待提取三维视频中的各二维视频帧分别进行分块均得到多个提取子块；
30.对于任意一个二维视频帧中的任意一个提取子块，对所述提取子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述提取子块在各级分解下的子带；
31.根据所述待提取三维视频中各所述提取子块在设定级数范围分解下得到的子带的幅值矩阵确定所述待提取三维视频中嵌入的水印；
32.根据所述待提取三维视频生成所述待提取三维视频的零水印。
33.可选地，所述根据所述待提取三维视频中各所述提取子块在设定级数范围分解下得到的子带的幅值矩阵确定所述待提取三维视频中嵌入的水印，具体包括：
34.对于任意一个提取子块，对所述提取子块在设定级数范围分解下得到的子带的幅值矩阵进行量化处理得到所述提取子块对应的量化子带幅值矩阵；
35.根据所述提取子块对应的量化子带幅值矩阵计算所述提取子块嵌入的水印；
36.根据所述待提取三维视频中所有提取子块嵌入的水印确定所述待提取三维视频中嵌入的水印。
37.一种基于3d视频的水印对比方法，包括：
38.根据上述所述的基于3d视频的水印嵌入方法对待保护三维视频进行处理得到嵌入水印和零水印；
39.根据上述所述的基于3d视频的水印提取方法对待鉴定三维视频进行处理得到提取的嵌入水印和提取的零水印；
40.根据所述嵌入水印、所述提取的嵌入水印、所述零水印和所述提取的零水印确定所述待鉴定三维视频是否侵犯所述待嵌入三维视频的版权。
41.可选地，所述根据所述嵌入水印、所述提取的嵌入水印、所述零水印和所述提取的零水印确定所述待鉴定三维视频是否侵犯所述待嵌入三维视频的版权，具体包括：
42.对所述嵌入水印与所述提取的嵌入水印进行异或操作得到水印误码率；
43.对所述零水印和所述提取的零水印进行异或操作得到零水印误码率；
44.判断所述水印误码率是否小于第一设定阈值且所述零水印误码率是否小于第二设定阈值，得到第一判断结果；
45.若所述第一判断结果为是，则所述待鉴定三维视频侵犯所述待保护三维视频的版权；
46.若所述第一判断结果为否，则所述待鉴定三维视频不侵犯所述待保护三维视频的版权。
47.一种基于3d视频的水印嵌入系统，包括：
48.第一分块模块，用于将待嵌入三维视频中的各二维视频帧分别进行分块均得到多个子块；
49.第一分解模块，用于对于任意一个二维视频帧中的任意一个子块，对所述子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述子块在各级分解下的子带；
50.子带修改模块，用于根据待嵌入水印对所述子块在设定级数范围分解下得到的子
带的幅值矩阵进行修改得到修改后的子带；
51.子块水印嵌入模块，用于对所述修改后的子带进行逆dt-cwt操作得到所述子块对应的嵌入水印子块；
52.视频帧水印嵌入模块，用于将所述二维视频帧中对应的所有所述嵌入水印子块进行拼接得到所述二维视频帧对应的水印嵌入二维视频帧；
53.水印确定模块，用于根据所述待嵌入三维视频对应的所有水印嵌入二维视频帧得到水印嵌入视频和所述待嵌入三维视频的零水印。
54.一种基于3d视频的水印提取系统，包括：
55.第二分块模块，用于将待提取三维视频中的各二维视频帧分别进行分块均得到多个提取子块；
56.第二分解模块，用于对于任意一个二维视频帧中的任意一个提取子块，对所述提取子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述提取子块在各级分解下的子带；
57.嵌入水印提取模块，用于根据所述待提取三维视频中各所述提取子块在设定级数范围分解下得到的子带的幅值矩阵确定所述待提取三维视频中嵌入的水印；
58.零水印提取模块，用于根据所述待提取三维视频生成所述待提取三维视频的零水印。
59.一种基于3d视频的水印对比系统，包括：
60.水印嵌入模块，用于根据上述所述的基于3d视频的水印嵌入方法对待保护三维视频进行处理得到嵌入水印和零水印；
61.水印提取模块，用于根据上述所述的基于3d视频的水印提取方法对待鉴定三维视频进行处理得到提取的嵌入水印和提取的零水印；
62.版权判定模块，用于根据所述嵌入水印、所述提取的嵌入水印、所述零水印和所述提取的零水印确定所述待鉴定三维视频是否侵犯所述待嵌入三维视频的版权。
63.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明将待嵌入三维视频中的各二维视频帧分别进行分块均得到多个子块；对子块颜色空间中的任一分量进行多级dt-cwt分解，得到子块在各级分解下的子带；根据待嵌入水印对子块在设定级数范围分解下得到的子带的幅值矩阵进行修改得到子带的修改幅值矩阵；根据子带的修改幅值矩阵得到修改后的子带；对修改后的子带进行逆dt-cwt操作得到子块对应的嵌入水印子块；将二维视频帧对应的所有嵌入水印子块进行拼接得到二维视频帧对应的水印嵌入二维视频帧；根据待嵌入三维视频对应的所有水印嵌入二维视频帧得到水印嵌入视频和待嵌入三维视频的零水印，将嵌入水印和零水印结合，可以在保证水印高鲁棒性的前提下，进一步提高版权保护的精度。
附图说明
64.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
65.图1为基于离散余弦变换的水印嵌入方法的结果图；
66.图2为第一张示例图；
67.图3为第二张示例图；
68.图4为不同基线距离下视频帧的对比图；
69.图5为dt-cwt分解子带的方向示例；
70.图6为本发明实施例提供的水印嵌入过程的流程图；
71.图7为本发明实施例提供的水印对比过程的流程图；
72.图8为本发明实施例提供的要保护的某个视频的第一帧的图。
具体实施方式
73.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
74.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
75.在视频帧中嵌入水印，有着水印不可见性与水印鲁棒性之间的权衡，这两者相互制约，不可能同时达到最优。因为水印存在感越低，表示其更容易遭到破坏，因此鲁棒性很可能达不到要求。若需要对各种攻击鲁棒，需要加大水印嵌入强度，视频帧内容则会受到破坏。因此一直以来的研究聚焦于如何在提高水印鲁棒性的同时，满足水印不可见性的要求。若水印嵌入方案鲁棒性不够，即使做到了很好的不可见性，进行版权鉴别时提取不出版权方所有的水印，就起不到版权保护的作用；若视频帧对常见操作鲁棒，但因为水印的嵌入而破坏了外观，或者产生一定程度的失真，使其可应用的范围大大缩小。
76.图1展示了基于离散余弦变换的水印嵌入方法的结果：随着水印嵌入强度大小的改变，水印鲁棒性和不可见性的变化，采用误码率(bit error ratio，ber)和峰值信噪比(peak signal-to-noise ratio，psnr)来衡量鲁棒性和不可见性结果，其中ber越低，表示水印完整性越好，水印方法鲁棒性强；psnr值越高，表示图像失真度越低，水印不可见性越好，由图1可知，随着嵌入强度的增大，左边图像出现更明显的方块边界，即图像质量降低，对观感造成影响。但右图虽然没有明显的失真，却不能起到保护作用，经过简单的信号攻击后已提取不出完整的水印。
77.对视频帧构造零水印特征，虽然不会损害视频内容，但可辨识度不够高，可能发生鉴别版权时的误判和漏判问题。以基于三元矩的方法为例，对图2构造零水印，得到了[0 1 1 1 0 0 1 1 1 1 0 1 0 0 0 1 1 1 0 1]特征序列，对图3构造零水印，得到[0 0 1 1 0 0 1 1 0 1 0 0 0 0 0 1 1 1 0 1]特征序列，此方法对图2和图3分别都生成了1600位特征，这里选择前20位特征进行展示。将两个零水印特征进行比较，相似度达到了89.8％，但从人眼上的观感来说，可以区分这是两个不同的视频。可见，即使某种零水印方法对各种信号攻击和几何攻击有着良好的鲁棒性，一旦分辨不出是否属于版权方所有的视频，就丧失了一定的实用价值。而且鲁棒性和可区分性也是相互矛盾的性质，和水印方案相似，需要针对不同的使用环境进行两者之间的权衡，无法同时达到最优。
[0078]
近年来有较多的研究注意到了dibr技术的特殊性质，针对它的特征提出了相应的版权保护方案，但是对较高的基线距离的鲁棒性还不够，基线距离是将2d视频帧和深度图合成左视图和右视图的一个参数，图4展示不同基线距离影响下视频帧的立体程度，图4(a)为2d视频帧，图4(b)为基线距离为3％的合成了3d视频帧的左视图，图4(c)为基线距离为5％的合成了3d视频帧的左视图，图4(d)为基线距离为7％的合成了3d视频帧的左视图(图4都以左视图为例)，如图4所示，基线越长，合成的3d视频精度在一定范围内会相应地提升，立体感更好。但镜头崎变带来的影响会增大，肉眼看到的图像内容越扭曲，特征的双目匹配也越困难。因此需要提高在合理的基线距离内，对dibr方法的鲁棒性，即在基于dibr方法合成的3d视频中，提取水印或构造零水印特征时不会受到稍长基线距离的影响。
[0079]
基于此，本发明实施例提供了一种基于3d视频的水印嵌入方法，包括：
[0080]
将待嵌入三维视频中的各二维视频帧分别进行分块均得到多个子块。本实施例中待嵌入三维视频为基于dibr 3d视频。
[0081]
对于任意一个二维视频帧中的任意一个子块，对所述子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述子块在各级分解下的子带。在对3d视频造成可接受的内容失真范围内，使用双树复小波变换(dual-tree complex wavelettransform，dt-cwt)方法对视频帧嵌入一定强度的水印。dt-cwt采用独立的双离散小波树结构进行多尺度分解，除了得到水平和对角方向，还能获取
±
15
°
和
±
75
°
方向的子带信息，因此dt-cwt具有方向选择性、有限冗余性和近似平移不变性，相比传统的小波变换对图像的细节有更精细和丰富的描述，获得的描述子带随着图像内容的改变不会轻易变化和失真，因此选择dt-cwt方法作为水印嵌入方案的技术手段，在数字水印技术所需的鲁棒性、不可见性和安全性的要求下，dt-cwt可以较好地实现其需求。dt-cwt每经过一级分解就会生成6个不同方向(
±
15
°
、
±
45
°
和
±
75
°
)的对称子带h
3,dr
，dr＝1,2,3,4,5,6，由此图像像素点进行左右移动和上下移动甚至有一定角度倾斜的转向时，dt-cwt处理视频帧对这些变动不会非常敏感，有较好的鲁棒性。如图5所示，根据方向的对称性可将dt-cwt的6个子带分成三对：(h
3,1
,h
3,6
)，(h
3,2
,h
3,5
)和(h
3,3
,h
3,4
)。其中第一对系数主要具有水平边缘的轮廓信息，第二对主要具有对角边缘的轮廓信息，第三对则主要具有垂直边缘的轮廓信息。在dt-cwt的低频中嵌入水印，可有效应对信号攻击，例如高斯滤波、中值滤波和均值滤波等平滑操作，日常用到的jpeg压缩，还有加噪攻击例如椒盐噪声和高斯噪声等；而后续水印嵌入量化方法中的多重统计差异增强了对几何攻击例如缩放、边缘剪切的鲁棒性；dt-cwt的水印嵌入方法由于其近似平移不变性，确保了对dibr变换的鲁棒性。
[0082]
根据待嵌入水印对所述子块在设定级数范围分解下得到的子带的幅值矩阵进行修改得到修改后的子带。
[0083]
对所述修改后的子带进行逆dt-cwt操作得到所述子块对应的嵌入水印子块。
[0084]
将所述二维视频帧对应的所有所述嵌入水印子块进行拼接得到所述二维视频帧对应的水印嵌入二维视频帧。
[0085]
根据所述待嵌入三维视频对应的所有水印嵌入二维视频帧得到水印嵌入视频和所述待嵌入三维视频的零水印。
[0086]
在实际应用中，所述对所述子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述子块在各级分解下的子带，具体包括：
[0087]
将子块从rgb颜色空间转到ycbcr颜色空间得到转换子块。
[0088]
对所述转换子块的y分量进行多级dt-cwt分解，得到所述转换子块在各级分解下的子带，在实际应用中可以进行三级分解。
[0089]
在实际应用中，所述根据待嵌入水印对所述子块在设定级数范围分解下得到的子带的幅值矩阵进行修改得到修改后的子带，具体包括：
[0090]
计算所述子块在设定级数范围分解下得到的子带的幅值矩阵和相位矩阵。
[0091]
根据待嵌入水印对所述子块在设定级数范围分解下得到的子带的幅值矩阵进行量化处理得到所述子块对应的量化子带幅值矩阵。
[0092]
根据所述相位矩阵和所述子块对应的量化子带幅值矩阵得到修改后的子带。
[0093]
在实际应用中，所述计算所述子块在设定级数范围分解下得到的子带的幅值矩阵和相位矩阵具体为：根据公式
[0094]
计算幅值矩阵，
[0095]
根据公式计算相位矩阵，幅值矩阵的得到即为对子带系数求取绝对值，相位矩阵的得到即为对子带系数求取角度，其中，表示第lv级分解下第dr个子带的幅值矩阵，表示第lv级分解下第dr个子带的相位矩阵，w和h表示视频帧的宽和高；m和n是子块的宽和高，表示子带系数矩阵的最后一行和最后一列的值，减一是因为对这个矩阵的长宽计数从0开始。然后系数矩阵的长为宽为括号外面的绝对值符号即为求取绝对值，从而得到幅值。括号中的字母含义与h
lv,dr
相同，∠符号为得到相位值的含义。具体的，如果一共进行了三次dt-cwt分解，可以令lv＝2，3；dr＝1，2，5，6，dibr系统的原理是对每个像素进行水平移动，所以垂直边缘比水平边缘损失更多信息。因此不会对所有子带执行操作，而是根据方向进行精心挑选，选择第一对和第二对系数进行水印嵌入的量化，即(h
3,1
,h
3,6
)和(h
3,2
,h
3,5
)，避免包含过多的垂直边缘信息，以保证对dibr变换的鲁棒性。
[0096]
在实际应用中，根据待嵌入水印对所述子块在设定级数范围分解下得到的子带的幅值矩阵进行量化处理得到所述子块对应的量化子带幅值矩阵具体包括：根据公式
[0097]
进行量化，其中进行量化，其中表示子块在第lv级分解下第1个子带的量化子带幅值矩阵中的第i行，表示子块在第lv级分解下第1个子带的拉开对称子带间距离的修改幅值矩阵中的第i行，表示子块第lv级分解下第6个子带的量化子带幅值矩阵中的第i行，表示子块在第lv级分解下第1个子带的幅值矩阵中的第i行，表示子块在第lv级分解下第6个子带的幅值矩阵中的第i行，表示子块在第lv级分解下第6个子带的拉开对称子带间距离的修改幅值矩阵中的第i行，w表示水印值，表示子块在第lv级分解下第dr个子带的拉开对称子带间距离的修改幅值矩阵中的第i行第k列，表示子块在第lv级分解下第dr个子带的幅值矩阵的第i行第k列，表示子块在第lv级分解下第2个子带的量化子带幅值矩阵中的第i行，表示子块在第lv级分解下第2个子带的拉开对称子带间距离的修改幅值矩阵中的第i行，表示子块在第lv级分解下第5个子带的量化子带幅值矩阵中的第i行，表示子块在第lv级分解下第2个子带的幅值矩阵中的第i行，表示子块在第lv级分解下第5个子带的幅值矩阵中的第i行，表示子块在第lv级分解下第5个子带的拉开对称子带间距离的修改幅值矩阵中的第i行，具体的如果一共进行了三次dt-cwt分解，可以令lv＝2，3；dr＝1，2，5，6。
[0098]
在实际应用中，将所述二维视频帧对应的所有所述嵌入水印子块进行拼接得到所述二维视频帧对应的水印嵌入二维视频帧具体包括：
[0099]
将将所述二维视频帧对应的所有所述嵌入水印子块进行拼接得到完整二维视频帧。
[0100]
将所述完整二维视频帧从ycbcr颜色空间转换到rgb颜色空间得到所述二维视频帧对应的水印嵌入二维视频帧。
[0101]
在实际应用中，根据所述待嵌入三维视频对应的所有水印嵌入二维视频帧得到所述待嵌入三维视频的零水印，具体包括：
[0102]
对所述待嵌入三维视频对应的各水印嵌入二维视频帧分别进行分块均得到多个水印子块。
[0103]
对于任意一个水印嵌入二维视频帧中的任意一个水印子块，对所述水印子块颜色空间中的所有分量分别进行多级dt-cwt分解，得到所述水印子块在各级分解下的子带。
[0104]
对所述水印子块的在设定级数分解下得到的子带的幅值矩阵进行svd操作得到所述水印子块对应的奇异值。
[0105]
根据所述水印嵌入二维视频帧中所有所述水印子块对应的奇异值生成所述水印
嵌入二维视频帧的零水印。
[0106]
根据所述待嵌入三维视频对应的所有水印嵌入二维视频帧的零水印生成所述待嵌入三维视频的零水印。选择dt-cwt方法对嵌入水印后的视频帧进行处理，并加上奇异值分解(singularvalue decomposition，svd)联合构造零水印的特征映射，可以进一步提高对dibr变换、信号攻击和几何攻击的鲁棒性。dt-cwt方法在前面已经介绍，这里不再赘述。svd的分解式子如下：
[0107]
x＝usv
t
[0108]
对于矩阵x∈rn×n，分解得到的u和v均为酉矩阵，即uu
t
＝e，vv
t
＝e，u
t
和v
t
分别为u和v的转置矩阵，e为单位矩阵。其中s是除了对角线，其余地方的值都为0的矩阵，s矩阵对角线上的值即为奇异值，相当于提取了一个矩阵的特征，以少量的数据来代表完整的矩阵。奇异值按从大到小的顺序排列，减小的速度非常快，到后面就是远小于1的奇异值，因此经常只用前几个或者十几个奇异值来表示整个矩阵的信息。因此svd可以简约数据，抽取数据中最重要的信息，达到压缩的效果。且具有很好的稳定性、位移不变性和一定的旋转不变性，在图像处理中广泛应用。后面将会应用奇异值的大小关系特征与dt-cwt提取的特征联合在一起构造鲁棒且可区分的零水印特征。
[0109]
本发明在水印嵌入的这一步是有损的，但由于有水印与零水印特征的双重验证和特性互补，水印方案不需要为了高鲁棒性而牺牲图像内容的精度，因为会由零水印方案进行版权的检索；零水印方案不需要为了高可区分性而牺牲对信号攻击、几何攻击和dibr操作的鲁棒性，因为会由水印方案进行版权的认证。本发明检测精度相较于传统的单一水印嵌入或零水印构造方法有了一定的提升，在保证视频内容精度的前提下更进一步提高了版权保护的有效性。
[0110]
在实际应用中，对所述水印子块颜色空间中的所有分量分别进行多级dt-cwt分解，得到所述水印子块在各级分解下的子带，具体包括：
[0111]
对所述水印子块的r、g和b三通道分别进行多级dt-cwt分解，得到所述水印子块在各级分解下的子带，具体的可以进行三级dt-cwt分解。
[0112]
在实际应用中，对所述水印子块的在设定级数分解下得到的子带的幅值矩阵进行svd操作得到所述水印子块对应的奇异值，具体包括：
[0113]
当进行三级dt-cwt分解时，计算水印子块在第三级分解下得到的第1、2、5和6子带的幅值矩阵。
[0114]
将水印子块在第三级分解下得到的第1、2、5和6子带的幅值矩阵确定为矩阵p。
[0115]
对p进行svd操作得到所述水印子块对应的奇异值。
[0116]
在实际应用中，根据所述水印嵌入二维视频帧中所有所述水印子块对应的奇异值生成所述水印嵌入二维视频帧的零水印，具体包括：
[0117]
令水印嵌入二维视频帧中所有水印子块对应的奇异值的中值作为阈值。
[0118]
将水印嵌入二维视频帧中所有水印子块对应的奇异值中大于阈值的奇异值改为1，小于或等于的改为0，最后得到水印嵌入二维视频帧的零水印。
[0119]
本发明实施例将嵌入水印和零水印结合，可以在在保证水印高鲁棒性的前提下，进一步提高版权保护的精度。
[0120]
本发明实施例针对上述水印嵌入方法还提供了一种基于3d视频的水印提取方法，
包括：
[0121]
将待提取三维视频中的各二维视频帧分别进行分块均得到多个提取子块。本实施例中待提取三维视频为基于dibr 3d视频。
[0122]
对于任意一个二维视频帧中的任意一个提取子块，对所述提取子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述提取子块在各级分解下的子带。
[0123]
根据所述待提取三维视频中各所述提取子块在设定级数范围分解下得到的子带的幅值矩阵确定所述待提取三维视频中嵌入的水印。
[0124]
根据所述待提取三维视频生成所述待提取三维视频的零水印。
[0125]
在实际应用中，对所述提取子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述提取子块在各级分解下的子带与“所述对所述子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述子块在各级分解下的子带”步骤相同。
[0126]
在实际应用中，所述根据所述待提取三维视频中各所述提取子块在设定级数范围分解下得到的子带的幅值矩阵确定所述待提取三维视频中嵌入的水印，具体包括：
[0127]
对于任意一个提取子块，对所述提取子块在设定级数范围分解下得到的子带的幅值矩阵进行量化处理得到所述提取子块对应的量化子带幅值矩阵，具体的，如果一共进行了三次dt-cwt分解，可以令lv＝2，3；dr＝1，2，5，6计算量化子带幅值矩阵。
[0128]
根据所述提取子块对应的量化子带幅值矩阵计算所述提取子块嵌入的水印，具体的，当第1子带幅值矩阵的第i行的值小于第6子带幅值矩阵的第i行的值，则提取子块嵌入的0水印数量加1，反之则1水印的数量加1。当第2子带幅值矩阵的第i行的值小于第5子带幅值矩阵的第i行的值，则提取子块嵌入的0水印数量加1，反之则1水印的数量加1，当幅值矩阵内的全部值判断完后则得到提取子块嵌入的水印。
[0129]
根据所述待提取三维视频中所有提取子块嵌入的水印确定所述待提取三维视频中嵌入的水印。
[0130]
本发明实施例还提供了一种基于3d视频的水印对比方法，包括：
[0131]
根据上述所述的基于3d视频的水印嵌入方法对待保护三维视频进行处理得到嵌入水印和零水印。
[0132]
根据上述所述的基于3d视频的水印提取方法对待鉴定三维视频进行处理得到提取的嵌入水印和提取的零水印。
[0133]
根据所述嵌入水印、所述提取的嵌入水印、所述零水印和所述提取的零水印确定所述待鉴定三维视频是否侵犯所述待嵌入三维视频的版权。
[0134]
在实际应用中，所述根据所述嵌入水印、所述提取的嵌入水印、所述零水印和所述提取的零水印确定所述待鉴定三维视频是否侵犯所述待嵌入三维视频的版权，具体包括：
[0135]
对所述嵌入水印与所述提取的嵌入水印进行异或操作得到水印误码率b1。
[0136]
对所述零水印和所述提取的零水印进行异或操作得到零水印误码率b2。
[0137]
判断所述水印误码率是否小于第一设定阈值t1且所述零水印误码率是否小于第二设定阈值t2，得到第一判断结果。
[0138]
若所述第一判断结果为是，则所述待鉴定三维视频侵犯所述待保护三维视频的版权。
[0139]
若所述第一判断结果为否，则所述待鉴定三维视频不侵犯所述待保护三维视频的
版权。
[0140]
针对上述嵌入方法本发明实施例还提供了一种基于3d视频的水印嵌入系统，包括：
[0141]
第一分块模块，用于将待嵌入三维视频中的各二维视频帧分别进行分块均得到多个子块。
[0142]
第一分解模块，用于对于任意一个二维视频帧中的任意一个子块，对所述子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述子块在各级分解下的子带。
[0143]
子带修改模块，用于根据待嵌入水印对所述子块在设定级数范围分解下得到的子带的幅值矩阵进行修改得到修改后的子带。
[0144]
子块水印嵌入模块，用于对所述修改后的子带进行逆dt-cwt操作得到所述子块对应的嵌入水印子块。
[0145]
视频帧水印嵌入模块，用于将所述二维视频帧中对应的所有所述嵌入水印子块进行拼接得到所述二维视频帧对应的水印嵌入二维视频帧。
[0146]
水印确定模块，用于根据所述待嵌入三维视频对应的所有水印嵌入二维视频帧得到水印嵌入视频和所述待嵌入三维视频的零水印。
[0147]
针对上述提取方法本发明实施例还提供了一种基于3d视频的水印提取系统，包括：
[0148]
第二分块模块，用于将待提取三维视频中的各二维视频帧分别进行分块均得到多个提取子块。
[0149]
第二分解模块，用于对于任意一个二维视频帧中的任意一个提取子块，对所述提取子块颜色空间中的任一分量进行多级dt-cwt分解，得到所述提取子块在各级分解下的子带。
[0150]
嵌入水印提取模块，用于根据所述待提取三维视频中各所述提取子块在设定级数范围分解下得到的子带的幅值矩阵确定所述待提取三维视频中嵌入的水印。
[0151]
零水印提取模块，用于根据所述待提取三维视频生成所述待提取三维视频的零水印。
[0152]
针对上述对比方法本发明实施例还提供了一种基于3d视频的水印对比系统，包括：
[0153]
水印嵌入模块，用于根据上述所述的基于3d视频的水印嵌入方法对待保护三维视频进行处理得到嵌入水印和零水印。
[0154]
水印提取模块，用于根据上述所述的基于3d视频的水印提取方法对待鉴定三维视频进行处理得到提取的嵌入水印和提取的零水印。
[0155]
版权判定模块，用于根据所述嵌入水印、所述提取的嵌入水印、所述零水印和所述提取的零水印确定所述待鉴定三维视频是否侵犯所述待嵌入三维视频的版权。
[0156]
本发明还提供了一种更加具体的水印嵌入、提取和对比的整个流程的具体实施方式：
[0157]
对于水印嵌入过程首先将基于dibr 3d视频中所有2d视频帧嵌入水印，作为后续的认证需要，由于整个算法流程使用零水印特征进行检索，视频帧在两种方法的保护下，因此对水印嵌入算法特性中的鲁棒性和不可见性的矛盾平衡难度减小，不需要为了达到高强
度的鲁棒性而破坏人眼所视的观感，因此每一帧图像嵌入的水印比特数不需要太长，后续能提取出来达到认证的目的即可，具体过程如图6所示。
[0158]
步骤1、输入待保护2d视频帧，对2d视频帧进行分块，得到(iw/m)
×
(ih/n)个子块bs(s＝1,2,
…
(iw/m)
×
(ih/n))，m和n是子块bs的边长，一个子块嵌入一位水印。
[0159]
步骤2、dt-cwt系数向量化。将子块bs从rgb颜色格式转到ycbcr颜色空间中，选择y分量进行三级dt-cwt分解，选择第二、三级子带进行后续的量化操作，将1、6方向和2、5方向配对：(h
lv，1
，h
lv，6
)和(h
lv，2
，h
lv，5
)，其中lv＝2，3。
[0160]
步骤3、嵌入水印视频帧。求出子带的幅值矩阵和相位矩阵，按行修改幅值矩阵，嵌入水印的比特为0时，修改(h
lv，1
，h
lv，6
)中的h
lv，1
，(h
lv，2
，h
lv，5
)中的h
lv，2
，另外两个保持不变；嵌入1时，则分别修改h
lv，6
和h
lv，5
。其中幅值矩阵和相位矩阵计算如下：
[0161][0162][0163]
其中lv表示分解到第几级，由于进行了三级分解，但只选择了后面两级的系数，因此lv＝2，3；dr表示各个子带：1，2，3，4，5，6；w和h表示视频帧的宽和高；m和n是子块的宽和高。
[0164]
幅值矩阵的得到即为对子带系数求取绝对值，相位矩阵的得到即为对子带系数求取角度。通过对幅值矩阵的修改来嵌入水印，相位矩阵则用来在嵌入水印后恢复子带系数。
[0165]
对于幅值矩阵的修改，首先将幅值矩阵的每一行看作一个整体，以行为单位进行量化运算，即下面的操作都是对幅值矩阵的某一行的所有列进行的，量化计算公式如下所示：
[0166][0167]
其中，的计算步骤是为了拉开第1与第6子带、第2与第5子带每行幅值矩阵的差距，由于幅值矩阵一般不会太大，公式中的除法为取整，因此256作为除数，且进行两次向下取整，此时经过计算后一般为为很小的值甚至是0。
[0168][0169]
的计算以第1、6子带为例，i表示对第i行的所有列操作，当嵌入水印为0
时，即w等于0，子块在第lv级分解下第1子带的量化幅值矩阵——赋值前面得到的(此时一般为很小的数甚至是0了)，而第6子带幅值矩阵保持不变，从而更进一步扩增了1与6的区别，即第1子带幅值矩阵的第i行的幅值矩阵都为0或者很小的值，而第6子带幅值矩阵的第i行的幅值矩阵保持不变。整当嵌入水印为1时，即w等于1，则不修改第1子带的幅值矩阵的第i行，而是修改第6子带的幅值矩阵的第i行，将其幅值矩阵前面计算的同理，对于第2、5子带也根据水印的0和1比特位进行修改。因此对于同一个分块，幅值矩阵的每一行嵌入相同的水印比特序列。
[0170]
步骤4、对每个子带的每一行幅值矩阵完成量化后，根据修改的幅值矩阵和先前计算的相位矩阵还原到原来的子带格式得到修改后的子带，接着执行逆dt-cwt操作，就得到了嵌入水印的分块，将所有分块重新组成完整的2d视频帧，并从ycbcr域转换到rgb域，就对整个视频帧完成了水印嵌入操作。
[0171]
接下来介绍零水印构造方法，具体步骤如下：
[0172]
步骤1、dt-cwt svd。对嵌入水印后的视频序列进行缩放的预处理，即将视频帧转换到固定的长宽，根据实际情况设定大小，一般设为长宽相等的正方形，以对旋转攻击和缩放攻击更加鲁棒。然后将2d视频中的帧序列归一化降采样，每n张合并为一组，取平均数，可以有效减少时间信息的冗余，又充分利用了时域信息。
[0173]
步骤2、对合并后的视频序列的每一帧进行分块，分成(iw/m)
×
(ih/n)个子块bs(s＝1，2，...m
×
n)，m和n是bs的边长。
[0174]
步骤3、对子块bs的r、g、b三通道分别进行三级dt-cwt分解，选择第三级水平方向的子带系数，对1、6方向和2、5方向进行配对：p1＝(h
3，1
，h
3，6
)和p2＝(h
3，2
，h
3，5
)，并根据下式计算幅值：
[0175][0176]
为幅值矩阵，其中dr＝1，2，5，6，表示子块在第3级分解下第dr个子带矩阵的第行第列的系数值。
[0177]
步骤4、求得p1和p2的幅值矩阵后，放在同一个矩阵中p，p的详细结构在下面展示，对其执行svd操作，保存第一奇异值生成中间特征向量fm。
[0178][0179]
步骤5、零水印特征。取所有子块的第一奇异值即中间特征向量的中值作为阈值t，大于这个阈值的构造为1，小于或等于的则为0，进行二值化，最后串联成零水印比特序列f，得到一系列0或1的比特序列，注册在数据库中存储，作为日后版权鉴别时检索的需要，f即可以代表某一个2d视频。二值化的过程如下所示：
[0180]fm
(c)表示前面生成的中间特征向量的第c个值，f(c)表示最终构造的零水印序列的第c个值。
[0181]
步骤6、第三方数字水印信息库。最终将嵌入水印的视频、水印和零水印特征保存在数据库中，当在网络上发现可能侵权的视频v时，对其构造零水印特征后，根据零水印特征进行数据库中零水印的检索，如果在数据库中匹配到某个内容相似的视频零水印，则可以进一步地认证：对v提取水印，若提取的水印与数据库中存储的水印非常相似——计算出的ber小于设定的阈值，即可判断侵权。
[0182]
对于水印提取和对比，前期的视频帧分块、转换颜色空间和计算幅值矩阵等步骤与水印嵌入阶段基本相同，因此只对水印的提取进行详细说明：
[0183]
步骤1、对2d视频帧进行分块得到提取子块。
[0184]
步骤2、将提取子块转到ycbcr颜色空间中，选择y分量进行三级dt-cwt分解，进行三级dt-cwt分解，同样选择提取子块第二、三级水平方向的子带系数。分成三对：(h
′
lv，1
，h
lv，6
)，(h
′
lv，2
，h
lv，5
)和(h
′
lv，3
，h
lv，4
)，选择前两对进行水印嵌入操作，舍弃最后一对，因为它表示的是视频帧内容垂直边缘的信息，在dibr操作下极易失真和扭曲。
[0185]
步骤3、对(h
′
lv，1
，h
′
lv，6
)和(h
′
lv，2
，h
′
lv，5
)表示的系数计算幅值矩阵并进行量化，按行进行计算，计算过程和水印嵌入流程的一样，于是得到提取子块的量化子带幅值矩阵：提取子块在第lv级分解下第1个子带的量化子带幅值矩阵中的第i行提取子块在第lv级分解下第6个子带的量化子带幅值矩阵中的第i行提取子块在第lv级分解下第2个子带的量化子带幅值矩阵中的第i行和提取子块在第lv级分解下第5个子带的量化子带幅值矩阵中的第i行通过统计差异来判断提取0还是1，同样以第1和第6子带的幅值矩阵作为举例说明：
[0186][0187]
若小于则代表0水印的计数增加1次，若大于则代表1水印的计数增加1次，所有行执行完毕后，根据统计的大小比较结果确定提取0或1，得到最终的提取水印序列w
′
。
[0188]
步骤4：将w
′
与原始水印序列w执行异或运算，得到最终的误码率：
[0189][0190]
若ber小于设定的经验阈值，则完成版权认证，此提取方案由于依据最终统计的总数来判断水印，因此减少了水印提取误差。不使用单一水印嵌入或零水印构造方法，而是将其结合，充分利用这两个方法具有的优势，且互补地减少了其劣势，扩大了应用范围，提高版权鉴别精度。步骤4具体为：首先对待鉴别3d视频提取零水印特征，接着在注册好的版权信息数据库中进行特征检索，若出现误码率小于t2阈值的情况，即相似度非常高，则进一步提取嵌入水印，结合两者的结果进行侵权判断。版权认证过程如图7所示，首先输入待检测3d视频帧，然后进行缩放和降采样等预处理，然后分别对预处理后的视频帧进行dt-cwt变换处理，提取水印，计算水印误码率b1和dt-cwt svd构造零水印特征，计算零水印特征误码
率b2，判断是否b1《t1且b2》t2若是则证明侵权，若否则证明不侵权。其中t1和t2为根据经验设定的阈值。
[0191]
本实施例有以下技术效果：
[0192]
1、本发明涉及一种基于dibr合成3d视频的水印嵌入和零水印混合的版权保护方法，现有的水印方案和零水印方案对基于dibr合成3d视频的特性考虑不够。dibr操作后合成的帧相对于原始二维帧发生了像素的水平移动，因此dibr操作可以视为一种改变视频帧内容的攻击，这意味着3d视频的保护方案应该是dibr不变的，本发明将水印嵌入和零水印构造方法结合，提出了兼顾两者优点的方案，且尽量避免两者的欠缺之处，提升了版权保护的精度。
[0193]
2、本发明利用水印方案进行认证，零水印方案进行检索，兼顾两者的优点，在一定程度上消解两个方法自身的矛盾性，提高了版权鉴别精度。
[0194]
本发明实施例提出了一种基于dibr 3d视频的水印嵌入和零水印构造混合的版权保护方法，首先对2d视频帧嵌入水印，然后对嵌入水印的视频帧提取零水印特征，将得到的特征注册在数据库中，其中的水印嵌入方法和零水印构造方法都对dibr操作具有鲁棒性，即合成的3d视频仍能提取水印和构造相似的零水印特征，且整个流程对基于dibr合成的3d视频具有不变性，即将嵌入水印后的2d视频帧和深度图通过dibr技术合成左视图和右视图后，仍能从虚拟左右视图中提取出水印，且构造的零水印特征不受dibr操作的影响，从而达到对dibr 3d视频版权保护的目的。后续在网络中发现可能侵权的视频时，首先对其构造零水印特征，将提取的特征和数据库里存储的特征序列进行检索，若能匹配到相似的零水印特征，则进一步对视频执行提取水印操作，提取水印和原始水印相似时，就能最终判断该视频侵权。
[0195]
本发明提供了一种应用上述水印对比方法的具体实施例：
[0196]
视频和图像的区别是一个视频就有上百帧，若每一帧都嵌入水印，耗时长且占用内存过多，但嵌入帧数过少则不能应对丢帧、插帧等攻击，因此为了平衡处理效率和版权保护的需要，每隔10帧进行一次水印嵌入操作，且每帧的操作相同，以要保护的某个视频为例，如图8所示，大小为320*240，由于后续的100帧与第一帧类似，因此只展示第一帧。
[0197]
具体保护步骤如下：
[0198]
1.每10张视频帧均执行嵌入水印操作，分块大小为40*40，则可以嵌入水印比特48位：(320/40)
×
(240/40)＝8
×
6。待嵌入水印为[0 1 0 1 0 1 0 1 1 1 0 0 0 1 0 1 1 1 0 0 0 1 0 1 1 1 0 0 0 1 0 1 0 0 0 0 1 1 1 0 1 1 0 1 0 0 0 0]。
[0199]
2.对已嵌入水印的视频进行降采样，归一化为320*320大小，每4张进行平均，得到25张视频帧，每个视频帧同样设置40大小的分块，按照前面所述方法构造零水印特征，串联起来就得到了25
×8×
8＝1600维特征。
[0200]
3.将嵌入水印的2d视频帧、水印和每个视频的零水印特征注册在数据库中。
[0201]
4.当网络中发现可能侵权的视频时，首先对其构造零水印特征，和数据库中存储的特征序列进行匹配、检索，若数据库中有匹配上的内容，则进一步操作，对其提取水印，计算与原始水印的ber，小于设置的阈值时，即可判定侵权，实现版权保护。
[0202]
上述举例描述了在一个具体的例子中此方法的运用，实验也证明了此方法的可行性。此方法将水印嵌入方法和零水印构造方法结合，实现了鲁棒性、水印不可见性和可区分
性的权衡，满足了版权保护的要求，并提高了版权保护的精度。
[0203]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0204]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。