基于三十二元数矩的光场图像水印处理方法及系统与流程

1.本公开属于数字水印技术领域，具体涉及一种基于三十二元数矩的光场图像水印处理方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.传统的摄像仅能记录到达传感器上每一个点的总光量所构成的图像，不会记录对图像构成产生贡献的各个光线分量信息，这就会造成大量的光线分布信息丢失。光场成像技术的引入，有效地解决了这一问题，光场图像能够提供对光线空间和光线角度的描述，捕获自然世界中丰富的视觉信息。光场相机不仅可以捕获构成图像的总光量，还可以捕获完整的到达传感器上每个位置的定向光线分布。光场图像包含额外的光线信息，可以使用光线跟踪技术，利用这些光线信息灵活地计算合成图像。
4.近年来，光场图像的研究在光场图像重构、压缩、显著性检测、识别、超分辨率以及深度估计等方面取得了的丰硕的成果。随着越来越多的人将目光投向光场成像领域，对于光场图像的版权保护成为了亟待解决的问题。数字水印技术将水印信息隐藏到需要保护的图像内容中，在保证原始图像视觉质量的前提下，可以有效抵抗各种攻击，并且能够提取出水印信息。对于光场图像水印的研究，目前已经取得了一些研究成果。现有的方法在保护光场图像版权上发挥了重要作用，但是在不可感知性和应对各种攻击的鲁棒性方面没有表现出足够优秀的性能。


技术实现要素：

5.为了解决上述问题，本公开提出了一种基于三十二元数矩的光场图像水印处理方法及系统，从图像矩的角度出发，基于三十二元数矩的重构特性和稳定性，有效完成光场图像水印的嵌入与提取，在保护光场图像版权上具有良好的不可感知性和鲁棒性。
6.根据一些实施例，本公开的第一方案提供了一种基于三十二元数矩的光场图像水印处理方法，采用如下技术方案：
7.一种基于三十二元数矩的光场图像水印处理方法，包括以下步骤：
8.获取待处理的原始光场图像和原始水印图像；
9.对所获取的待处理的原始光场图像处理，将原始水印图像嵌入处理后的原始光场图像，得到含水印光场图像；
10.对所得到的含水印光场图像进行处理并提取水印，得到待检测的水印图像；
11.验证原始水印图像和待检测水印图像的相似度；
12.其中，含水印光场图像是通过量化方法将原始水印图像嵌入到三十二元数矩中得到的。
13.作为进一步的技术限定，所述对所获取的待处理的原始光场图像处理，具体包括：
14.对待处理的原始光场图像进行预处理，得到宏像元图像；
15.从所得到的宏像元图像中提取子孔径图像，选取子孔径图像组。
16.进一步的，所述得到含水印光场图像的过程为：
17.计算所选取的子孔径图像组的三十二元数矩，通过量化方法将水印信息嵌入到三十二元数矩的幅值中，得到含水印子孔径图像组；
18.对含水印子孔径图像组进行重构；
19.将得到的含水印子孔径图像组替换所提取到的子孔径图像，通过子孔径图像组重构含水印的宏像元图像，得到含水印光场图像。
20.作为进一步的技术限定，所述三十二元数矩采用基于三十二元数理论和极谐
‑
傅里叶矩所构造的三十二元数极谐
‑
傅里叶矩或基于圆谐
‑
傅里叶矩和三十二元数理论所构造的三十二元数圆谐
‑
傅里叶矩。
21.作为进一步的技术限定，对所得到的含水印光场图像进行处理并提取水印，具体包括：
22.对含水印光场图像进行预处理，得到含水印宏像元图像；
23.从所得到的含水印宏像元图像中提取含水印子孔径图像，选取含水印子孔径图像组。
24.进一步的，计算所选取的含水印子孔径图像组的三十二元数矩，基于三十二元数矩的幅值序列提取水印信息，得到所述待检测的水印图像。
25.作为进一步的技术限定，利用正码率衡量原始水印图像和待检测水印图像，验证光场图像的版权归属。
26.根据一些实施例，本公开的第二方案提供了一种基于三十二元数矩的光场图像水印处理系统，采用如下技术方案：
27.一种基于三十二元数矩的光场图像水印处理系统，包括：
28.数据获取模块，获取待处理的原始光场图像和原始水印图像；
29.水印嵌入模块，对所获取的待处理的原始光场图像处理，将原始水印图像嵌入处理后的原始光场图像，得到含水印光场图像；
30.水印提取模块，对所得到的含水印光场图像进行处理并提取水印，得到待检测的水印图像；
31.验证模块，用于验证原始水印图像和待检测水印图像的相似度；
32.其中，含水印光场图像是通过量化方法将原始水印图像嵌入到三十二元数矩中得到的。
33.根据一些实施例，本公开的第三方案提供了一种计算机可读存储介质，采用如下技术方案：
34.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于三十二元数矩的光场图像水印处理方法中的步骤。
35.根据一些实施例，本公开的第四方案提供了一种电子设备，采用如下技术方案：
36.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于三十二元数矩的光场图像水印处理方法中的步骤。
37.与现有技术相比，本公开的有益效果为：
38.本公开克服了现有的光场图像水印处理中不能有效抵抗各类几何攻击的难题，基于三十二元数矩的重构特性和稳定性，从图像矩的角度出发，有效完成光场图像水印的嵌入与提取，在保护光场图像版权上具有良好的不可感知性和鲁棒性。
附图说明
39.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
40.图1是本公开实施例一中基于三十二元数矩的光场图像水印处理方法的流程图；
41.图2是本公开实施例一中水印嵌入与提取的流程图；
42.图3是本公开实施例二中基于三十二元数矩的光场图像水印处理系统的结构框图。
具体实施方式：
43.下面结合附图与实施例对本公开作进一步说明。
44.应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
45.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
46.在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
47.实施例一
48.本公开实施例一介绍了一种基于三十二元数矩的光场图像水印处理方法。
49.如图1所示的一种基于三十二元数矩的光场图像水印处理方法，包括以下步骤：
50.获取待处理的原始光场图像和原始水印图像；
51.对所获取的待处理的原始光场图像处理，将原始水印图像嵌入处理后的原始光场图像，得到含水印光场图像；
52.对所得到的含水印光场图像进行处理并提取水印，得到待检测的水印图像；
53.验证原始水印图像和待检测水印图像的相似度；
54.其中，含水印光场图像是通过量化方法将原始水印图像嵌入到三十二元数矩中得到的。
55.具体的，双平面模型表示的光场图像f
l
(u,v,s,t)包含四个维度，不便于通过二维图像描述光场图像。通常采用将四维光场投影到二维图像的方法将光场图像可视化。本实施例在嵌入水印的过程中采用了宏像元图像和子孔径图像两种描述方式。
56.在光场的双平面模型中，穿过像平面上点的不同方向的光线可以表示为相机平面上不同的坐标。如果固定像平面上点的坐标，将不同相机所拍摄的同一位置的像元组合在一起，这个由多个像元组合而成的集合称为宏像元。宏像元内像素的数量为相机平面上采
样点的数量，将所有的宏像元按照像平面上点的位置组合，可以构成光场宏像元图像。相机平面上每一个采样点都可以采集到场景的一幅二维图像，如果固定相机平面的一个采样点坐标，则四维光场可以投影为坐标为该采样点相机所拍摄的子孔径图像。子孔径图像的数量与采样点相机的数量相同。
57.对于极坐标图像f(r,θ),其极谐
‑
傅里叶矩(polar harmonic fourier moments,phfms)定义如下:
[0058][0059]
其中，p
nm
为phfms,n(n∈n)为阶数,m(m∈z)为重复度,r
n
(r)为径向基函数:
[0060][0061]
r
n
(r)在0≤r≤1范围内正交,其正交性关系可以表示为:
[0062][0063]
其中，δ
no
为克罗内克函数。
[0064]
phfms的基函数定义为:
[0065]
b
nm
(r,θ)＝r
n
(r)exp(jmθ)
ꢀꢀꢀ
(4)
[0066]
由角向傅里叶因子exp(jmθ)共轭的性质和径向基函数的正交性可推得,基函数b
nm
(r,θ)在单位圆内是正交的,其正交性关系可以表示为:
[0067][0068]
其中，与b
ol
(r,θ)共轭,0≤r≤1,0≤θ≤2π,为归一化因子。
[0069]
由于phfms的基函数具有正交性,原图像f(r,θ)可以使用phfms进行重构,f(r,θ)的图像重构函数可表示为:
[0070][0071]
复数可以扩展到三十二维,被称为三十二元数.三十二元数由一个实部和三十一个虚部组成:
[0072][0073]
其中x0,x2,
…
,x
31
是实部,e1,e2,
…
,e
31
是虚数单位。
[0074]
三十二元数的共轭定义为:
[0075][0076]
其范数可以表示为:
[0077][0078]
如果三十二元数的实部为0(即x0＝0),那么三十二元数x被称为纯三十二元数.如果三十二元数的范数为1(即|x|＝1),那么x被称为单位三十二元数.任意两个三十二元数x,y的乘积不可交换(即x
·
y≠y
·
x),它们共轭的乘积满足
[0079]
图像矩的应用领域已从平面图像、立体图像扩展到多视角彩色图像。迄今为止，图像矩在光场图像中的应用还没有取得令人满意的结果。为解决这一问题，本实施例将三十二元数理论引入到图像矩的研究中。对于光场图像f
l
，从其子孔径图像中随机选取一组包含10幅子孔径图像的图像组f
g
，表示为：
[0080][0081]
其中，f
g
(r,θ)为f
g
的极坐标形式，f
r1
(r,θ),f
g1
(r,θ),f
b1
(r,θ),
…
,f
r10
(r,θ),f
g10
(r,θ),f
b10
(r,θ)分别代表f
g
(r,θ)的10幅子孔径图像的红色、绿色和蓝色分量。
[0082]
基于三十二元数理论和phfms可以构造gphfms,因为三十二元数的乘法不满足交换律,而f
g
(r,θ)和exp(
‑
μmθ)均为三十二元数,所以gphfms的定义方式有两种:
[0083][0084][0085]
其中r
n
(r)为gphfms的径向基函数,μ为单位纯三十二元数,可以表示为:
[0086][0087]
由于同一组图像f
g
(r,θ)的右gphfms和左gphfms可以相互推导,其关系可表示为:
[0088][0089]
因为f
g
(r,θ)是纯三十二元数矩阵,则所以:
[0090][0091]
用和重构图像的公式可分别表示为:
[0092]
[0093][0094]
gphfm计算是通过计算在f
g
(r,θ)中每个子孔径图像的每个颜色分量的phfms来完成的。由于f
g
(r,θ)中的子孔径图像的颜色分量与三十二元数的虚部之间的相关性，f
g
(r,θ)中的子孔径图像被作为一个整体处理，保留了f
g
(r,θ)中子孔径图像颜色分量之间的相关性。
[0095]
详细的gphfms计算如下：
[0096][0097]
其中
[0098][0099][0100][0101][0102][0103]
[0104][0105][0106][0107][0108][0109]
[0110][0111][0112][0113][0114][0115]
[0116][0117][0118][0119][0120][0121]
[0122][0123][0124][0125][0126][0127]
[0128][0129]
其中，p
nm
(f
r1
),p
nm
(f
g1
),p
nm
(f
b1
),
…
,p
nm
(f
r10
),p
nm
(f
g10
),p
nm
(f
b10
)分别代表f
g
(r,θ)中的10幅子孔径图像的红色、绿色和蓝色分量的phfms.re(p)指取复数p的实部,im(p)指取复数p的虚部。gphfms的每一个分量可以表示为f
g
(r,θ)中单个子孔径图像单个分量的phfms实部和虚部的组合。
[0130]
基于gphfms的图像重构是通过在f
g
(r,θ)中重构每个子孔径图像的每个分量来完成的。
[0131]
详细的图像重建过程如下：
[0132][0133]
其中
[0134]
[0135][0136][0137][0138][0139][0140]
[0141][0142][0143][0144][0145][0146]
[0147][0148][0149][0150][0151][0152]
[0153][0154][0155][0156][0157][0158]
[0159][0160][0161][0162][0163]
[0164][0165]
其中和表示接近于零的矩阵；表示接近于零的矩阵；和表示f
g
(r,θ)中10幅子孔径图像重构图像的红色、绿色和蓝色分量；是的重构矩阵，其关系如下：
[0166][0167]
本实施例根据光场图像的宏像元图像与子孔径图像的关系，提出一种基于gphfms的光场图像水印方案，用于保护光场图像版权。假设原始光场图像f
l
大小为u
×
v
×
s
×
t，则其宏像元图像f
m
大小为(u
×
s)
×
(v
×
t)，每一张子孔径图像大小为s
×
t，子孔径图像的数量为u
×
v。随机选取的子孔径图像组f
g
包含的子孔径图像数量为10，选取的水印图像w为大小为p
×
q的二值图像；水印的嵌入和提取的流程如图2所示。
[0168]
在水印嵌入过程中，我们首先将原始光场图像预处理为宏像元图像，然后从宏像元图像中提取u
×
v个子孔径图像。随机选取合适的子孔径图像组，计算其gphfms，使用量化方法将水印信息嵌入到gphfm幅值中；详细的水印嵌入流程如下：
[0169]
(1)光场图像预处理
[0170]
将原始光场图像f
l
预处理为宏像元图像f
m
。
[0171]
(2)子孔径图像提取
[0172]
通过遍历像素值，从宏像元图像f
m
中提取u
×
v个大小为s
×
t的子孔径图像。
[0173]
(3)子孔径图像组选取
[0174]
本方案针对真实的光场图像，位于边缘四角的子孔径图像的像素为黑色，不包含实际像素信息。故在嵌入水印信息时，需要剔除位于边缘四角处的子孔径图像，保留有效的子孔径图像。设有效子孔径图像的集合为s1，我们使用密钥k1在s1中选取子孔径图像组f
g
。
[0175]
(4)gphfm计算
[0176]
计算f
g
最大矩阶数为n
max
的gphfms，得到(n
max
1)(2n
max
1)个矩值。
[0177]
(5)精确gphfms选取
[0178]
为增强本方案的鲁棒性，我们需要选取精确的gphfms进行水印嵌入。针对图像正交矩，重复度m＝4i,i∈z的gphfms是不精确的。精确gphfms的集合为s2＝{gp
nm
,m≠4i,i∈z}。
[0179]
(6)水印图像嵌入
[0180]
使用密钥k2在集合s2中随机选取p
×
q个gphfms构造幅值序列，然后使用量化方法将水印图像嵌入到幅值序列a＝(a1,a2,
…
,a
p
×
q
)中。量化方法如下：
[0181][0182]
其中，k＝1,2,
…
,p
×
q,λ
k
＝round(a
′
k
/δ)，a
k
和a
′
k
为选取gphfms的初始幅值和嵌入水印之后的幅值，mod(x,y)为取余函数，round(x)为四舍五入函数，δ为量化步长，w(k)为一维化的水印信息。
[0183]
当水印嵌入到gphfms中之后，需要修改关于重复度m＝0对称位置的gphfms，使得嵌入水印的gphfm矩值实部仍关于m＝0对称。
[0184]
(7)含水印子孔径图像组重构
[0185]
含水印子孔径图像组由选取的子孔径图像组f
g
、gphfms重构的图像和嵌入水印的gphfms重构的图像计算所得，计算过程可以表示为：
[0186][0187]
(8)光场图像重构
[0188]
将得到的含水印子孔径图像组替换原始子孔径图像中的对应图像，通过子孔径图像重构含水印的宏像元图像进而重构含水印4d光场图像根据光场图像宏像元图像和子孔径图像的关系可知，水印嵌入子孔径图像的同时，水印信息也分散到宏像元图像中。这样就实现了对光场图像的宏像元图像和子孔径图像两种可视化形式的版权保护。
[0189]
假设待验证的含水印光场图像为详细的水印提取流程如下：
[0190]
(1)含水印光场图像预处理
[0191]
将含水印光场图像预处理为含水印宏像元图像
[0192]
(2)含水印子孔径图像提取
[0193]
通过遍历像素值，从含水印的宏像元图像中提取u
×
v个大小为s
×
t的含水印子孔径图像。
[0194]
(3)含水印子孔径图像组选取
[0195]
设有效含水印子孔径图像的集合为使用密钥k1在中选取含水印子孔径图像组f
g*
。
[0196]
(4)gphfm计算
[0197]
计算f
g*
最大矩阶数为n
max
的gphfms，得到(n
max
1)(2n
max
1)个矩值。
[0198]
(5)水印图像提取
[0199]
精确gphfms的集合为使用密钥k2在集合中随机选取p
×
q个gphfms构造幅值序列，然后在幅值序列中提取水印信息，提取方法如下：
[0200][0201]
其中，floor(x)为向下取整函数，w
*
＝{w
*
(k),0≤k≤p
×
q}为提取的水印信息。
[0202]
将w
*
转化为大小为p
×
q二维图像w
′
，即为提取出的水印图像。
[0203]
(6)水印图像验证
[0204]
使用正码率(bit correct ratio,bcr)衡量待检测的水印图像w
′
和原始水印图像w，进而验证图像的版权归属。bcr计算公式如下：
[0205][0206]
其中c为w
′
和w之间相同的像素数,p
×
q为水印图像的大小。bcr的值在0和1之间,bcr的值越大,w
′
和w之间越相似,算法的鲁棒性越好。
[0207]
实施例二
[0208]
本公开实施例二介绍了一种基于三十二元数矩的光场图像水印处理系统。
[0209]
如图3所示的一种基于三十二元数矩的光场图像水印处理系统，采用了实施例一中所介绍的基于三十二元数矩的光场图像水印处理方法，包括：
[0210]
数据获取模块，获取待处理的原始光场图像和原始水印图像；
[0211]
水印嵌入模块，对所获取的待处理的原始光场图像处理，将原始水印图像嵌入处理后的原始光场图像，得到含水印光场图像；
[0212]
水印提取模块，对所得到的含水印光场图像进行处理并提取水印，得到待检测的水印图像；
[0213]
验证模块，用于验证原始水印图像和待检测水印图像的相似度；
[0214]
其中，含水印光场图像是通过量化方法将原始水印图像嵌入到三十二元数矩中得到的。
[0215]
详细步骤与实施例一提供的基于三十二元数矩的光场图像水印处理方法相同，在此不再赘述。
[0216]
实施例三
[0217]
本公开实施例三提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例一所述的基于三十二元数矩的光场图像水印处理方法中的步骤。
[0218]
详细步骤与实施例一提供的基于三十二元数矩的光场图像水印处理方法相同，在此不再赘述。
[0219]
实施例四
[0220]
本公开实施例四提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的基于三十二元数矩的光场图像水印处理方法中的步骤。
[0221]
详细步骤与实施例一提供的基于三十二元数矩的光场图像水印处理方法相同，在此不再赘述。
[0222]
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。