面向虚拟现实的先验驱动双向补偿的全景图像配准方法

技术特征：
1.一种面向虚拟现实的先验驱动双向补偿的全景图像配准方法，其特征在于，所述全景图像配准方法包括以下步骤：s1、采用基于vibe的背景消减法对两幅待配准图像进行运动目标提取，对提取到运动目标的图像前景集进行自适应形变像素校正，使用surf特征提取算法提取图像特征，并根据特征阈值完成运动目标匹配；s2、采用稀疏光流法对匹配成功的运动目标进行运动方向和速度检测，根据摄像机的物理时间计算逻辑时间，根据两个摄像头物理时间的差值计算得到运动目标的速度，对各自运动目标进行补偿；s3、基于密集卷积神经网络构建第一图像配准模型，基于vgg16网络构建第二图像配准模型；对目标提取失败的图像、目标匹配失败的图像以及进行了双向补偿的图像进行图像配准，以图像是否进行双向补偿将图像分为两类，其中，采用第一图像配准模型对基于位置预测的双向补偿后的图像进行图像配准，采用第二图像配准模型对包括目标提取失败和目标配准失败的图像在内的没有进行双向补偿的图像进行图像配准。2.根据权利要求1所述的面向虚拟现实的先验驱动双向补偿的全景图像配准方法，其特征在于，步骤s1中，采用基于vibe的背景消减法对两幅待配准图像进行运动目标提取，对提取到运动目标的图像前景集进行自适应形变像素校正的过程包括以下步骤：为待检测的图像序列中每个像素值都建立一个包含n个样本值的背景模型m(x)，m(x)＝{v1，v2…
v
n
}，v
i
表示索引为i的背景样本，i＝1，2，...，n；更新背景模型m(x)如下：m0(x)＝{v
y
(y|y∈n
g
(x))}式中，n
g
(x)表示x位置的像素的空间邻域，v
y
表示处于该空间邻域的像素点的颜色值；背景模型的样本点从邻域像素点随机抽取n个生成；根据以下公式对像素进行校正：根据以下公式对像素进行校正：根据以下公式对像素进行校正：式中，(x
d
，y
d
)表示发生形变的像素坐标，(x
c
，y
c
)表示有形变的中心像素坐标，(x
u
，y
u
)表示矫正之后的像素坐标，k1和k2分别表示一阶和二阶放射畸变系数；r表示形变后的坐标到中心像素坐标的距离；α和1-α表示相机焦距所处的相对位置：α表示相机焦距所处的相对位置：式中，f
max
、f
min
分别表示相机焦距的最大值和最小值，f
c
表示相机实际焦距。3.根据权利要求1所述的面向虚拟现实的先验驱动双向补偿的全景图像配准方法，其
特征在于，步骤s2中，对各自运动目标进行补偿的过程包括以下步骤：采用稀疏光流法计算前景中运动目标的速度和方向，得出在x、y两个方向上的速度分别为u、v：其中其中和表示第i个像素在x和y方向上的图像梯度，表示第i个像素时间上的梯度；两幅待配准图像a和图像b中左侧图像前景集表示为：a
n
＝{p
a1
，p
a2
…
p
an
}；右侧图像前景集表示为：b
n
＝{p
b1
，p
b2
…
p
bn
}；其中p
ai
、p
bi
表示构成图像a和图像b的前景集的像素；右侧图像真正的物理时间t
′
与左侧图像时间t满足t
′
＝t δt，δt为两幅图像物理时间的差值；对图像a进行位置补偿的时间t
a
和对图像b进行位置补偿的时间t
b
分别为：t
a
＝t δt/2t
b
＝t
′‑
δt/2＝t δt/2；补偿后左侧前景集为：a
n
′
＝{p
a1
′
，p
a2
′…
p
an
′
}}其中p
ai
′
表示构成图像a补偿后的前景集的像素，p
aix
表示补偿前x方向上的像素分量，p
aix
′
表示在x方向上补偿后的像素分量，u
a
表示该像素在x方向上的速度，p
aiy
表示补偿前y方向上的像素分量，p
aiy
′
表示在y方向上补偿后的像素分量，u
b
表示该像素在y方向上的速度；补偿后右侧图像前景集为：b
n
′
＝{p
b1
′
，p
b2
′…
p
bn
′
}}其中p
bi
′
表示构成图像b补偿后的前景集的像素，p
bix
表示补偿前x方向上的像素分量，p
bix
′
表示在x方向上补偿后的像素分量，u
b
表示该像素在x方向上的速度，p
biy
表示补偿前y方向上的像素分量，p
biy
′
表示在y方向上补偿后的像素分量，v
b
表示该像素在y方向上的速度。4.根据权利要求1所述的面向虚拟现实的先验驱动双向补偿的全景图像配准方法，其特征在于，步骤s3中，所述第一图像配准模型由依次连接的三个密集网络块、一个卷积层和
一个第一池化层组成，其中每个密集网络块是由一个卷积层、一个第二池化层和一个密集网络依次连接组成；第一池化层的输出经过压平后与回归网络连接，回归网络采用五个完全连接层依次连接组成，用于输出图像配准的几何变换的参数。5.根据权利要求1所述的面向虚拟现实的先验驱动双向补偿的全景图像配准方法，其特征在于，步骤s3中，所述第二图像配准模型包括依次连接的特征提取网络、特征匹配网络和回归网络，其中，特征提取网络包括依次连接的两个卷积层和一个池化层，用于提取待配准图像的相关特征，生成特征图；特征提取网络包括两路匹配网络，两路匹配网络共享权值，每个匹配网络用来采用相关图进行相关性计算，进行特征描述子的匹配，其输出通过回归网络输出图像配准的几何变换的参数。

技术总结
本发明公开了一种面向虚拟现实的先验驱动双向补偿的全景图像配准方法，包括：对两幅待配准图像进行运动目标提取，对提取到运动目标的图像前景集进行自适应形变像素校正，提取图像特征，完成运动目标匹配；对匹配成功的运动目标进行运动方向和速度检测，根据两个摄像头物理时间的差值计算得到运动目标的速度，对各自运动目标进行补偿；对目标提取失败的图像、目标匹配失败的图像以及进行了双向补偿的图像进行图像配准。本发明能够解决现有VR监控场景下存在的因摄像机时钟不同步导致的图像导致的运动前景时图像配准效率低、效果差等技术问题。术问题。术问题。


技术研发人员：张晖 赵梦 赵海涛 朱洪波
受保护的技术使用者：南京邮电大学
技术研发日：2022.03.28
技术公布日：2022/8/1