露天矿全景视频拼接方法、装置及介质与流程

本公开至少涉及图像处理，尤其涉及一种露天矿全景视频拼接方法、装置及介质。

背景技术：

1、由于露天矿区场景的特殊性和复杂性，如地形特征贫瘠、纹理不显著等，给图像拼接技术带来了较大的挑战。传统的图像拼接方法，往往难以在这种环境中，取得满意的拼接效果，导致拼接准确率不高。

技术实现思路

1、本公开所要解决的技术问题是针对上述不足，提供一种露天矿全景视频拼接方法、装置及介质，以解决如何拼接获得露天矿全景视频图像的问题。

2、第一方面，本公开提供一种露天矿全景视频拼接方法，所述方法包括：

3、获取露天矿监控视频的原始图像，将原始图像预处理为待拼接图像；

4、采用具有多层卷积的卷积神经网络，获取待拼接图像的多层次多尺度拼接特征；

5、根据多层次多尺度拼接特征拼接待拼接图像，以获取露天矿监控视频的全景图像。

6、进一步地，获取露天矿监控视频的原始图像，将原始图像预处理为待拼接图像，具体包括：

7、连续获取露天矿不同监控摄像头拍摄的监控视频，从监控视频中抽取监控内容依次相邻、监控时间相同的原始图像；

8、对原始图像采用阵列点标定板法矫正图像畸变，并采用直方图均衡化进行特征增强，以将原始图像预处理为待拼接图像。

9、进一步地，采用具有多层卷积的卷积神经网络，获取待拼接图像的多层次多尺度拼接特征，具体包括：

10、将相邻的两张待拼接图像输入卷积神经网络，卷积神经网络包括多个卷积层，每个卷积层有不同尺度的卷积核，每个卷积层之后有池化层；

11、每个卷积层根据自身的卷积核分别提取两张待拼接图像的本层特征，并输出两份本层特征给池化层；

12、每个池化层对比接收到的两份本层特征，通过最大池化策略选取两份本层特征中被识别为相同特征区域的关键点；

13、卷积神经网络融合关键点的多层特征表示，根据多层特征表示输出两张待拼接图像的关键点的配对结果，以配对结果作为多层次多尺度拼接特征。

14、进一步地，每个卷积层根据自身的卷积核分别提取两张待拼接图像的本层特征，具体包括：

15、第一卷积层具有第一尺度的卷积核，根据第一尺度的卷积核分别与两张待拼接图像不同位置的第一尺度区域计算第一特征值，根据第一特征值提取低级特征，低级特征包括图像边缘特征、图像纹理特征；

16、第二卷积层具有第二尺度的卷积核，根据第二尺度的卷积核分别与两张待拼接图像不同位置的第二尺度区域计算第二特征值，根据第二特征值提取中级特征，中级特征包括图像形状特征、图像颜色特征；

17、第三卷积层具有第三尺度的卷积核，根据第三尺度的卷积核分别与两张待拼接图像不同位置的第三尺度区域计算第三特征值，根据第三特征值提取高级特征，高级特征包括图像物体特征、图像场景特征。

18、进一步地，每个池化层对比接收到的两份本层特征，通过最大池化策略选取两份本层特征中被识别为相同特征区域的关键点，具体包括：

19、第一池化层以第四尺度的池化窗口对比接收到的两份低层特征，以识别两份第一特征值近似度大于第一阈值的相同低层特征区域，通过最大池化策略选取两份相同低层特征区域中第一特征值最大的第一关键点；

20、第二池化层以第五尺度的池化窗口对比接收到的两份中层特征，以识别两份第二特征值近似度大于第二阈值的相同中层特征区域，通过最大池化策略选取两份相同中层特征区域中第二特征值最大的第二关键点；

21、第三池化层以第六尺度的池化窗口对比接收到的两份高层特征，以识别两份第三特征值近似度大于第三阈值的相同高层特征区域，通过最大池化策略选取两份相同高层特征区域中第三特征值最大的第三关键点。

22、进一步地，卷积神经网络融合关键点的多层特征表示，根据多层特征表示输出两张待拼接图像的关键点的配对结果，具体包括：

23、卷积神经网络的全连接层分别融合每个第一关键点、第二关键点和第三关键点的两份第一特征值、第二特征值和第三特征值，以获取每个关键点的两份综合特征表示；

24、使用快速最近邻搜索库flann匹配每个关键点的两份综合特征表示，以获取成功匹配的关键点；

25、将成功匹配的关键点在两张待拼接图像中进行配对标记，并通过卷积神经网络的输出层输出。

26、进一步地，使用快速最近邻搜索库flann匹配每个关键点的两份综合特征表示，以获取成功匹配的关键点，具体包括：

27、在两张待拼接图像中标记每个关键点，获取每个关键点在两张待拼接图像中的两份特征位置；

28、使用flann中的第一算法计算每个关键点的两份综合特征表示，以获取两份综合特征表示的近似度大于第四阈值的第一部分关键点；

29、使用flann中的第二算法计算每个关键点的两份特征位置，以获取两份特征位置分别位于两张待拼接图像选定方向侧边缘的第二部分关键点；

30、综合第一部分关键点和第二部分关键点，以获取成功匹配的关键点。

31、进一步地，根据多层次多尺度拼接特征拼接待拼接图像，具体包括：

32、根据选定方向移动两张待拼接图像，至两张待拼接图像成功匹配的关键点在各自选定方向侧边缘重叠。

33、第二方面，本公开提供一种露天矿全景视频拼接装置，所述装置包括：

34、预处理模块，用于获取露天矿监控视频的原始图像，将原始图像预处理为待拼接图像；

35、卷积运算模块，与预处理模块连接，用于采用具有多层卷积的卷积神经网络，获取待拼接图像的多层次多尺度拼接特征；

36、全景拼接模块，与卷积运算模块连接，用于根据多层次多尺度拼接特征拼接待拼接图像，以获取露天矿监控视频的全景图像。

37、第三方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被处理器运行时，实现如上所述的露天矿全景视频拼接方法。

38、本公开提供一种露天矿全景视频拼接方法、装置及介质，针对露天矿山场景的特殊性和复杂性，采用具有多层卷积的卷积神经网络，获取待拼接图像的多层次多尺度拼接特征，所获得的多层次多尺度拼接特征，能够满足露天矿全景视频拼接要求，从而获得满足要求的露天矿全景视频图像，帮助有效监控露天矿场景。

1.一种露天矿全景视频拼接方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，获取露天矿监控视频的原始图像，将原始图像预处理为待拼接图像，具体包括：

3.根据权利要求1或2所述的方法，其特征在于，采用具有多层卷积的卷积神经网络，获取待拼接图像的多层次多尺度拼接特征，具体包括：

4.根据权利要求3所述的方法，其特征在于，每个卷积层根据自身的卷积核分别提取两张待拼接图像的本层特征，具体包括：

5.根据权利要求4所述的方法，其特征在于，每个池化层对比接收到的两份本层特征，通过最大池化策略选取两份本层特征中被识别为相同特征区域的关键点，具体包括：

6.根据权利要求5所述的方法，其特征在于，卷积神经网络融合关键点的多层特征表示，根据多层特征表示输出两张待拼接图像的关键点的配对结果，具体包括：

7.根据权利要求6所述的方法，其特征在于，使用快速最近邻搜索库flann匹配每个关键点的两份综合特征表示，以获取成功匹配的关键点，具体包括：

8.根据权利要求7所述的方法，其特征在于，根据多层次多尺度拼接特征拼接待拼接图像，具体包括：

9.一种露天矿全景视频拼接装置，其特征在于，所述装置包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序被处理器运行时，实现如权利要求1-8任一项所述的露天矿全景视频拼接方法。