一种煤矿综采工作面的视频拼接方法及装置与流程

本发明涉及图像处理，具体涉及一种煤矿综采工作面的视频拼接方法及装置。

背景技术：

1、煤矿综采工作面是煤炭开采的核心生产区域，有效的视频监控能够保障井下安全生产。

2、在综采工作面，由于工作面宽度通常达到数百米，单个摄像机观测区域有限，需要多个摄像机共同组成监控网络。多个摄像机共同组成的监控网络画面重叠部分较多,画面冗余严重，操作人员需要在多个分屏画面间切换观察，容易影响相关人员观测效率，无法建立工作面整体态势感知，不利于智能化分析和远程控制。将多相机视频进行拼接，生成综采工作面的全景视图，能够有效解决上述问题。但是，综采工作面的全景视图的拼接，需要面对煤矿井下环境复杂，相机间几何关系复杂，拼接精度要求高等挑战，存在拼接精度不足等问题。

技术实现思路

1、针对现有技术中的问题，本发明实施例提供一种煤矿综采工作面的视频拼接方法及装置，能够至少部分地解决现有技术中存在的问题。

2、第一方面，本发明提出一种煤矿综采工作面的视频拼接方法，包括：

3、从煤矿综采工作面的视频流中获取各台定焦摄像机的采集图像；其中，所述煤矿综采工作面的视频流是基于各台定焦摄像机采集的；所述采集图像中有至少一个标记码，所述标记码是预先配置在采煤机和护帮板上的；

4、基于分割位置对每台定焦摄像机对应的采集图像进行图像分割，获得每台定焦摄像机对应的前景图像、背景图像和分割线信息；其中，所述前景图像和所述背景图像具有重叠区域，所述分割位置是预先获得的；

5、根据每对相邻定焦摄像机对应的匹配位置和匹配范围，分别对每对相邻定焦摄像机对应的前景图像和背景图像进行特征匹配，获得每对相邻定焦摄像机对应的第一偏移量和第二偏移量；其中，各相邻定焦摄像机对应的匹配位置和匹配范围是预先获得的；

6、根据各台定焦摄像机的排列顺序、各相邻定焦摄像机对应的前景图像和各相邻定焦摄像机对应的第一偏移量，依次进行拼接和水平方向图像融合，获得所述煤矿综采工作面的前景图像；并根据各台定焦摄像机的排列顺序、各相邻定焦摄像机对应的背景图像和各相邻定焦摄像机对应的第二偏移量，依次进行拼接和水平方向图像融合，获得所述煤矿综采工作面的背景图像；

7、根据所述分割线信息、所述煤矿综采工作面的前景图像和背景图像进行垂直方向图像融合，获得所述煤矿综采工作面的初步全景图像；

8、对所述煤矿综采工作面的初步全景图像进行后处理，获得所述煤矿综采工作面的最终全景图像。

9、第二方面，本发明提供一种煤矿综采工作面的视频拼接装置，包括：

10、获取模块，用于从煤矿综采工作面的视频流中获取各台定焦摄像机的采集图像；其中，所述煤矿综采工作面的视频流是基于各台定焦摄像机采集的；所述采集图像中有至少一个标记码，所述标记码是预先配置在采煤机和护帮板上的；

11、图像分割模块，用于基于分割位置对每台定焦摄像机对应的采集图像进行图像分割，获得每台定焦摄像机对应的前景图像、背景图像和分割线信息；其中，所述前景图像和所述背景图像具有重叠区域，所述分割位置是预先获得的；

12、特征匹配模块，用于根据每对相邻定焦摄像机对应的匹配位置和匹配范围，分别对每对相邻定焦摄像机对应的前景图像和背景图像进行特征匹配，获得每对相邻定焦摄像机对应的第一偏移量和第二偏移量；其中，各相邻定焦摄像机对应的匹配位置和匹配范围是预先获得的；

13、水平拼接模块，用于根据各台定焦摄像机的排列顺序、各相邻定焦摄像机对应的前景图像和各相邻定焦摄像机对应的第一偏移量，依次进行拼接和水平方向图像融合，获得所述煤矿综采工作面的前景图像；并根据各台定焦摄像机的排列顺序、各相邻定焦摄像机对应的背景图像和各相邻定焦摄像机对应的第二偏移量，依次进行拼接和水平方向图像融合，获得所述煤矿综采工作面的背景图像；

14、垂直拼接模块，用于根据所述分割线信息、所述煤矿综采工作面的前景图像和背景图像进行垂直方向图像融合，获得所述煤矿综采工作面的初步全景图像；

15、后处理模块，用于对所述煤矿综采工作面的初步全景图像进行后处理，获得所述煤矿综采工作面的最终全景图像。

16、第三方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述程序以实现上述任一实施例所述的煤矿综采工作面的视频拼接方法。

17、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一实施例所述的煤矿综采工作面的视频拼接方法。

18、第五方面，本发明提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一实施例所述的煤矿综采工作面的视频拼接方法。

19、本发明实施例提供的煤矿综采工作面的视频拼接方法及装置，能够从煤矿综采工作面的视频流中获取各台定焦摄像机的采集图像；基于分割位置对每台定焦摄像机对应的采集图像进行图像分割，获得每台定焦摄像机对应的前景图像、背景图像和分割线信息；根据每对相邻定焦摄像机对应的匹配位置和匹配范围，分别对每对相邻定焦摄像机对应的前景图像和背景图像进行特征匹配，获得每对相邻定焦摄像机对应的第一偏移量和第二偏移量；其中，各相邻定焦摄像机对应的匹配位置和匹配范围是预先获得的；根据各台定焦摄像机的排列顺序、各相邻定焦摄像机对应的前景图像和各相邻定焦摄像机对应的第一偏移量，依次进行拼接和水平方向图像融合，获得所述煤矿综采工作面的前景图像；并根据各台定焦摄像机的排列顺序、各相邻定焦摄像机对应的背景图像和各相邻定焦摄像机对应的第二偏移量，依次进行拼接和水平方向图像融合，获得所述煤矿综采工作面的背景图像；根据所述分割线信息、所述煤矿综采工作面的前景图像和背景图像进行垂直方向图像融合，获得所述煤矿综采工作面的初步全景图像；对所述煤矿综采工作面的初步全景图像进行后处理，获得所述煤矿综采工作面的最终全景图像，提高了煤矿综采工作面的拼接精度。

1.一种煤矿综采工作面的视频拼接方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，所述根据采煤机的表面采样点集、每台定焦摄像机位置和姿态角进行相邻定焦摄像机重叠区域计算，获得每对相邻定焦摄像机对应的匹配位置并获得对应的匹配范围包括：

4.根据权利要求1所述的方法，其特征在于，获得所述分割位置包括：

5.根据权利要求1所述的方法，其特征在于，基于分割位置对每台定焦摄像机对应的采集图像进行图像分割，获得每台定焦摄像机对应的前景图像、背景图像和分割线信息包括：

6.根据权利要求1所述的方法，其特征在于，所述根据每对相邻定焦摄像机对应的匹配位置和匹配范围，分别对每对相邻定焦摄像机对应的前景图像和背景图像进行特征匹配，获得每对相邻定焦摄像机对应的第一偏移量和第二偏移量包括：

7.根据权利要求1所述的方法，其特征在于，所述根据各台定焦摄像机的排列顺序、各相邻定焦摄像机对应的前景图像和各相邻定焦摄像机对应的第一偏移量，依次进行拼接和水平方向图像融合，获得所述煤矿综采工作面的前景图像包括：

8.根据权利要求7所述的方法，其特征在于，所述基于每对相邻定焦摄像机对应的第一偏移量对每对相邻定焦摄像机对应的前景图像进行水平方向图像融合包括：

9.根据权利要求1所述的方法，其特征在于，所述根据各相邻定焦摄像机对应的背景图像和各相邻定焦摄像机对应的第二偏移量，按照各台定焦摄像机的排列顺序依次进行拼接和水平方向图像融合，获得所述煤矿综采工作面的背景图像包括：

10.根据权利要求9所述的方法，其特征在于，所述基于每对相邻定焦摄像机对应的第二偏移量对每对相邻定焦摄像机对应的前景图像的重叠区域进行水平方向图像融合包括：

11.根据权利要求1所述的方法，其特征在于，所述根据所述分割线信息、所述煤矿综采工作面的前景图像和背景图像进行垂直方向图像融合，获得所述煤矿综采工作面的初步全景图像包括：

12.一种煤矿综采工作面的视频拼接装置，其特征在于，包括：

13.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至11任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现权利要求1至11任一项所述的方法。

15.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至11任一项所述的方法。