一种光学模拟训练系统中的全景图像拼接方法与流程

1.本发明属于图像处理技术领域，具体涉及一种光学模拟训练系统中的全景图像拼接方法。


背景技术：

2.光电经纬仪具有光电跟踪测量功能，被应用广泛于图像及姿态测量任务当中。传统的训练方法受时间以及成本的限制较大，因此在实际工作中，越来越多的训练中采用了模拟训练的方法。
3.为了使模拟训练过程更加真实，在光学模拟训练系统中采用了实景图像拼接的方法，从而解决了在其他模拟训练系统中因采用3d建模等数学建模方法带来的训练场景不真实的问题。
4.光电经纬仪拍摄的图像分辨率很高，视场很小，为满足系统对训练场景的要求，需要扩大图像的视场范围，从而实现训练过程中不同视场图像的调取，理想情况即为获得360度的全景图像。
5.在光电经纬仪的拍摄过程中，为保证图像的完整性，相邻角度的图像间存在部分重叠。因此需要采用全景图像拼接技术。
6.仅依靠单台套光电经纬仪进行拍摄，并实现水平方向和垂直方向两个维度的全景图像拼接。
7.因实际需要，光电经纬仪工作的背景中大部分无明显特征物，无法通过匹配特征点的方式实现拼接。
8.一种阵列相机中田字形全景图像拼接方法(申请号202010769524.2，授权公告号cn 111738925 b)使用已有的配准变换参数进行田字形布置的4个相机图像进行了拼接，解决了现有拼接技术中不能同时处理田字形图像的问题；全景视频同步拼接系统、方法及全景视频显示装置(申请号201710764095.8，申请公布号cn 107396068 a)同样设置多个摄像头，并以预设顺序将摄像头设置在同一平面上，相邻两个摄像头的角度满足拍摄视频图像的范围存在重合区域，且各个摄像头组合拍摄全景视频图像。从经济性和可靠性角度来分析，以光电经纬仪作为拍摄设备，若采用阵列相机或多摄像头的数据采集方法会产生很多问题。多台套光电经纬仪同时拍摄，对数据采集设备的布置要求较高，且成本较高。光电经纬仪拍摄存在系统误差，因此同种型号的不同设备进行拍摄，也会对拼接后图像的精度产生影响。
9.一种全景图像拼接方法及装置(申请号201811071685.3，申请公布号cn 109389555 a)分别对待拼接的两幅图像进行特征点提取，并对得到的两组关键点集合进行匹配，得到被匹配的特征点对集，然后划分网格通过局部的自适应单应估计进行配准等方法进行图像拼接。这种方法只适用于图像中具有明显特征物的情况，而对于背景尽量干净，没有过多干扰的情况反而不适用，无法达到预期效果。


技术实现要素：

10.(一)本发明所要解决的技术问题
11.针对上述技术问题，本发明提供了光学模拟训练系统中的全景图像拼接方法，利用单台套光电经纬仪进行数据采集，并提出相应的全景拼接方法，解决了将现有全景图像拼接方法直接实现时，利用多台套光电经纬仪进行数据采集时可能会出现的成本过高和图像精度受影响的问题，以及在全景拼接过程中，结合光电经纬仪拍摄图像附带的位置信息建立映射模型，解决了拍摄图像中无明显特征物，进而无法使用特征点匹配拼接方法的问题。
12.(二)本发明提供的完整技术方案
13.本发明提供了一种光学模拟训练系统中的全景图像拼接方法，包括以下步骤：
14.s1、光电经纬仪按照预设的理论轨迹进行拍摄，完成数据采集；
15.s2、对采集得到的图像进行预处理；
16.s3、建立图像间的关联映射模型，实现图像配准；
17.s4、建立全景图像拼接映射表；
18.s5、根据映射关系，对图像进行融合，形成全景图像；
19.s6、根据所需显示的角度，通过二次寻址的方法查找全景图像拼接映射表，实现图像局部显示。
20.进一步，所述步骤s1中预设的理论轨迹为光电经纬仪的角度引导数据。
21.进一步，所述步骤s1中，在拍摄时，保持光电经纬仪位置不动，预设的理论轨迹将按照俯仰角度由低到高的顺序，在每个固定的俯仰角度下引导光电经纬仪匀速旋转360度，按照拍摄图像的视场大小，确保在相邻方位和俯仰角度下，拍摄视频图像的范围存在重合区域。
22.进一步，所述步骤s2中预处理包括以下步骤：
23.s21、判断采集的图像；
24.若为红外图像，则进入步骤s22；
25.若为可见光图像，则进入步骤s24；
26.s22、对红外图像进行图像增强；
27.s23、亮度增强，进入步骤s24；
28.s24、对采集到的图像进行中值滤波的方法去噪处理。
29.进一步，所述步骤s3中建立图像间的关联映射模型包括以下步骤：
30.s31、根据光电经纬仪的视场范围(横向α，纵向β)及像元尺寸μ估算出全景图像的尺寸，横向：width＝360/(α
·
μ)，纵向：height＝90/(β
·
μ)；
31.s32、在内存中分配width*height大小的空间，记为拼接图m；
32.s33、逐帧读取光电经纬仪拍摄的视频图像，获取图像的文件头信息中附加的编码器角度、像元尺寸等信息；
33.s34、根据图像中每个像素点的合成角度，反算出该点在拼接图m中的位置信息，并写入m中；
34.s35、重复步骤s33-s34，直到获得视频图像中所有像素点在拼接图m中的位置，从而建立起图像间的关系映射模型。
35.进一步，所述步骤s34中根据图像中每个像素点的合成角度，反算出该点在拼接图m中的位置信息包括以下步骤：
36.s341、建立合成目标角度公式如下所示，其中a代表方位角，e代表俯仰角，f代表焦距：
[0037][0038]
a＝a0 δa
[0039][0040]
s342、将公式进行化简，得到近似的合成目标角度公式：
[0041][0042][0043]
s343、根据以上公式，若已知某点相对于中心点的角度偏移量，则可以反算出两点间的位置关系，实现图像上任意点的角度值(a，e)与坐标值(x，y)的转换。
[0044]
进一步，所述步骤s4中建立全景图像拼接映射表包括以下步骤：
[0045]
s41、在拼接过程中，记录对应的俯仰角度值；
[0046]
s42、将俯仰角从0
°
开始，间隔0.5
°
作为一个俯仰角度带，每个角度带上，方位角从0
°
开始，间隔3
°
将与该度数对应的像素距离最近的真实图像角度值及像素点位置进行记录；
[0047]
s43、重复s41和s42直至图像映射关系全部建立。
[0048]
进一步，所述步骤s5中图像融合包括以下步骤：
[0049]
s51、根据建立好的映射模型，判断图像上的点是否位于重叠位置；
[0050]
若位于重叠位置当中，则进入步骤s52；
[0051]
若未在重叠位置，则进入步骤s54；
[0052]
s52、计算该点在所属的所有图像s1，s2，
…
，sn中的权值i
′1，i
′2，
…i′n；n为该点所在重叠图像的个数；
[0053]
s53、将该点在不同图像上的灰度值r1、r2…rn
和对应的权值i
′1，i
′2，
…i′n相乘，得到融合后该点的灰度值进入步骤s55；
[0054]
s54、保留该点的灰度值r1作为融合后该点的灰度值r0＝r1，进入步骤s55；
[0055]
s55、得到该点在最终拼接图像中对应的灰度值r0；
[0056]
s56、将映射模型中的所有点分别按照s51-s54的步骤进行处理，即可得到融合后的图像。
[0057]
进一步，所述步骤s52中计算该点在所属的所有图像中的权值具体表现为：
[0058]
s521、在该点所属的所有图像中计算该点(x，y)，在相应图像上与其对应的图像中心点o1(x1，y1)、o2(x2，y2)，
…
，on(xn，yn)之间的距离
n为该点所在重叠图像的个数；
[0059]
s522、计算得到该点对应的权值
[0060]
s523、重复步骤s521-s522，得到该点对应的所有权值i1，i2，
…
，in；
[0061]
s524、将所有权值进行归一化处理，即可得到该点最终在各重叠图像上的权值i
′1，i
′2，
…i′n。
[0062]
进一步，所述步骤s6图像局部显示包括以下步骤：
[0063]
s61、根据需要显示图像的中心点角度值在全景图像拼接映射表中进行查表，假设某一需要显示局部图像的中心点所对应的拍摄角度为方位角a和俯仰角e；
[0064]
s62、在映射表中根据俯仰角e所在的角度值进行查询，得到其对应的纵轴寻址基准，将其像素纵坐标记为y；
[0065]
s63、在俯仰角e所对应的角度值表中，计算得到该俯仰角下方位角a所属的3
°
区间，将该区间对应的边界方位角角度值为an和a
n 1
，比较a-an和a
n 1-a的绝对值，若a-an的绝对值较小，则将an作为寻址基准，反之，则以a
n 1
为寻址基准，将寻址基准的像素横坐标记为x；
[0066]
s64、确定方位角的寻址基准后，需要对像素坐标进行二次寻址，利用脱靶量的计算方法，得到该点相对于寻址基准的像素坐标偏移量δx和δy，由此得到该点在全景图像上的像素坐标位置(x δx，y δy)；
[0067]
s65、将查询得到像素点作为显示图像的中心，分别选取中心点横纵轴上图像显示尺寸的一半进行显示即可。
[0068]
本发明技术方案带来的有益效果：
[0069]
本发明设计的图像拼接方法，只动用单台套光电经纬仪进行拍摄，相较于常用的多摄像机拍摄拼接方法，节约了设备动用成本，克服了不同设备间系统误差造成的影响，提高了全景图像的成像精确度；
[0070]
设计出了符合光电经纬仪拍摄实际的全景图像拼接方法，克服了在图像配准过程中，因现场特征标志物较少而无法使用特征点配准的问题。
附图说明
[0071]
图1本发明提供的光学模拟训练系统中的全景图像拼接方法实现流程图；
[0072]
图2本发明提供的光学模拟训练系统中的图像预处理流程图；
[0073]
图3本发明提供的光学模拟训练系统中的图像配准流程图；
[0074]
图4本发明提供的光学模拟训练系统中的图像融合流程图。
具体实施方式
[0075]
下面结合附图对本发明的光学模拟训练系统中的全景图像拼接方法的具体实施方式作详细的描述。
[0076]
参考图1，本发明实施例提供了一种光学模拟训练系统中的全景图像拼接方法，包括以下步骤：
[0077]
s1、光电经纬仪按照预设的理论轨迹进行拍摄，完成数据采集；
[0078]
s2、对采集得到的图像进行预处理；
[0079]
s3、建立图像间的关联映射模型，实现图像配准；
[0080]
s4、建立全景图像拼接映射表；
[0081]
s5、根据映射关系，对图像进行融合，形成全景图像；
[0082]
s6、根据所需显示的角度，通过二次寻址的方法查找全景图像拼接映射表，实现图像局部显示。
[0083]
其中，需要说明的是，所述步骤s1中预设的理论轨迹为光电经纬仪的角度引导数据，根据所需视场范围进行编写。因为本方法对实时性没有要求，所以可以挑选无风的天气进行拍摄，从而尽量人为减小天气条件对图像效果的干扰。在拍摄时，保持光电经纬仪位置不动，预设的理论轨迹将按照俯仰角度由低到高的顺序，在每个固定的俯仰角度下引导光电经纬仪匀速旋转360度。按照拍摄图像的视场大小，确保在相邻方位和俯仰角度下，拍摄视频图像的范围存在重合区域。
[0084]
图2为本发明一实施例中一种图像拼接方法的一种具体实现方式的流程图。如图2所示，图像拼接方法步骤s2中预处理可包括以下步骤：
[0085]
s21、判断采集的图像；
[0086]
若为红外图像，则进入步骤s22；
[0087]
若为可见光图像，则进入步骤s24；
[0088]
s22、对红外图像进行图像增强；
[0089]
s23、亮度增强，进入步骤s24；
[0090]
s24、对采集到的图像进行中值滤波的方法去噪处理。
[0091]
图3为本发明一实施例中一种图像拼接方法的一种具体实现方式的流程图。如图3所示，图像拼接方法步骤s3中图像配准可包括以下步骤：
[0092]
s31、根据光电经纬仪的视场范围(横向α，纵向β)及像元尺寸μ估算出全景图像的尺寸(横向：width＝360/(α
·
μ)，纵向：height＝90/(β
·
μ))；
[0093]
s32、在内存中分配width*height大小的空间，记为拼接图m；
[0094]
s33、逐帧读取光电经纬仪拍摄的视频图像，获取图像的文件头信息中附加的编码器角度、像元尺寸等信息；
[0095]
s34、根据图像中每个像素点的合成角度，反算出该点在拼接图m中的位置信息，并写入m中；
[0096]
s35、重复步骤s33-s34，直到获得视频图像中所有像素点在拼接图m中的位置，从而建立起图像间的关系映射模型。
[0097]
进一步，在本实施例中，步骤s34中根据图像中每个像素点的合成角度，反算出该点在拼接图m中的位置信息包括以下步骤：
[0098]
s341、建立合成目标角度公式，其中a代表方位角，e代表俯仰角，f代表焦距：
[0099][0100]
a＝a0 δa
[0101][0102]
s342、将公式进行化简，得到近似的合成目标角度公式：
[0103][0104][0105]
s343、根据以上公式，若已知某点相对于中心点的角度偏移量，则可以反算出两点间的位置关系，实现靶面上任意点的角度值(a，e)与坐标值(x，y)的转换。
[0106]
图4为本发明一实施例中一种图像拼接方法的一种具体实现方式的流程图。如图4所示，图像拼接方法步骤s5中图像融合包括以下步骤：
[0107]
s51、根据建立好的映射模型，判断图像上的点是否位于重叠位置；
[0108]
若位于重叠位置当中，则进入步骤s52；
[0109]
若未在重叠位置，则进入步骤s54；
[0110]
s52、计算该点在所属的所有图像s1、s2，
…
，sn中的权值i
′1，i
′2，
…i′n；n为该点所在重叠图像的个数；
[0111]
s53、将该点在不同图像上的灰度值r1、r2…rn
和对应的权值i
′1，i
′2，
…i′n相乘，得到融合后该点的灰度值进入步骤s55；
[0112]
s54、保留该点的灰度值r1作为融合后该点的灰度值r0＝r1，进入步骤s55；
[0113]
s55、得到该点在最终拼接图像中对应的灰度值r0；
[0114]
s56、将映射模型中的所有点分别按照s51-s54的步骤进行处理，即可得到融合后的图像。
[0115]
进一步地，所述步骤s52中计算该点在所属的所有图像中的权值具体表现为：
[0116]
s521、在该点所属的所有图像中计算该点(x，y)，在相应图像上与其对应的图像中心点o1(x1，y1)、o2(x2，y2)，
…
，on(xn，yn)之间的距离n为该点所在重叠图像的个数；
[0117]
s522、计算得到该点对应的权值
[0118]
s523、重复步骤s521-s522，得到该点对应的所有权值i1、i2，
…
，in；
[0119]
s524、将所有权值进行归一化处理，即可得到该点最终在各重叠图像上的权值i
′1，i
′2，
…i′n。
[0120]
进一步，在本实施例中，所述步骤s6中图像局部显示可包括以下步骤：
[0121]
s61、根据需要显示图像的中心点角度值在全景图像拼接映射表中进行查表，假设某一需要显示局部图像的中心点所对应的拍摄角度为方位角a和俯仰角e；
[0122]
s62、在映射表中根据俯仰角e所在的角度值进行查询，得到其对应的纵轴寻址基准，将其像素纵坐标记为y；
[0123]
s63、在俯仰角e所对应的角度值表中，计算得到该俯仰角下方位角a所属的3
°
区间，该区间对应的最小和最大方位角角度值为an和a
n 1
，比较a-an和a
n 1-a的绝对值，若a-an的绝对值较小，则将an作为寻址基准，反之，则以a
n 1
为寻址基准，将寻址基准的像素横坐标记为x；
[0124]
s64、确定方位角的寻址基准后，需要对像素坐标进行二次寻址，利用脱靶量的计算方法，得到该点相对于寻址基准的像素坐标偏移量δx和δy，由此得到该点在全景图像上的像素坐标位置(x δx，y δy)；
[0125]
s65、将查询得到像素点作为显示图像的中心，分别选取中心点横纵轴上图像显示尺寸的一半进行显示即可。
[0126]
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。