一种光电周扫的实时图像拼接与交互方法与流程

1.本技术属于光电探测技术领域，尤其涉及一种光电周扫的实时图像拼接与交互方法。


背景技术：

2.光电探测是一种广泛应用于军事侦察、地面防御、安全警戒的常规功能，光电设备相较于传统监控摄像机，具有探测距离远、全天候、全天时等优点。同时局部视野图像也越来越无法满足实际应用的需要，光电周扫的实时图像全景拼接展示就成为了主流解决方案。
3.图像拼接是把空间上相邻、区域上相互重叠的多幅图像通过配准、投影和融合等手段拼接成一幅宽视野图像的技术。全景拼接是图像拼接的进一步扩展，通常是拼接视野范围180度或360度的全景图，光电周扫拼接技术就是拼接视野范围360度全景图的一种具体应用。
4.然而，现有技术采用sift、dsift、surf等基于特征点或角检测算子进行的图形匹配算法，虽然在图像拼接质量上具有良好的效果，但是在实际使用中依然无法满足光电周扫每秒50帧或者更高帧率的实时拼接要求。此外，采用原图进行全景拼接和浏览，对计算机资源消耗极大，无法满足实时性的要求。
5.因受限于内存占用量和创建对象大小限制，还有的技术方案会采用缩略图方式进行全景拼接和浏览，但这种方式会造成图像信息的大量丢失，且无法对目标进行准确的识别和跟踪，实际应用效果不佳。即使采用了多条带方式，通过划分角度范围进行展示，依然不够清晰直观。


技术实现要素：

6.本技术的目的是提供一种光电周扫的实时图像拼接与交互方法，在光电设备周扫工作模式下，进行图像展示，克服现有技术方案应用效果差及对计算机资源消耗极大的问题。
7.为了实现上述目的，本技术技术方案如下：
8.一种光电周扫的实时图像拼接与交互方法，包括：
9.光电设备进入周扫状态，将周扫获取的原始图像上传给后台服务器，后台服务器生成原始图像的缩略图，将缩略图拼接为全景缩略图；
10.周扫图像展示前端设置全景图区域和局部大图预览区域，所述全景图区域滚动显示全景缩略图；
11.拖动全景图区域上的滑动块，后台服务器将所述滑动块覆盖区域对应的原始图像拼接为全景原始图，在局部大图预览区域显示所述全景原始图。
12.进一步的，所述周扫图像展示前端还设置有目标显示区域，当在局部大图预览区域选择目标框后，在目标显示区域显示目标框内的图像。
13.可选的，所述周扫图像展示前端还设置有操控区域，所述操控区域设置有方向角拖拽盘，当操作所述方向角拖拽盘时，所述全景图区域滚动显示的全景缩略图视角随之进行切换。
14.可选的，所述周扫图像展示前端还设置有操控区域，所述操控区域设置有方向角拖拽盘，当操作所述方向角拖拽盘时，所述局部大图预览区域显示的所述全景原始图视角随之进行切换。
15.进一步的，所述周扫图像展示前端还设置有操控区域，所述操控区域设置有方向角拖拽盘，当操作所述方向角拖拽盘时，所述全景图区域滚动显示的全景缩略图及局部大图预览区域显示的所述全景原始图视角随之进行切换。
16.可选的，所述周扫图像展示前端还设置有操控区域，所述操控区域设置有方向角拖拽盘，当操作所述方向角拖拽盘时，所述目标显示区域显示目标框内的图像视角随之进行切换。
17.可选的，所述周扫图像展示前端还设置有操控区域，所述操控区域设置有方向角拖拽盘，当操作所述方向角拖拽盘时，所述全景图区域滚动显示的全景缩略图、局部大图预览区域显示的所述全景原始图及目标显示区域显示目标框内的图像视角随之进行切换。
18.进一步的，所述将缩略图拼接为全景缩略图以及将所述滑动块覆盖区域对应的原始图像拼接为全景原始图，所采用的图像拼接方法包括：
19.步骤f1、根据当前像元和焦距计算方位角度与像素之间的换算系数δρ：
20.其中，δρ为1度对应的像素值，p为像元，f为焦距，从而360度全景图实际的宽度尺寸w＝δρ
×
360；
21.步骤f2、计算相邻图像间的重合率δδ；
22.光电设备红外模式上报图像大小是p
x
×
py，那么每幅图像的重合率δδ为：
23.步骤f3、计算每一幅图像在进行拼接时位于全景图像的起始位置像素值δx：
24.其中，c为中心方位角度数，ω为单幅缩略图宽度；
25.步骤f4、计算每一幅图像在进行拼接时所占的实际宽度δw：步骤f4、计算每一幅图像在进行拼接时所占的实际宽度δw：
26.其中，fps表示帧，t为扫描周；
27.步骤f5、后台服务器进行图像拼接。
28.本技术提出的一种光电周扫的实时图像拼接与交互方法，缩略图与原始图像联动配合的前后台异步刷新设计，提升了交互体验，同时还降低了系统资源的消耗。基于光电周扫本身的功能特性，利用辅助信息进行图像拼接，降低了拼接难度，提高了拼接效率，将图像拼接的准确度和实时性，由软件处理转移到了硬件的技术实现上，降低了功能的开发难度。
附图说明
29.图1为本技术光电周扫的实时图像拼接与交互方法流程图；
30.图2为本技术周扫图像展示前端显示示意图。
具体实施方式
31.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
32.在采用光电设备周扫获取图像并进行拼接显示的系统中，一般包括采集图像的光电设备、进行图像显示的周扫图像展示前端和进行图像拼接的后台服务器。
33.本技术提供的一种光电周扫的实时图像拼接与交互方法，应用于上述系统，如图1所示，包括：
34.步骤s1、光电设备进入周扫状态，将周扫获取的原始图像上传给后台服务器，后台服务器生成原始图像的缩略图，将缩略图拼接为全景缩略图。
35.在光电设备进入周扫工作状态时，周扫采集的原始图像上传给后台服务器。后台服务器获取到原始图像后，生成对应的缩略图，后台服务器将缩略图拼接为全景缩略图。
36.步骤s2、周扫图像展示前端设置全景图区域和局部大图预览区域，所述全景图区域滚动显示全景缩略图。
37.如图2所示，本实施例周扫图像展示前端设置全景图区域和局部大图预览区域。
38.其中全景图区域滚动显示全景缩略图，在一个具体的实施例中，全景图区域自动滚动显示全景缩略图。还可以设置滚动条带，通过拖拽来滚动显示。后台服务器通过与周扫图像展示前端建立的通信链路，将全景缩略图发送给周扫图像展示前端，进行滚动显示。
39.为了提升全景缩略图浏览的体验感，“全景图区域”的“滚动条带”可以拖动，左右拖动会将整个当前视角区域显示位置进行平移，前端显示向后台服务器发起显示区域请求，后台服务器将前端需要显示区域的图像返回给前端。
40.步骤s3、拖动全景图区域上的滑动块，后台服务器将所述滑动块覆盖区域对应的原始图像拼接为全景原始图，在局部大图预览区域显示所述全景原始图。
41.本实施例在全景图区域上悬浮设置滑动块，通过拖动滑动块，滑动块覆盖的区域就是要显示在局部大图预览区域的图像。周扫图像展示前端将滑动块覆盖的区域信息发送给后台服务器，后台服务器将对应的原始图像进行拼接，然后发给周扫图像展示前端进行显示，显示在局部大图预览区域。
42.本实施例由于图像实时处理要求较高，为提高拼图效率、降低cpu占用率，采用缩略图进行全景拼接。为同时解决缩略图不清晰和原始图像刷新慢的问题，本技术将缩略图与原始图像的联动预览。采用本技术的技术方案，既能通过全景缩略图快速预览，也可以对需要仔细查看的原始图像进行有选择的拼接查看。
43.在“全景图区域”内，通过拖拽“滑动块”，可以将滑动块内的缩略图内容呈现在“局部大图预览区域”内显示，此区域内的图像不是将缩略图简单放大后进行显示，而是其对应的原始图像信息。该原始图像是由后台图像实时拼接服务动态异步拼接的，如果不触发拖动“滑动块”的拖动事件，原始图像在后台服务器不会参与拼接绘制工作，从而大幅度降低
cpu的占用率。
44.在另一个具体的实施例中，所述周扫图像展示前端还设置有目标显示区域，当在局部大图预览区域选择目标框后，在目标显示区域显示目标框内的图像。
45.本实施例在“局部大图预览区域”可对需要关注的区域进行框选进一步放大，并显示在“目标显示区域”中，便于对目标详细信息的观察。
46.在另一个具体的实施例中，周扫图像展示前端还设置有操控区域，所述操控区域设置有方向角拖拽盘。
47.当操作所述方向角拖拽盘时，有以下几种具体的实现方式：
48.1、当操作所述方向角拖拽盘时，所述局部大图预览区域显示的所述全景原始图视角随之进行切换；
49.2、当操作所述方向角拖拽盘时，所述全景图区域滚动显示的全景缩略图及局部大图预览区域显示的所述全景原始图视角随之进行切换；
50.3、当操作所述方向角拖拽盘时，所述目标显示区域显示目标框内的图像视角随之进行切换；
51.4、当操作所述方向角拖拽盘时，所述全景图区域滚动显示的全景缩略图、局部大图预览区域显示的所述全景原始图及目标显示区域显示目标框内的图像视角随之进行切换。
52.本实施例为了弥补交互对方位角度显示的不直观性，还在“操控区域”提供了“方位角拖拽盘”功能，可以更高效、直观地将视角快速切换到需要观察的角度。在操作方位角拖拽盘时，可以改变视角。可以单独实现全景图区域滚动显示的全景缩略图、局部大图预览区域显示的所述全景原始图及目标显示区域显示目标框内的图像视角的切换，也可以实现全景图区域滚动显示的全景缩略图、局部大图预览区域显示的所述全景原始图及目标显示区域显示目标框内的图像视角的同时切换。或还可以实现任意组合视角的同时切换，这里不再赘述。
53.需要说明的是，无论是缩略图的拼接还是原始图像的拼接，后台服务器都需要进行图像拼接，以下对本技术中图像的拼接进行具体的阐述。
54.光电设备进入周扫状态时，焦距和俯仰角固定，方位角为360度自旋转变化，每张上报的图像内容都会附带其方位角、俯仰角以及焦距的结构体信息。后台服务器通过解析图像产生时附带的一部分结构化辅助数据，获得光电设备对应的方位角、俯仰角和焦距等信息，计算拼接所需参数，对每幅图像进行定位和边界处理，实现图像的实时拼接。
55.无论是红外还是可见光，在相机成像边缘变形区域处理过的情况下，将每张上报的图像按照结构体信息投影映射至对应的位置，从而拼接成为一幅完整的全景图。
56.本技术后台服务器进行图像拼接，包括如下步骤：
57.步骤f1、根据当前像元和焦距计算方位角度与像素之间的换算系数δρ：
[0058][0059]
其中，δρ为1度对应的像素值，p为像元，f为焦距。
[0060]
从而360度全景图实际的宽度尺寸w＝δρ
×
360。
[0061]
步骤f2、计算相邻图像间的重合率δδ。
[0062]
假设光电设备红外模式上报图像大小是p
x
×
py，那么每幅图像的重合率δδ为：
[0063][0064]
步骤f3、计算每一幅图像在进行拼接时位于全景图像的起始位置像素值δx。
[0065]
获得方位角度数对应的图像像素换算系数以及上报图像宽度后，可以定位每幅图像应该在全景图中绘制的起始位置和绘制区域，起始位置δx公式如下：
[0066][0067]
其中，c为中心方位角度数，ω为单幅缩略图宽度。
[0068]
步骤f4、计算每一幅图像在进行拼接时所占的实际宽度δw。
[0069]
假设已知上报帧率fps为50帧/秒，扫描周期t为5秒，360度全景图则需要250张子图顺次进行顺次拼接，全景图实际的宽度尺寸为w，则每幅图像实际所占宽度δw为：
[0070][0071]
步骤f5、后台服务器进行图像拼接。
[0072]
假设光电设备自身的当前像元大小是15mm，焦距是180mm，上报单幅图像大小为640
×
512，第一张上报的中心方位角为1.47
°
，由公式1可计算得δρ≈209，由公式4可计算得δx≈-13，第一幅图像应在-13像素的位置开始绘制，即原图左边裁剪13像素后从全景图0像素位置开始绘制627
×
512区域，以此类推。若最后一幅图像绘制区域超出画布范围，也同样需要对其右侧进行相应像素的裁剪。
[0073]
考虑到光电设备自身转台由于机械部件或者天气影响，无法精准的步进到每一个预定的方位角进行拍摄，中心点会产生一定的偏移。同时也可能因为网络等外部原因，存在丢帧的可能，图像不一定连续上报，因此上层应用软件不直接将接收到的图像数据绘制到对应的界面上，而是开辟一个内存队列先将采集的图像信息进行缓存，使用另一个线程去处理绘制位置。本技术采用双线程并行运行，保证了高帧率下图片拼接的实时性与稳定性。
[0074]
本技术通过后台实时拼接缩略图，界面交互异步拼接少量原始图像，既能满足实时交互，又具备较好的画面效果，同时大幅度降低了cpu等计算机资源的消耗，特别是在一些机器本身性能不高的国产化平台下，此设计的优势和使用效果尤为明显。本技术利用光电设备自身特性，解决了基于特征图形匹配算法无法完成图像实时动态拼接的问题；同时解决了现有全景展示交互不够清晰直观的问题。
[0075]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。