一种光电测控设备跟踪操作仿真训练系统及方法

1.本发明涉及目标运动轨迹测量技术领域，具体涉及一种光电测控设备跟踪操作仿真训练系统及方法。


背景技术：

2.光电测控设备在对预定轨迹的观测目标进行随动跟踪测量过程中，需要通过伺服操作手通过操控杆修正控制以及目标位置的提取信息，将观测目标不断调整至视场中心区域，以实现运动目标运动轨迹的高精度测量。另外，光电测控设备除了具备目标轨迹测量任务，还承担了图像实况记录与实况转播任务，这就要求观测目标尽量平稳的成像在视场中心。
3.光电测控设备目标跟踪方式一般分为三种：（1）基于目标位置图像提取的自动跟踪；（2）操控杆手动跟踪；（3）理论轨迹引导加操控杆小幅修正跟踪。由于自动跟踪方式需要图像处理系统全程实现目标位置的稳定提取，而对于有云层干扰或地物遮挡等突发状况，容易发生误跟踪。因而目前光电测控设备的跟踪逐渐发展为以后两种方式为主、以自动跟踪为辅的跟踪方式。无论是操控杆手动跟踪，还是理论轨迹引导加操控杆修正跟踪都需要伺服操作手具有一定的操作能力。因此，需要采取一定的模拟训练手段对目标运动轨迹进行仿真，通过对仿真目标的反复跟踪练习，达到对伺服操作手长期训练的目的。


技术实现要素：

4.本发明提供一种光电测控设备跟踪操作仿真训练系统及方法，以期实现对目标运动轨迹的仿真，达到对仿真目标的反复跟踪练习实现长期训练伺服操作手进而提高伺服操作手操作能力的目的。
5.本发明为解决技术问题所采用的技术方案如下：
6.本发明提供的一种光电测控设备跟踪操作仿真训练系统，包括：
7.图像采集模块，用于采集光电测控设备输入的图像，并将该图像转化为标准格式的真实背景图像后传输给目标合成模块；
8.动目标仿真模块，用于加载三维模型文件，生成仿真目标三维模型，实现仿真目标三维模型的运动控制，并将仿真目标三维模型传输给目标合成模块；
9.当前时刻仿真目标位置数据测量模块，用于根据预先载入的仿真目标运行轨迹文件，按照不同时刻进行位置解算与姿态解算，获得当前时刻仿真目标位置及姿态数据，并将当前时刻仿真目标位置及姿态数据传输给真实背景图像中仿真目标位置数据测量模块；
10.设备角度测量模块，用于实时采集获得光电测控设备实际视轴指向位置数据，并将光电测控设备实际视轴指向位置数据传输给真实背景图像中仿真目标位置数据测量模块；
11.真实背景图像中仿真目标位置数据测量模块，用于根据当前时刻仿真目标位置及姿态数据和光电测控设备实际视轴指向位置数据之间的位置关系进行解算获得真实背景
图像中仿真目标位置数据，并将真实背景图像中仿真目标位置数据传输给目标合成模块；
12.目标合成模块，用于接收图像采集模块发送的真实背景图像、真实背景图像中仿真目标位置数据测量模块发送的真实背景图像中仿真目标位置数据和动目标仿真模块发送的仿真目标三维模型，并根据真实背景图像中仿真目标位置数据在真实背景图像上叠加仿真目标，输出合成图像，从而实现动目标仿真的功能。
13.本发明提供的一种光电测控设备跟踪操作仿真训练方法，采用所述的一种光电测控设备跟踪操作仿真训练系统实现，该方法包括以下步骤：
14.步骤一、图像采集及预处理；
15.采集光电测控设备输入的图像，并将该图像转化为指定格式的真实背景图像；
16.步骤二、加载三维模型文件，生成仿真目标三维模型；
17.步骤三、仿真目标运动轨迹解算；
18.s3.1位置解算，获取当前时刻仿真目标位置数据；
19.s3.2姿态解算，获取当前时刻仿真目标姿态数据；
20.步骤四、实时采集获取光电测控设备实际视轴指向位置数据；
21.步骤五、仿真目标投影变换；
22.s5.1仿真目标位置投影变换；
23.s5.2仿真目标尺寸投影变换；
24.s5.3仿真目标叠加，输出合成图像。
25.进一步的，步骤s3.1的具体操作流程如下：
26.s3.1.1将光电测控设备中心位置坐标p由原坐标系c0转换到仿真目标运行轨迹所在坐标系c1下的相应位置p’；
27.s3.1.2计算在坐标系c1下，当前时刻为t时，仿真目标位置tt与相应位置p’的相对位置tt’；
28.s3.1.3将相对位置tt’转换为以光电测控设备所在位置为坐标原点的球坐标系c2下的相对位置tt’(at,et,rt)，由此完成仿真目标的位置解算；at表示t时刻仿真目标相对于光电测控设备水方向偏角，et表示t时刻仿真目标相对于光电测控设备垂直方向偏角，rt表示t时刻仿真目标与光电测控设备之间的距离。
29.进一步的，步骤s3.2的具体操作流程如下：
30.假设在预设的仿真目标运行轨迹中，当前时刻仿真目标位置坐标为f，前一时刻仿真目标位置坐标为f’，则仿真目标的瞬时速度方向视作与二者连线同向，仿真目标速度向量v的方向与以坐标f’为起点、以坐标f为终点的向量f’f的方向相同，即仿真目标中轴线x
p
应平行于向量f’f，仿真目标尾部在坐标f’一侧且头部在坐标f一侧，仿真目标前端对应飞行方向，根据仿真目标的瞬时速度方向进行解算，即瞬时速度方向与水平方向之间的夹角即为俯仰角α，瞬时速度方向在水平方向的投影与发射坐标系xf轴的夹角即为偏航角β；若预设的仿真目标运行轨迹中同时包含滚转角γ，则直接使用。
31.进一步的，步骤s5.1的具体操作流程如下：
32.按照步骤三完成仿真目标运动轨迹解算后，结合步骤四获得的光电测控设备实际视轴指向位置数据，实现仿真目标在图像坐标系下的投影变换，即将仿真目标空间位置tt’(at,et,rt)转换为在图像坐标系下的坐标位置tt
’’
(xt,yt)；变换公式如式（2）所示：
（2）；式中，xt表示t时刻仿真目标投影到真实背景图像中的像素位置的x坐标，yt表示t时刻仿真目标投影到真实背景图像中的像素位置的y坐标，xt和yt均以真实背景图像的左上角为坐标原点；at表示t时刻仿真目标相对于光电测控设备水方向偏角；ac为光电测控设备中心指向值的方位角；et表示t时刻仿真目标相对于光电测控设备垂直方向偏角；ec为光电测控设备中心指向值的俯仰角；为光电测控设备中图像探测器单个像素在焦距为f时的张角；imgw为真实背景图像宽度，单位为像素数；imgh为真实背景图像高度，单位为像素数。
33.进一步的，步骤s5.2的具体操作流程如下：
34.几何光学的物象关系公式为：（3），rt表示t时刻仿真目标与光电测控设备之间的距离，v为仿真目标的像距；f为光电测控设备中图像探测器的焦距；由式（3）计算出仿真目标在t时刻与光电测控设备之间的距离为rt时，仿真目标的像距v为：（4）；由几何光学的物象关系相似三角形得到以下公式： （5）；将式（4）代入式（5）得到仿真目标尺寸为h时在光电测控设备中图像探测器上的投影尺寸为： （6）；设光电测控设备中图像探测器的像元尺寸为，则仿真目标在真实背景图像上的投影像素数为： （7）。
35.进一步的，步骤s5.3的具体操作流程如下：
36.当仿真目标投影位置处于真实背景图像显示范围内时，即xt和yt同时满足式（8）所示条件时进行仿真目标的叠加显示；当仿真目标投影位置不在真实背景图像显示范围内时，即xt和yt同时不满足式（8）所示条件时不进行仿真目标的叠加显示；
37.（8），xt表示t时刻仿真目标投影到真实背景图像中的像素位置的x坐标；yt表示t时刻仿真目标投影到真实背景图像中的像素位置的y坐标；imgw为真实背景图像宽度，单位为像素数；imgh为真实背景图像高度，单位为像素数；结合式（2）和式（8）实现在真实背景图像上的指定位置、指定尺寸、指定姿态的仿真目标的叠加，输出合成图像，实现动目标仿真。
38.本发明的有益效果是：
39.本发明采用增强现实技术（ar），将指定类型的虚拟飞行目标信息图形化后按照预先设定好的仿真目标运行轨迹，以训练时间为基准，依次叠加到真实观测场景的相应位置，操作人员通过手动调整光电测控设备视轴的指向位置，将仿真目标引入视场中心，并通过持续手动调整操控杆使仿真目标在按照预设轨迹飞行过程中始终接近视场中心范围内，以达到训练手动跟踪技能的目的。同时，本发明还可以用于执行测量任务前的操作预演练以及目标飞行轨迹特征参考的预判。
40.本发明将指定类型的虚拟飞行目标信息图形化后应用到真实背景图像上，虚拟与
现实信息相互补充、叠加，从而扩展了操作人员的感知范围。通过在三维空间中指定位置处增加指定类型的虚拟飞行目标，具有实时交互性，将指定类型的虚拟飞行目标叠加到真实观测场景，可逼真还原各类测量任务过程，为设备研制提供了良好的学习训练环境和基础，可极大地提升设备智能化水平。
附图说明
41.图1为本发明的一种光电测控设备跟踪操作仿真训练系统的组成框图。
42.图2为标准格式的真实背景图像。
43.图3为仿真目标三维模型。
44.图4为位置解算流程示意图。
45.图5为仿真目标姿态角度关系图。
46.图6为预设的仿真目标运行轨迹示意图。
47.图7为真实背景图像中仿真目标显示区域。
48.图8为仿真目标与其在光电测控设备中图像探测器上的投影关系。
49.图9为仿真目标叠加效果图。
50.图10为输出的合成图像。
具体实施方式
51.以下结合附图对本发明作进一步详细说明。
52.第一方面，本发明提供一种光电测控设备跟踪操作仿真训练系统，通过对目标运动轨迹的仿真，达到对仿真目标的反复跟踪练习，实现长期训练伺服操作手，进而提高伺服操作手的操作能力。如图1所示，该系统主要包括：图像采集模块、动目标仿真模块、当前时刻仿真目标位置数据测量模块、设备角度测量模块、真实背景图像中仿真目标位置数据测量模块和目标合成模块，其中，各模块具体功能和作用如下：
53.所说的图像采集模块主要用于采集光电测控设备输入的图像，并将该图像转化为标准格式的真实背景图像后传输给目标合成模块；
54.所说的动目标仿真模块主要用于加载三维模型文件，生成仿真目标三维模型，实现仿真目标三维模型的运动控制，并将仿真目标三维模型传输给目标合成模块；
55.所说的当前时刻仿真目标位置数据测量模块用于根据预先载入的仿真目标运行轨迹文件，按照不同时刻进行位置解算与姿态解算，获得当前时刻仿真目标位置及姿态数据p1，并将当前时刻仿真目标位置及姿态数据p1传输给真实背景图像中仿真目标位置数据测量模块；
56.所说的设备角度测量模块用于实时采集获得光电测控设备实际视轴指向位置数据p2，并将光电测控设备实际视轴指向位置数据p2传输给真实背景图像中仿真目标位置数据测量模块；
57.所说的真实背景图像中仿真目标位置数据测量模块用于根据当前时刻仿真目标位置及姿态数据p1和光电测控设备实际视轴指向位置数据p2之间的位置关系进行解算获得真实背景图像中仿真目标位置数据p3，并将真实背景图像中仿真目标位置数据p3传输给目标合成模块；
58.所说的目标合成模块主要用于接收图像采集模块发送的真实背景图像、真实背景图像中仿真目标位置数据测量模块发送的真实背景图像中仿真目标位置数据p3和动目标仿真模块发送的仿真目标三维模型，并根据真实背景图像中仿真目标位置数据p3在真实背景图像上叠加仿真目标，输出合成图像，从而实现动目标仿真的功能。
59.第二方面，本发明提供一种光电测控设备跟踪操作仿真训练方法，该方法主要采用上述第一方面提供的一种光电测控设备跟踪操作仿真训练系统实现。该方法采用增强现实技术（ar），从目标飞行姿态仿真、目标飞行轨迹仿真等多方面阐述了光电测控设备跟踪操作仿真训练系统的实现方法。
60.该方法主要包括以下步骤：
61.步骤一、图像采集及预处理；
62.采集光电测控设备输入的图像，并将该图像转化为指定格式的真实背景图像，如图2所示；具体为，当光电测控设备输入的图像为单通道灰度图像时应将其转换为8位灰度图像，当光电测控设备输入的图像为彩色图像时应将其转换为24位rgb彩色图像；
63.步骤二、加载三维模型文件，生成仿真目标三维模型，如图3所示，实现仿真目标三维模型的运动控制；
64.步骤三、仿真目标运动轨迹解算；
65.在进行目标背景合成前需要对仿真目标运动轨迹进行解算，以确定仿真目标三维模型与光电测控设备实际视轴指向位置的相对位置，继而实现仿真目标与真实背景的准确叠加。具体操作步骤如下：
66.s3.1位置解算，获取当前时刻仿真目标位置数据；
67.位置解算是指，将预设的仿真目标运行轨迹从原有坐标系（一般为大地直角坐标系）所在位置转换为以光电测控设备所在位置为坐标原点的球坐标系所在位置。位置解算具体操作步骤如下：
68.s3.1.1将光电测控设备中心位置坐标p由原坐标系c0转换到仿真目标运行轨迹所在坐标系c1下的相应位置p’；
69.s3.1.2计算在坐标系c1下，当前时刻为t时，仿真目标位置tt与相应位置p’的相对位置tt’；
70.s3.1.3将相对位置tt’转换为以光电测控设备所在位置为坐标原点的球坐标系c2下的相对位置tt’(at,et,rt)，由此完成仿真目标的位置解算。其中，at表示t时刻仿真目标相对于光电测控设备水方向偏角，et表示t时刻仿真目标相对于光电测控设备垂直方向偏角，rt表示t时刻仿真目标与光电测控设备之间的距离。
71.下面针对位置解算的具体步骤进行举例描述：
72.如图4所示，设光电测控设备中心位置所在坐标系为blh空间坐标系c0，其中心位置坐标为p(b,l,h)，其中，b为经度坐标，l为纬度坐标，h代表高程；设仿真目标运行轨迹所在坐标系为大地直角坐标系c1，当前时刻为t时，仿真目标在大地直角坐标系c1下的空间坐标为tt(xt,yt,zt)；
73.按照上述流程步骤s3.1.1，将光电测控设备中心位置坐标p(b,l,h)由blh空间坐标系c0转换到大地直角坐标系c1下的相应位置p’(xg,yg,zg)；
74.按照上述流程步骤s3.1.2，计算在坐标系c1下，当前时刻为t时，仿真目标位置tt
(xt,yt,zt)与相应位置p’(xg,yg,zg)的相对位置tt’(xtg,ytg,ztg)；其中，坐标xtg、xt和xg之间的关系，ytg、yt和yg之间的关系，ztg、zt和zg之间的关系如式（1）所示：（1）；
75.按照上述流程步骤s3.1.3，将相对位置tt’(xtg,ytg,ztg)转换为以光电测控设备所在位置为坐标原点的球坐标系c2下的相对位置tt’(at,et,rt)，由此完成仿真目标的位置解算。其中，at表示t时刻仿真目标相对于光电测控设备水方向偏角，et表示t时刻仿真目标相对于光电测控设备垂直方向偏角，rt表示t时刻仿真目标与光电测控设备之间的距离。
76.s3.2姿态解算，获取当前时刻仿真目标姿态数据；
77.根据步骤s3.1解算出的当前时刻仿真目标位置数据，光电测控设备可以根据当前时刻仿真目标位置数据以及预设的仿真目标运行轨迹，调整光电测控设备的方位角及俯仰角，从而对准当前时刻仿真目标的理论位置。
78.仿真目标一般为飞行器，其姿态信息主要包括：俯仰角α、偏航角β和滚转角γ，姿态角度关系如图5所示。其中，俯仰角α、偏航角β和滚转角γ的定义和解释如下：
79.俯仰角α是指目标中轴线x
p
轴与发射坐标系水平面的夹角；俯仰角α主要用于衡量目标中轴线x
p
在发射坐标系水平面的上下浮动量；定义俯仰角α在水平面上为正，俯仰角α不在水平面上为负；俯仰角α的取值范围为。
80.偏航角β是指目标体坐标x
p
轴在发射坐标系水平面上的投影与发射坐标系xf轴的夹角，即目标体坐标x
p
轴在发射坐标系水平面上的投影绕y
p
轴的旋转角；偏航角β主要用于衡量目标中轴线x
p
在发射坐标系水平面上的左右偏离量；定义偏航角β逆时针为正，偏航角β顺时针为负；偏航角β的取值范围为。
81.滚转角γ是指目标体坐标y
p
轴与包含目标体坐标x
p
轴铅垂面的夹角，即目标体坐标y
p
轴绕x
p
轴的旋转角；由仿真目标尾部沿着x
p
轴向前看，y
p
轴位于铅垂面右侧为正，y
p
轴位于铅垂面左侧为负；滚转角γ的取值范围为。
82.如图6所示，假设在预设的仿真目标运行轨迹中，当前时刻仿真目标位置坐标为f，而前一时刻仿真目标位置坐标为f’，则仿真目标的瞬时速度方向可以近似视作与二者（当前时刻仿真目标位置坐标f与前一时刻仿真目标位置坐标f’）连线同向，仿真目标速度向量v的方向与以坐标f’为起点、以坐标f为终点的向量f’f的方向相同，即仿真目标中轴线x
p
应平行于向量f’f，仿真目标尾部在坐标f’一侧且头部在坐标f一侧，仿真目标前端对应飞行方向，所以根据仿真目标的瞬时速度方向进行解算，即瞬时速度方向与水平方向之间的夹角即为俯仰角α，瞬时速度方向在水平方向的投影与发射坐标系xf轴的夹角即为偏航角β。若预设的仿真目标运行轨迹中同时包含滚转角γ，则可直接使用；若无法获取仿真目标的滚转角γ，由于对于飞机等仿真目标来说可以将其近似视为圆柱体，围绕仿真目标中轴线可旋转任意角度，仿真目标的形态可以认为保持基本不变，因此在仿真过程中可不考虑滚转角对仿真目标姿态的影响。
83.步骤四、实时采集获取光电测控设备实际视轴指向位置数据；
84.步骤五、仿真目标投影变换；
85.s5.1仿真目标位置投影变换；
86.按照步骤三完成仿真目标运动轨迹解算后，结合步骤四获得的光电测控设备实际视轴指向位置数据，实现仿真目标在图像坐标系下的投影变换，即将仿真目标空间位置tt’(at,et,rt)转换为在图像坐标系下的坐标位置tt
’’
(xt,yt)。其中，xt表示t时刻仿真目标投影到真实背景图像中的像素位置的x坐标；yt表示t时刻仿真目标投影到真实背景图像中的像素位置的y坐标；xt和yt均以真实背景图像的左上角为坐标原点；xt和yt的变换公式如式（2）所示：（2）；
87.式中，at表示t时刻仿真目标相对于光电测控设备水方向偏角；ac为光电测控设备中心指向值的方位角（即光电测控设备视轴投影到水平面后与0
°
指向位置之间的夹角，）；et表示t时刻仿真目标相对于光电测控设备垂直方向偏角；ec为光电测控设备中心指向值的俯仰角（即光电测控设备视轴与0
°
水平面之间的夹角，），ac和ec均可由光电测控设备直接测量得到；为光电测控设备中图像探测器单个像素在焦距为f时的张角，可由光电测控设备直接测量得到；imgw为真实背景图像宽度，单位为像素数；imgh为真实背景图像高度，单位为像素数。
88.s5.2仿真目标尺寸投影变换；
89.完成上述仿真目标位置投影变换后，在进行仿真目标叠加之前，还应结合仿真目标在t时刻与光电测控设备之间的距离rt进行仿真目标尺寸投影变换。仿真目标与其在光电测控设备中图像探测器上的投影关系如图8所示，图8中，
③
表示仿真目标，
④
表示光电测控设备中的图像探测器，
⑤
表示仿真目标在光电测控设备中图像探测器上的投影。具体为：
90.几何光学的物象关系公式为：（3），其中，rt表示t时刻仿真目标与光电测控设备之间的距离，v为仿真目标的像距；f为光电测控设备中图像探测器的焦距。由式（3）可以计算出仿真目标在t时刻与光电测控设备之间的距离为rt时，仿真目标的像距v为：（4）；由几何光学的物象关系相似三角形可以得到以下公式：（5）；将式（4）代入式（5）可以得到仿真目标尺寸为h时在光电测控设备中图像探测器上的投影尺寸为：（6）。设光电测控设备中图像探测器的像元尺寸为，则仿真目标在真实背景图像上的投影像素数为：（7）。
91.s5.3仿真目标叠加，输出合成图像；
92.如图7所示，图7中，区域
①
为仿真目标显示区域，区域
②
为非仿真目标显示区域，真实背景图像左上角为坐标原点（0,0），真实背景图像右上角坐标为（imgw,0），真实背景图像左下角坐标为（0,imgh），真实背景图像右下角坐标为（imgw,imgh）。当仿真目标投影位置处于真实背景图像显示范围内时，即xt和yt同时满足式（8）所示条件时进行仿真目标的叠加显示；反之，当仿真目标投影位置不在真实背景图像显示范围内时，即xt和yt同时不满足
式（8）所示条件时不进行仿真目标的叠加显示；
93.（8），其中，xt表示t时刻仿真目标投影到真实背景图像中的像素位置的x坐标；yt表示t时刻仿真目标投影到真实背景图像中的像素位置的y坐标；imgw为真实背景图像宽度，单位为像素数；imgh为真实背景图像高度，单位为像素数。
94.结合上述式（2）和式（8），即可实现在真实背景图像上的指定位置、指定尺寸、指定姿态的仿真目标的叠加，输出合成图像，从而实现动目标仿真。其中，仿真目标叠加效果如图9所示，图9中，δa表示仿真目标中心与十字丝中心的水平方向指向角度的偏差，δe表示仿真目标中心与十字丝中心的俯仰方向指向角度的偏差，输出的合成图像如图10所示。
95.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。