一种战斗机头盔显示瞄准系统、方法、设备及终端

1.本发明属于战斗机视线瞄准技术领域，尤其涉及一种战斗机头盔显示瞄准系统、方法、设备及终端。


背景技术：

2.目前，头盔显示系统(helmet mounted display system,hmds)是一种用于战斗机上向飞行员提供信息和功能的装置，允许飞行员依靠头部指向进行武器系统及武器/传感器的控制与导引。头盔显示系统中的瞄准系统，其主要工作原理均为精确测量飞行员头盔相对于机身的方位(俯仰角、偏航角和翻滚角)。当前的头盔显示瞄准系统一般使用惯性传感器、光学传感器、电磁传感器和混合传感器方法来精确测量头盔的位置与朝向。
3.然而，主流技术均直接使用头盔的方向而非飞行员眼球视线方向来表示工作目标方向，忽略了飞行员眼睛运动这一更加灵活、更加高效、具有更高自由度的交互方式。相比飞行员需要转动佩戴头盔的头部来改变视线目标方向，改变眼球视线从而改变目标方向将更加快速、灵活、准确。
4.通过上述分析，现有技术存在的问题及缺陷为：
5.(1)现有联合头盔显示瞄准系统均直接使用头盔的方向而非飞行员眼球视线方向来表示工作目标方向，忽略了飞行员眼睛运动这一交互方式。
6.(2)现有的眼动特征提取通常采用几何假设和模型拟合的方法，这种方法难以采集高精度的眼动特征。
7.(3)现有的眼动跟踪方法往往需要多光源，多相机和多个标定点，系统硬件配置复杂，加重飞行员头盔重量和飞行员的体能负担。
8.解决以上问题及缺陷的难度为：
9.(1)常规的眼动跟踪方法头盔风镜将遮挡住外部相机朝向驾驶员面部的视野。应在近眼情况下，采用头戴式眼动跟踪系统，实时测算飞行员的高精度的注视方向。
10.(2)近眼情况下，眼动特征提取应解决光照不均，图像畸变和眼帘睫毛遮挡等问题，满足高精度和实时性的要求。
11.(3)高精度眼动映射模型建立，即利用提取的眼动特征映射到三维视线。在保证视线估计高精度的同时，只利用单目摄像头建立免除标定的头戴式眼动跟踪系统。
12.(4)头部姿态和眼动角度在不同的空间坐标系，两者应正确结合以表征最终的目标方向。
13.解决以上问题及缺陷的意义为：
14.(1)实现在战斗机飞行员场合下的高精度眼动特征点提取。
15.(2)实现在战斗机飞行员作战场合下的高精度眼动角度测算。
16.(3)眼球运动相比头部运动更加快速，可以在更短时间内允许飞行员更改注意力方向。
17.(4)基于眼动追踪的头盔系统，还能通过飞行员眼球注意力方向、视线移动轨迹、
视线停留情况等对飞行员精神状态等进行实时在线评估。


技术实现要素：

18.针对现有技术存在的问题，本发明提供了一种战斗机头盔显示瞄准系统、方法、设备及终端。
19.本发明是这样实现的，一种战斗机头盔显示瞄准方法，所述战斗机头盔显示瞄准方法包括以下步骤：
20.步骤一，获取飞行员眼部图像；
21.步骤二，测量飞行员头部姿态；
22.步骤三，将步骤一中的眼部图像输入到堆叠沙漏状卷积神经网络提取特征；
23.步骤四，步骤三中的眼部特征输入支持向量回归模型预测注视方向；
24.步骤五，进行头部姿态与三维视线角度的空间结合。
25.进一步，所述步骤一中的获取飞行员眼部图像包括：
26.在近眼情况下使用广角摄像头实时获取脸部图像，通过人脸识别算法获取脸部特征点，进而切割出眼部图像。由于在近眼情况下，广角摄像机拍摄的人脸图像会产生畸变，因此采用棋盘格标定法对相机进行标定，使用opencv对获取的人脸图像进行反畸变操作。
27.进一步，所述步骤二中的测量飞行员头部姿态包括：
28.头部姿态测量系统可使用惯性传感器、光学传感器或者混合传感器方法来精确测量头盔的位置与朝向。通常使用光学传感器实现高精度的头部姿态测量。也可通过python人脸识别算法库，或在头上贴aruco码，并使用opencv检测的方式获取头部姿态。
29.进一步，所述步骤三中的步骤一中的眼部图像输入到堆叠沙漏状卷积神经网络提取特征包括：
30.所述卷积神经网络结构中的第一个卷积层采用7
×
7的卷积核，步长为1，卷积层提取出的特征大小为((w-f)/s) 1，其中w是输入图像的大小，f是卷积核的大小，s是步长；bn层对于每个神经元做归一化处理，使特征分布为均值为0，方差为1；激活层使用relu激活函数；所述沙漏模块为四阶沙漏模块，由一阶沙漏模块扩展而成。所述一阶沙漏模块由四个残差模块，以及升维和降维模块组成；所述残差模块对输入进行两路操作，第一路先通过有1
×
1、3
×
3、1
×
1卷积核尺度的卷积层串联，间插有bn层和relu层；第二路为跳级路，只包含一个卷积核尺度为1
×
1的卷积层，两路所有卷积核步长为1，越界时，以1填充，最终两路合并，进行特征融合；所述一阶沙漏模块对输入进行两路操作，第一路线通过最大池化降维，再通过三个残差模块，再通过二分线性插值升维；第二路只通过一个残差模块，最终两路合并，进行特征融合。所述四阶沙漏模块由所述一阶沙漏模块递归替换一阶沙漏模块中间的卷积核尺度为3
×
3的卷积层，共替换四次，形成四阶沙漏模块；四阶沙漏模块的最终输出输入到soft-argmax层，找到亚像素特征点坐标。堆叠沙漏状卷积神经网络由合成的眼部图像训练，所述合成眼部图像提供包括眼睑-巩膜边界、角膜边缘区域或虹膜-巩膜边界以及眼角在内的坐标标签；将真实的飞行员眼部图像输入到卷积神经网络，模型将输出包括眼帘、虹膜、眼角和眼球中心在内的n个坐标。
31.进一步，所述步骤四中的眼部特征输入支持向量回归模型预测注视方向包括：
32.设内外眼角为c1,c2，利用眼睛宽度c
1-c2对所有检测到的标志点坐标进行归一化，
并将坐标系统以内眼角为坐标原点居中；通过虹膜中心(u
i0
,v
i0
)减去眼球中心(uc,vc)获得二维凝视先验；最终特征向量由特征提取器提取的n个归一化坐标和一个2d注视方向先验组成；其中，所述归一化坐标包括来自眼帘边缘、虹膜边缘和虹膜中心；将2(n 1)个特征输入到svr中，直接估计三维注视方向的俯仰角和偏航角；所述svr模型为：
33.f(x)＝wx b
34.svr模型的优化目标为：
[0035][0036]
s.t.y
i-w
t
x
i-b≤∈
[0037]
w,b为待学习参数，yi,xi为训练样本，共有n个，∈为拟合精度控制参数。
[0038]
进一步，所述步骤五中的进行头部姿态与三维视线角度的空间结合包括：
[0039]
头部姿态由头动姿态传感器测得，唯一确定一个方向的单位向量根据视线估计得到的视线角度转化为空间旋转矩阵：
[0040][0041]
由于眼动角度是相对于头盔上的相机而言的，而相机固定在头上，眼动角度可视为是头部姿态的额外转动。因此，最终的注视单位向量可表示为：为是头部姿态的额外转动。因此，最终的注视单位向量可表示为：表示为角度：
[0042][0043]
为最终的工作目标方向。
[0044]
本发明的另一目的在于提供一种应用所述的战斗机头盔显示瞄准方法的战斗机头盔显示瞄准系统，所述战斗机头盔显示瞄准系统包括：
[0045]
信息采集模块，用于飞行员的信息采集，配置用于获取飞行员在座舱坐标系下的头部姿态以及佩戴头盔时获取飞行员人脸图像信息。
[0046]
特征提取模块，用于进行眼部特征点检测，配置用于处理人脸图像信息，包括人脸识别，人脸特征点检测，人眼分割和人眼图像预处理，将获取的人眼图像送入到卷积神经网络获取人眼特征点信息。
[0047]
相机标定模块，用于相机标定，配置用于获取相机的内参数和外参数，进行反畸变处理。
[0048]
眼动跟踪模块，用于进行视线估计，配置用于从眼部特征点提取出眼动角度信息。
[0049]
空间结合模块，用于进行头部姿态与三维视线角度的空间结合，配置用于将位于座舱坐标系下的头部姿态和相机坐标系下的眼动角度的进行空间结合，得到位于座舱坐标系下的最终视线方向。
[0050]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的战斗机头盔显示瞄准方法。
[0051]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的战斗机头盔显示瞄准系统。
[0052]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的战斗机头盔显示瞄准系统，加入基于眼动追踪技术，对飞行员眼睛朝向进行测算，并结合头部姿态作为的飞行员的注意力或兴趣目标方向，以此实现目标选择、武器选择及瞄准等功能。本发明解决了战斗机飞行员因佩戴头盔和面罩等装备后造成的视线跟踪范围不全、以及遮挡和干扰问题，通过眼动追踪的便捷性和独立性，实现在大范围头部自由运动下高精度的视线跟踪效果，并且简化标定过程，实现“即拿即用”，而无需个体标定。
[0053]
本发明所提出的新一代先进战斗机联合头盔显示瞄准系统，其关键技术为在现有基础上，加入基于眼动追踪技术，对飞行员眼睛朝向进行测算，并结合头部姿态作为的飞行员的注意力或兴趣目标方向，以此实现目标选择、武器选择及瞄准等功能。本发明在对视线跟踪技术的原理、方法及应用进行全面的研究之后，针对现有视线跟踪技术存在的问题，设计了一种标定过程简单，不限制用户自由度，并能提供用户实时注视点的头盔式视线跟踪系统。同时，本发明还可以有效的探索人脑对外部信息的加工和处理机制，对研究心理学、人机交互、军事等都有重要的理论价值和应用价值。
附图说明
[0054]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0055]
图1是本发明实施例提供的战斗机头盔显示瞄准方法步骤图。
[0056]
图2是本发明实施例提供的战斗机头盔显示瞄准系统结构示意图；
[0057]
图中：1、信息采集模块；2、特征提取模块；3、相机标定模块；4、眼动跟踪模块；5、空间结合模块。
[0058]
图3是本发明实施例提供战斗机头盔显示瞄准系统工作流程图。
[0059]
图4是本发明实施例提供的相机标定系统的标定板。
[0060]
图5是本发明实施例提供的头盔硬件配置图。
[0061]
图6是本发明实施例提供的眼部特征提取器网络架构示意图。
[0062]
图7是本发明实施例提供的视线转化为屏幕落点示意图。
具体实施方式
[0063]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0064]
针对现有技术存在的问题，本发明提供了一种战斗机头盔显示瞄准系统、方法、设
备及终端，下面结合附图对本发明作详细的描述。
[0065]
如图1所示，本发明实施例提供的战斗机头盔显示瞄准方法包括以下步骤：
[0066]
s101，获取飞行员眼部图像；
[0067]
s102，测量飞行员头部姿态；
[0068]
s103，将步骤一中的眼部图像输入到堆叠沙漏状卷积神经网络提取特征；
[0069]
s104，步骤三中的眼部特征输入支持向量回归模型预测注视方向；
[0070]
s105，进行头部姿态与三维视线角度的空间结合。
[0071]
如图2所示，本发明实施例提供的战斗机头盔显示瞄准系统包括：
[0072]
信息采集模块1，用于飞行员的信息采集，配置用于获取飞行员在座舱坐标系下的头部姿态以及佩戴头盔时获取飞行员人脸图像信息。
[0073]
特征提取模块2，用于进行眼部特征点检测，配置用于处理人脸图像信息，包括人脸识别，人脸特征点检测，人眼分割和人眼图像预处理，将获取的人眼图像送入到卷积神经网络获取人眼特征点信息。
[0074]
相机标定模块3，用于相机标定，配置用于获取相机的内参数和外参数，进行反畸变处理。
[0075]
眼动跟踪模块4，用于进行视线估计，配置用于从眼部特征点提取出眼动角度信息。
[0076]
空间结合模块5，用于进行头部姿态与三维视线角度的空间结合，配置用于将位于座舱坐标系下的头部姿态和相机坐标系下的眼动角度的进行空间结合，得到位于座舱坐标系下的最终视线方向。
[0077]
下面结合具体实施例对本发明的技术方案作进一步描述。
[0078]
如图1-图3所示，本发明提出了一种战斗机头盔显示瞄准方法，具体包括一下步骤：
[0079]
s101获取飞行员眼部图像包括：
[0080]
由于传统的眼动跟踪方法利用安装在参考面上固定摄像头对人眼朝向进行捕捉和计算，而战斗机飞行员佩戴的头盔风镜将遮挡住外部相机朝向驾驶员面部的视野，因此，在近眼情况下使用广角摄像头实时获取脸部图像。通过python和opencv以dlib人脸识别算法获取脸部特征点，至少包含左右眼四个眼角点，进而切割出眼部图像。由于在近眼情况下，广角摄像机拍摄的人脸图像会产生畸变，因此采用棋盘格标定法对相机进行标定，如图4所示。利用标定的相机内外参数，使用opencv对获取的人脸图像进行反畸变操作。
[0081]
步骤s102中的测量飞行员头部姿态包括：
[0082]
头部姿态测量系统可使用惯性传感器、光学传感器或者混合传感器方法来精确测量头盔的位置与朝向，本实施例中使用陀螺仪传感器采集，如图5所示。也可通过python人脸识别算法库，或检测aruco码的方式获取头部姿态。传感器或相机连接计算机，通过驱动程序和算法实时采集飞行员头部姿态。
[0083]
步骤s103中的步骤一中的眼部图像输入到堆叠沙漏状卷积神经网络提取特征包括：
[0084]
如图6所示，所述卷积神经网络结构中的第一个卷积层采用7
×
7的卷积核，步长为1，卷积层提取出的特征大小为((w-f)/s) 1，其中w是输入图像的大小，f是卷积核的大小，s
是步长；bn层对于每个神经元做归一化处理，使特征分布为均值为0，方差为1；激活层使用relu激活函数；所述沙漏模块为四阶沙漏模块，由一阶沙漏模块扩展而成。所述一阶沙漏模块由四个残差模块，以及升维和降维模块组成；所述残差模块对输入进行两路操作，第一路先通过有1
×
1、3
×
3、1
×
1卷积核尺度的卷积层串联，间插有bn层和relu层；第二路为跳级路，只包含一个卷积核尺度为1
×
1的卷积层，两路所有卷积核步长为1，越界时，以1填充，最终两路合并，进行特征融合；所述一阶沙漏模块对输入进行两路操作，第一路线通过最大池化降维，再通过三个残差模块，再通过二分线性插值升维；第二路只通过一个残差模块，最终两路合并，进行特征融合。所述四阶沙漏模块由所述一阶沙漏模块递归替换一阶沙漏模块中间的卷积核尺度为3
×
3的卷积层，共替换四次，形成四阶沙漏模块；四阶沙漏模块的最终输出输入到soft-argmax层，找到亚像素特征点坐标。堆叠沙漏状卷积神经网络由合成的眼部图像训练，所述合成眼部图像提供包括眼睑-巩膜边界、角膜边缘区域或虹膜-巩膜边界以及眼角在内的坐标标签；将真实的飞行员眼部图像输入到卷积神经网络，模型将输出包括眼帘8个、虹膜8个、眼角1个和眼球中心1个在内的18个坐标。网络损失函数为：
[0085][0086]
其中hi(p)为网络预测的在像素p中的置信度，为网络预测的热力图。α为权重系数，设为1。通过数据增强的方法增加眼动特征提取模型的鲁棒性。所用数据增强包括平移、旋转、强度变化、遮挡、尺度变化和降维再升维。模型采用课程式学习，随着训练的进行，增加训练噪声。训练使用adam优化器，学习率为5，批大小为16，使用l2正则化，系数为10-4
，使用relu激活函数。模型在nvidia 1660ti gpu上训练600000个epoch，直至完全或接近收敛。
[0087]
步骤s104中的眼部特征输入支持向量回归模型预测注视方向包括：
[0088]
设内外眼角为c1,c2，利用眼睛宽度c
1-c2对所有检测到的标志点坐标进行归一化，并将坐标系统以内眼角为坐标原点居中；通过虹膜中心(u
i0
,v
i0
)减去眼球中心(uc,vc)获得二维凝视先验；最终特征向量由特征提取器提取的n个归一化坐标和一个2d注视方向先验组成；其中，所述归一化坐标包括来自眼帘边缘8个、虹膜边缘8个、虹膜中心1个和眼球中心1个，共36个特征；将36个特征输入到svr中，直接估计三维注视方向的俯仰角和偏航角；所述svr模型为：
[0089]
f(x)＝wx b
[0090]
svr模型的优化目标为：
[0091][0092]
s.t.y
i-w
t
x
i-b≤∈
[0093]
w,b为待学习参数，yi,xi为训练样本，共有n个，∈为拟合精度控制参数。svr通过mpiigaze和ut multiview数据集进行训练。通过usb摄像机采集原始图像，眼动特征提取模型和视线估计模型耦合在一起，通过python和tensorflow实现实时推理，直接预测人眼注视角度。程序运行在配置为intel i7-10700和nvidia 1660ti gpu的台式计算机可达
60fps，满足实时性要求。
[0094]
步骤s105中的进行头部姿态与三维视线角度的空间结合包括：
[0095]
如图5所示，头部姿态由witsensor的jy901陀螺仪传感器测得，陀螺仪传感器安装在头盔内，通过usb接口连接计算机，通过驱动程序实时采集头部姿态。头部姿态唯一确定一个方向的单位向量根据视线估计得到的视线角度转化为空间旋转矩阵：
[0096][0097]
由于眼动角度是相对于头盔上的相机而言的，而相机固定在头上，眼动角度可视为是头部姿态的额外转动。因此，最终的注视单位向量可表示为：为是头部姿态的额外转动。因此，最终的注视单位向量可表示为：表示为角度：
[0098][0099]
为最终的工作目标方向。
[0100]
通过屏幕上方的摄像头以及头上的aruco码采集头相对于屏幕的位置，如图7所示，则视线在屏幕的落点可表示为：
[0101][0102][0103]
其中zh表示头部与屏幕的垂直距离，xh,yh为头部在屏幕上方相机坐标系下的横纵坐标。表示俯仰角，表示偏航角。在头部距离屏幕60cm的情况下，视线在屏幕的落点精度为1.72
°
。
[0104]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0105]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。