基于物联网的轻武器实弹射击训练自动控制系统及其方法与流程

1.本技术涉及射击训练智能控制领域，且更为具体地，涉及一种基于物联网的轻武器实弹射击训练自动控制系统及其方法。


背景技术：

2.随着新军事革命的持续推进，军事训练数字化已是大势所趋。我国高度重视军事训练工作，多次就加强实战化训练作出重要指示，对我军训练理念、训练条件、训练手段发展创新提出了更高要求。
3.但是，现有的训练方法是通过肉眼观察来记录命中的环数，一方面会使得训练系统不能全自动化，另一方面，也会导致训练成果无法数据化沉淀，不便于后续的统计分析。
4.因此，期望一种优化的轻武器实弹射击训练自动控制系统以对于训练过程进行全自动化控制，进而大幅提高部队训考的准确性、公平性、便捷性，使部队实弹射击训练走进数字化时代。
5.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
6.近年来，深度学习尤其是神经网络的发展给物联网的轻武器实弹射击训练自动控制提供了新的解决思路和方案。


技术实现要素：

7.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于物联网的轻武器实弹射击训练自动控制系统及其方法，其首先通过卷积神经网络来对于子弹命中靶机和子弹未命中靶机的图像隐含特征分别进行针对性的特征挖掘以得到特征图，再通过计算命中特征图和所述未命中特征图之间的差分特征图以此来凸显命中区域的特征表示，并再次通过通道注意力机制进一步从差分特征图中强化各关联特征之间的相关性特征的提取，以提高命中环数是否超过九环的分类判断精度。进而，响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。这样，能够实现军事化打靶训练的自动控制。
8.根据本技术的一个方面，提供了一种基于物联网的轻武器实弹射击训练自动控制系统，其包括：图像采集模块，用于获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像；命中图编码模块，用于将所述第一靶机图像通过使用空间注意力的第一卷积神经网络模型以得到命中特征图；靶机原图编码模块，用于将所述第二靶机图像通过作为特征提取器的第二卷积神经网络模型以得到未命中特征图；差分模块，用于计算所述命中特征图和所述未命中特征图之间的差分特征图；通道注意力模块，用于将所述差分特征图通过通道注意力模块以得到加强差分特征图；判断模块，用于将所述加强差分特征图通过分类器以得到分类结果，所述分类结果用于表示命中的环数是否超过九环；以及自
动控制结果生成模块，用于响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。
9.在上述基于物联网的轻武器实弹射击训练自动控制系统中，所述命中图编码模块，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；对所述激活特征图进行沿通道维度的全局平均池化以获得空间特征矩阵；对所述空间特征矩阵进行卷积处理和激活处理以生成权重向量；以及，以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加权以获得生成特征图；其中，所述第一卷积神经网络模型的最后一层输出的所述生成特征图为所述命中特征图。
10.在上述基于物联网的轻武器实弹射击训练自动控制系统中，所述靶机原图编码模块，进一步用于：使用所述第二卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；对所述激活特征图进行沿通道维度的全局平均池化以获得空间特征矩阵；对所述空间特征矩阵进行卷积处理和激活处理以生成权重向量；以及，以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加权以获得生成特征图；其中，所述第二卷积神经网络模型的最后一层输出的所述生成特征图为所述未命中特征图。
11.在上述基于物联网的轻武器实弹射击训练自动控制系统中，所述差分模块，进一步用于：以如下公式计算所述命中特征图和所述未命中特征图之间的所述差分特征图；其中，所述公式为：其中，表示所述命中特征图，表示所述未命中特征图，表示所述差分特征图，表示按位置差分。
12.在上述基于物联网的轻武器实弹射击训练自动控制系统中，所述通道注意力模块，包括：通道池化单元，用于将所述差分特征图输入所述通道注意力模块的池化层以由所述池化层对所述差分特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道特征向量；权重化单元，用于将所述通道特征向量输入所述通道注意力模块的激活层以由所述激活层使用sigmoid激活函数对所述通道特征向量进行非线性激活以得到通道注意力权重向量；优化单元，用于将所述通道注意力权重向量输入所述通道注意力模块的优化层以由所述优化层基于所述通道注意力权重向量的二范数对所述通道注意力权重向量中各个位置的特征值进行校正以得到校正后通道注意力权重向量；以及，施加单元，用于以所述校正后通道注意力权重向量中各个位置的特征值作为权重对所述差分特征图的沿通道维度的各个特征矩阵进行加权以得到所述加强差分特征图。
13.在上述基于物联网的轻武器实弹射击训练自动控制系统中，所述优化单元，进一步用于：将所述通道注意力权重向量输入所述通道注意力模块的优化层以由所述优化层基于所述通道注意力权重向量的二范数以如下公式对所述通道注意力权重向量中各个位置
的特征值进行校正以得到所述校正后通道注意力权重向量；其中，所述公式为：其中表示所述通道注意力权重向量，表示所述通道注意力权重向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述通道注意力权重向量的每两个位置的特征值之间的方差，和分别表示所述通道注意力权重向量的全局均值和方差，表示所述通道注意力权重向量的二范数，和分别表示向量的按位置减法和加法，表示矩阵相乘，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
14.在上述基于物联网的轻武器实弹射击训练自动控制系统中，所述判断模块，进一步用于：使用所述分类器以如下公式对所述加强差分特征图进行处理以生成分类结果，其中，所述公式为：，其中表示将所述加强差分特征图投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。
15.根据本技术的另一方面，提供了一种基于物联网的轻武器实弹射击训练自动控制方法，其包括：获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像；将所述第一靶机图像通过使用空间注意力的第一卷积神经网络模型以得到命中特征图；将所述第二靶机图像通过作为特征提取器的第二卷积神经网络模型以得到未命中特征图；计算所述命中特征图和所述未命中特征图之间的差分特征图；将所述差分特征图通过通道注意力模块以得到加强差分特征图；将所述加强差分特征图通过分类器以得到分类结果，所述分类结果用于表示命中的环数是否超过九环；以及响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。
16.根据本技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于物联网的轻武器实弹射击训练自动控制方法。
17.根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于物联网的轻武器实弹射击训练自动控制方法。
18.与现有技术相比，本技术提供的一种基于物联网的轻武器实弹射击训练自动控制系统及其方法，其具体地公开了一基于物联网的轻武器实弹射击训练自动控制系统及其方法，其通过其首先通过卷积神经网络来对于子弹命中靶机和子弹未命中靶机的图像隐含特征分别进行针对性的特征挖掘以得到特征图，再通过计算命中特征图和所述未命中特征图之间的差分特征图表征出所述子弹是否命中靶机以及命中所述靶机中的几环特征信息，其次，通过通道注意力机制进一步从差分特征图中强化各关联特征之间的相关性特征的提取，进而提高分类的准确性。响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。
附图说明
19.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
20.图1图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统的应用场景图；图2图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统的框图；图3图示了图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统的系统架构图；图4图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统中第一卷积神经网络编码过程的流程图；图5图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统中通道注意力模块的框图；图6图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制方法的流程图；图7图示了根据本技术实施例的电子设备的框图。
具体实施方式
21.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
22.场景概述为设计出一套涵盖训练准备、训练实施、训练讲评全程的系统，大幅提高部队训考的准确性、公平性、便捷性，使部队实弹射击训练走进数字化时代。因此设计了一种训练课目编排方法，将课目分解成“基础数据”、“器材数据”、成“绩规则数据”3个部分，在训练准备环节用户将训练课目快速的编排进系统。在训练实施环节，全程由系统自动控制，组训人员仅需要在pad简单的点击一次按钮就能顺利组织一场训练。最后在训练讲评环节，系统自动展示人员排名和训练成绩，生成统计报表提供辅助分析。
23.首先，在训练准备环节，将部队训练或考核大纲课目编入系统，用户也可根据自身条件设置自定义课目。
24.相应地，设计了一种器材数据编排方法，先选取在训练场上所需的训练器材，分别给每个器材赋予初始属性，如状态、动作、对应枪械数据等。接下来给每个器材配置最核心的动作控制数据，即系统如何替代人员去遥控操作每个训练器材。以靶机这种训练器材为例，控制数据中包含的动作有：“起靶”、“倒靶”、“显靶”、“隐靶”、“摇摆晃动”。选择动作后配置动作将何时开始，以及动作的触发条件，比如选择感应设备触发，将一个红外传感器绑定在这个靶机上，队员走到对应红外所在位置后触发。触发条件包含“器材触发”、“定时触发”、“按钮触发”，编排逻辑直观，部队可快速配置。
25.具体地，我们还在触发的条件中引入联动目标触发算法，比如1号靶机命中9环及以上，2号靶机起靶。当系统收到1号靶机的命中信号后，迅速解析并比对课目中的条件，满足条件后执行控制指令，上述信号传递、解析、执行过程总计不超过20ms。又比如1号、2号靶机命中全部头部后，3号靶机开始摇摆，可以将训练器材按条件灵活组合，给客户很大的训练自由空间。
26.此外，系统加入了延迟触发，如人员到达红外线传感器1号后1号靶机延迟5秒后起靶。当系统收到红外线传感器1号的触发信号后，解析满足课目预先设置的触发条件，会将控制指令（起靶）和执行时间的数据同时发给1号靶机，信号暂存在靶机中，5秒后靶机控制自身起靶。这里依赖了靶机自身的计算能力，服务器提前将控制信号用无线的方式发送给靶机，当由于信号弱等原因导致传递失败时进行重发，确保控制顺畅。我们还给用户提供了条件串联或并联的选项，用于设置多个触发条件，并选择是“满足任意条件就触发”，或者是“所有条件全部满足后触发”。最后，设置成绩评判规则，为了覆盖部队使用的各类场景，系统提供3种成绩计算方式，分别为“计时评定”、“计分评定”、“等级评定”。
27.在本技术的一个具体方案中，计时评定是以课目使用时间为基准，队员在训练中每命中目标都会对应扣减或增加时间，具体的规则中包含命中数量、部位、上限等等因素，最终计算出课目完成时间，时间越短成绩越好。这种计分方式在日常训练和比武考核中都会用到。计分评定是将所有成绩内容折算成分数，所有分数累加得到最终分数，分数约高成绩越好。这种计分方式通常在比武考核中使用。等级评定是部队训练大纲中规定的评定标准，将成绩内容分档位设置成具体的标准。这种计分方式在大纲课目的日常训练中使用。
28.应可以理解，课目编排的本质，就是提供一个通用的编排平台，用户可以快速将已有大纲中的训练内容搬到系统中，也可以借助系统强大的计算能力，设置出以往通过人力无法实施的更为复杂的战术训练内容。
29.其次，在训练实施环节，选取参训队员和课目后，系统按预设条件快速完成器材归位，自动控制训练过程，简化保障工作流程。如：课目中布置了10台靶机，初始状态为1-5号倒下，6-10号隐靶，在上一组队员训练完毕后，只需要点击归位按钮，所有的靶机将自动按初始状态归位。
30.训练过程中，系统实时采集训练器材数据，经过处理后展示在终端，用户可多角度掌握训练实况。自动计算队员和单位成绩，确保训考公平公正。如：在某室内cqb射击课目训练中，在进门位置摆设红外传感器，按系统预设条件，队员破门而入时触发桌子下方隐藏的靶机起靶，队员快速命中1、2号靶机，命中信号通过无线发送到服务器，服务器解析后将摇摆命令通过无线发送到3号靶机，触发柜子后的隐藏的3号靶机摇摆探头。过程中所有的动作不需要人为遥控，按照之前课目编排的规则自动完成，并且记录下触发时间、起靶时间、命中时间、命中位置等训练中产生的各类数据。
31.特别值得一提的是，在部队训练中只需要使用系统配套的靶机设备，即可完成训练内容自动控制。如果进一步选用系统配套的靶标（带自动报靶传感器），就可进一步自动采集和计算成绩，这是全自动模式。部队也可使用传统纸质靶标（不带传感器），低成本使用系统进行训练，系统提供人工验靶录入功能，这是半自动模式。
32.最后，在训练讲评环节，采取多维度的统计分析方法对训练数据进行分析，最大化的开发出数字训练的特长。比如，我们提供了中央看板模块，可以看到课目日程安排、参赛
参训人员列表，个人和单位的成绩排行榜。这些数据都是实时的：队员边开枪，数据边变化。
33.具体地，通过大数据分析功能的数据图表，用户可以从多角度切入分析各类 业务，基于这些训练竞赛数据，为部队考核评优和人员遴选提供客观依据。举 个例子：在人员遴选中，单位需要选出一名突击手遂行某任务，即，可以在系 统中的数据分析功能中对队员进行初筛，选取需要的人员范围，如身高等，然 后对比候选人的日常训练情况，根据任务特点有针对性的进行辅助决策。
34.基于此，本技术发明人发现针对于联动靶机触发的条件，本质上可以将判定条件转化为分类的问题，也就是，对于命中的环数大于等于9环或者命中的环数小于9环的结果进行判断分类。本技术发明人还考虑到由于训练者可能有命中靶机和不命中靶机两者可能，因此，在本技术的技术方案中，在对于命中的环数进行分类判断时，首先需要对于子弹命中靶机和子弹未命中靶机的图像隐含特征分别进行针对性的特征挖掘，以在区分所述子弹是否命中靶机的基础上准确地判断出命中的环数。这样，能在响应于命中的环数大于等于9环时，生成针对于另一靶机的起靶指令。
35.具体地，在本技术的技术方案中，首先，通过摄像头获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像。然后，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络模型来对所述第一靶机图像进行深层特征挖掘，考虑到针对于所述子弹命中的靶机的第一靶机图像需要更加聚焦于所述子弹命中于所述靶机的环数，因此，进一步使用空间注意力的第一卷积神经网络模型来对所述第一靶机图像进行处理，以提取出所述第一靶机图像中的局部特征在高维空间中的特征分布表示，从而得到命中特征图。
36.接着，对于所述未命中子弹的靶机的第二靶机图像，将其通过作为特征提取器的第二卷积神经网络模型中进行特征提取，以提取出所述第二靶机图像中的局部隐含特征信息，从而得到未命中特征图。
37.进一步地，计算所述命中特征图和所述未命中特征图之间的差分特征图，以更加聚焦于两个特征图之间的差异性特征，进而表征出所述子弹是否命中靶机以及命中所述靶机中的几环特征信息。
38.应可以理解，在本技术的技术方案中，通过使用空间注意力机制的第一卷积神经网络得到了命中特征图，从而强化了图像的像素语义关联特征的提取，因此，期望通过通道注意力机制进一步从差分特征图中强化各关联特征之间的相关性特征的提取。
39.相应地，由于通道注意力的加权系数是对于沿通道排列的每个特征矩阵进行全局均值池化得到的，如果所述通道注意力的加权系数的分布能够与所述差分特征图沿通道方向的分布具有一致性，则可以提高通道注意力的效果。
40.因此，将所述通道注意力的加权系数排列为通道注意力权重向量，例如记为，并对其进行优化，表示为：对其进行优化，表示为：是通道注意力权重向量的自协方差矩阵，即矩阵的每个位置的值是通道注意力权重向量的每两个位置的特征值之间的方差，和分别是通道注意力权重向量的
全局均值和方差，表示通道注意力权重向量的二范数。
41.这里，针对通过所述通道注意力权重向量是基于所述差分特征图的下采样的特征矩阵的全局均值池化得到的，通过可学习的正态采样偏移引导特征工程来有效地建模所述通道注意力权重向量与所述差分特征图的与池化维度无关的长程依赖关系，以使得通道注意力权重向量的分布与所述差分特征图的通道维度的分布保持一致。另外，通过所述通道注意力权重向量的特征集合的分布统计特征，可以修复所述通道注意力权重向量的各位置的局部和非局部邻域的相关性，以进一步强化从差分特征图中的通道方向上的相关性特征的提取，进而提高分类的准确性。
42.然后，在将所述校正后通道注意力权重向量中各个位置的特征值作为权重对所述差分特征图的沿通道维度的各个特征矩阵进行加权后，进一步再将加权后的差分特征图通过分类器以得到用于表示命中的环数是否超过九环的分类结果。特别地，在本技术的一个具体示例中，响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。这样，就能够进行自动化控制，大幅度提高部队训考的准确性、公平性、便捷性。
43.基于此，本技术提出了一种基于物联网的轻武器实弹射击训练自动控制系统，其包括：图像采集模块，用于获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像；命中图编码模块，用于将所述第一靶机图像通过使用空间注意力的第一卷积神经网络模型以得到命中特征图；靶机原图编码模块，用于将所述第二靶机图像通过作为特征提取器的第二卷积神经网络模型以得到未命中特征图；差分模块，用于计算所述命中特征图和所述未命中特征图之间的差分特征图；通道注意力模块，用于将所述差分特征图通过通道注意力模块以得到加强差分特征图；判断模块，用于将所述加强差分特征图通过分类器以得到分类结果，所述分类结果用于表示命中的环数是否超过九环；以及，自动控制结果生成模块，用于响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。
44.图1图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统的应用场景图。如图1所示，在该应用场景中，通过摄像头（例如，图1中的c）获取子弹命中的靶机的第一靶机图像（例如，图1中的i1）和未命中子弹的靶机的第二靶机图像（例如，图1中的i2），将所述获取到的子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像输入至部署有用于基于物联网的轻武器实弹射击训练自动控制系统的服务器（例如，图1中的s）中，其中，所述服务器能够以所述基于物联网的轻武器实弹射击训练自动控制算法对所述获取到的子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像进行处理，以生成另一靶机的起靶指令的自动控制结果。
45.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
46.示例性系统图2图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统的框图。如图2所示，根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统300，包括：图像采集模块310；命中图编码模块320；靶机原图编码模块330；差分模块340；通道注意力模块350；判断模块360，以及，自动控制结果生成模块370。
47.其中，所述图像采集模块310，用于获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像；所述命中图编码模块320，用于将所述第一靶机图像通过使用空间注意力的第一卷积神经网络模型以得到命中特征图；所述靶机原图编码模块330，用于将所述第二靶机图像通过作为特征提取器的第二卷积神经网络模型以得到未命中特征图；所述差分模块340，用于计算所述命中特征图和所述未命中特征图之间的差分特征图；所述通道注意力模块350，用于将所述差分特征图通过通道注意力模块以得到加强差分特征图；所述判断模块360，用于将所述加强差分特征图通过分类器以得到分类结果，所述分类结果用于表示命中的环数是否超过九环；以及，所述自动控制结果生成模块370，用于响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。
48.图3图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统300的系统架构图。如图3所示，在所述基于物联网的轻武器实弹射击训练自动控制系统300的系统架构中，首先通过所述图像采集模块310获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像；然后，所述命中图编码模块320将所述图像采集模块310获取的第一靶机图像通过使用空间注意力的第一卷积神经网络模型以得到命中特征图；所述靶机原图编码模块330将所述图像采集模块310获取的第二靶机图像通过作为特征提取器的第二卷积神经网络模型以得到未命中特征图；接着，所述差分模块340计算所述命中特征图和所述未命中特征图之间的差分特征图；同时，所述通道注意力模块350将所述差分模块340得到的差分特征图通过通道注意力模块以得到加强差分特征图；所述判断模块360将所述加强差分特征图通过分类器以得到分类结果，所述分类结果用于表示命中的环数是否超过九环；进而，所述自动控制结果生成模块370，用于响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。
49.具体地，在所述基于物联网的轻武器实弹射击训练自动控制系统300的运行过程中，所述图像采集模块310，用于获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像。本技术发明人还考虑到由于训练者可能有命中靶机和不命中靶机两者可能，因此，在本技术的技术方案中，在对于命中的环数进行分类判断时，首先需要对于子弹命中靶机和子弹未命中靶机的图像隐含特征分别进行针对性的特征挖掘，以在区分所述子弹是否命中靶机的基础上准确地判断出命中的环数。这样，能在响应于命中的环数大于等于9环时，生成针对于另一靶机的起靶指令。具体地，在本技术的技术方案中，首先，通过摄像头获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像。
50.具体地，在所述基于物联网的轻武器实弹射击训练自动控制系统300的运行过程中，所述命中图编码模块320，用于将所述第一靶机图像通过使用空间注意力的第一卷积神经网络模型以得到命中特征图。考虑到针对于所述子弹命中的靶机的第一靶机图像需要更加聚焦于所述子弹命中于所述靶机的环数，因此，进一步使用空间注意力的第一卷积神经网络模型来对所述第一靶机图像进行处理，以提取出所述第一靶机图像中的局部特征在高维空间中的特征分布表示，从而得到命中特征图。在本技术的一个具体事例中，使用在图像的局部隐含特征提取方面具有优异表现的卷积神经网络模型来对所述第一靶机图像进行深层特征挖掘。以在区分所述子弹是否命中靶机的基础上准确地判断出命中的环数。
51.图4图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统中第一卷积神经网络编码过程的流程图。如图4所示，在所述第一卷积神经网络编码过程
中，包括：s210，对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；s220，对所述卷积特征图进行池化处理以生成池化特征图；s230，对所述池化特征图进行激活处理以生成激活特征图；s240对所述激活特征图进行沿通道维度的全局平均池化以获得空间特征矩阵；s250，对所述空间特征矩阵进行卷积处理和激活处理以生成权重向量；以及，s260，以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加权以获得生成特征图；其中，所述第一卷积神经网络模型的最后一层输出的所述生成特征图为所述命中特征图。
52.具体地，在所述基于物联网的轻武器实弹射击训练自动控制系统300的运行过程中，所述靶机原图编码模块330，用于将所述第二靶机图像通过作为特征提取器的第二卷积神经网络模型以得到未命中特征图。应可以理解，在本技术的技术方案中，所述靶机原图编码模块，进一步用于：使用所述第二卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；对所述激活特征图进行沿通道维度的全局平均池化以获得空间特征矩阵；对所述空间特征矩阵进行卷积处理和激活处理以生成权重向量；以及，以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加权以获得生成特征图；其中，所述第二卷积神经网络模型的最后一层输出的所述生成特征图为所述未命中特征图。
53.具体地，在所述基于物联网的轻武器实弹射击训练自动控制系统300的运行过程中，所述差分模块340，用于计算所述命中特征图和所述未命中特征图之间的差分特征图。应可以理解，应可以理解，在本技术的技术方案中，通过使用空间注意力机制的第一卷积神经网络得到了命中特征图，从而强化了图像的像素语义关联特征的提取，因此，期望通过通道注意力机制进一步从差分特征图中强化各关联特征之间的相关性特征的提取。计算所述命中特征图和所述未命中特征图之间的差分特征图，以更加聚焦于两个特征图之间的差异性特征，进而表征出所述子弹是否命中靶机以及命中所述靶机中的几环特征信息。
54.在本技术的技术方案中，所述差分模块，进一步用于：以如下公式计算所述命中特征图和所述未命中特征图之间的所述差分特征图；其中，所述公式为：其中，表示所述命中特征图，表示所述未命中特征图，表示所述差分特征图，表示按位置差分。
55.具体地，在所述基于物联网的轻武器实弹射击训练自动控制系统300的运行过程中，所述通道注意力模块350,用于将所述差分特征图通过通道注意力模块以得到加强差分特征图。相应地，由于通道注意力的加权系数是对于沿通道排列的每个特征矩阵进行全局均值池化得到的，如果所述通道注意力的加权系数的分布能够与所述差分特征图沿通道方向的分布具有一致性，则可以提高通道注意力的效果。
56.这里，针对通过所述通道注意力权重向量是基于所述差分特征图的下采样的特征矩阵的全局均值池化得到的，通过可学习的正态采样偏移引导特征工程来有效地建模所述通道注意力权重向量与所述差分特征图的与池化维度无关的长程依赖关系，以使得通道
注意力权重向量的分布与所述差分特征图的通道维度的分布保持一致。另外，通过所述通道注意力权重向量的特征集合的分布统计特征，可以修复所述通道注意力权重向量的各位置的局部和非局部邻域的相关性，以进一步强化从差分特征图中的通道方向上的相关性特征的提取，进而提高分类的准确性。
57.图5图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统中通道注意力模块350的框图。如图5所示，所述注意力模块，包括：通道池化单元351，用于将所述差分特征图输入所述通道注意力模块的池化层以由所述池化层对所述差分特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道特征向量；权重化单元352，用于将所述通道特征向量输入所述通道注意力模块的激活层以由所述激活层使用sigmoid激活函数对所述通道特征向量进行非线性激活以得到通道注意力权重向量；优化单元353，用于将所述通道注意力权重向量输入所述通道注意力模块的优化层以由所述优化层基于所述通道注意力权重向量的二范数对所述通道注意力权重向量中各个位置的特征值进行校正以得到校正后通道注意力权重向量；以及，施加单元354，用于以所述校正后通道注意力权重向量中各个位置的特征值作为权重对所述差分特征图的沿通道维度的各个特征矩阵进行加权以得到所述加强差分特征图。
58.更具体地，所述优化单元，进一步用于：将所述通道注意力权重向量输入所述通道注意力模块的优化层以由所述优化层基于所述通道注意力权重向量的二范数以如下公式对所述通道注意力权重向量中各个位置的特征值进行校正以得到所述校正后通道注意力权重向量；其中，所述公式为：其中表示所述通道注意力权重向量，表示所述通道注意力权重向量的自协方差矩阵，所述自协方差矩阵的每个位置的值是所述通道注意力权重向量的每两个位置的特征值之间的方差，和分别表示所述通道注意力权重向量的全局均值和方差，表示所述通道注意力权重向量的二范数，和分别表示向量的按位置减法和加法，表示矩阵相乘，表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值。
59.具体地，在所述基于物联网的轻武器实弹射击训练自动控制系统300的运行过程中，所述判断模块360，用于将所述加强差分特征图通过分类器以得到分类结果，所述分类结果用于表示命中的环数是否超过九环。所述判断模块，进一步用于：使用所述分类器以如下公式对所述加强差分特征图进行处理以生成分类结果，其中，所述公式为：，其中表示将所述加强差分特征图投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。
60.具体地，在所述基于物联网的轻武器实弹射击训练自动控制系统300的运行过程中，所述自动控制结果生成模块370，用于响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。在本技术的一个具体示例中，响应于所述分类结果为命中
的环数超过九环，生成针对于另一靶机的起靶指令。这样，就能够进行自动化控制，大幅度提高部队训考的准确性、公平性、便捷性。
61.综上，根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统300被阐明，其首先通过卷积神经网络来对于子弹命中靶机和子弹未命中靶机的图像隐含特征分别进行针对性的特征挖掘以得到特征图，再通过计算命中特征图和所述未命中特征图之间的差分特征图表征出所述子弹是否命中靶机以及命中所述靶机中的几环特征信息，其次，通过通道注意力机制进一步从差分特征图中强化各关联特征之间的相关性特征的提取，进而提高分类的准确性。响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。这样，就能够进行自动化控制，大幅度提高部队训考的准确性、公平性、便捷性。
62.如上所述，根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统可以实现在各种终端设备中。在一个示例中，根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制系统300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于物联网的轻武器实弹射击训练自动控制系统300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于物联网的轻武器实弹射击训练自动控制系统300同样可以是该终端设备的众多硬件模块之一。
63.替换地，在另一示例中，该基于物联网的轻武器实弹射击训练自动控制系统300与该终端设备也可以是分立的设备，并且该基于物联网的轻武器实弹射击训练自动控制系统300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
64.示例性方法图6图示了根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制方法的流程图。如图6所示，根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制方法，包括步骤：s110，获取子弹命中的靶机的第一靶机图像和未命中子弹的靶机的第二靶机图像；s120，将所述第一靶机图像通过使用空间注意力的第一卷积神经网络模型以得到命中特征图；s130，将所述第二靶机图像通过作为特征提取器的第二卷积神经网络模型以得到未命中特征图；s140，计算所述命中特征图和所述未命中特征图之间的差分特征图；s150，将所述差分特征图通过通道注意力模块以得到加强差分特征图；s160，将所述加强差分特征图通过分类器以得到分类结果，所述分类结果用于表示命中的环数是否超过九环；以及，s170，响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。
65.在一个示例中，在上述基于物联网的轻武器实弹射击训练自动控制方法中，所述步骤s120，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；对所述激活特征图进行沿通道维度的全局平均池化以获得空间特征矩阵；对所述空间特征矩阵进行卷积处理和激活处理以生成权重向量；以及，以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加权以获得生成特征图；其中，所述第一卷
积神经网络模型的最后一层输出的所述生成特征图为所述命中特征图。
66.在一个示例中，在上述基于物联网的轻武器实弹射击训练自动控制方法中，所述步骤130，包括：使用所述第二卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；对所述激活特征图进行沿通道维度的全局平均池化以获得空间特征矩阵；对所述空间特征矩阵进行卷积处理和激活处理以生成权重向量；以及，以所述权重向量中各个位置的权重值分别对所述激活特征图的各个特征矩阵进行加权以获得生成特征图；其中，所述第二卷积神经网络模型的最后一层输出的所述生成特征图为所述未命中特征图。
67.在一个示例中，在上述基于物联网的轻武器实弹射击训练自动控制方法中，所述步骤140，以如下公式计算所述命中特征图和所述未命中特征图之间的所述差分特征图；其中，所述公式为：其中，表示所述命中特征图，表示所述未命中特征图，表示所述差分特征图，表示按位置差分。
68.在一个示例中，在上述基于物联网的轻武器实弹射击训练自动控制方法中，所述步骤150，包括：将所述差分特征图输入所述通道注意力模块的池化层以由所述池化层对所述差分特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到通道特征向量；将所述通道特征向量输入所述通道注意力模块的激活层以由所述激活层使用sigmoid激活函数对所述通道特征向量进行非线性激活以得到通道注意力权重向量；将所述通道注意力权重向量输入所述通道注意力模块的优化层以由所述优化层基于所述通道注意力权重向量的二范数对所述通道注意力权重向量中各个位置的特征值进行校正以得到校正后通道注意力权重向量；以及，以所述校正后通道注意力权重向量中各个位置的特征值作为权重对所述差分特征图的沿通道维度的各个特征矩阵进行加权以得到所述加强差分特征图。
69.在一个示例中，在上述基于物联网的轻武器实弹射击训练自动控制方法中，所述步骤160，使用所述分类器以如下公式对所述加强差分特征图进行处理以生成分类结果，其中，所述公式为：，其中表示将所述加强差分特征图投影为向量，至为各层全连接层的权重矩阵，至表示各层全连接层的偏置矩阵。
[0070] 综上，根据本技术实施例的基于物联网的轻武器实弹射击训练自动控制方法被阐明，其通过其首先通过卷积神经网络来对于子弹命中靶机和子弹未命中靶机的图像隐含特征分别进行针对性的特征挖掘以得到特征图，再通过计算命中特征图和所述未命中特征图之间的差分特征图表征出所述子弹是否命中靶机以及命中所述靶机中的几环特征信息，其次，通过通道注意力机制进一步从差分特征图中强化各关联特征之间的相关性特征的提取，进而提高分类的准确性。响应于所述分类结果为命中的环数超过九环，生成针对于另一靶机的起靶指令。
[0071]
示例性电子设备下面，参考图7来描述根据本技术实施例的电子设备。
[0072]
图7图示了根据本技术实施例的电子设备的框图。
[0073]
如图7所示，电子设备10包括一个或多个处理器11和存储器12。
[0074]
处理器11可以是中央处理单元（cpu）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0075]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（ram）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（rom）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的基于物联网的轻武器实弹射击训练自动控制系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如命中特征图等各种内容。
[0076]
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
[0077]
该输入装置13可以包括例如键盘、鼠标等等。
[0078]
该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0079]
当然，为了简化，图7中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0080]
示例性计算机程序产品和计算机可读存储介质除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本技术各种实施例的基于物联网的轻武器实弹射击训练自动控制方法中的功能中的步骤。
[0081]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0082]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本技术各种实施例的基于物联网的轻武器实弹射击训练自动控制方法中的功能中的步骤。
[0083]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的
例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0084]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0085]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0086]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0087]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0088]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。