一种基于图神经网络与深度强化学习的目标威胁评估方法
本发明涉及一种基于图神经网络与深度强化学习的目标威胁评估方法，属于单兵智能决策，应用于单兵班组多目标自主对抗实战场景中。
背景技术：
1、在多目标战场环境中，准确评估各目标的威胁程度并优先打击高威胁目标，是提升作战效能的关键。目标威胁评估需综合动作状态、武器类型、距离、速度、空间位置及检测置信度等多维信息。
2、现有技术中，传统的威胁评估方法主要存在以下不足：
3、（1）基于规则加权的方法虽然可解释性强、实时性好，但受限于人工规则与固定权重，难以建模多目标间的复杂交互关系，且缺乏对检测不确定性的显式处理和对战场态势的动态理解。
4、（2）传统的单目视觉距离估计方法在目标距离较近时，检测框底部中点不能准确对应实际脚点位置，导致距离估计偏差显著；在目标距离较远时，像素坐标的微小扰动经投影模型放大后会引起较大的测距误差。
5、（3）单帧动作识别结果往往存在抖动和短暂误判，若直接使用原始标签，将导致威胁评分在相邻帧间剧烈跳变，影响决策稳定性。
6、（4）现有智能评估方法中，依赖大量领域知识和大规模高质量标注数据且可解释性较弱；强化学习方法仿真环境构建成本高、训练收敛速度慢，难以直接迁移至真实场景。
7、因此，亟需一种能够在复杂战场环境下准确评估多目标威胁程度，同时具备高可解释性、强适应性和实时性的智能威胁评估方法。
技术实现思路
1、本发明的目的是针对在复杂战场环境下准确评估多目标威胁程度的技术问题，提出一种基于图神经网络与深度强化学习的目标威胁评估方法。该方法能够综合多维信息评估目标威胁程度，自适应学习多目标间的交互关系，在保障决策准确性的同时兼顾实时性与可解释性。
2、本发明的目的是通过以下技术方案实现的：
3、本发明公开的一种基于图神经网络与深度强化学习的目标威胁评估方法，包括以下步骤：
4、步骤1：威胁要素提取与预处理；从多目标检测与跟踪模型输出结果中获取包括动作状态、武器类型、运动速度、空间位置及检测置信度的每个目标的多维基础信息；对所述多维基础信息并行执行时序动作信息矫正、目标距离估计与遮挡比例估计的预处理；其中，对动作状态执行动态阈值驱动的时序动作信息矫正处理；对目标距离采用基于透视投影的距离估计法进行解算，并经过误差补偿模型修正测距结果；对目标遮挡比例基于跟踪匹配代价或目标丢失状态进行估计；所述时序动作信息矫正用于降低多帧图像中的抖动；所述目标距离估计用于从二维图像估计目标距离信息；所述遮挡比例估计用于估计目标的遮挡程度；
5、所述时序动作信息矫正为：针对每个跟踪目标，持续记录检测网络输出的动作标签及对应的检测置信度，形成时序序列，其中表示原始检测结果，为对应置信度；基于置信度历史统计量动态调整判定阈值，计算高阈值和低阈值，执行状态一致性判断，并采用非对称的确认帧数阈值进行状态校验；
6、步骤1中，所述高阈值和低阈值表示为：
7、；
8、；
9、其中，与分别为最近l帧置信度序列的均值与标准差，和分别为75%分位数与25%分位数，为权重系数，为标准差倍数；
10、步骤1中，所述执行状态一致性判断为：若当前帧检测结果与上一帧状态不一致，则仅当置信度高于时才采纳本次检测结果；若一致，则只要置信度高于即维持原状态，否则进行状态翻转；
11、步骤1中，所述采用非对称的确认帧数阈值进行状态校验为：从非射击状态转为射击状态需连续帧被检测为射击，从射击状态转为非射击状态需连续帧被检测为非射击，其中，其中，；
12、所述目标距离估计方法具体为：采用张正友标定法获取相机内参矩阵 k；基于针孔相机成像模型，选取目标检测框的底部中心点作为脚点，建立成像平面像素坐标与世界坐标系的透视投影映射关系，根据针孔相机模型推导脚点世界坐标的闭式解，并计算目标与相机光心之间的水平距离；当目标脚点接近图像下边缘时，引入目标的像素宽度作为辅助测距依据，以增强近距估计的鲁棒性；通过激光测距仪采集真实距离数据，构建二次多项式误差补偿模型，对初步估计距离进行后补偿；其中，、、为拟合估计的误差补偿系数；
13、步骤1中，所述脚点世界坐标的闭式解为：
14、
15、其中，为相机光轴与水平面夹角；为目标脚点在图像上水平坐标； 目标脚点在图像上垂直坐标；等效焦距、和主点坐标、；为相机在世界坐标系的高度；目标脚点在世界坐标系的坐标；
16、所述遮挡比例估计为：当目标与检测结果正常匹配时，遮挡比例，其中c为匹配代价；当目标被标记为暂时丢失时，；
17、步骤2：动作威胁与火力威胁的双维度软规则评估；构建动作威胁和火力威胁两个评估维度，对每个目标分别进行动作威胁值和火力威胁值的计算；通过引入置信度加权因子、运动代价加权因子，结合基于群体统计特性的自适应权重调整机制，生成各目标的初步威胁评分；
18、所述置信度加权因子为；用于反映感知信息可靠性；其中，为目标检测输出的置信度；
19、所述运动代价加权因子，通过目标像素坐标与图像中心的欧氏距离计算距离图像中心的程度，用于反映瞄准目标的效率程度；
20、所述基于群体统计特性的自适应权重调整机制为根据群体统计特性动态调整动作威胁权重和火力威胁权重；
21、所述初步威胁评分表示为：；其中，为动作威胁得分；为火力威胁得分；
22、所述动作威胁值计算为：当目标处于射击状态时，运动速度与威胁程度呈负相关，较低速度或静止状态表示威胁程度更高；当目标处于非射击状态时，运动速度与威胁程度呈正相关，较高速度暗示目标正在快速接近；
23、所述火力威胁值计算为：为每类武器设定基础威胁值，持枪为最高基础权重，持火箭筒为次高基础权重，无武器为基础权重为零；结合目标距离与有效射程计算距离威胁因子，超出有效射程的目标火力威胁为零；在有效射程内，目标距离越近威胁程度越高；
24、所述基于群体统计特性的自适应权重调整机制为：当场景中射击目标比例较高时，适当提升动作威胁维度的融合权重；当持武器目标比例较高时，增加火力威胁维度的融合权重，并结合目标平均距离进行调节；
25、步骤3：直觉模糊特征量化；利用直觉模糊集理论，将武器类型、动作状态、检测置信度及遮挡比例信息量化为直觉模糊隶属度和犹豫度，作为目标节点的特征嵌入；
26、步骤3中，直觉模糊隶属度和犹豫度计算为：
27、；
28、；
29、其中，为检测置信度，为武器基础威胁值，为行为置信度，在目标处于攻击状态时取1否则取0，为步骤1中得到的目标遮挡比例；通过截断保证且；
30、步骤4：融合直觉模糊约束进行图注意力网络多目标关系建模。将每个时刻的目标集合显式建模为全连接图结构，每个目标节点包含威胁特征向量与所述直觉模糊特征嵌入；采用图注意力网络进行节点特征聚合，在多头注意力系数计算过程中引入所述直觉模糊隶属度与犹豫度作为注意力约束项，自适应学习目标间的相互影响并提取目标间交互关系特征；对所有节点输出嵌入进行平均池化得到图级嵌入，与三维全局统计特征拼接后进行特征投影，生成融合局部交互信息与宏观战场统计特征的态势向量；所述三维全局统计特征包括射击目标比例、持武器目标比例和平均目标距离；
31、所述图注意力网络采用两层gat卷积结构，具体为：在特征映射上，将原始目标节点特征通过多层感知机映射到 64 维隐空间，得到初始节点特征矩阵；在全连接图构建上，将每个目标作为独立图节点，所有节点间两两建立连边，形成全连接图结构；在第一层 gat卷积上，采用多头注意力机制，计算节点对其邻居的注意力系数，并据此加权聚合邻居信息，经 relu 激活函数输出更新后的节点表示；在第二层 gat 卷积上，对第一层输出的节点特征进一步执行信息聚合，输出最终 64 维节点嵌入向量；在态势向量生成上，对所有节点嵌入进行平均池化获得图级嵌入，与三维全局统计特征拼接后投影到 128 维态势向量；
32、步骤5：基于规则引导与近端策略优化的智能决策；以所述态势向量作为状态输入，采用近端策略优化法输出决策结果；动作空间包括观察等待和优先处置某一目标；在训练阶段采用两阶段训练机制：第一阶段为行为克隆预训练，利用初步威胁评分对当前态势下的目标进行威胁排序，将排序第一的目标作为动作标签训练策略网络，吸收软规则方法的决策倾向；第二阶段为近端策略优化强化训练，在动态交互环境中自主优化长期决策收益；奖励函数融合处置收益、时间代价与决策惩罚，且处置收益与初步威胁评分呈正相关联动；
33、所述行为克隆预训练为：利用基于自适应规则加权的威胁评估方法在动态仿真环境中收集状态-动作对数据集，每个状态对应一个规则方法认为的最优动作；并利用交叉熵损失函数对近端策略优化算法的策略网络进行预训练；预训练完成后转入近端策略优化的正常训练流程；
34、步骤5中，所述奖励函数表示为：
35、；
36、其中，为成功处置奖励根据目标武器类型给予正奖励，无武器为+1，持火箭为+3，持枪为+5；若目标处于攻击状态则额外增加+1.5；若目标同时为规则方法的高威胁目标则额外增加+1；为时间惩罚，每步给予-0.5惩罚并随步数累加；为处置失败惩罚：处置失败给予-0.25惩罚；选择无效动作给予-3惩罚；剩余目标中每个攻击目标给予-0.5惩罚；
37、步骤5中，所述近端策略优化法采用 actor-critic 架构，actor 网络和 critic网络共享所述图注意力模块提取的全局态势表征；actor 网络输入态势向量，经两个隐藏层后通过 softmax 层输出动作概率分布；critic 网络输入态势向量，输出单个标量价值估计；训练过程中分别计算策略损失与价值损失，联合更新两个网络的共享参数与独立参数；
38、步骤6：智能体基于当前态势向量实时输出优先处置目标，实现端到端的自主威胁评估与决策；
39、一种目标威胁评估方法在单兵班组多目标自主对抗实战场景中应用，采用上述方法在单兵班组多目标自主对抗实战场景的应用，包括以下步骤：
40、步骤 1：通过所述方法对多目标检测与跟踪模型输出的实时数据进行威胁要素提取与预处理，得到时序矫正后的动作状态、误差补偿后的目标距离及遮挡比例参数；
41、步骤 2：通过所述方法执行双维度软规则评估、直觉模糊特征量化、图注意力关系建模和近端策略优化决策，生成全局态势向量并输出各目标的威胁优先级排序结果；
42、步骤 3：将所述优先处置目标的决策结果应用于单兵班组多目标自主对抗实战场景。
43、与现有技术相比，具有如下有益效果：
44、1、本发明通过图注意力网络显式建模多目标间的协同等交互关系，克服了传统规则方法逐目标独立评分的局限，提升了威胁评估的准确性。
45、2、本发明利用直觉模糊集理论统一建模检测与跟踪中的不确定性，使智能体能够自适应地抑制高不确定性信息，增强了决策的鲁棒性。
46、3、本发明通过行为克隆预训练充分吸收规则方法的合理决策倾向，在保障早期性能的同时加快收敛速度，解决了深度强化学习从零开始训练效率低下的问题。
47、4、本发明动态阈值驱动的时序动作信息矫正方法有效抑制了检测结果中的随机抖动与瞬时异常，显著提升了威胁评估的时序稳定性。
48、5、本发明基于透视投影的距离估计方法结合像素宽度辅助测距和误差多项式补偿，实现了全距离范围内的高精度单目测距。
49、6、本发明自适应权重调整机制根据战场态势动态优化决策参数，使威胁评估具备环境自适应能力。