一种基于强化学习的危险物品高敏探测方法及系统与流程

本发明涉及危险物品探测，尤其涉及一种基于强化学习的危险物品高敏探测方法及系统。

背景技术：

1、危险物品探测广泛应用于交通枢纽、物流检查、公共场所安检及重点区域安全防护。现有探测设备通常通过x射线、毫米波、光谱、磁感应及其他探测通道获取响应数据，再依据固定阈值、特征匹配模型或分类模型判断危险物品。部分方案通过融合不同探测通道的响应结果提高识别能力，并根据检测结果调整扫描强度、扫描位置及探测参数。

2、现有技术对不同探测证据之间的协同、削弱及冗余关系缺乏有效刻画，容易将探测证据按照独立关系进行线性融合，难以反映遮挡、包装、物质重叠及通道冲突对危险响应的共同影响。

3、核验数据还可能因核验时间不足、核验流程中断及核验结果未返回产生删失探测轨迹，现有训练方法直接剔除删失探测轨迹或将删失探测轨迹作为普通样本处理，容易造成历史样本代表性偏差和极端漏检风险估计偏差。同时，现有强化学习探测方案通常根据单次识别置信度或即时收益选择探测动作，缺少对执行增强探测动作与保持当前探测参数两条路径的极端累计探测损失比较，也缺少对执行动作轨迹中通道残余极端风险的持续评估，导致探测策略难以在风险闭合能力、残余漏检风险及探测资源消耗之间形成闭环优化，影响危险物品探测灵敏度、结果可靠性和探测资源利用效率。

4、因此，如何提供一种基于强化学习的危险物品高敏探测方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于强化学习的危险物品高敏探测方法及系统，本发明通过extremile阶次面、核验删失校准、双轨极端累计探测损失和强化学习闭环更新，提升遮挡、衰减、干扰及通道冲突条件下危险物品极端漏检风险的识别与抑制能力，提高探测灵敏度、结果可靠性和探测资源利用效率。

2、根据本发明实施例的一种基于强化学习的危险物品高敏探测方法，包括如下步骤：

3、获取多通道探测响应数据和探测设备运行状态，形成探测证据集合和当前探测状态；

4、构建增强探测动作集合，并执行二加性choquet积分，形成动作条件extremile阶次面；

5、识别历史核验轨迹中的删失探测轨迹，执行乘积极限删失校正获得核验可得性权重，以核验可得性权重加权历史核验轨迹，形成历史核验校准参数集；

6、以历史核验校准参数集校准动作条件extremile阶次面和extremile回归过程，并构建extremile回归驱动的强化学习过程，获得双轨极端累计探测损失；

7、根据双轨极端探测损失形成极端风险闭合量，根据执行动作轨迹形成通道残余极端风险，以极端风险闭合量和通道残余极端风险更新强化学习探测策略，形成目标增强探测动作；

8、执行目标增强探测动作并更新当前探测状态、动作条件extremile阶次面和通道残余极端风险，在通道残余极端风险未闭合且未达到资源边界时重新确定目标增强探测动作，形成最终通道残余极端风险；

9、依据最终通道残余极端风险确定结果状态，形成危险物品高敏探测结果。

10、可选的，所述探测证据集合和当前探测状态的得到具体包括：

11、按照统一探测周期获取危险物品的多通道探测响应数据和探测设备运行状态，对多通道探测响应数据执行响应预处理，形成预处理探测响应数据；

12、对预处理探测响应数据执行探测证据提取，形成探测证据集合；

13、对探测证据集合和探测设备运行状态执行状态构建处理，形成当前探测状态。

14、可选的，所述动作条件extremile阶次面的得到具体包括：

15、根据当前探测状态对探测设备可执行的探测控制方式进行动作可行性筛选，将满足设备运行条件、探测资源边界和危险物品检测条件的探测控制方式组成增强探测动作集合；

16、针对探测证据集合中的每一探测证据和增强探测动作集合中的每一增强探测动作执行动作证据关联处理，根据当前探测状态确定增强探测动作对对应探测证据的响应揭示程度，并将响应揭示程度与对应探测证据的证据强度进行结合，形成动作关联探测证据量，将同一探测区域与同一增强探测动作对应的全部动作关联探测证据量按照固定证据次序组合，形成动作关联探测证据向量；

17、基于响应揭示程度对每一动作关联探测证据向量执行动作条件残余重构，形成动作执行前证据向量和动作执行后残余证据向量，根据增强探测动作对单项探测证据及探测证据对的联合揭示关系重构二加性模糊测度，采用重构后的二加性模糊测度分别对动作执行前证据向量和动作执行后残余证据向量执行二加性choquet积分，获得基准交互积分值和残余交互积分值并进行差值运算，形成动作证据交互消减量；

18、根据每一增强探测动作对应的动作证据交互消减量和残余交互积分值，对同一探测区域内的增强探测动作执行闭合残余竞争排序，按照闭合残余竞争排序结果确定动作条件extremile阶次，对相邻探测区域中证据交互结构一致且动作标识相同的动作条件extremile阶次执行阶次连续化，并在证据交互关系发生正负翻转的探测区域之间保留阶次跃迁，形成动作条件extremile阶次面。

19、可选的，所述历史核验校准参数集的得到具体包括：

20、获取历史核验轨迹，对历史核验轨迹执行轨迹核验状态标记处理和核验可得性分层处理，形成完整探测轨迹、删失探测轨迹和核验可得性分层；

21、针对各核验可得性分层执行乘积极限删失校正，形成核验可得性函数；

22、根据核验可得性函数执行权重生成处理，形成核验可得性权重；

23、以核验可得性权重对历史核验轨迹执行历史核验加权校准处理，形成历史核验校准参数集。

24、可选的，所述双轨极端累计探测损失的得到具体包括：

25、以历史核验校准参数集对动作条件extremile阶次面执行阶次保序校准，形成校准动作条件extremile阶次面；

26、从加权历史轨迹样本中提取增强探测动作执行片段和探测参数保持片段，分别形成执行轨训练样本和保持轨训练样本，根据即时探测损失和下一探测状态对应的折扣极端累计探测损失，形成执行轨累计损失目标和保持轨累计损失目标；

27、将执行轨训练样本、保持轨训练样本和校准动作条件extremile阶次输入extremile回归过程，分别确定执行轨累计损失目标和保持轨累计损失目标在历史核验损失加权分布中的累计位置，根据对应校准动作条件extremile阶次将累计位置转换为执行轨extremile权重和保持轨extremile权重，采用过程核验可得性权重与对应extremile权重共同加权累计损失目标与extremile动作价值函数预测结果之间的偏差，并依据加权偏差更新extremile动作价值函数参数，形成校准extremile回归过程，

28、将当前探测状态、增强探测动作集合和校准动作条件extremile阶次面输入校准extremile回归过程，分别获得各增强探测动作对应的执行轨极端累计探测损失和保持轨极端累计探测损失，并按照相同探测区域和增强探测动作建立成对关系，形成双轨极端累计探测损失，以校准extremile回归过程作为强化学习探测策略的动作价值估计过程，将当前探测状态作为强化学习状态，将增强探测动作集合作为强化学习动作空间，将双轨极端累计探测损失作为增强探测动作的极端动作价值依据，构建extremile回归驱动的强化学习过程。

29、可选的，所述目标增强探测动作的得到具体包括：

30、对双轨极端累计探测损失执行风险闭合量生成处理，形成各增强探测动作对应的极端风险闭合量；

31、对已执行增强探测动作与增强探测动作集合执行轨迹延展处理，形成各增强探测动作对应的执行动作轨迹，并基于响应揭示程度形成轨迹残余系数；

32、根据执行动作轨迹和轨迹残余系数执行通道残余风险聚合，形成各增强探测动作对应的通道残余极端风险；

33、根据极端风险闭合量和通道残余极端风险执行极端动作价值更新，形成各增强探测动作对应的策略改进量，并以策略改进量更新强化学习探测策略，形成目标增强探测动作。

34、可选的，所述最终通道残余极端风险的得到具体包括：

35、执行目标增强探测动作，对动作执行结果进行反馈状态更新，形成更新后的当前探测状态和动作执行反馈；

36、根据动作执行反馈对动作条件extremile阶次面执行反馈阶次更新，形成更新后的动作条件extremile阶次面；

37、根据动作执行反馈对校准extremile回归过程执行增量反馈更新，形成更新后的extremile回归过程；

38、将根据更新后的当前探测状态、更新后的动作条件extremile阶次面和更新后的extremile回归过程执行残余风险反馈重估，形成更新后的通道残余极端风险；

39、对更新后的通道残余极端风险和累计探测资源消耗量执行闭环控制判断，在通道残余极端风险未闭合并且累计探测资源消耗量未达到探测资源边界时重新确定目标增强探测动作，在通道残余极端风险闭合或者累计探测资源消耗量达到探测资源边界时形成最终通道残余极端风险。

40、可选的，所述危险物品高敏探测结果的得到具体包括：

41、对最终通道残余极端风险执行风险偏差生成处理，形成各探测通道对应的通道残余风险偏差；

42、根据通道残余风险偏差执行结果状态判定，形成危险物品结果状态和高风险探测通道集合；

43、将危险物品结果状态、最终通道残余极端风险和高风险探测通道集合执行结果关联处理，形成危险物品高敏探测结果。

44、根据本发明实施例的一种基于强化学习的危险物品高敏探测系统，包括：

45、证据状态构建模块，用于获取多通道探测响应数据和探测设备运行状态，形成探测证据集合和当前探测状态；

46、阶次面构建模块，用于构建增强探测动作集合，并执行二加性choquet积分，形成动作条件extremile阶次面；

47、核验校准处理模块，用于识别历史核验轨迹中的删失探测轨迹，执行乘积极限删失校正获得核验可得性权重，以核验可得性权重加权历史核验轨迹，形成历史核验校准参数集；

48、极端回归强化模块，用于以历史核验校准参数集校准动作条件extremile阶次面和extremile回归过程，并构建extremile回归驱动的强化学习过程，获得双轨极端累计探测损失；

49、探测策略生成模块，用于根据双轨极端探测损失形成极端风险闭合量，根据执行动作轨迹形成通道残余极端风险，以极端风险闭合量和通道残余极端风险更新强化学习探测策略，形成目标增强探测动作；

50、闭环反馈控制模块，用于执行目标增强探测动作并更新当前探测状态、动作条件extremile阶次面和通道残余极端风险，在通道残余极端风险未闭合且未达到资源边界时重新确定目标增强探测动作，形成最终通道残余极端风险；

51、探测结果输出模块，用于依据最终通道残余极端风险确定结果状态，形成危险物品高敏探测结果。

52、本发明的有益效果是：

53、本发明采用二加性choquet积分对探测证据进行非加性融合，使危险响应强度、响应衰减程度、背景波动程度及探测通道一致程度之间的协同、削弱和冗余关系能够共同参与风险评估，克服线性融合难以反映遮挡、包装、物质重叠及通道冲突影响的问题；本发明进一步依据动作证据交互消减量和残余交互积分值构建动作条件extremile阶次面，使不同探测区域和不同增强探测动作采用与动作执行后残余交互风险相匹配的极端风险关注程度，从而提高弱响应危险物品和复杂干扰条件下的高敏探测能力。

54、本发明针对历史核验结果未返回形成的删失探测轨迹执行乘积极限删失校正，通过核验可得性权重修正历史核验轨迹的样本缺失偏差，并形成历史核验校准参数集；采用乘积极限删失校正能够保留删失探测轨迹中已经观测到的探测过程信息，避免直接剔除删失探测轨迹造成训练样本代表性下降，使动作条件extremile阶次面和extremile回归过程建立在经过核验可得性修正的历史数据基础上，提高极端漏检风险估计的准确性和稳定性。

55、本发明采用extremile回归过程代替主要关注平均损失的常规回归方式，通过动作条件extremile阶次改变高损失样本对回归参数更新的贡献程度，使强化学习过程重点学习低发生概率、高处置损失的危险物品漏检结果；本发明进一步构建执行增强探测动作与保持当前探测参数两条路径的双轨联合训练机制，获得双轨极端累计探测损失，使强化学习探测策略能够比较执行动作带来的极端风险降低效果与保持当前探测参数产生的极端漏检风险，增强动作价值估计与危险物品探测场景之间的适配性。

56、本发明根据双轨极端累计探测损失形成极端风险闭合量，并结合执行动作轨迹形成通道残余极端风险，将极端风险闭合能力作为风险收益，将通道残余极端风险作为风险代价，驱动强化学习探测策略更新；在目标增强探测动作执行后，本发明继续更新当前探测状态、动作条件extremile阶次面、extremile回归过程和通道残余极端风险，直至风险闭合或达到探测资源边界，从而在降低危险物品极端漏检风险的同时控制探测时长、扫描次数、设备负载和能量消耗，提高危险物品探测的灵敏度、可靠性及探测资源利用效率。