基于注意力图几何推理与决策验证的超长超宽携带物检测方法
本发明属于计算机视觉和矿井智能安全监测领域,具体的说是一种基于注意力图几何推理与决策验证的携带物检测方法。
背景技术:
1、在矿井井口、井下通道、运输巷道及作业区域中,需要及时识别人员是否携带超长、超宽物体。矿井场景通常存在照度低、粉尘干扰、背景复杂、人员姿态变化及监控视角不固定等情况,增加了图像检测难度。
2、现有图像分类或目标检测方法通常依赖卷积网络提取的全局语义特征。对于细长杆件、长条形工具等占比较小的目标,全局平均池化容易稀释局部高响应;设备、管线、轨道和巷道边缘形成的条状纹理也可能干扰分类。部分方法采用空间注意力突出感兴趣区域,但难以显式表示目标的长宽比、方向、伸长率及注意力集中程度,也难以在遮挡、目标不完整或注意力响应不稳定时验证分类结果的可靠性。
3、此外,矿井监控数据可能存在类别不均衡问题,采用固定类别权重和单一分类损失容易造成少数类别学习不足,而像素级区域标注又会增加标注成本。因此,现有方法仍存在携带物局部区域特征表征不足、空间形态信息利用不充分以及复杂场景下检测结果可靠性不足等问题,难以兼顾携带物检测的准确性、稳定性和实际应用需求。
技术实现思路
1、本发明是为了解决上述现有技术存在的不足之处,提出一种基于注意力图几何推理与决策验证的超长超宽携带物检测方法,以期能够提高矿井复杂监控环境下对人员携带超长、超宽物体的识别准确性和结果可靠性,降低背景干扰、局部遮挡及样本类别不均衡等因素造成的漏检和误报,从而为矿井井口、井下通道、运输巷道及作业区域的人员通行管理和安全风险预警提供技术支持,降低携带物与矿井设备或巷道设施发生碰撞的风险。
2、本发明为达到上述发明目的,采用如下技术方案:
3、本发明一种基于注意力图几何推理与决策验证的超长超宽携带物检测方法的特点在于,包括以下步骤:
4、步骤1:采集矿井场景下人员及其携带物的检测图像并进行预处理,得到预处理后的检测图像数据集b;令b中任一预处理后的检测图像记为,为预处理后的检测图像的高度,为预处理后的检测图像的宽度,表示预处理后的检测图像的通道数,且;令对应一个真实类别;
5、步骤2:构建携带物检测网络,包括:基础特征提取网络、roi注意力模块、几何推理模块、多源特征融合模块、分类模块;对进行处理,得到的roi注意力图、roi类别预测概率、几何特征向量和类别预测概率向量;
6、步骤2.1:基础特征提取网络通过卷积特征提取层提取的卷积特征图,将经基础特征提取网络的卷积头处理后,再经全局平均池化并展平,得到全局特征向量;其中,为的通道数,为的高度,为的宽度,为基础特征提取网络卷积头输出的通道数;
7、步骤2.2:roi注意力模块对进行处理,得到关注区域对应的和;
8、步骤2.3:将进行特征映射处理,得到几何特征图;并将与输入几何推理模块中进行roi区域几何分布建模、尺度鲁棒几何特征提取以及几何权重加权池化处理,从而得到几何特征向量和几何整流特征向量;
9、步骤2.4:将、、和输入多源特征融合模块中进行处理,得到融合特征向量;
10、步骤2.5:将输入分类模块中进行处理,输出未经归一化的类别预测分数向量;对施加softmax归一化处理,得到;其中,和分别表示类别为0和类别为1对应的未经归一化的预测分数,和分别表示属于类别0和类别1的预测概率;
11、步骤3:根据、、和,构建携带物检测网络的总损失;
12、步骤4:采用adamw优化器对携带物检测网络进行训练,利用更新网络参数,直至达到预设训练轮数或模型性能收敛,得到训练好的携带物检测模型;
13、步骤5:利用训练好的携带物检测模型对待检测图像进行处理,得到和初始类别预测概率向量;根据确定初始预测类别,并调用预先确定的几何决策验证模块,利用和对进行后验校验,得到最终预测类别、置信度等级以及纠偏标记;其中,、和分别表示低、中、高置信度等级。
14、本发明的一种基于注意力图几何推理与决策验证的超长超宽携带物检测方法的特点也在于,步骤2.2包括以下步骤:
15、步骤2.2.1:通过卷积和归一化操作对进行通道投影,将通道数映射至隐藏维度,从而得到投影特征;
16、步骤2.2.2:将输入roi注意力模块,通过深度卷积对进行空间特征提取,并利用逐点卷积对提取到的空间特征进行通道特征变换,再对变换后的通道特征进行非线性激活,从而将非线性激活后的通道特征与进行残差融合,得到roi增强特征;
17、步骤2.2.3:将经卷积降维处理,使特征通道数映射至单通道,得到单通道特征图;再经sigmoid激活函数处理后,输出;
18、步骤2.2.4:将沿通道维度广播至个通道,并利用式(1)将广播后的与进行融合,得到门控特征图:
19、 (1)
20、式(1)中,表示逐元素乘法;为残差保留比例;
21、步骤2.2.5:将经基础特征提取网络的卷积头处理后,再经全局平均池化和展平操作,得到roi门控特征向量;
22、步骤2.2.6:将经dropout层处理后,再通过线性映射得到的roi类别预测分数向量,其中,和分别为对应类别为0和类别为1的预测分数;表示转置;
23、对进行softmax归一化处理,得到,其中,和表示对应类别0和类别1的概率分量。
24、进一步的,步骤2.3包括以下步骤:
25、步骤2.3.1:构建归一化坐标网格:以的左上角为原点,生成归一化横坐标网格和归一化纵坐标网格;其中,中第行第列位置处的归一化横坐标记为,中第行第列位置处的归一化纵坐标记为;
26、步骤2.3.2:以中的元素值为质量分布,利用式(2)计算质量分布的总质量,利用式(3)计算质心坐标;
27、 (2)
28、 (3)
29、式(2)和式(3)中,为预设正数,为中第行第列的元素值;
30、步骤2.3.3:利用式(4)计算二阶中心矩,从而利用式(5)构造协方差矩阵:
31、 (4)
32、 (5)
33、式(4)和式(5)中,表示的水平方向二阶中心矩,表示的垂直方向二阶中心矩,表示的交叉二阶中心矩;
34、步骤2.3.4:利用式(6)对进行特征值计算,得到第一稳定化特征值、第二稳定化特征值:
35、,,, (6)
36、式(6)中,表示的迹;表示的行列式引入数值稳定项后得到的稳定化行列式量;表示特征值判别项;
37、步骤2.3.5:将和作为归一化位置特征,并利用式(7)提取尺度鲁棒几何标量,包括:的主轴与正交轴的长度比、的峰值度与的伸长率,从而利用式(8)构造g:
38、 (7)
39、 (8)
40、式(7)和式(8)中,为中所有元素的最大值,为中所有元素的均值;
41、步骤2.3.6:利用式(9)计算主轴方向的稳定化方向向量及正交方向向量,其中,表示在方向上的分量,表示在方向上的分量,表示在方向上的分量,表示在方向上的分量:
42、 (9)
43、式(9)中,表示对应的特征向量的l2范数;且;
44、步骤2.3.7:利用式(10)计算中各空间位置对应的归一化坐标相对于质心的偏移向量在主轴方向上的投影和正交方向上的投影,从而利用式(11)计算马氏距离平方及几何权重图:
45、 (10)
46、 (11)
47、步骤2.3.8:利用式(12)将与融合后,对进行加权池化,得到几何整流特征向量:
48、 (12)
49、式(12)中,表示融合权重图,表示中第行第j列位置处的权重值,表示中第行第j列位置处的特征向量。
50、进一步的,步骤2.4包括以下步骤:
51、步骤2.4.1:将和依次沿通道维度进行拼接后,得到基础融合特征向量;
52、步骤2.4.2:将经过带relu激活的线性投影层降维处理后,得到几何整流特征向量;再依次将、与沿通道维度进行拼接,得到。
53、进一步的,步骤3包括以下步骤:
54、步骤3.1:利用式(13)构建类别平衡焦点损失:
55、 (13)
56、式(13)中,表示b中参与类别权重统计的检测图像总数;表示b中真实类别标签的取值与相同的检测图像数量;表示由的取值所指示类别的平衡权重;表示对进行裁剪后得到的类别平衡权重;表示裁剪操作;和分别表示裁剪下界和裁剪上界;表示焦点调制因子;表示中类别对应的概率分量;
57、步骤3.2:利用式(14)构建自学习roi正则化损失:
58、 (14)
59、式(14)中,为稀疏性损失,为连续性损失,为多样性损失,为一致性损失,为熵引导损失,为置信度对齐损失;、、、、、分别为各损失对应的权重系数,并有:
60、 (15)
61、式(15)中,表示将展平后的升序排序序列中第个位置处的元素值;且;表示将展平后的序列中全部元素的平均激活值,且;表示展平后序列中的元素总数,且;
62、 (16)
63、(17)
64、式(17)中,表示平滑l1损失函数,表示将展平后的升序排序序列中第个位置处的元素值;
65、 (18)
66、式(18)中,表示相对熵;表示与的平均概率向量;表示交叉熵损失;表示由中最大类别概率确定的置信度权重,;表示中类别对应的概率分量;
67、 (19)
68、式(19)中,表示由的归一化信息熵计算得到的分类置信程度;表示基于中元素值的方差计算得到的注意力集中程度;
69、 (20)
70、式(20)中,表示对应类别的概率分量;
71、步骤3.3:利用式(21)构建总损失:
72、 (21)
73、式(21)中,表示对应的权重系数。
74、进一步的,步骤3包括以下步骤:
75、步骤5.1:根据中最大概率分量对应的类别确定;其中,表示中类别对应的概率分量,且;
76、步骤5.2:将最终预测类别初始化为,将初始化为0,并将初始化为1;
77、若,则令;否则,若,则令;否则,令;其中,为峰值度阈值,为伸长率阈值;
78、若且且且且,则令,将置为1,并将标记为几何纠偏样本;其中,表示轴长比阈值,表示正常类置信度上限阈值;
79、若且且时,则令;其中,为低轴长比阈值,为低伸长率阈值,且。
80、本发明一种电子设备,包括存储器以及处理器,其特点在于,存储器用于存储支持处理器执行所述方法的程序,处理器被配置为用于执行存储器中存储的程序。
81、本发明一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特点在于,计算机程序被处理器运行时执行所述方法的步骤。
82、与现有技术相比,本发明的有益效果在于:
83、1、本发明考虑到矿井监控场景背景复杂、人员及携带物易受遮挡等问题,通过roi注意力模块生成携带物相关区域的roi注意力图,并利用roi注意力图提取roi门控特征,使检测网络更加关注人员携带物的关键区域,降低了巷道背景、设备结构及其他非目标区域的干扰,提高了超长、超宽携带物特征提取的准确性和稳定性。
84、2、本发明考虑到仅依靠图像纹理和语义特征难以充分反映超长、超宽携带物的形态特征,为此基于roi注意力图进行几何推理,通过质心、协方差、主轴与正交轴长度比、峰值度及伸长率等信息构建几何特征向量,并结合了几何权重对特征进行加权处理,使注意力区域中的空间分布信息转化为可量化的几何特征,提高了对超长、超宽携带物形态差异的辨识能力。
85、3、本发明考虑到单一特征容易受到视角变化、局部遮挡及复杂背景的影响,为此将全局特征、roi门控特征、几何特征以及几何整流特征进行多源融合,并采用类别平衡焦点损失和roi正则化损失进行网络训练,使不同特征之间形成互补,减小了样本类别不均衡和注意力区域不稳定对检测结果的影响,提高了携带物检测的适应性和可靠性。
86、4、本发明考虑到分类网络在复杂场景下可能出现漏检或误报,为此利用类别预测概率和几何特征对初始预测结果进行几何决策验证,根据超长、超宽携带物的几何特征对预测结果进行纠偏或置信度调整,从而提高了最终检测结果的可靠性,降低了漏检和误报风险,可为矿井井口、井下通道、运输巷道及作业区域的人员通行管理和安全风险预警提供技术支持。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com