基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法

技术特征：
1.基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，包括以下步骤：s1：采集多张轨道交通站台门与列车间具有异物的图片，标注出异物检测真实标签、区域分割真实标签以及区域线检测真实标签，将各真实标签供后续训练使用；s2：将步骤s1采集的图片进行预处理；s3：构建模型的编码器，所述编码器包括backbone模块和neck模块，所述backbone模块用于提取步骤s2预处理后的图片的特征以供neck模块使用，neck模块用于融合图片不同阶段的特征信息以提取出更深入的信息供后续的解码器使用；s4：构建模型的解码器，所述解码器分别对应异物检测、区域分割和区域线检测的任务，解码器根据步骤s3中更深入的信息，分别得到初步的异物检测预测结果、区域分割预测结果以及区域线检测预测结果；s5：根据步骤s1中异物检测真实标签与步骤s4中初步的异物检测预测结果计算得到异物检测损失，根据步骤s1中区域分割真实标签与步骤s4中初步的区域分割预测结果计算得到区域分割损失，根据步骤s1中区域线检测真实标签与步骤s4中初步的区域线检测预测结果计算得到区域线检测损失，构建总损失函数以得到总损失，所述总损失为异物检测损失、区域分割损失和区域线检测损失的加权和；s6：根据步骤s5计算得到的总损失进行反向传播训练模型以得到模型权重和偏置的具体值，从而在有具体权重和偏置值的模型上推断出更准确的检测头detection输出的包含异物的预测框结果、异物检测预测结果、区域分割预测结果以及区域线检测预测结果；s7：根据步骤s6中得到的区域分割预测结果和区域线检测预测结果来调整异物检测的预测结果，该过程称为结果融合。2.根据权利要求1所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤s3中，backbone模块的处理包括以下步骤：s31：将步骤s2预处理后且大小为w
×
h
×
3的图片通过focus模块转换为大小为w
×
h
×
32的特征图f1；s32：将特征图f1经过csp模块得到高维特征图f
11
，特征图f
11
再经过两层csp模块依次得到高维特征图f
12
、f
13
，同时在最后一层标准卷积加上convolutional block attention module，特征图f
13
经过该卷积后得到新的特征图f3以使得neck模块可以更关注异物在图片中的位置信息。3.根据权利要求2所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤s3中，neck模块的处理包括以下步骤：s33：利用yolov3-spp中的spatial pyramid pooling模块，对特征图f3使用多种池化方式提取出融合了多种感受野带来的信息的特征图f4；s34：再利用featurepyramidnetworks自顶向下的将步骤s33提取到的特征图f4通过两次上采样依次和步骤s32得到的高维特征图f
12
和f
13
融合得到能够传达强语义信息的特征图f5。4.根据权利要求3所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤s33中，多种池化方式包括1
×
1，5
×
5，9
×
9和13
×
13四种池化。
5.根据权利要求3所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤s4中，所述解码器有三个，分别对应于异物检测、区域分割和区域线检测这三个任务，其中异物检测任务包括以下步骤：s41：利用path aggregation network结构得到三种大小的特征图f
x
，各特征图f
x
中包含了强语义和强定位信息；s42：将三种大小的特征图f
x
输入到检测头detection中进行预测，特征图f
x
的每个网格有三种尺度大小的先验框，每种先验框会得到三个预测框；s43：利用non-maximum suppression去除大量多余的预测框，剩余的预测框就是模型输出的异物检测预测结果，该异物检测预测结果包含了异物的置信度概率值、类别概率值和边框位置信息。6.根据权利要求5所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤s4中，区域分割和区域线检测这两个任务利用相同的模型，将特征图f5进行两次上采样得到w
×
h
×
2的特征图，该w
×
h
×
2的特征图就是区域分割预测结果和区域线检测预测结果，该特征图中的这2个通道表示每个像素是区域还是背景的概率。7.根据权利要求1所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在步骤s5中，总损失函数为：其中，异物检测损失包括了异物分类损失异物置信度损失和异物预测框位置损失异物检测的分类损失和置信度损失使用的是交叉熵损失，预测框位置损失使用的是giou loss；步骤s1中，异物检测真实标签包括异物分类真实标签以及异物位置真实标签，步骤s4中初步的异物检测预测结果包括异物分类预测结果以及异物位置预测结果，异物分类损失由异物分类真实标签与异物分类预测结果计算得到，异物预测框位置损失由异物位置真实标签与异物位置预测结果计算得到；置信度损失由数字1减去异物位置预测结果与异物位置真实标签的交并比iou计算得来；区域分割损失和区域线检测损失也采用交叉熵损失；α1,α2,α3和β1,β2,β3是用来平衡异物检测、区域分割和区域线检测这三个任务的重要程度的常数。8.根据权利要求6所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，所述步骤s7具体包括以下步骤：s71：结果融合过程先根据异物通常包含在区域分割预测结果内，将步骤s6中的检测头detection输出的包含异物的预测框与区域分割任务得到的w
×
h
×
2的特征图进行像素交集统计，并判断统计的相交像素点数量是否超过指定阈值，如果是则执行步骤s72，如果否，则执行步骤s73；s72：如果统计的相交像素点数量超过指定阈值，则认为该预测框位置符合实际情况，不再进行后续的预测框异物的置信度概率值调整，跳转到步骤s76；s73：如果统计的相交像素点数量不够指定阈值，则再根据异物遮挡区域线这一现象，判断预测框内部的像素是否在区域线检测任务得到的w
×
h
×
2特征图的直线上，如果否则
执行步骤s74，如果是则执行步骤s75；s74：如果没有一个像素在最终的剩余直线上，则降低该预测框异物的置信度概率值，跳转到步骤s76；s75：如果有像素在最终的剩余直线上，则该预测框异物的置信度概率值不变，跳转到步骤s76；s76:然后再进行nms筛选掉多余的预测框，得到融合后的异物检测预测结果。9.根据权利要求8所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，所述指定阈值的范围为45-50。10.根据权利要求1所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，步骤s2具体包括以下步骤：s21：将采集到的图片由rgb格式转为hsv格式，从而将图片的色调、饱和度和亮度进行数值调整，调整完之后再转为rgb格式；s22：对调整之后的图片随机进行旋转、缩放、平移、剪切和左右翻转，采用上述数据增强手段能够使模型的鲁棒性更强。

技术总结
本发明公开了基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，包括：采集轨道交通站台门与列车间具有异物的图片，标注异物检测、区域分割及区域线检测真实标签供后续训练用；构建模型编码器，Backbone提取预处理后的图片的特征以供Neck模块使用，Neck提取更深入的信息供解码器使用；构建模型解码器，解码器根据更深入的信息，得到初步的异物检测、区域分割及区域线检测预测结果；构建总损失函数进行反向传播训练模型以得到模型具体参数，得到更准确的异物检测、区域分割及区域线检测预测结果，将得到的区域分割预测结果和区域线检测预测结果来调整异物检测的预测结果。该方法可检测异物的类型和位置，便于工作人员及时解决安全隐患。于工作人员及时解决安全隐患。于工作人员及时解决安全隐患。


技术研发人员：陈正贵 汪良 毛良 黄德东 刘伟铭 刘一霄
受保护的技术使用者：华南理工大学
技术研发日：2022.09.30
技术公布日：2023/2/3