基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法

1.本发明涉及安全监控技术领域，更具体地，涉及基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法。


背景技术：

2.目前城际铁路、高铁、轻轨等轨道交通已经普遍或开始设置站台门，然而站台门与列车之间的间隙(风险空间)常会发生一些影响安全的异物入侵事件。风险空间发生的异物入侵事件包括在站台门与列车之间的站台踏板上、防踏空胶条上和防踏空胶条与列车之间空隙上的间隙异物，站台滑动门门缝和列车门门缝所夹的异物。对于上述区域进行异物检测主要有传统的机器视觉方法和深度学习方法。传统机器视觉算法因为存在大量的超参数，在光照变化较为明显的时候，异物检测效果不稳定。而且因为传统机器视觉算法使用svm等方法进行异物分类时候，模型本身的表达能力不强，难以对异物进行分类。然而，告知工作人员异物的种类在轨道交通运营中是非常重要的。如果在轨道交通列车门和站台门两者间的缝隙遗留手机等小异物，随着列车启动带来震动，该异物极有可能会掉落到轨行区中。如果能及时发现异物是手机等电子产品，可以马上通知司机停车并携带工具将手机取出，避免列车碾压手机产生火花从而造成重大交通事故。深度学习方法借助高性能设备对标注好的数据集进行学习，相比传统的机器视觉算法，不需要对图像进行复杂的预处理而且有更强的模型表达能力，容易实现异物定位和分类并取得更高的检测精度。但是主流的深度学习方法是对图像的全部区域进行异物检测，而光照等外界干扰极易在门窗等非关键区域产生异物倒影，从而导致一定的误检。为了排除异物倒影干扰，提出了一种多任务深度学习模型完成异物检测、区域分割和区域线检测三个任务，并且借助异物存在于特定的区域而且会打断区域线的场景特性，将分割结果和异物检测任务进行融合从而排除门窗等非关键区域的干扰，进一步地提升异物检测的精度。


技术实现要素：

3.本发明为克服上述现有技术轨道交通站台门与列车间异物自动检测方法存在难以预测异物的类型、异物的位置的问题，提出基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法。
4.为解决上述技术问题，本发明采用的技术方案是：基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，包括以下步骤：
5.s1：采集多张轨道交通站台门与列车间具有异物的图片，标注出异物检测真实标签、区域分割真实标签以及区域线检测真实标签，将各真实标签供后续训练使用；
6.s2：将步骤s1采集的图片进行预处理；
7.s3：构建模型的编码器，所述编码器包括backbone模块和neck模块，所述backbone模块用于提取步骤s2预处理后的图片的特征以供neck模块使用，neck模块用于融合图片不
同阶段的特征信息以提取出更深入的信息供后续的解码器使用；
8.s4：构建模型的解码器，所述解码器分别对应异物检测、区域分割和区域线检测的任务，解码器根据步骤s3中更深入的信息，分别得到初步的异物检测预测结果、区域分割预测结果以及区域线检测预测结果；
9.s5：根据步骤s1中异物检测真实标签与步骤s4中初步的异物检测预测结果计算得到异物检测损失，根据步骤s1中区域分割真实标签与步骤s4中初步的区域分割预测结果计算得到区域分割损失，根据步骤s1中区域线检测真实标签与步骤s4中初步的区域线检测预测结果计算得到区域线检测损失，构建总损失函数以得到总损失，所述总损失为异物检测损失、区域分割损失和区域线检测损失的加权和；
10.s6：根据步骤s5计算得到的总损失进行反向传播训练模型以得到模型权重和偏置的具体值，从而在有具体权重和偏置值的模型上推断出更准确的检测头detection输出的包含异物的预测框结果、异物检测预测结果、区域分割预测结果以及区域线检测预测结果；
11.s7：根据步骤s6中得到的区域分割预测结果和区域线检测预测结果来调整异物检测的预测结果，该过程称为结果融合。
12.优选地，在所述步骤s3中，backbone模块的处理包括以下步骤：
13.s31：将步骤s2预处理后且大小为w
×h×
3的图片通过focus模块转换为大小为w
×h×
32的特征图f1；
14.s32：将特征图f1经过csp模块得到高维特征图f
11
，特征图f
11
再经过两层csp模块依次得到高维特征图f
12
、f
13
，同时在最后一层标准卷积加上convolutional block attention module，特征图f
13
经过该卷积后得到新的特征图f3以使得neck模块可以更关注异物在图片中的位置信息。
15.优选地，在所述步骤s3中，neck模块的处理包括以下步骤：
16.s33：利用yolov3-spp中的spatial pyramid pooling模块，对特征图f3使用多种池化方式提取出融合了多种感受野带来的信息的特征图f4；
17.s34：再利用featurepyramidnetworks自顶向下的将步骤s33提取到的特征图f4通过两次上采样依次和步骤s32得到的高维特征图f
12
和f
13
融合得到能够传达强语义信息的特征图f5。
18.优选地，在所述步骤s33中，多种池化方式包括1
×
1，5
×
5，9
×
9和13
×
13四种池化。
19.优选地，在所述步骤s4中，所述解码器有三个，分别对应于异物检测、区域分割和区域线检测这三个任务，其中异物检测任务包括以下步骤：
20.s41：利用path aggregation network结构得到三种大小的特征图f
x
，各特征图f
x
中包含了强语义和强定位信息；
21.s42：将三种大小的特征图f
x
输入到检测头detection中进行预测，特征图f
x
的每个网格有三种尺度大小的先验框，每种先验框会得到三个预测框；
22.s43：利用non-maximum suppression去除大量多余的预测框，剩余的预测框就是模型输出的异物检测预测结果，该异物检测预测结果包含了异物的置信度概率值、类别概率值和边框位置信息。
23.优选地，在所述步骤s4中，区域分割和区域线检测这两个任务利用相同的模型，将
特征图f5进行两次上采样得到w
×h×
2的特征图，该w
×h×
2的特征图就是区域分割预测结果和区域线检测预测结果，该特征图中的这2个通道表示每个像素是区域还是背景的概率。
24.优选地，在步骤s5中，总损失函数为：
[0025][0026]
其中，异物检测损失包括了异物分类损失异物置信度损失和异物预测框位置损失异物检测的分类损失和置信度损失使用的是交叉熵损失，预测框位置损失使用的是giou loss；步骤s1中，异物检测真实标签包括异物分类真实标签以及异物位置真实标签，步骤s4中初步的异物检测预测结果包括异物分类预测结果以及异物位置预测结果，异物分类损失由异物分类真实标签与异物分类预测结果计算得到，异物预测框位置损失由异物位置真实标签与异物位置预测结果计算得到；置信度损失由数字1减去异物位置预测结果与异物位置真实标签的交并比iou计算得来；区域分割损失和区域线检测损失也采用交叉熵损失；α1,α2,α3和β1,β2,β3是通过人工精调得到的常数，以用来平衡异物检测、区域分割和区域线检测这三个任务的重要程度。
[0027]
优选地，所述步骤s7具体包括以下步骤：
[0028]
s71：结果融合过程先根据异物通常包含在区域分割预测结果内，将步骤s6中的检测头detection输出的包含异物的预测框与区域分割任务得到的w
×h×
2的特征图进行像素交集统计，并判断统计的相交像素点数量是否超过指定阈值，如果是则执行步骤s72，如果否，则执行步骤s73；
[0029]
s72：如果统计的相交像素点数量超过指定阈值，则认为该预测框位置符合实际情况，不再进行后续的预测框异物的置信度概率值调整，跳转到步骤s76；
[0030]
s73：如果统计的相交像素点数量不够指定阈值，则再根据异物遮挡区域线这一现象，判断预测框内部的像素是否在区域线检测任务得到的w
×h×
2特征图的直线上，如果否则执行步骤s74，如果是则执行步骤s75；
[0031]
s74：如果没有一个像素在最终的剩余直线上，则降低该预测框异物的置信度概率值，跳转到步骤s76；
[0032]
s75：如果有像素在最终的剩余直线上，则该预测框异物的置信度概率值不变，跳转到步骤s76；
[0033]
s76:然后再进行nms筛选掉多余的预测框，得到融合后的异物检测预测结果。
[0034]
优选地，所述指定阈值的范围为45-50。
[0035]
优选地，步骤s2具体包括以下步骤：
[0036]
s21：将采集到的图片由rgb格式转为hsv格式，从而将图片的色调、饱和度和亮度进行数值调整，调整完之后再转为rgb格式；
[0037]
s22：对调整之后的图片随机进行旋转、缩放、平移、剪切和左右翻转，采用上述数据增强手段能够使模型的鲁棒性更强。
[0038]
与现有技术相比，本发明的有益效果是：该方法通过区域感知可以减少门窗和外界环境带来的干扰，异物检测准确率高，适合应用在轨道交通站台门与列车之间的区域感知和异物识别。此外，该方法还可以将检测结果可视化，告知异物的类型和异物的位置，从
而使轨道交通工作人员能够及时处理掉异物，解决安全隐患。而且本文使用模型同时完成异物检测、区域分割和区域线检测三个任务，可以减少推断时间，达到实时性要求，除了在模型上能够提升检测异物的准确性和减少推断时间之外，还可以利用分割区域包含异物而且异物会打断区域线这种情况，通过结果融合进一步提升检测异物的准确性。
附图说明
[0039]
图1是本发明基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法的流程图；
[0040]
图2是异物在轨道交通站台门与列车间可能存在的三个区域展示图；
[0041]
图3是分割区域包含有异物的展示图；
[0042]
图4是异物打断区域线的展示图；
[0043]
图5是正常光照下的异物检测、区域分割和区域线检测结果展示图；
[0044]
图6是灯光干扰下的异物检测，区域分割和区域线检测结果展示图；
[0045]
图7是本发明多任务模型的架构图；
[0046]
图8是区域线检测任务得到的w
×h×
2特征图；
[0047]
图9是canny边缘检测结果；
[0048]
图10是大阈值的霍夫线变换找到的直线；
[0049]
图11是小阈值的霍夫线变换找到的直线；
[0050]
图12是筛选之后剩余的直线；
[0051]
图13是在多任务模型上的融合过程结构图。
具体实施方式
[0052]
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
[0053]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0054]
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：
[0055]
实施例1
[0056]
如图1所示，基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，包括以下步骤：
[0057]
s1：采集多张轨道交通站台门与列车间具有异物的图片，标注出异物检测真实标签、区域分割真实标签以及区域线检测真实标签，将各真实标签供后续训练使用；
[0058]
s2：将步骤s1采集的图片进行预处理；
[0059]
s3：构建模型的编码器，所述编码器包括backbone模块和neck模块，所述backbone模块用于提取步骤s2预处理后的图片的特征以供neck模块使用，neck模块用于融合图片不同阶段的特征信息以提取出更深入的信息供后续的解码器使用；
[0060]
s4：构建模型的解码器，所述解码器分别对应异物检测、区域分割和区域线检测的任务，解码器根据步骤s3中更深入的信息，分别得到初步的异物检测预测结果、区域分割预测结果以及区域线检测预测结果；
[0061]
s5：根据步骤s1中异物检测真实标签与步骤s4中初步的异物检测预测结果计算得到异物检测损失，根据步骤s1中区域分割真实标签与步骤s4中初步的区域分割预测结果计算得到区域分割损失，根据步骤s1中区域线检测真实标签与步骤s4中初步的区域线检测预测结果计算得到区域线检测损失，构建总损失函数以得到总损失，所述总损失为异物检测损失、区域分割损失和区域线检测损失的加权和；
[0062]
s6：根据步骤s5计算得到的总损失进行反向传播训练模型以得到模型权重和偏置的具体值，从而在有具体权重和偏置值的模型上推断出更准确的检测头detection输出的包含异物的预测框结果、异物检测预测结果、区域分割预测结果以及区域线检测预测结果；
[0063]
s7：根据步骤s6中得到的区域分割预测结果和区域线检测预测结果来调整异物检测的预测结果，该过程称为结果融合。
[0064]
需要说明的是，在步骤s1中，人工标注各图片中的异物在图片中的位置和异物种类以得到异物检测真实标签，标注出异物区域和区域线的二值图像以得到区域分割真实标签以及区域线检测真实标签，并把这些真实标签作为后续训练使用。此外，还需要说明的是，如图2所示，轨道交通站台门与列车间异物的区域划分为3个，屏蔽门区域(platformdoor)、间隙(gap)以及列车门(traindoor)，这三个区域表示异物可能存在的区域。如图3所示，在间隙区域内存在有异物，如图4所示，该异物打断了间隙区域靠近屏蔽门区域一侧的区域线。
[0065]
另外，在所述步骤s3中，backbone模块的处理包括以下步骤：
[0066]
s31：将步骤s2预处理后且大小为w
×h×
3的图片通过focus模块转换为大小为w
×h×
32的特征图f1；
[0067]
s32：将特征图f1经过csp模块得到高维特征图f
11
，特征图f
11
再经过两层csp模块依次得到高维特征图f
12
、f
13
，同时在最后一层标准卷积加上convolutional block attention module(cbam)，特征图f
13
经过该卷积后得到新的特征图f3以使得neck模块可以更关注异物在图片中的位置信息。在本实施例中，采用csp模块的原因在于其将输入的特征映射划分为两部分特征，然后通过跨阶段层次结构将这两部分特征合并，在减少了计算量的同时可以保证准确率，csp模块具体结构如图7右下角的模块所示。cbam模块可以加强通道和空间信息的融合，使得网络可以更关注异物在图片中的位置信息。
[0068]
其中，在所述步骤s3中，neck模块的处理包括以下步骤：
[0069]
s33：利用yolov3-spp中的spatial pyramid pooling模块，对特征图f3使用多种池化方式提取出融合了多种感受野带来的信息的特征图f4；
[0070]
s34：再利用featurepyramidnetworks自顶向下的将步骤s33提取到的特征图f4通过两次上采样依次和步骤s32得到的高维特征图f
12
和f
13
融合得到能够传达强语义信息的特征图f5。
[0071]
另外，在所述步骤s33中，多种池化方式包括1
×
1，5
×
5，9
×
9和13
×
13四种池化。
[0072]
其中，在所述步骤s4中，所述解码器有三个，分别对应于异物检测、区域分割和区域线检测这三个任务，其中异物检测任务包括以下步骤：
[0073]
s41：利用path aggregation network结构得到三种大小的特征图f
x
，各特征图f
x
中包含了强语义和强定位信息；
[0074]
s42：将三种大小的特征图f
x
输入到检测头detection中进行预测，特征图f
x
的每个网格有三种尺度大小的先验框，每种先验框会得到三个预测框；
[0075]
s43：利用non-maximum suppression去除大量多余的预测框，剩余的预测框就是模型输出的异物检测预测结果，该异物检测预测结果包含了异物的置信度概率值、类别概率值和边框位置信息。
[0076]
另外，在所述步骤s4中，区域分割和区域线检测这两个任务利用相同的模型，将特征图f5进行两次上采样得到w
×h×
2的特征图，该w
×h×
2的特征图就是区域分割预测结果和区域线检测预测结果，该特征图中的这2个通道表示每个像素是区域还是背景的概率。多任务间信息共享提高分割的准确性，仅采用两次上采样使得模型的复杂度更低，速度更快。
[0077]
其中，总损失函数为：
[0078][0079]
其中，异物检测损失包括了异物分类损失异物置信度损失和异物预测框位置损失异物检测的分类损失和置信度损失使用的是交叉熵损失，预测框位置损失使用的是giou loss；步骤s1中，异物检测真实标签包括异物分类真实标签以及异物位置真实标签，步骤s4中初步的异物检测预测结果包括异物分类预测结果以及异物位置预测结果，异物分类损失由异物分类真实标签与异物分类预测结果计算得到，异物预测框位置损失由异物位置真实标签与异物位置预测结果计算得到；置信度损失由数字1减去异物位置预测结果与异物位置真实标签的交并比iou计算得来；区域分割损失和区域线检测损失也采用交叉熵损失；α1,α2,α3和β1,β2,β3是通过人工精调得到的常数，以用来平衡异物检测、区域分割和区域线检测这三个任务的重要程度。
[0080]
另外，步骤s7具体包括以下步骤：
[0081]
s71：结果融合过程先根据异物通常包含在区域分割预测结果内，将步骤s6中的检测头detection输出的包含异物的预测框与区域分割任务得到的w
×h×
2的特征图进行像素交集统计，并判断统计的相交像素点数量是否超过指定阈值，如果是则执行步骤s72，如果否，则执行步骤s73；
[0082]
s72：如果统计的相交像素点数量超过指定阈值，则认为该预测框位置符合实际情况，不再进行后续的预测框异物的置信度概率值调整，跳转到步骤s76；
[0083]
s73：如果统计的相交像素点数量不够指定阈值，则再根据异物遮挡区域线这一现象，判断预测框内部的像素是否在区域线检测任务得到的w
×h×
2特征图的直线上，如果否则执行步骤s74，如果是则执行步骤s75；
[0084]
s74：如果没有一个像素在最终的剩余直线上，则降低该预测框异物的置信度概率值，跳转到步骤s76；
[0085]
s75：如果有像素在最终的剩余直线上，则该预测框异物的置信度概率值不变，跳转到步骤s76；
[0086]
s76:然后再进行nms筛选掉多余的预测框，得到融合后的异物检测预测结果。
[0087]
在本实施例中，如果统计的数量不够指定阈值，则再根据异物遮挡区域线这一现象，判断预测框内部的像素是否在区域线检测任务得到的w
×h×
2特征图的直线上，该特征图如图8所示。先将区域线检测任务得到的w
×h×
2特征图进行canny边缘检测，找到特征图中的边缘，结果如下图9所示。然后再使用霍夫线变换找到特征图中的直线，由于霍夫线变化需要一个阈值threshold来确定多长的边缘会被认定为直线，threshold较小会导致找到的直线过多，太大会导致缺失重要直线。根据区域线的特性，阈值过小会导致水平线过多，如图10所示，阈值过大会导致两个门缝线缺失，如图11所示。所以需要结合两组阈值的霍夫线变换结果，即保留大阈值时霍夫线变换找到的所有直线，删掉小阈值时出现的大量接近水平直线，保留小阈值找到的倾斜直线，得到较为合理的直线。最后再删除直线斜率相似，直线中心点的距离相差小于8个像素的直线，得到最终的剩余直线示例如下图12所示。最后遍历预测框内部的像素，寻找是否有像素在最终的剩余直线上。如果没有一个像素在最终的剩余直线上，则降低该预测框异物的置信度概率值。如果有像素在最终的剩余直线上，则该预测框异物的置信度概率值不变。对调整完置信度后的所有预测框使用nms算法进行筛选得到融合后的异物检测结果，步骤s7的整个融合过程如图13所示。
[0088]
其中，指定阈值的范围为45-50。
[0089]
实施例2
[0090]
与实施例1不同之处在于，步骤s2具体包括以下步骤：
[0091]
s21：将采集到的图片由rgb格式转为hsv格式，从而将图片的色调、饱和度和亮度进行数值调整，调整完之后再转为rgb格式；
[0092]
s22：对调整之后的图片随机进行旋转、缩放、平移、剪切和左右翻转，采用上述数据增强手段能够使模型的鲁棒性更强。需要说明的是，输入模型之前需要将所有图片的分辨率由640*480统一改为640*640，方便模型训练。
[0093]
实施例3
[0094]
与实施1、2不同之处，本实施例还设置有实验结果分析，本实施例的方法为多任务模型以及结果融合后的多任务模型，本实施例的模型在异物检测这一任务的基础上，再增加了区域分割和区域线检测任务。异物检测结果如表1所示，异物检测任务的map@0.5比yolov4高3.7％。fps低于yolov4的原因在于我们模型同时完成的是三个任务，另外两个任务不仅可以帮助提升异物检测准确性，还可以告知异物的位置，让轨道交通工作人员能更妥善快速地处理异物。区域分割和区域线检测的结果分别见表2和表3。虽然我们在区域分割和区域线检测任务上仅仅使用两次上采样，但是效果和速度都表现十分优异。一般认为如果fps超过30，模型就可以满足实时性要求，所以我们的模型满足实时性要求。目标检测、区域分割和区域线检测这三个任务的实际效果如图5和图6所示。可以看出即使有些图像有光照干扰，我们这三个任务的实际表现也非常出色。需要说明的是，如图5、图6可以看出，应用该方法的异物检测、区域分割和区域线检测结果是非常准确的。
[0095][0096]
表1异物检测结果
[0097][0098]
表2区域分割结果
[0099][0100]
表3区域线检测结果
[0101]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。