一种面向地铁作业出清场景的移动端工器具检测方法及系统与流程

本发明涉及计算机视觉与人工智能，尤其涉及一种面向地铁作业出清场景的移动端工器具检测方法及系统。

背景技术：

1、随着城市轨道交通建设规模的不断扩大，地铁线路的日常检修、设备维护及施工作业日益频繁，施工作业结束后的工器具出清已成为保障轨道交通安全运行的重要环节。目前，现场工器具清点方式正逐步由人工核对向智能视觉检测方向发展，利用移动终端采集现场图像，并结合目标检测算法对螺丝刀、扳手、钳子、安全帽等工器具进行自动识别和定位，能够实现工器具类别识别及位置标注，从而满足移动化、智能化现场巡检与作业出清的应用需求。

2、现有的移动端工器具检测大都采用单次目标检测流程，由于缺少针对复杂工业场景的数据构建及检测流程设计，从而造成复杂工业场景下检测准确性不足的问题。

技术实现思路

1、为了弥补以上不足，本发明提供了一种面向地铁作业出清场景的移动端工器具检测方法及系统，旨在改善现有的移动端工器具检测大都采用单次目标检测流程，容易造成复杂工业场景下检测准确性不足的问题。

2、第一方面，本发明提供了如下技术方案，一种面向地铁作业出清场景的移动端工器具检测方法，包括以下步骤：

3、s1、对工器具图像进行轮廓掩码标注，提取工器具轮廓并与背景分离，将分离后的工器具轮廓经随机缩放、旋转及多实例随机堆叠后贴合至高光瓷砖和网格线背景中，生成含相互遮挡样本的增强训练数据集；

4、s2、利用s1生成的增强训练数据集训练目标检测网络，并根据工器具轮廓的几何特征调整联合损失函数中边界框回归损失项的权重；

5、s3、对待检测图像执行包括全局光照处理和局部光照处理的光影抗扰动处理，得到增强图像；

6、s4、将s3得到的增强图像输入经s2训练的目标检测网络进行初检，根据候选检测区域的尺度信息判定是否执行动态分辨率补偿，对执行动态分辨率补偿的候选检测区域进行局部裁剪、分辨率重采样及再次检测，以再次检测结果作为对应候选检测区域的最终检测结果，对未执行动态分辨率补偿的候选检测区域以初检结果作为对应候选检测区域的最终检测结果；

7、s5、对s4得到的最终检测结果执行空间聚类处理，合并属于同一聚类的候选检测区域，输出包括工器具类别标签和位置坐标的工器具检测结果。

8、采用上述技术方案，通过构建包含数据增强、光影抗扰动处理、动态分辨率补偿以及空间聚类处理的工器具检测流程，进而实现训练阶段与检测阶段的协同处理，从而改善了现有的移动端工器具检测大都采用单次目标检测流程，由于缺少针对复杂工业场景的数据构建及检测流程设计，从而造成复杂工业场景下检测准确性不足的问题。

9、进一步地，在s1中，所述提取工器具轮廓并与背景分离的步骤包括：

10、根据轮廓掩码标注结果生成对应工器具的二值掩码；

11、根据工器具的二值掩码确定工器具对应的图像区域；

12、根据工器具的二值掩码提取工器具对应的前景像素，并去除图像区域中的背景像素，得到工器具轮廓图像；

13、记录工器具轮廓图像对应的类别标签和轮廓坐标，生成工器具轮廓数据。

14、进一步地，在s1中，所述将分离后的工器具轮廓经随机缩放、旋转及多实例随机堆叠后贴合至高光瓷砖和网格线背景中的步骤包括：

15、对工器具轮廓数据中的工器具轮廓图像执行随机缩放和随机旋转，生成变换后的工器具轮廓图像；

16、获取高光瓷砖和网格线背景图像，并将多个变换后的工器具轮廓图像按照随机位置贴合至高光瓷砖和网格线背景图像，并在贴合过程中控制工器具轮廓图像之间的交叠关系，生成含相互遮挡的组合图像；

17、根据含相互遮挡的组合图像生成增强训练数据集。

18、进一步地，在s2中，所述根据工器具轮廓的几何特征调整联合损失函数中边界框回归损失项的权重的步骤包括：

19、根据工器具轮廓确定工器具轮廓对应的最小外接矩形，并根据最小外接矩形计算工器具轮廓的几何特征数据；

20、根据工器具轮廓的几何特征数据中的长宽比确定边界框回归损失项对应的权重数据，其中长宽比越大的工器具轮廓对应越高的权重数据；

21、将权重数据作用于联合损失函数中的边界框回归损失项，生成加权联合损失函数；

22、根据加权联合损失函数计算目标检测网络的损失值，并根据损失值更新目标检测网络的网络参数。

23、进一步地，在s3中，所述对待检测图像执行包括全局光照处理和局部光照处理的光影抗扰动处理的步骤包括：

24、根据待检测图像计算全局亮度统计数据，并根据全局亮度统计数据对待检测图像执行全局光照处理，生成全局光照处理图像；

25、根据待检测图像划分多个局部图像区域，并分别对各局部图像区域执行局部光照处理，生成局部光照处理图像；

26、根据待检测图像的局部对比度信息对全局光照处理图像和局部光照处理图像进行加权融合，生成融合图像。

27、进一步地，在s4中，所述根据候选检测区域的尺度信息判定是否执行动态分辨率补偿的步骤包括：

28、根据初检结果提取各候选检测区域的位置坐标，并根据位置坐标计算各候选检测区域的尺度信息；

29、当候选检测区域的尺度信息满足预设条件时，判定对该候选检测区域执行动态分辨率补偿，所述预设条件包括候选检测区域的像素面积小于面积阈值或候选检测区域的长宽比大于长宽比阈值；

30、输出执行动态分辨率补偿的候选检测区域。

31、进一步地，在s4中，所述对执行动态分辨率补偿的候选检测区域进行局部裁剪、分辨率重采样及再次检测的步骤包括：

32、根据执行动态分辨率补偿的候选检测区域的位置坐标，对增强图像进行局部裁剪，生成局部图像区域；

33、对局部图像区域执行分辨率重采样，生成重采样图像；

34、将重采样图像输入目标检测网络进行再次检测，生成再次检测结果；

35、根据再次检测结果更新执行动态分辨率补偿的候选检测区域对应的检测结果。

36、进一步地，在s5中，所述对s4得到的最终检测结果执行空间聚类处理，合并属于同一聚类的候选检测区域的步骤包括：

37、根据最终检测结果提取各候选检测区域的位置坐标，并根据各候选检测区域的位置坐标计算候选检测区域之间的空间距离；

38、根据候选检测区域之间的空间距离生成候选检测区域对应的聚类结果；

39、根据聚类结果确定属于同一聚类的候选检测区域，并对属于同一聚类的候选检测区域执行合并处理，生成合并后的候选检测区域；

40、根据合并后的候选检测区域生成工器具检测结果。

41、第二方面，本发明提供一种面向地铁作业出清场景的移动端工器具检测系统，包括图像采集终端和处理器，所述处理器中运行有如下模块：

42、数据增强模块，用于对工器具图像进行轮廓掩码标注，提取工器具轮廓并与背景分离，将分离后的工器具轮廓经随机缩放、旋转及多实例随机堆叠后贴合至高光瓷砖和网格线背景中，生成含相互遮挡样本的增强训练数据集；

43、训练模块，用于接收所述数据增强模块生成的增强训练数据集，利用所述增强训练数据集训练目标检测网络，并根据工器具轮廓的几何特征调整联合损失函数中边界框回归损失项的权重，得到训练后的目标检测网络；

44、光影处理模块，用于获取所述图像采集终端采集的待检测图像，对所述待检测图像执行包括全局光照处理和局部光照处理的光影抗扰动处理，得到增强图像；

45、检测模块，用于接收所述光影处理模块输出的增强图像和所述训练模块输出的训练后的目标检测网络，将所述增强图像输入所述训练后的目标检测网络进行初检，根据候选检测区域的尺度信息判定是否执行动态分辨率补偿，对执行动态分辨率补偿的候选检测区域进行局部裁剪、分辨率重采样及再次检测，以再次检测结果作为对应候选检测区域的最终检测结果，对未执行动态分辨率补偿的候选检测区域以初检结果作为对应候选检测区域的最终检测结果；

46、空间聚类模块，用于接收所述检测模块输出的最终检测结果，对所述最终检测结果执行空间聚类处理，合并属于同一聚类的候选检测区域，输出包括工器具类别标签和位置坐标的工器具检测结果。

47、本发明具有如下有益效果：

48、1、本发明中，通过构建包含数据增强、光影抗扰动处理、动态分辨率补偿以及空间聚类处理的工器具检测流程，进而实现训练阶段与检测阶段的协同处理，从而改善了现有的移动端工器具检测大都采用单次目标检测流程，由于缺少针对复杂工业场景的数据构建及检测流程设计，从而造成复杂工业场景下检测准确性不足的问题。

49、2、本发明中，通过根据工器具轮廓的几何特征调整联合损失函数中边界框回归损失项的权重，进而使目标检测网络训练过程中采用与工器具轮廓几何特征对应的边界框回归约束，从而改善了现有的目标检测网络训练大都采用固定的边界框回归损失权重，由于不同几何形态目标采用相同的边界框回归约束，从而造成细长工器具定位偏差较大的问题3、本发明中，通过根据待检测图像分别执行全局光照处理和局部光照处理，并依据局部对比度信息进行加权融合，进而生成用于目标检测的增强图像，从而改善了现有的移动端工器具检测大都采用未经分层光照处理的图像直接进行目标检测，由于复杂工业场景中存在光照不均和局部高光区域，从而造成目标图像特征不稳定的问题。