一种基于多维度特征的障碍物占道检测的方法与终端与流程

1.本发明涉及图像处理技术领域，特别涉及一种基于多维度特征的障碍物占道检测的方法与终端。


背景技术：

2.随着视觉人工智能算法技术的发展和智慧社区的不断落地，越来越多的智能检测技术应用到智慧社区各个应用场景。而大型物流仓库的货物运送通道属于仓库的极为重要的纽带，当有货物从物流架或从运输的叉车上滑落下来，或因员工不规范操作把其他类型的障碍物(拖把、垃圾桶、废弃纸箱等)遗落在正常通道上，没有及时处理，阻塞正常的运输通道。后续其他运送货物的叉车司机达到该位置后，需要下车清理通道的障碍物，才可以继续运送货物，导致货物运输效率降低。若后续的叉车司机没有注意到障碍物，情节严重的可能导致叉车与障碍物碰撞，直接导致货物损伤和人员人身安全，甚至导致叉车撞到货架，引发更大事故。一旦发生险情，这必将是重大安全隐患。
3.而现有图像目标检测或识别技术的研究的目标主要集中在行人、车辆等固定类别目标的检测，在深度学习领域，对于不确定类别的障碍物检测的研究较少。对于不确定类别的障碍物的目标可能有几千几万种，很难用现有深度学习技术来解决不确定类别的障碍物检测。
4.而在物流仓库货物运输活动过程的安全管理中，单靠使用仓库管理员来排查仓库走廊是否通畅，效率低下且持续人力成本投入较高。


技术实现要素：

5.本发明所要解决的技术问题是：提供一种基于多维度特征的障碍物占道检测的方法，能够有效地实现障碍物的占道检测。
6.为了解决上述技术问题，本发明采用的技术方案为：
7.一种基于多维度特征的障碍物占道检测的方法，包括步骤：
8.s1、获取某一位置的待检图像，计算所述待检图像以及对应位置无障碍物情况下的背景图像的灰度图相似度；
9.s2、生成所述待检图像和所述背景图像的二值化图，并计算二值化图相似度，并获取差异部分的白色像素点个数以及最大面积轮廓的面积占比；
10.s3、根据所述灰度图相似度、所述二值化图相似度、所述白色像素点个数以及所述面积占比进行阈值比较和权重计算，生成检测结果。
11.为了解决上述技术问题，本发明采用的另一种技术方案为：
12.一种基于多维度特征的障碍物占道检测的终端，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上一种基于多维度特征的障碍物占道检测的方法中的步骤。
13.本发明的有益效果在于：本发明基于待检图像和无障碍情况下的背景图像，融合
了对应的灰度图特征、二值化图特征、形态学轮廓面积及白色像素点个数四个纬度进行考量，加权计算四个维度特征的综合得分，根据得分给出最终判断结果，从而能够根据图像简便有效地识别出是否存在障碍物，具有抗干扰能力强，准确率高的优点。
附图说明
14.图1为本发明实施例的一种基于多维度特征的障碍物占道检测的方法的流程图；
15.图2为本发明实施例的一种基于多维度特征的障碍物占道检测的终端的结构图；
16.图3为本发明实施例的一种基于多维度特征的障碍物占道检测的方法的待检图像和背景图像的灰度图；
17.图4为本发明实施例的一种基于多维度特征的障碍物占道检测的方法的待检图像和背景图像的二值化图；
18.图5为本发明实施例的一种基于多维度特征的障碍物占道检测的方法的待检图像和背景图像的差异特征图；
19.图6为本发明实施例的一种基于多维度特征的障碍物占道检测的方法的待检图像和背景图像的障碍物示意图；
20.图7为本发明实施例的一种基于多维度特征的障碍物占道检测的方法的工作流程示意图；
21.标号说明：
22.1、一种基于多维度特征的障碍物占道检测的终端；2、处理器；3、存储器。
具体实施方式
23.为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
24.请参照图1以及图2，一种基于多维度特征的障碍物占道检测的方法，包括步骤：
25.s1、获取某一位置的待检图像，计算所述待检图像以及对应位置无障碍物情况下的背景图像的灰度图相似度；
26.s2、生成所述待检图像和所述背景图像的二值化图，并计算二值化图相似度，并获取差异部分的白色像素点个数以及最大面积轮廓的面积占比；
27.s3、根据所述灰度图相似度、所述二值化图相似度、所述白色像素点个数以及所述面积占比进行阈值比较和权重计算，生成检测结果。
28.从上述描述可知，本发明的有益效果在于：本发明基于待检图像和无障碍情况下的背景图像，融合了对应的灰度图特征、二值化图特征、形态学轮廓面积及白色像素点个数四个纬度进行考量，加权计算四个维度特征的综合得分，根据得分给出最终判断结果，从而能够根据图像简便有效地识别出是否存在障碍物，具有抗干扰能力强，准确率高的优点。
29.进一步地，所述步骤s3具体包括步骤：
30.s31、判断所述灰度图相似度是否小于预设的第一阈值，若是则灰度图相似度得分为1，否则灰度图相似度得分为0；
31.s32、判断所述二值化图相似度是否小于预设的第二阈值，若是则二值图相似度得分为1，否则二值图相似度得分为0；
32.s33、判断所述白色像素点个数是否大于预设的第三阈值，若是则白色像素点个数得分为1，否则白色像素点个数得分为0；
33.s34、判断所述面积占比是否大于预设的第四阈值，若是则面积占比得分为1，否则面积占比得分为0；
34.s35、计算所述灰度图相似度得分、所述二值图相似度得分、所述白色像素点个数得分和所述面积占比得分对应预设权重的加权总和，若所述加权总和大于预设的第五阈值，则检测结果为存在障碍物，否则检测结果为不存在障碍物。
35.由上述描述可知，灰度图和二值化图的相似度越低，则存在障碍物的可能越高，差异部分的最大轮廓占比越高，则存在障碍物的可能越高，差异部分的白色像素点越多，则存在障碍物的可能性越高，综合这四个方向进行综合考虑，来判断是否存在障碍物。
36.进一步地，步骤s2中所述获取差异部分的白色像素点个数以及最大面积轮廓的面积占比具体为：
37.将所述待检图像的二值化图和所述背景图像的二值化图进行相减，得到二者的差异特征图；
38.通过轮廓找寻方法获取到所述差异特征图中的最大面积轮廓，计算所述最大面积轮廓在所述差异特征图中的面积占比，并获取所述最大面积轮廓内的白色像素点个数。
39.由上述描述可知，通过二值图比较，从而更清晰地确定差异部分，从而得到差异部分，获取差异部分中最大轮廓的面积占比和白色像素点个数，作为参数结合权重来用于障碍物识别结果的确定。
40.进一步地，所述步骤s3之后还包括步骤：
41.s4、若所述检测结果为存在障碍物，则累计所述障碍物的存在时间，当所述存在时间大于预设的时间阈值时，生成障碍物占道预警消息。
42.由上述描述可知，根据障碍物的占道时长来判断是否需要进行预警，对于临时经过或临时存放时间小于预设时长即搬离的障碍物，可以不需要进行预警，仅对于持续占道超过预设时长的障碍物则进行预警，以使相关人员督促搬离。
43.进一步地，所述步骤s1具体包括步骤：
44.s11、获取某一位置的待检图像，并获取对应位置无障碍物情况下的背景图像，对所述待检图像和所述背景图像进行灰度处理，得到待检灰度图和背景灰度图；
45.s12、根据ssim相似度公式计算所述待检灰度图和所述背景灰度图的灰度图相似度。
46.由上述描述可知，对原始图像进行灰度处理，得到待检灰度图和背景灰度图，具体地采用ssim相似度公式计算二者间的灰度图相似度。
47.进一步地，所述步骤s2中所述生成所述待检图像和所述背景图像的二值化图，并计算二值化图相似度具体为：
48.分别对所述待检灰度图和所述背景灰度图进行高斯滤波处理，并通过sobel算子提取两个图像中物体边缘信息，得到待检边缘特征图和背景边缘特征图；
49.对所述待检边缘特征图和所述背景边缘特征图进行包括形态学的腐蚀、膨胀、开操作或闭操作算法的处理，并进行二值化处理，得到待检二值化图和背景二值化图；
50.根据ssim相似度公式计算所述待检二值化图和所述背景二值化图的二值化图相
似度。
51.由上述描述可知，本发明通过高斯滤波对图像进行处理，消除小噪声，特别是通道地面因光照在不同时刻导致凹凸不平小噪点不同的干扰，并通过sobel分别提取待识别图像和原始图像中障碍物边缘主要特征；通过图像形态学腐蚀、膨胀、开闭算法消除图像中反光污染噪声，有利于后续障碍物轮廓准确检测。特别是在不同场景受到的微小障碍物，天气光照角度变化，光照程度影响。该方法减少不必要的的背景干扰，能有效地进行去噪处理，准确捕捉障碍物本身，进而提高了通道中障碍物检测的准确率。
52.进一步地，其特征在于，所述第一阈值为0.7，所述第二阈值为0.6，所述第三阈值为0.2，所述第四阈值为200。
53.由上述描述可知，优选地，第一阈值为0.7，第二阈值为0.6，第三阈值为0.2，第四阈值为200，能够更好地提高障碍物识别的准确率。
54.进一步地，所述预设权重包括第一权重score_gray_weight＝0.25、第二权重score_bin_weight＝0.25、第三权重score_area_weight＝0.3和第四权重score_n_weight＝0.2；
55.所述计算所述灰度图相似度得分、所述二值图相似度得分、所述白色像素点个数得分和所述面积占比得分对应预设权重的加权总和具体为：
56.score_end＝score_gray*score_gray_weight score_bin*score_bin_weight score_area*score_area_weight score_n*score_n_weight
57.＝score_gray*0.25 score_bin*0.25 score_area*0.3 score_n*0.2；
58.其中，所述score_end表示加权总和，score_gray表示灰度图相似度得分，score_bin表示二值图相似度得分，score_area表示面积占比得分，所述score_n表示白色像素点个数得分。
59.由上述描述可知，优选地，第一权重score_gray_weight＝0.25、第二权重score_bin_weight＝0.25、第三权重score_area_weight＝0.3且第四权重score_n_weight＝0.2，能够更好地提高障碍物识别的准确率。
60.请参照图2，一种基于多维度特征的障碍物占道检测的终端，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上一种基于多维度特征的障碍物占道检测的方法中的步骤。
61.本发明的一种基于多维度特征的障碍物占道检测的方法与终端，适用于需要对特定位置进行障碍物占道管控，避免障碍物占道影响通行的场景，如消防通道以及关键的进出通道等。
62.请参照图1、图3至图7，本发明的实施例一为：
63.一种基于多维度特征的障碍物占道检测的方法，包括步骤：
64.s1、获取某一位置的待检图像，计算所述待检图像以及对应位置无障碍物情况下的背景图像的灰度图相似度；
65.所述步骤s1具体包括步骤：
66.s11、获取某一位置的待检图像，并获取对应位置无障碍物情况下的背景图像，对所述待检图像和所述背景图像进行灰度处理，得到待检灰度图和背景灰度图；
67.s12、根据ssim相似度公式计算所述待检灰度图和所述背景灰度图的灰度图相似
度。
68.本实施例中，输入摄像头采集的待检测图像，得到检测区域图像数据，即待检图像x，并获取无干扰背景底图检测区域数据，即背景图像y，利用ssim计算数据x和数据y的灰度图像结构相似度ssim_gray。如图1图3所示，保证通道区域内没有障碍物前提下，在视频帧的界面中设置检测区域，同时保存背景图像。在检测环节中，切割出设置的区域内的局部图像。分别对背景图像和待检图像进行灰度化，利用ssim相似度公式计算背景图像和待检图像的灰度图相似度ssim_gray。
69.s2、生成所述待检图像和所述背景图像的二值化图，并计算二值化图相似度，并获取差异部分的白色像素点个数以及最大面积轮廓的面积占比；
70.所述步骤s2中所述生成所述待检图像和所述背景图像的二值化图，并计算二值化图相似度具体为：
71.分别对所述待检灰度图和所述背景灰度图进行高斯滤波处理，并通过sobel算子提取两个图像中物体边缘信息，得到待检边缘特征图和背景边缘特征图；
72.对所述待检边缘特征图和所述背景边缘特征图进行包括形态学的腐蚀、膨胀、开操作或闭操作算法的处理，并进行二值化处理，得到待检二值化图和背景二值化图；
73.根据ssim相似度公式计算所述待检二值化图和所述背景二值化图的二值化图相似度。
74.本实施例中，如图4所示，采用高斯滤波器对背景图像和待检图像的灰度图进行平滑滤波处理，消除外界的小型干扰噪点，除去质量低的角点，得到图片有效的物体特征，即采用滤波算法抹去待检图像及背景图像的灰度图中的细小纹理，保留大而鲜明的纹理；通过sobel算子获取图片中物体的边缘特征；通过形态学腐蚀、膨胀、开闭算法消除图像中光照引起的噪声污染，得到图片中物体的外部轮廓特征；通过二值化突出待识别图像与底图中物体的整体形态特征；通过利用ssim相似度公式计算背景二值化图和待检二值化图的相似度ssim_bin。
75.步骤s2中所述获取差异部分的白色像素点个数以及最大面积轮廓的面积占比具体为：
76.将所述待检图像的二值化图和所述背景图像的二值化图进行相减，得到二者的差异特征图；
77.通过轮廓找寻方法获取到所述差异特征图中的最大面积轮廓，计算所述最大面积轮廓在所述差异特征图中的面积占比，并获取所述最大面积轮廓内的白色像素点个数。
78.本实施例中，如图5所示，通过待检二值化图与背景二值化图相减操作得到两者的差异特征图，突出待识别差异图像的物体轮廓，利用找寻轮廓方法得到待识别图像中最大面积的障碍物轮廓中最大面积的轮廓，及该轮廓内对应的高亮点个数n。图5中框处的即为检测出来的最大障碍物。
79.如图6所示，通过图5已定位到障碍物的位置，得到对应待检图像中障碍物的位置。
80.s3、根据所述灰度图相似度、所述二值化图相似度、所述白色像素点个数以及所述面积占比进行阈值比较和权重计算，生成检测结果；
81.所述步骤s3具体包括步骤：
82.s31、判断所述灰度图相似度是否小于预设的第一阈值，若是则灰度图相似度得分
为1，否则灰度图相似度得分为0；
83.s32、判断所述二值化图相似度是否小于预设的第二阈值，若是则二值图相似度得分为1，否则二值图相似度得分为0；
84.s33、判断所述白色像素点个数是否大于预设的第三阈值，若是则白色像素点个数得分为1，否则白色像素点个数得分为0；
85.s34、判断所述面积占比是否大于预设的第四阈值，若是则面积占比得分为1，否则面积占比得分为0；
86.s35、计算所述灰度图相似度得分、所述二值图相似度得分、所述白色像素点个数得分和所述面积占比得分对应预设权重的加权总和，若所述加权总和大于预设的第五阈值，则检测结果为存在障碍物，否则检测结果为不存在障碍物。
87.本实施例中，初始化设定障碍物持续占道阈值累计时间t_threshold，若灰度图相似度ssim_gray《ssim_gary_threhold，灰度图相似度得分score_gray＝1，反之score_gray＝0；若二值化图相似度ssim_bin《ssim_bin_threhold，二值化图相似度得分score_bin＝1，反之score_bin＝0；若面积占比area_ratio》area_ratio_threhold，面积占比得分score_area＝1，反之score_area＝0；若白色像素点个数n》n_threhold，白色像素点个数得分score_n＝1，反之score_n＝0，计算最后得分：
88.score_end＝score_gray*score_gray_weight score_bin*score_bin_weight score_area*score_area_weight score_n*score_n_weight；
89.若score_end》0.6，则判断消防通道内有障碍物占道，反之判断消防通道内无障碍物。
90.本实施例中，第一阈值ssim_gary_threhold为0.7，第二阈值ssim_bin_threhold为0.6，第三阈值area_ratio_threhold为0.2，第四阈值n_threhold为200，第一权重score_gray_weight＝0.25、第二权重score_bin_weight＝0.25、第三权重score_area_weight＝0.3和第四权重score_n_weight＝0.2。本实施例仅提供一种阈值和权重的较优选择，在其他等同实施例中，上述权重与阈值可以根据实际需求设置。
91.所述步骤s3之后还包括步骤：
92.s4、若所述检测结果为存在障碍物，则累计所述障碍物的存在时间，当所述存在时间大于预设的时间阈值时，生成障碍物占道预警消息。
93.本实施例中，若上述的障碍物识别结果为存在障碍物，则开始累计障碍物存在时间，当存在时间大于预设的时间阈值t_threshold，则发送障碍物占道预警消息给系统。
94.本实施例中，时间阈值t_threshold的取值为3分钟，在其他等同实施例中，时间阈值也可以根据实际情况具体设置。
95.请参照图2，本发明的实施例二为：
96.一种基于多维度特征的障碍物占道检测的终端1，包括处理器2、存储器3以及存储在所述存储器3中并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现以上一种基于多维度特征的障碍物占道检测的方法中的步骤。
97.本发明的一种基于多维度特征的障碍物占道检测的方法与终端，其主要原理在于，将待检图像和无障碍下的背景图像进行多维度比较，在灰度图特征、二值化图特征、形态学轮廓面积及白色像素点个数四个纬度进行考量以判断是否存在障碍物。
98.综上所述，本发明提供的一种基于多维度特征的障碍物占道检测的方法与终端，基于待检图像和无障碍情况下的背景图像，融合了对应的灰度图特征、二值化图特征、形态学轮廓面积及白色像素点个数四个纬度进行考量，加权计算四个维度特征的综合得分，根据得分给出最终判断结果，从而能够根据图像简便有效地识别出是否存在障碍物，具有抗干扰能力强，准确率高的优点。
99.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。