基于显著性检测的路面障碍物识别方法和系统与流程

1.本发明涉及目标检测技术领域，尤其涉及一种基于显著性检测的路面障碍物识别方法和系统。


背景技术：

2.近年来，目标检测因其广泛的应用和近年来的技术突破而受到越来越多的关注。这项任务在学术界和现实世界的应用中都得到了广泛的研究，如监控安全、自动驾驶、交通监控、无人机场景分析和机器人视觉等。
3.在导致目标检测技术快速发展的诸多因素和努力中，值得注意的贡献应该归因于深度卷积神经网络和gpu计算能力的发展。目前，深度学习模型已广泛应用于计算机视觉的整个领域，包括通用目标检测和特定领域目标检测。大多数最先进的物体检测器利用深度学习网络作为其骨干和检测网络，分别从输入图像(或视频)中提取特征，进行分类和定位。
4.然而，针对自动驾驶或辅助驾驶场景而言，障碍物目标的检测存在着目标(即障碍物)种类多样、形状差异大、相似性特征提取效率低等困难，导致现有的障碍物检测/识别方法存在着误检率较高、类别不均衡对检测结果的影响较大的问题。
5.因此，如何提供一种准确率更高的障碍物识别方法成为了业内亟需解决的技术问题。


技术实现要素：

6.本发明提供一种基于显著性检测的路面障碍物识别方法和系统，用以解决现有技术中误检率较高、类别不均衡对检测结果的影响较大的缺陷，实现准确率更高的障碍物识别。
7.本发明提供一种基于显著性检测的路面障碍物识别方法，包括：
8.获取道路图像，并将所述道路图像输入障碍物识别网络的特征提取层，得到特征提取结果；
9.将所述特征提取结果输入障碍物识别网络的解码器层，并分别通过所述解码器层的第一分支、第二分支、第三分支得到障碍物边界结果、障碍物区域结果、障碍物位置结果；
10.根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果；
11.根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果，并根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果；
12.所述障碍物识别网络是基于样本和标签训练得到的。
13.根据本发明提供的一种基于显著性检测的路面障碍物识别方法，所述障碍物边界结果包括所述道路图像中任一像素为障碍物边界像素的概率结果；所述障碍物区域结果包括所述道路图像中任一像素为障碍物所在区域像素的概率结果；所述障碍物位置结果包括所述道路图像中任一像素为障碍物中心像素的概率结果。
14.根据本发明提供的一种基于显著性检测的路面障碍物识别方法，所述根据所述障
碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果的步骤包括：
15.根据所述障碍物边界结果中，像素为障碍物边界像素的概率结果，二值化所述道路图像得到第一二值图；
16.根据所述障碍物区域结果中，像素为障碍物所在区域像素的概率结果，二值化所述道路图像得到第二二值图；
17.根据第一二值图修正第二二值图，得到二值化的障碍物显著性结果。
18.根据本发明提供的一种基于显著性检测的路面障碍物识别方法，所述障碍物识别网络的解码器层还包括第四分支；所述第四分支能够根据所述特征提取结果得到障碍物宽高结果；
19.所述根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果的步骤包括：
20.根据所述障碍物显著性结果、修正后的障碍物位置结果以及障碍物宽高结果得到障碍物识别结果。
21.根据本发明提供的一种基于显著性检测的路面障碍物识别方法，所述样本包括道路图像正样本和道路图像负样本；所述标签包括：
22.所述样本中标识障碍物所在区域内像素的二值图；
23.所述样本中标识障碍物边界像素的二值图；
24.所述样本中标识障碍物中心点像素的概率图；以及
25.所述样本中障碍物的宽高。
26.根据本发明提供的一种基于显著性检测的路面障碍物识别方法，所述障碍物识别网络的训练损失函数包括：
27.用于量化所述第一分支结果的交叉熵函数项；和
28.用于量化所述第二分支结果的距离相似度函数项。
29.本发明还提供一种基于显著性检测的路面障碍物识别系统，包括：
30.特征提取模块，用于获取道路图像，并将所述道路图像输入障碍物识别网络的特征提取层，得到特征提取结果；
31.解码器模块，用于将所述特征提取结果输入障碍物识别网络的解码器层，并分别通过所述解码器层的第一分支、第二分支、第三分支得到障碍物边界结果、障碍物区域结果、障碍物位置结果；
32.显著性模块，用于根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果；
33.识别模块，用于根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果，并根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果；
34.所述障碍物识别网络是基于样本和标签训练得到的。
35.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于显著性检测的路面障碍物识别方法的步骤。
36.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算
机程序被处理器执行时实现如上述任一种所述基于显著性检测的路面障碍物识别方法的步骤。
37.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于显著性检测的路面障碍物识别方法的步骤。
38.本发明提供的基于显著性检测的路面障碍物识别方法和系统，通过分支网络分别获取障碍物边界结果、障碍物区域结果、障碍物位置结果，使得障碍物识别网络能够基于不同分支更为全面的表征和识别障碍物的特征和信息，并在此基础上进一步通过各分支结果的交叉验证修正障碍物检测结果，从而得到准确率更高的障碍物识别结果。
附图说明
39.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
40.图1是本发明提供的基于显著性检测的路面障碍物识别方法的流程示意图；
41.图2是本发明实施例提供的障碍物识别网络的结构示意图；
42.图3是本发明提供的基于显著性检测的路面障碍物识别系统的结构示意图；
43.图4是本发明提供的电子设备的结构示意图。
44.附图标记：
45.1：特征提取模块；2：解码器模块；3：显著性模块；4：识别模块；410：处理器；420：通信接口；430：存储器；440：通信总线。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.下面结合图1、图2描述本发明的基于显著性检测的路面障碍物识别方法。
48.如图1所示，本发明实施例提供一种基于显著性检测的路面障碍物识别方法，包括：
49.步骤102，获取道路图像，并将所述道路图像输入障碍物识别网络的特征提取层，得到特征提取结果；
50.步骤104，将所述特征提取结果输入障碍物识别网络的解码器层，并分别通过所述解码器层的第一分支、第二分支、第三分支得到障碍物边界结果、障碍物区域结果、障碍物位置结果；
51.步骤106，根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果；
52.步骤108，根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果，并根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果；
53.所述障碍物识别网络是基于样本和标签训练得到的。
54.本实施例的执行主体既可以是设置在车载本地终端上的硬件系统，也可以是部署在云端的远程系统；所述道路图像可以是车载图像采集设备采集得到的道路图像。
55.图2示出了本发明实施例提供的障碍物识别网络的结构，所述障碍物识别网络是编码器-解码器结构的神经网络，在一个优选的实施方式中，所述障碍物识别网络为带有分支解码器的u2net网络。
56.由于障碍物边界结果是第一分支得到的，专注于边界的推理结果，因此可以认为障碍物边界结果相比于障碍物区域结果的边界具有更高的可信度，故步骤106中，障碍物显著性结果可以是通过障碍物边界结果修正障碍物区域结果的边界得到的。
57.进一步地，所述道路图像中，障碍物的位置中心真值应在障碍物区域内，故步骤108中，可以根据障碍物边界结果、障碍物区域结果或者障碍物显著性结果排除明显异常的障碍物位置结果。
58.本实施例的有益效果在于：
59.通过分支网络分别获取障碍物边界结果、障碍物区域结果、障碍物位置结果，使得障碍物识别网络能够基于不同分支更为全面的表征和识别障碍物的特征和信息，并在此基础上进一步通过各分支结果的交叉验证修正障碍物检测结果，从而得到准确率更高的障碍物识别结果。
60.根据上述实施例，在本实施例中：
61.所述障碍物边界结果包括所述道路图像中任一像素为障碍物边界像素的概率结果；所述障碍物区域结果包括所述道路图像中任一像素为障碍物所在区域像素的概率结果；所述障碍物位置结果包括所述道路图像中任一像素为障碍物中心像素的概率结果。
62.本实施例中，障碍物边界结果和障碍物区域结果是像素级的，即第一分支和第二分支更为关注所述道路图像经障碍物识别网络中特征提取层提取得到的像素级特征；而障碍物位置结果是全局级的，即第三分支更为关注所述道路图像经障碍物识别网络中特征提取层提取得到的全局特征(虽然障碍物位置结果的形式同样基于像素体现，但训练过程中针对第三分支的损失函数项是基于全局特征，即障碍物整体位置设置的)。
63.进一步地，通过障碍物识别网络得到障碍物边界结果、障碍物区域结果以及障碍物位置结果后，后处理过程可以基于二值化处理方案或者概率处理方案进行；
64.二值化处理方案中，所述根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果的步骤包括：
65.根据所述障碍物边界结果中，像素为障碍物边界像素的概率结果，二值化所述道路图像得到第一二值图；
66.根据所述障碍物区域结果中，像素为障碍物所在区域像素的概率结果，二值化所述道路图像得到第二二值图；
67.根据第一二值图修正第二二值图，得到二值化的障碍物显著性结果。
68.具体地，所述第一二值图和第二二值图中，每个像素点对应的二进制值可以是基于概率阈值得到的，例如，将概率结果大于设定的概率阈值的像素点的二进制值设置为1、将概率结果不大于设定的概率阈值的像素点的二进制值设置为0，从而得到障碍物边界像素点为1、非障碍物边界像素点为0的第一二值图，和障碍物区域像素点为1、非障碍物区域
像素点为0的第二二值图。
69.所述根据第一二值图修正第二二值图，得到二值化的障碍物显著性结果的步骤包括：
70.求和第一二值图和第二二值图，得到二值化的障碍物显著性结果。
71.所述根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果的步骤包括：
72.对所述二值化的障碍物显著性结果和所述障碍物位置结果求积，得到修正后的障碍物位置结果。
73.通过求积操作，使得修正后的障碍物位置结果中，不属于障碍物区域像素的为障碍物中心像素的概率结果归零，得到了更为精确的障碍物位置。
74.概率处理方案中，所述根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果的步骤可以基于像素点的概率结果进行，例如，可以将像素点的概率结果取值为障碍物边界结果和障碍物区域结果中的最大值，得到障碍物显著性结果。
75.所述根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果的步骤包括：
76.对所述基于概率的障碍物显著性结果和所述障碍物位置结果求积，并归一化求积后的概率结果数值，得到修正后的障碍物位置结果。
77.二值化处理方案中，后处理过程所需的计算资源更少，在车载本地终端中具有更佳的表现；对应地，概率处理方案中，后处理过程保留的信息量更为完整，在云端或其他计算资源限制较少的场景下，能够得到更为准确的识别结果。
78.值得说明的是，障碍物位置结果设置为(包括所述道路图像中任一像素为障碍物中心像素的概率结果)概率图的原因在于，所述障碍物识别网络的训练过程中，需要添加数量比例大致可比的正样本和负样本，如果采用单一像素点作为障碍物中心点的标签对网络进行训练，则可能造成负样本数量过多，网络训练效果不佳的问题。
79.采用概率图的障碍物位置结果避免了上述问题，同时可能产生部分像素点的概率结果可靠性不足的问题(例如，明显不属于障碍物区域内的像素点是障碍物中心点的概率未被推理为0)，本实施例能够有效修正上述问题，从而进一步优化了障碍物识别结果准确度。
80.根据上述任一实施例，在本实施例中：
81.所述障碍物识别网络的解码器层还包括第四分支；所述第四分支能够根据所述特征提取结果得到障碍物宽高结果；
82.所述根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果的步骤包括：
83.根据所述障碍物显著性结果、修正后的障碍物位置结果以及障碍物宽高结果得到障碍物识别结果。
84.所述样本包括道路图像正样本和道路图像负样本；所述标签包括：
85.所述样本中标识障碍物所在区域内像素的二值图；
86.所述样本中标识障碍物边界像素的二值图；
87.所述样本中标识障碍物中心点像素的概率图；以及
88.所述样本中障碍物的宽高。
89.所述障碍物识别网络的训练损失函数包括：
90.用于量化所述第一分支结果的交叉熵函数项；和
91.用于量化所述第二分支结果的距离相似度函数项。
92.值得说明的是，虽然本实施例中标签的设置为二值图，但由于障碍物识别网络的固有性质，第一分支、第二分支输出的结果仍然为概率结果。
93.本实施例引入了第四分支，对障碍物的宽高进行推理，从而使得最终得到的障碍物识别结果具有更多的表征信息(障碍物中心点概率、障碍物区域、障碍物宽高)，为自动驾驶或者辅助驾驶的后续决策提供了更好的基础。
94.下面对本发明提供的基于显著性检测的路面障碍物识别装置进行描述，下文描述的基于显著性检测的路面障碍物识别装置与上文描述的基于显著性检测的路面障碍物识别方法可相互对应参照。
95.如图3所示，本发明实施例还提供一种基于显著性检测的路面障碍物识别系统，包括：
96.特征提取模块1，用于获取道路图像，并将所述道路图像输入障碍物识别网络的特征提取层，得到特征提取结果；
97.解码器模块2，用于将所述特征提取结果输入障碍物识别网络的解码器层，并分别通过所述解码器层的第一分支、第二分支、第三分支得到障碍物边界结果、障碍物区域结果、障碍物位置结果；
98.显著性模块3，用于根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果；
99.识别模块4，用于根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果，并根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果；
100.所述障碍物识别网络是基于样本和标签训练得到的。
101.具体地：
102.所述障碍物识别网络的解码器层还包括第四分支；所述第四分支能够根据所述特征提取结果得到障碍物宽高结果；
103.所述障碍物边界结果包括所述道路图像中任一像素为障碍物边界像素的概率结果；所述障碍物区域结果包括所述道路图像中任一像素为障碍物所在区域像素的概率结果；所述障碍物位置结果包括所述道路图像中任一像素为障碍物中心像素的概率结果。
104.更具体地，所述显著性模块3包括：
105.第一单元，用于根据所述障碍物边界结果中，像素为障碍物边界像素的概率结果，二值化所述道路图像得到第一二值图；
106.第二单元，用于根据所述障碍物区域结果中，像素为障碍物所在区域像素的概率结果，二值化所述道路图像得到第二二值图；
107.第三单元，用于根据第一二值图修正第二二值图，得到二值化的障碍物显著性结果。
108.所述识别模块4包括：
109.第四单元，用于根据所述障碍物显著性结果、修正后的障碍物位置结果以及障碍物宽高结果得到障碍物识别结果。
110.进一步地，所述样本包括道路图像正样本和道路图像负样本；所述标签包括：
111.所述样本中标识障碍物所在区域内像素的二值图；
112.所述样本中标识障碍物边界像素的二值图；
113.所述样本中标识障碍物中心点像素的概率图；以及
114.所述样本中障碍物的宽高。
115.所述障碍物识别网络的训练损失函数包括：
116.用于量化所述第一分支结果的交叉熵函数项；和
117.用于量化所述第二分支结果的距离相似度函数项。
118.图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于显著性检测的路面障碍物识别方法，该方法包括：获取道路图像，并将所述道路图像输入障碍物识别网络的特征提取层，得到特征提取结果；将所述特征提取结果输入障碍物识别网络的解码器层，并分别通过所述解码器层的第一分支、第二分支、第三分支得到障碍物边界结果、障碍物区域结果、障碍物位置结果；根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果；根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果，并根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果；所述障碍物识别网络是基于样本和标签训练得到的。
119.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
120.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于显著性检测的路面障碍物识别方法，该方法包括：获取道路图像，并将所述道路图像输入障碍物识别网络的特征提取层，得到特征提取结果；将所述特征提取结果输入障碍物识别网络的解码器层，并分别通过所述解码器层的第一分支、第二分支、第三分支得到障碍物边界结果、障碍物区域结果、障碍物位置结果；根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果；根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果，并根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果；所述障碍物识别网络是基于样本和标签训练得到的。
121.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于显著性检测的路面障碍物识别方法，该方法包括：获取道路图像，并将所述道路图像输入障碍物识别网络的特征提取层，得到特征提取结果；将所述特征提取结果输入障碍物识别网络的解码器层，并分别通过所述解码器层的第一分支、第二分支、第三分支得到障碍物边界结果、障碍物区域结果、障碍物位置结果；根据所述障碍物边界结果和所述障碍物区域结果，得到障碍物显著性结果；根据所述障碍物边界结果和所述障碍物区域结果，修正所述障碍物位置结果，并根据所述障碍物显著性结果和修正后的障碍物位置结果得到障碍物识别结果；所述障碍物识别网络是基于样本和标签训练得到的。
122.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
123.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
124.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。