遮挡标志牌的检测方法、系统、电子设备、存储介质与流程

1.本发明涉及目标检测技术领域，尤其涉及一种遮挡标志牌的检测方法、系统、电子设备、存储介质。


背景技术：

2.遮挡标志牌对于交通参与者来说是不利的事情，同时也使得自动驾驶，交管部门通常都会定期清理道路上遮挡标志牌的遮挡物。现有技术中对标志牌是否被遮挡的判断，有的是通过标志牌本身的传感器设计来检测自身是否被遮挡，有的是根据交通路况图片来识别是否被遮挡的标志牌。后者常用方法是通过目标检测方法来检测标志牌是否被遮挡。
3.遮挡标志牌通常都是由于绿化植被生长太茂盛导致，而绿化植被在交通路况图片中很常见，因此通过目标检测方法来检测遮挡标志牌很容易受绿化植被的影响，导致误检，如：树叶跟标志牌靠的比较近的情况，且被遮挡标志牌实际中的样本偏少，使得样本不均衡，不利于模型训练。


技术实现要素：

4.针对现有技术存在的问题，本发明提供一种遮挡标志牌的检测方法、系统、电子设备、存储介质。
5.本发明提供的一种遮挡标志牌的检测方法，所述方法包括：
6.获取待检测标志牌是否被遮挡的图像；
7.基于特征提取网络对所述图像进行特征提取，获取特征图；
8.基于所述特征图，采用包围盒预测网络，预测所述图像中所述标志牌的包围盒；
9.基于所述特征图，采用未遮挡区域预测网络，预测所述图像中所述标志牌的未被遮挡区域；
10.基于所述包围盒与所述未被遮挡区域，确定所述标志牌是否被遮挡。
11.根据本发明提供的一种遮挡标志牌的检测方法，确定所述标志牌是否被遮挡包括：
12.计算出所述包围盒的第一周长和/或第一面积；
13.计算出所述未被遮挡区域的第二周长和/或第二面积；
14.计算出所述第一周长和所述第二周长的第一比值，和/或，计算出所述第一面积和所述第二面积的第二比值；
15.若所述第一比值小于第一阈值或所述第二比值小于第二阈值，则判断所述标志牌被遮挡，反之，则判断所述标志牌未被遮挡。
16.根据本发明提供的一种遮挡标志牌的检测方法，预测所述图像中所述标志牌的未被遮挡区域，包括：
17.基于所述特征图，采用轮廓区域预测网络，预测所述未被遮挡区域的轮廓区域；
18.基于所述轮廓区域，更新所述未被遮挡区域。
19.根据本发明提供的一种遮挡标志牌的检测方法，所述方法还包括：
20.计算所述包围盒的宽度占所述图像的宽度的第一百分比，和/或，计算所述包围盒的高度占所述图像的高度的第二百分比；
21.取所述第一百分比或者第二百分比或者二者中的较大值，作为中间系数；
22.基于预设的分段函数，计算所述第一阈值、第二阈值；
23.其中，所述分段函数是基于所述中间系数的值大小来分段的，所述分段函数是所述中间系数的一次函数。
24.根据本发明提供的一种遮挡标志牌的检测方法，预测所述图像中所述标志牌的包围盒依赖包括如下步骤：
25.步骤a、获取标志牌类别的概率图，基于所述概率图，将所述概率图中概率超过第三阈值的图像点作为所述包围盒的中心点；
26.步骤b、预测所述包围盒的宽度和高度。
27.根据本发明提供的一种遮挡标志牌的检测方法，预测所述图像中所述标志牌的未被遮挡区域包括：
28.获取标志牌类别的概率图，基于所述概率图，判断每个图像点是否属于标志牌分类；
29.基于属于标志牌分类的所有图像点，形成所述未被遮挡区域。
30.根据本发明提供的一种遮挡标志牌的检测方法，预测所述未被遮挡区域的轮廓区域，包括：
31.获取二值掩膜；
32.采用所述二值掩膜对所述轮廓区域进行预测。
33.本发明还提供的一种遮挡标志牌的检测系统，所述系统包括：
34.获取模块，所述获取模块获取待检测标志牌的图像；
35.特征提取模块，所述特征提取模块基于特征提取网络对所述图像进行特征提取，获取特征图；
36.第一预测模块，所述第一预测模块基于所述特征图，采用包围盒预测网络，预测所述图像中所述标志牌的包围盒；
37.第二预测模块，所述第二预测模块基于所述特征图，采用未遮挡区域预测网络，预测所述图像中所述标志牌的未被遮挡区域；
38.判断模块，所述判断模块基于所述包围盒与所述未被遮挡区域，确定所述标志牌是否被遮挡。
39.本发明还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述遮挡标志牌的检测方法的步骤。
40.本发明还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述遮挡标志牌的检测方法的步骤。
41.本发明还提供的一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述遮挡标志牌的检测方法的步骤。
42.本发明提供的遮挡标志牌的检测方法、系统、电子设备、存储介质，对标志牌被遮
挡的检测，能够减少误检，并且解决了由于实际中被遮挡标志牌样本偏少导致样本不均匀而难以训练预测模型的问题。
附图说明
43.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明提供的一种遮挡标志牌的检测方法的流程示意图；
45.图2为本发明提供的一种特征图的目标检测网络结构示意图；
46.图3为本发明提供的一种遮挡标志牌的检测系统结构示意图；
47.图4为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
48.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的遮挡标志牌的检测方法进行详细地说明。
50.图1为本发明提供的一种遮挡标志牌的检测方法的流程示意图，如图1所示，本发明提供的一种遮挡标志牌的检测方法，方法可以包括如下步骤。
51.s100、获取待检测标志牌的图像。
52.s200、基于特征提取网络对图像进行特征提取，获取特征图；
53.s300、基于特征图，采用包围盒预测网络，预测图像中标志牌的包围盒(bounding box)。
54.s400、基于特征图，采用未遮挡区域预测网络，预测图像中标志牌的未被遮挡区域。
55.s500、基于所述包围盒与所述未被遮挡区域，确定所述标志牌是否被遮挡。
56.可选地，待检测标志牌是否被遮挡的图像是自动驾驶中车辆摄像头所采集的。
57.可选地，预测图像中标志牌的包围盒和预测图像中标志牌的未被遮挡区域均采用神经网络来实现。
58.可选地，确定所述标志牌是否被遮挡包括：
59.计算出所述包围盒的第一周长和/或第一面积；
60.计算出所述未被遮挡区域的第二周长和/或第二面积；
61.计算出所述第一周长和所述第二周长的第一比值，和/或，计算出所述第一面积和所述第二面积的第二比值；
62.若所述第一比值小于第一阈值或所述第二比值小于第二阈值，则判断所述标志牌被遮挡，反之，则判断所述标志牌未被遮挡。
63.可选地，所述方法还包括：
64.计算包围盒的宽度占图像的宽度的第一百分比，和/或，计算包围盒的高度占图像的高度的第二百分比；
65.取第一百分比或者第二百分比或者二者中的较大值，作为中间系数；
66.基于预设的分段函数，计算第一阈值、第二阈值；
67.其中，分段函数是基于中间系数的值大小来分段的，分段函数是中间系数的一次函数。
68.优选地，在不同的分段，一次函数具有相同的斜率。
69.优选地，将第一阈值和第二阈值分别记为t1和t2，t1和t2的计算方法包括：
70.将所述包围盒的宽和高分别记为w和h，将所述图像的宽和高分别记为w和h；
71.计算中间系数r，r的计算公式如下：
72.r＝max(w/w，h/h)
73.若r》1/8，则t1和t2的计算公式如下：
74.t1＝0.9 (r-1/8)*0.1
75.t2＝0.85 (r-1/8)*0.1
76.若1/32《r《1/8，则t1和t2的计算公式如下：
77.t1＝0.8 (r-1/32)*0.1
78.t2＝0.75 (r-1/32)*0.1
79.若r《1/32，则t1和t2的计算公式如下：
80.t1＝0.75 (r-1/8)*0.1
81.t2＝0.7 (r-1/8)*0.1
82.通过上述的t1和t2的分段计算取值，能够减少标志牌的误检率。
83.优选地，图2为本发明提供的一种检测网络的具体结构示意图，如图2所示，特征提取网络包括骨干网络(backbone)和fpn，基于该特征提取网络获取特征图后，通过包围盒预测网络(包围盒检测头)预测图像中标志牌的包围盒，通过未遮挡区域预测网络(未遮挡区域检测头)预测图像中标志牌的未遮挡区域，通过轮廓区域预测网络(轮廓区域检测头)预测图像中标志牌的轮廓区域。
84.可选地，预测所述图像中所述标志牌的包围盒依赖包括如下步骤：
85.步骤a、获取标志牌类别的概率图，基于所述概率图，将所述概率图中概率超过第三阈值的图像点作为所述包围盒的中心点；
86.步骤b、预测所述包围盒的宽度和高度。
87.可选地，预测所述图像中所述标志牌的未被遮挡区域包括：
88.获取标志牌类别的概率图，基于所述概率图，判断每个图像点是否属于标志牌分类；
89.基于属于标志牌分类的所有图像点，形成所述未被遮挡区域。
90.优选地，概率图的获取包括：对图像中的包围盒中心位置附近添加高斯概率区域，该区域的中心为包围盒的中心点，半径为包围盒宽高中较小值的1/4，概率值中心点处为1，不断递减至边缘处为0。
91.可选地，预测图像中标志牌的未被遮挡区域，包括：
92.基于特征图，采用轮廓区域预测网络，预测未被遮挡区域的轮廓区域；
93.基于轮廓区域，更新未被遮挡区域。
94.可选地，预测未被遮挡区域的轮廓区域，包括：
95.获取二值掩膜(binary mask)；
96.采用所述二值掩膜对所述轮廓区域进行预测。
97.优选地，预测未被遮挡区域的轮廓区域，包括：首先，获取未被遮挡区域的轮廓边界区域，该轮廓边界区域是以轮廓线为中心线，向标志牌未被遮挡的一侧扩展，扩展的宽度为max(10，0.25*min(h，w))，其中，w和h是预测的标志牌的包围盒的宽高；其次，基于轮廓边界区域的概率图，经过与第四阈值的比较判断后，生成轮廓区域的二值掩膜；最后，二值掩膜乘以原图则得到所预测的轮廓区域。进一步地，第四阈值为0.6。通过对边界线区域的针对性的预测，使得最终更新后的未被遮挡区域更为贴近真实区域。
98.本实施例对标志牌被遮挡的检测，基于本实施例的计算周长和/或面积比值的方法，能够减少误检，并且解决了由于实际中被遮挡标志牌实际中样本偏少的导致样本不均匀而的难以训练预测模型的问题。
99.进一步地，在前述实施例的基础上，另一实施例中，本实施例提供一种遮挡标志牌的检测方法，预测图像中标志牌的包围盒依赖的预测模型包括如下的至少一种：
100.faster rcnn模型、yolo模型、centernet模型。
101.本实施例公布了通过具体的目标检测模型实现对图像中标志牌的包围盒预测。
102.下面对本发明提供的遮挡标志牌的检测系统进行描述，下文描述的遮挡标志牌的检测系统与上文描述的遮挡标志牌的检测方法可相互对应参照。
103.图3为本发明提供的一种遮挡标志牌的检测系统结构示意图，如图3所示，本发明还提供的一种遮挡标志牌的检测系统，系统包括：
104.获取模块，获取模块获取待检测标志牌的图像；
105.特征提取模块，特征提取模块基于特征提取网络对图像进行特征提取，获取特征图；
106.第一预测模块，第一预测模块基于特征图，采用包围盒预测网络，预测图像中标志牌的包围盒；
107.第二预测模块，第二预测模块基于特征图，采用未遮挡区域预测网络，预测图像中标志牌的未被遮挡区域；
108.判断模块，所述判断模块基于所述包围盒与所述未被遮挡区域，确定所述标志牌是否被遮挡。
109.本实施例对标志牌被遮挡的检测，能够减少误检，并且解决了被遮挡标志牌实际中样本偏少的导致的难以训练预测模型的问题。
110.图4为本发明提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行遮挡标志牌的检测方法，所述方法包括：
111.获取待检测标志牌是否被遮挡的图像；
112.基于特征提取网络对所述图像进行特征提取，获取特征图；
113.基于所述特征图，采用包围盒预测网络，预测所述图像中所述标志牌的包围盒；
114.基于所述特征图，采用未遮挡区域预测网络，预测所述图像中所述标志牌的未被遮挡区域；
115.基于包围盒与未被遮挡区域，确定标志牌是否被遮挡。
116.此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
117.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的遮挡标志牌的检测方法，所述方法包括：
118.获取待检测标志牌是否被遮挡的图像；
119.基于特征提取网络对所述图像进行特征提取，获取特征图；
120.基于所述特征图，采用包围盒预测网络，预测所述图像中所述标志牌的包围盒；
121.基于所述特征图，采用未遮挡区域预测网络，预测所述图像中所述标志牌的未被遮挡区域；
122.基于包围盒与未被遮挡区域，确定标志牌是否被遮挡。
123.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的遮挡标志牌的检测方法，所述方法包括：
124.获取待检测标志牌是否被遮挡的图像；
125.基于特征提取网络对所述图像进行特征提取，获取特征图；
126.基于所述特征图，采用包围盒预测网络，预测所述图像中所述标志牌的包围盒；
127.基于所述特征图，采用未遮挡区域预测网络，预测所述图像中所述标志牌的未被遮挡区域；
128.基于包围盒与未被遮挡区域，确定标志牌是否被遮挡。
129.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
130.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上
述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
131.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。