道路标识标牌识别方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种道路标识标牌识别方法。


背景技术：

2.道路标识标牌检测不仅是智能交通系统的一个重要组成部分，而且能够及时提供道路标识标牌破损、缺失及颜色退化信息，对减少交通事故及增加安全驾驶具有重要意义。
3.目前，相关技术中对于道路标识标牌检测的方法主要是依靠颜色空间转换，利用固定阈值提取出符合标识标牌颜色特征的疑似目标区域，再利用基于形状特征的方法，依据标识标牌特定的形状，确定出一幅图像中的标识标牌区域。
4.但是，由于背景光照造成标识标牌颜色差异较大，导致现有基于色彩空间变换的颜色阈值分割方法提取标识标牌疑似目标区域难度较大，且由于标识标牌形变、相机采集角度、背景遮挡等因素导致形状特征差异，不利于最终标识标牌目标的确认。


技术实现要素：

5.本发明提供一种道路标识标牌识别方法，用以解决现有技术中背景光照造成标识标牌颜色差异较大，及由于标识标牌形变、相机采集角度、背景遮挡等因素导致形状特征差异，从而导致现有基于色彩空间变换的颜色阈值分割方法提取标识标牌疑似目标区域难度较大的问题。
6.本发明提供一种道路标识标牌识别方法，包括：
7.对待检测图像中的各个像素点建立颜色差异表征模型，以根据所述颜色差异表征模型得到表征图像；
8.对所述表征图像进行二值化处理得到二值化图像，并对所述二值化图像进行去噪处理，得到所述二值化图像的第一疑似目标区域，其中，所述二值化图像中包括m个有效像素点，所述有效像素点是颜色差异表征值高于第一预设阈值的像素点；
9.基于各个所述有效像素点和所述第一疑似目标区域，确定所述二值化图像的第二疑似目标区域，其中，所述第二疑似目标区域中包括n个连通区域，m和n均为正整数；
10.基于各个所述连通区域的颜色特征置信度和形状特征置信度，确定道路标识标牌对应的连通区域。
11.根据本发明提供的一种道路标识标牌识别方法，所述对待检测图像中的各个像素点建立颜色差异表征模型，以根据所述颜色差异表征模型得到表征图像，包括：
12.基于各个像素点的rgb颜色信息，获取各个所述像素点的rgb颜色信息差异最大值、rgb颜色信息中值和rgb颜色信息差异中值；
13.基于所述像素点的rgb颜色信息差异最大值、rgb颜色信息中值和rgb颜色信息差异中值，得到各个像素点的颜色差异表征值；
14.基于各个所述颜色差异表征值，得到表征图像。
15.根据本发明提供的一种道路标识标牌识别方法，所述对所述表征图像进行二值化
处理得到二值化图像，并对所述二值化图像进行去噪处理，得到所述二值化图像的第一疑似目标区域，包括：
16.将颜色差异表征值大于所述第一预设阈值的像素点作为有效像素点，并将所述颜色差异表征值小于或等于所述第一预设阈值的像素点作为其它像素点；
17.基于所述有效像素点和其它像素点得到二值化图像，并对所述二值化图像进行去噪处理，得到二值化图像的第一疑似目标区域。
18.根据本发明提供的一种道路标识标牌识别方法，所述基于各个所述有效像素点和所述第一疑似目标区域，确定所述二值化图像的第二疑似目标区域，包括：
19.基于所述有效像素点，确定所述像素点对应的邻域区域；
20.将所述邻域区域中的备选像素点与所述有效像素点进行比较，确定所述备选像素点中的候选像素点，并将所述候选像素点作为有效像素点，其中，所述邻域区域中的候选像素点是具备所述有效像素点的颜色差异表征特征或rgb颜色信息特征的像素点；
21.遍历所有所述有效像素点，确定所述二值化图像的第二疑似目标区域。
22.根据本发明提供的一种道路标识标牌识别方法，所述基于各个所述连通区域的颜色特征置信度和形状特征置信度，确定道路标识标牌对应的连通区域，包括：
23.基于所述连通区域中各个像素点的r通道灰度值、g通道灰度值和b通道灰度值的大小，确定各个所述连通区域的颜色特征置信度；
24.对各个所述连通区域的原始外轮廓进行平滑处理后，再进行拟合处理，得到各个所述连通区域的目标外轮廓；
25.基于各个所述连通区域的原始外轮廓对应连通域和所述目标外轮廓对应连通区域的相似度，确定各个所述连通区域的形状特征置信度；
26.基于各个所述连通区域的所述形状特征置信度和所述颜色特征置信度，得到各个所述连通区域的目标置信度；
27.基于各个所述连通区域的目标置信度，确定道路标识标牌对应的连通区域；
28.其中，所述得到各个所述连通区域的目标置信度，具体为：
[0029][0030]
其中，c1为颜色特征置信度，c2为形状特征置信度，ω1和ω2分别为所述颜色特征置信度和所述形状特征置信度的特征分配权重。
[0031]
根据本发明提供的一种道路标识标牌识别方法，所述基于所述连通区域中各个像素点的r通道灰度值、g通道灰度值和b通道灰度值的大小，确定各个所述连通区域的颜色特征置信度，包括：
[0032]
对各个像素点的r通道灰度值、g通道灰度值和b通道灰度值进行大小排序，得到各个像素点的灰度值排序信息；
[0033]
其中，所述各个像素点的灰度值排序信息具体包括：
[0034][0035]
获取各个所述灰度值排序信息对应的颜色差异表征值，并基于各个所述颜色差异表征值确定各个所述连通区域的颜色特征置信度。
[0036]
本发明提供的一种道路标识标牌识别方法及装置，通过对待检测图像中的各个像素点进行颜色差异表征处理，得到能够更有效的提取自然场景中具有颜色差异的目标的表征图像，提高基于颜色空间转换的固定阈值分割方法提取疑似标识标牌区域的准确度，同时进一步通过各个连通区域的颜色特征信息和形状特征信息来对标识标牌区域进行确定，避免了由于标识标牌形变、相机采集角度、背景遮挡及算法拟合方法造成最终标识标牌目标误判的问题。
附图说明
[0037]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0038]
图1为本技术实施例提供的道路标识标牌识别方法流程示意图；
具体实施方式
[0039]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0040]
图1为本技术实施例提供的道路标识标牌识别方法流程示意图，如图1所示，包括：
[0041]
步骤110，对待检测图像中的各个像素点建立颜色差异表征模型，以根据所述颜色差异表征模型得到表征图像；
[0042]
具体地，本技术实施例中所描述的待检测图像具体可以是图像采集设备拍摄的可能包含有道路标识标牌的rgb图像。
[0043]
本技术实施例中进行颜色差异表征模型具体可以是基于待检测图像中每个像素点的颜色差异，建立颜色差异的表征模型，将rgb空间的数据映射到一个依据颜色差异进行表征的空间。所述表征空间先获取各个所述像素点的rgb颜色信息差异最大值、rgb颜色信息中值和rgb颜色信息差异中值，再依据颜色信息差异值建立颜色差异表征模型，得到各个像素点的颜色差异表征值，从而得到待检测图像对应的表征图像。
[0044]
120，对所述表征图像进行二值化处理得到二值化图像，并对所述二值化图像进行
去噪处理，得到所述二值化图像的第一疑似目标区域，其中，所述二值化图像中包括m个有效像素点，所述有效像素点是颜色差异表征值高于第一预设阈值的像素点；
[0045]
具体地，本技术实施例中对表征图像进行二值化处理具体是根据各个像素点的表征值，对表征图像进行二值化处理，即确定各个像素点中的有效像素点和备选像素点，从而可以将有效像素点的灰度值设置为255，将备选像素点的灰度值设置为0，也可以是将有效像素点的灰度值设置为0，将备选像素点的灰度值设置为255，从而得到表征图像对应的二值化图像。
[0046]
更具体地，本技术实施例中，在得到二值化图像之后，会进一步对其进行去噪处理，从而保证最终确定的第一疑似目标区域的准确性。
[0047]
本技术实施例中所描述的第一疑似目标区域具体可以是包含有道路标识标牌的区域。
[0048]
更具体地，本技术实施例中所描述的第一预设阈值是可以预先设定的数值，也可以是依据当前表征图像自适应得到的数值，而颜色差异表征值高于第一预设阈值的像素点则说明该像素点可以是属于道路标识标牌的像素点，本技术实施例将其作为有效像素点。
[0049]
步骤130，基于各个所述有效像素点和所述第一疑似目标区域，确定所述二值化图像的第二疑似目标区域，其中，所述第二疑似目标区域中包括n个连通区域，m和n均为正整数；
[0050]
本技术实施例中会采用第一疑似目标区域中的有效像素点作为种子点，利用种子点邻域内的其它点与当前种子点具有相同的特征，对种子点邻域内的其它点进行标记，从而得到第二疑似目标区域。该相同的特征，具体可以包括r、g、b三通道值的分布或基于颜色差异的表征值。
[0051]
步骤140，基于各个所述连通区域的颜色特征置信度和形状特征置信度，确定道路标识标牌对应的连通区域。
[0052]
具体地，本技术实施例中所描述的颜色特征信息具体可以是利用标识标牌的颜色特征建立一种目标区域分类方法，再利用该目标区域分类方法计算基于颜色特征的置信度。
[0053]
本技术实施例中所描述的形状特征信息具体可以计算所述连通区域与对各个所述连通区域的原始外轮廓进行平滑处理后，再进行拟合的外轮廓对应连通区域的相似度，从而确定各个连通区域的形状特征的置信度。
[0054]
在得到各个所述连通区域的颜色特征信息和形状特征信息后，可以进一步确定各个连通区域的目标置信度，基于目标置信度和第二预设阈值的比较，判断连通区域是否属于道路标识标牌对应的连通区域。
[0055]
在本技术实施例中，通过对待检测图像中的各个像素点进行颜色差异表征处理，得到能够更有效的提取自然场景中具有颜色差异的目标的表征图像，提高基于颜色空间转换的固定阈值分割方法提取疑似标识标牌区域的准确度，同时进一步通过各个连通区域的颜色特征信息和形状特征信息来对标识标牌区域进行确定，避免了由于标识标牌形变、相机采集角度、背景遮挡及算法拟合方法造成最终标识标牌目标误判的问题。
[0056]
可选地，所述对待检测图像中的各个像素点建立颜色差异表征模型，以根据所述颜色差异表征模型得到表征图像，包括：
[0057]
基于各个像素点的rgb颜色信息，获取各个所述像素点的rgb颜色信息差异最大值、rgb颜色信息中值和rgb颜色信息差异中值；
[0058]
基于所述像素点的rgb颜色信息差异最大值、rgb颜色信息中值和rgb颜色信息差异中值，建立颜色差异表征模型，得到各个像素点的颜色差异表征值；
[0059]
基于各个所述颜色差异表征值，得到表征图像；
[0060]
其中，所述得到颜色差异表征模型具体为：
[0061][0062]
t
ij
＝mid{|r
ij-g
ij
|,|r
ij-b
ij
|,|g
ij-b
ij
|}
[0063]
其中，r
ij
、g
ij
、b
ij
分别为第i行、第j列的像素点对应r、g、b三通道的灰度值，max为取集合中的最大值，min为取集合中的最小值，mid为取集合中的中值。
[0064]
具体地，本技术实施例中所描述的各个所述像素点的rgb颜色信息差异最大值具体可以是max{r
ij
,g
ij
,b
ij
}；各个像素点的rgb颜色信息中值具体为mid(r
ij
,g
ij
,b
ij
)，各个像素点的rgb颜色信息差异中值具体为，t
ij
＝mid{|r
ij-g
ij
|,|r
ij-b
ij
|,|g
ij-b
ij
|}，各个像素点的rgb颜色信息最小值为min{r
ij
,g
ij
,b
ij
}；
[0065]
本技术实施例中，得到各个像素点的颜色差异表征值具体为：
[0066][0067]
其中，r
ij
、g
ij
、b
ij
分别为第i行、第j列的像素点对应r、g、b三通道的灰度值，max为取集合中的最大值，min为取集合中的最小值，mid为取集合中的中值。依据上式对rgb图像逐点进行计算，获取依据基于颜色差异的表征模型得到的表征图像。
[0068]
在本技术实施例中，通过对待检测图像中的各个像素点进行颜色差异表征处理，得到能够更有效的提取自然场景中具有颜色差异的目标的表征图像，提高基于颜色空间转换的固定阈值分割方法提取疑似标识标牌区域的准确度。
[0069]
可选地，所述对所述表征图像进行二值化处理得到二值化图像，并对所述二值化图像进行去噪处理，得到所述二值化图像的第一疑似目标区域，包括：
[0070]
将颜色差异表征值大于所述第一预设阈值的像素点作为有效像素点，并将所述颜色差异表征值小于或等于所述第一预设阈值的像素点作为其它像素点；
[0071]
基于所述有效像素点和其它像素点得到二值化图像，并对所述二值化图像进行去噪处理，得到二值化图像的第一疑似目标区域。
[0072]
具体地，本技术实施例中的二值化具体可以是利用自适应第一预设阈值对该图像进行二值化，表征值高于第一预设阈值的点标记为有效点。
[0073]
本技术实施例中所描述的二值化图像的去噪，具体的，对二值化图像中的低密度区域进行稀疏处理，利用形态学操作将低密度区域进一步离散化；所述二值化图像的去噪，还包括对稀疏后的图像进行去噪，删除面积较小以及明显不具有标识标牌形状特征的连通域，具体的，包括长宽比和占空比不满足标准的标识标牌特征的连通域，最终得到二值化图像的第一疑似目标区域。
[0074]
在本技术实施例中，通过二值化处理和去噪处理，有效识别出第一疑似目标区域，
有效提高了识别的准确性。
[0075]
可选地，所述基于各个所述有效像素点和所述第一疑似目标区域，确定所述二值化图像的第二疑似目标区域，包括：
[0076]
基于所述有效像素点，确定所述像素点对应的邻域区域；
[0077]
将所述邻域区域中的备选像素点与所述有效像素点进行比较，确定所述备选像素点中的候选像素点，并将所述候选像素点作为有效像素点，其中，所述邻域区域中的候选像素点是具备所述有效像素点的颜色差异表征特征或rgb颜色信息的像素点；
[0078]
遍历所有所述有效像素点，确定所述二值化图像的第二疑似目标区域。
[0079]
具体地，本技术实施例中所描述的有效像素点是指颜色差异表征值高于第一预设阈值的像素点.
[0080]
本技术实施例中，将颜色差异表征值大于所述第一预设阈值的像素点作为有效像素点，然后利用第一疑似目标区域中的有效像素点作为种子点，先比较该点邻域区域内的其它非有效点与当前种子点，具有与所述有效像素点的颜色差异表征特征及rgb颜色信息特征的非有效点重新标记为有效点，再以新的有效点作为种子点，按照上述步骤进行区域生长，直至所有有效点邻域内均没有可以继续生长的非有效点。
[0081]
本技术实施例中所描述的与所述有效像素点的颜色差异表征特征，具体的，包括该有效点的r、g、b三通道值和对应的基于颜色差异的表征值。
[0082]
本技术实施例中所描述的候选像素点是邻域中具备有效像素点的颜色差异表征特征的像素点。
[0083]
在本技术实施例中，通过区域生长，能够有效扩大第一疑似目标区域，得到第二疑似目标区域，提高最终识别结果的准确性。
[0084]
可选地，所述基于各个所述连通区域的颜色特征置信度和形状特征置信度，确定道路标识标牌对应的连通区域，包括：
[0085]
基于所述连通区域中各个像素点的r通道灰度值、g通道灰度值和b通道灰度值的大小，确定各个所述连通区域的颜色特征置信度；
[0086]
对各个所述连通区域的原始外轮廓进行平滑处理后，再进行拟合处理，得到各个所述连通区域的目标外轮廓；
[0087]
基于各个所述连通区域和所述目标拟合外轮廓对应连通区域的相似度，确定各个所述连通区域的形状特征置信度；
[0088]
基于各个所述连通区域的所述形状特征置信度和所述颜色特征置信度，得到各个所述连通区域的目标置信度；
[0089]
基于各个所述连通区域的目标置信度，确定道路标识标牌对应的连通区域；
[0090]
其中，所述得到各个所述连通区域的目标置信度，具体为：
[0091][0092]
其中，c1为颜色特征置信度，c2为形状特征置信度，ω1和ω2分别为所述颜色特征置信度和所述形状特征置信度的特征分配权重。
[0093]
具体地，在得到第二疑似目标区域后，会进一步确定第二疑似目标区域中各个连通区域的颜色特征信息和形状特征信息，该颜色特征信息可以是该连通区域在颜色特征上
的置信度，该形状特征信息可以是该连通区域在形状特征上的置信度。
[0094]
基于各个像素点的r通道灰度值、g通道灰度值和b通道灰度值的大小，对各个像素点中各通道的灰度值进行排序，得到各个像素点的灰度值排序信息，而灰度值排序信息的类别数量有限，根据不同的排序信息的类别，来确定各个所述连通区域的颜色特征置信度c1。
[0095]
更具体地，所述每个连通域在形状特征上的置信度，先提取每个连通域的原始外轮廓，再依据邻域点的坐标对原始外轮廓进行平滑处理，最后对处理后的外轮廓坐标点集进行拟合，依据拟合出的外轮廓对应连通域与该原始连通域的相似度，确定各个所述连通区域的形状特征置信度c2。
[0096]
更具体地，基于连通区域的所述形状特征置信度和所述颜色特征置信度以及颜色特征和形状特征对应的特征权重，确定各个连通区域的目标置信度，具体为：
[0097][0098]
具体的，ω1和ω2分别是颜色特征置信度和形状特征置信度的权重，c1和c2分别为颜色特征置信度和形状特征置信度。
[0099]
可选地，所述基于所述连通区域中各个像素点的r通道灰度值、g通道灰度值和b通道灰度值的大小，确定各个所述连通区域的颜色特征置信度，包括：
[0100]
对各个像素点的r通道灰度值、g通道灰度值和b通道灰度值进行大小排序，得到各个像素点的灰度值排序信息；
[0101]
获取各个所述灰度值排序信息对应的颜色差异表征值，并基于各个所述颜色差异表征值确定各个所述连通区域的颜色特征置信度。
[0102]
具体地，以区域生长后的每个连通域为基础，建立像元分类模型，对组成当前连通域的所有有效点进行分类。所述像元分类模型，具体的，依据单个像素点r、g、b三个通道的灰度值大小排序，将像素点分类为六类，且优先级从上至下逐渐降低，类别依次为：
[0103][0104]
对单个像素点的优先级由高到低逐个标记类别号1-6，得到当前连通域的类别标记图。分别计算每个类别下所有有效点基于颜色差异的表征值总和，并计算每个类别表征值在当前区域内的总占比值。将该连通域的最大表征值总占比值作为该连通域颜色特征的置信度。
[0105]
在本技术实施例中，基于各个所述连通区域的颜色特征信息和形状特征信息，确定道路标识标牌对应的连通区域，解决了由于标识标牌形变、相机采集角度、背景遮挡及算法拟合方法造成最终标识标牌目标误判的问题。
[0106]
可选地，此处以一幅车载彩色相机采集行车过程中的包含圆形标识标牌的景观图像为例，原始图像为rgb图像。
[0107]
按照式(1)对原始rgb图像进行基于颜色差异的表征，所述疑似目标区域提取，包括表征图像的二值化和二值化图像的去噪。所述表征图像的二值化，计算全图颜色差异表征值的均值，将该均值乘以系数k后作为阈值t进行二值化，高于阈值t的点标记为有效点。所述二值化图像的去噪，对二值化图像中低密度区域先进行腐蚀操作再进行孔洞填充，然后删除面积较小的区域，同时计算当前连通域的长宽比和对应最小外接矩形的占空比，长宽比和占空比均在[0.7,0.9]区间的进行保留。
[0108]
所述区域生长，对于二值图中的疑似目标区域，针对单个连通域，选取所有有效点作为种子点。以种子点为基础，选取半径为2的邻域作为生长区域，在原始rgb图像中，将r、g、b各通道值与当前种子点各通道值进行对比，对应通道灰度差异均小于5且基于颜色差异的表征值绝对差值小于0.3的点标记为新的有效点，以新的有效点作为种子点，重复上述的生长操作，直至所有有效点生长完成且半径为2的邻域内没有满足条件的点。
[0109]
所述颜色特征上的置信度，先取生长后区域内的所有有效点，按照式(3)对所有有效点进行分类，得到当前区域的类别标记图，再依据类别标记图分别计算每个类别下的所有有效点基于颜色差异的表征值总和，并计算每个类别表征值占当前区域总表征值的占比值。将最大占比值作为该连通域颜色特征的置信度c1。
[0110]
所述每个连通域在形状特征上的置信度计算，提取每个连通域的外轮廓，同时利用连续7个点坐标对中间点的坐标进行滤波，再对滤波后的外轮廓坐标点集进行霍夫圆拟合，依据拟合圆的圆心及半径，计算原连通域与拟合圆重合区域的像素数占拟合圆面积的比值，将该相似度值作为形状特征的置信度c2。
[0111]
所述标识标牌区域确定，对区域生长完成后的各连通域，计算每个连通域在颜色特征上的置信度c1和在形状上的置信度c2。同时，设定权重ω1＝ω2＝0.5，对置信度c1和c2进行加权求和，得到当前连通域的总置信度c。总置信度c大于0.6则认为当前连通域是一个标识标牌区域。
[0112]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。