一种确定目标车辆车厢的方法与流程

1.本发明涉及图像识别技术领域，更具体地说，涉及一种确定目标车辆车厢的方法。


背景技术：

2.目前，在废钢回收的料场，到场车辆的卸货以及货料质检等一般都是现场工作人员人工调度、质检的，效率低、存在安全隐患、人工成本高等众多问题。随着人工智能技术的发展，ai图像视觉技术开始被广泛应用到智能工业制造领域当中。要实现废钢回收的智能化，可以通过拍摄现场照片，用ai技术识别车辆车厢上的废钢，来提高质检和到场卸货效率，进而提高料场的来料处理能力。
3.yolo模型作为一种能实现快速检测、并还能达到较高准确率的目标检测模型，它能够很快识别场地中车厢，但很难排除同一视图中存在多台车辆时其他车辆的车厢(例如邻近车辆的车厢的干扰)，容易造成错误预测。而为提高场地作业效率，多车作业是时常发生的，这会阻碍ai图像视觉技术在废钢回收、质检的应用。
4.经检索，中国专利申请号为：201811367474.4，申请日为：2018年11月19日，发明创造名称为：一种基于深度学习的图像目标快速检测方法。该申请案中公开的检测方法，包括如下步骤：1、建立基于深度学习的第一级tiny yolo目标检测模型和第二级tiny yolo目标检测模型；2、向第一级tiny yolo目标检测模型输入含有目标的测试图像，根据网络输出结果判断检测是否成功；若检测成功，根据检测区域与图像分辨率的关系判断目标是否为小目标；若不是小目标则输出检测结果；若为小目标则进行下一步；若检测失败，对输入的图片进行分块处理，然后对分块处理后的图像进行第一级tiny yolo网络检测；3、对第一级tiny yolo网络检测输出的检测区域进行放大截取，然后输入至第二级tiny yolo网络，进行检测处理，得到输出结果。采用该申请案的技术方案能够提高对目标识别的速度和可靠性。但是，用在现场情况较为复杂的废钢回收料场时，该方法在一定程度上仍无法有效排除其他车辆的干扰，不可避免会造成错误预测。


技术实现要素：

5.1.发明要解决的技术问题
6.本发明的目的在于克服现有在废钢回收的料场，到场车辆的卸货以及废钢货料的质检等，通常是由现场工作人员进行人工调度并查验的，工作效率低、质检结果受人为因素影响较大，人工成本较高等问题，提供了一种确定目标车辆车厢的方法。采用本发明的技术方案能够有效解决上述问题，快速识别场地中的目标车厢上的废钢，有利于提高质检的准确性及到场卸货效率。
7.2.技术方案
8.为达到上述目的，本发明提供的技术方案为：
9.本发明的一种确定目标车辆车厢的方法，包括以下步骤：
10.s1、获取包括目标车辆车厢在内的卸货图片；
11.s2、使用yolo模型检测步骤s1中采集的图片，检测出并用方框圈出其中全部的候选车厢框；
12.s3、采用harris角点检测方法检测出步骤s2中各个候选车厢框内是否存在角点；
13.s4、根据步骤s3中角点情况排除不符合条件的候选车厢框，最后确定目标车厢框。
14.更进一步的，步骤s3的角点检测方法，主要步骤如下：
15.1)对于每个候选车厢框区域，视该区域内的全部像素点构成一张图像i，图像i(x，y)表示在(x，y)点的像素信息；
16.2)建立一个窗口，以当前窗口为中心向各个方向进行偏移；
17.3)窗口在点(x，y)处移动(δx，δy)后计算到的所有差异总和记为c：
[0018][0019]
其中，window(x，y)是以x，y为中心的窗口；w(u，v)是一个加权值，是常数值或高斯加权函数；
[0020]
4)对图像i(x，y)在移动(δx，δy)处进行泰勒一阶展开，得到：
[0021]
i(u δx，v δy)＝i(u，v)) i
x
(u，v)δx i
y
(u，v)δy o(δx2，δy2)
ꢀꢀꢀꢀꢀ
(2)
[0022]
其中，ix和iy为分别对x和y的偏导数，式子o(δx2，δy2)忽略不计；
[0023]
5)结合公式(1)和公式(2)，得到公式(3)，如下：
[0024][0025]
6)使用矩阵表示公式(3)，并得到矩阵的特征值λ1和λ2，并根据该两个特征值的大小来判断待测车厢框区域是否存在角点。
[0026]
更进一步的，步骤6)中，使用矩阵表示公式(3)，具体如下：
[0027][0028]
其中：
[0029][0030]
更进一步的，矩阵m为实对称矩阵，λ1和λ2分别为矩阵m的最大特征值和最小特征值。更进一步的，步骤6)中，采用角点函数来判断角点是否存在，该角点函数如下：
[0031]
r＝det(m)
‑
k(trace(m))2[0032]
其中，det(m)＝λ1λ2；trace(m)＝λ1 λ2；k值取0.04～0.06。
[0033]
更进一步的，采用角点函数判定图片区域角点时的评价过程如下：
[0034]
当λ1小于l1，λ2小于l2时，r小于q1，此区域平坦；
[0035]
当λ1远大于λ2时，r小于0，此区域为边缘；
[0036]
当λ1大于l3，λ2大于l4时，r大于q2，判断为角点；
[0037]
其中，l1、l2、l3、l4、q1和q2为实际生产中设定的参照值。
[0038]
更进一步的，步骤s4中，排除全部少于2个角点的候选车厢框，继而确定剩下的即为目标车厢框。
[0039]
更进一步的，步骤s2中，首先训练yolo识别车厢的模型，再使用训练好的模型来检
测步骤s1中所得的目标图片，并在目标图片的卸货场景中标出全部车辆车厢的范围，作为候选的车厢框。
[0040]
3.有益效果
[0041]
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
[0042]
(1)本发明的一种确定目标车辆车厢的方法，采用yolo模型对废钢回收料场拍摄的照片进行检测，筛选出候选车厢；再通过角点检测方法检测上述各个候选车厢是否存在角点，最后排除角点不符合要求的候选车厢框，从而确定得到目标车厢框。将本发明的方法用于废钢回收料场对到场车辆的卸货以及货料质检，相对于传统采用人工判定和调度而言，进一步提高了工作效率，有利于降低企业成本，同时也避免了质检结果受人为因素影响，造成企业经济效益损失的情况发生。
[0043]
(2)本发明的一种确定目标车辆车厢的方法，采用角点检测的方法，能够有效排除同一视图中非目标车辆车厢的错误干扰，从而准确确定图片中目标车辆车厢范围(采用yolo模型检测出来的车厢)，显著提高了预测精度。同时，对角点判定的算法和规则进行优化，有利于进一步提高判定结果的准确性。
[0044]
(3)本发明的一种确定目标车辆车厢的方法，通过使用大量的料场现场拍摄的图片来训练模型，获得训练好的模型后，用于对拍摄的众多料场照片中快速识别并筛选出作为候选的优质废钢车厢。较人工质检而言，进一步提高了检测速度及效率。
附图说明
[0045]
图1为确定目标车辆车厢方法的流程示意图。
具体实施方式
[0046]
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
[0047]
实施例1
[0048]
结合图1，本发明的一种确定目标车辆车厢的方法，包括以下步骤：
[0049]
s1、获取料场内目标车辆车厢在内的卸货场景图片。
[0050]
具体的，本发明利用废钢料场网络视频监控系统拍摄包括目标车辆车厢在内的废钢料卸货场景的图片，用作ai质检。在ai质检前或质检过程中，在实际的识别过程前，对目标图片(也即前述拍摄的废钢料卸货场景的图片)进行处理，确定目标车辆车厢在图片中的大致范围(或车厢的图像特征)。
[0051]
s2、使用yolo模型检测步骤s1中所得图片，获得其中全部的候选车厢框。
[0052]
如图1所示，在获得目标图片后，使用训练好的yolo识别车厢的模型在目标图片的卸货场景中标出全部车辆的车厢范围，作为候选的车厢框。本发明采用的yolo模型是目前比较流行的目标检测模型之一，其最大的特点为检测速度快、效率高。本发明中的yolo模型，其主要工作原理为：首先对输入的图像划分成sxs的网格，每个格子负责检测“落入”该格子的物体；对每个网格预测2个边框，然后根据阈值去除可能性比较低的目标窗口，最后再使用边框合并的方式去除冗余窗口，得出检测结果。
[0053]
需要说明的是，现有工业生产中，一般为了提高场地作业效率，通常是多车同时作业。在废钢回收料场也是如此，虽然yolo模型作为一种能够实现快速检测、并且还能达到较
高准确率的目标检测模型，它能够很快识别场地中的车厢。但是，yolo模型在多车同时作业的场地中进行使用时，会将所有符合的目标车厢框出，不可避免地会存在识别精度误差，从而造成准确性较低。也即，yolo模型在使用时，很难排除同一视图中存在多台车辆时其他车辆的车厢(例如邻近车辆的车厢的干扰)，容易造成错误预测。由于车厢作为目标对象，若同一图片中存在多个时，均会被检出，而即使目标之外的车厢也不作为背景和假阳性。所以，需要对步骤s2中所得的候选车厢进行如下处理(具体详见步骤s3及步骤s4)，才能进一步提高废钢判定的准确性。
[0054]
s3、采用角点检测方法检测出步骤s2中各个候选车厢框是否存在角点。
[0055]
所采用的角点检测方法，主要包括如下步骤：
[0056]
1)对于每个候选车厢框区域，视该区域内的全部像素点构成一张图像i，图像i(x，y)表示在(x，y)点的像素信息；
[0057]
2)建立一个窗口，以当前窗口为中心向各个方向进行偏移；
[0058]
3)窗口在点(x，y)处移动(δx，δy)后计算到的所有差异总和记为c：
[0059][0060]
其中，window(x，y)是以x，y为中心的窗口；w(u，v)是一个加权值，可以是常数值或高斯加权函数(其在后面的计算中会被忽略掉)；
[0061]
4)对图像i(x，y)在移动(δx，δy)处进行泰勒一阶展开，得到：
[0062]
i(u δx，v δy)＝i(u，v) i
x
(u，v)δx i
y
(u，v)δy o(δx2，δy2)
ꢀꢀꢀ
(2)
[0063]
其中，ix和iy为分别对x和y的偏导数，式子o(δx2，δy2)忽略不计；
[0064]
5)结合公式(1)和公式(2)，得到公式(3)，如下：
[0065][0066]
6)使用矩阵表示公式(3)，并得到矩阵的特征值λ1和λ2，并根据该两个特征值的大小来判断待测车厢框区域是否存在角点。
[0067]
具体的，使用矩阵表示公式(3)，具体如下：
[0068][0069]
其中：
[0070][0071]
上述矩阵m为实对称矩阵，λ1和λ2分别为矩阵m的最大特征值和最小特征值。
[0072]
更优化的，本发明采用角点函数来判断角点是否存在，该角点函数如下：
[0073]
r＝det(m)
‑
k(trace(m))2[0074]
其中，det(m)＝λ1λ2；trace(m)＝λ1 λ2；k值取0.04～0.06。
[0075]
当λ1小于l1，λ2小于l2时，r小于q1，此区域平坦；
[0076]
当λ1远大于λ2时，r小于0，此区域为边缘；
[0077]
当λ1大于l3，λ2大于l4时，r大于q2，判断为角点；
[0078]
其中，l1、l2、l3、l4、q1和q2为实际生产中设定的参照值，该参照值是根据不同标准
等级的废钢进行确定。具体的，实际生产中进行判定时，l1、l2和q1均较小，计算所得的r为一个很小的数值，因此，可以判定该检测区域为平坦区域；当λ1远大于λ2，计算所得的r小于0，且r为一个大数值的负数，此检测区域判定为边缘；l3，l4和q2均很大，计算所得的r为一个大数值的正数，则此检测区域判断为角点。
[0079]
s4、根据步骤s3中角点情况排除不符合条件的候选车厢框，最后确定目标车厢框。
[0080]
对全部的候选车厢框角点检测完成后，根据角点情况排除干扰项，这里采用一种较为简单的方法来定义不符合目标车厢框的条件，即排除全部少于2个角点的候选车厢框，继而确定剩下的为目标车厢框。