一种信息处理方法及图像识别装置与流程

1.本发明涉及图像检测技术领域，具体而言，涉及一种信息处理方法、图像识别装置、计算机存储介质以及电子设备。


背景技术：

2.随着智慧交通的推进，越来越多的计算机技术被用于交通领域，在高速公路收费问题上偶有“大车小牌”的逃费问题，这种情况靠人眼去众多视频中查询费时费力，开销极大，由此，需要一种自动化的车轴计数算法来解决这一问题。
3.目前的车轴计数的方法中，像使用激光雷达类方法，开销极大，哪怕如今的很多摄像头算法都是使用100帧以上的高帧率摄像头，成本很高，况且这些方法稳定性不佳，在遇到暴雨，沙尘暴，雾霾等极端天气的情况下，漏检会数倍增加。例如专利文献cn111860381a，步骤繁琐，依赖算法过于陈旧，特征点和hog类的特征方法不能适用所有情况，依赖速度的图像拼接需要超高帧率的摄像头或较慢的车速；专利文献cn109815933a给出了一套非常完整的多轴车取证系统，但该系统的侧方位仅做一次抓拍，多轴车的车身过长，目前大多数都使用阵列相机，每次拍车身的部分之后拼接起来，一次抓拍对于相机架设位置和后续统计轴数增加许多困难，另外该系统使用神经网络直接回归轴数，这种方案不够稳定容易被很多因素干扰，例如某些拖车，自身的车轴和被拖车的车轴容易混淆。


技术实现要素：

4.为了解决上述背景技术中存在的技术问题，本发明提供了一种信息处理方法、图像识别装置、电子设备及计算机存储介质。
5.本发明的第一方面提供了一种信息处理方法，包括：
6.对获取的残差图像信息进行第一回归计算，以得到第一初始图像的平移像素差，其中，所述残差图像信息用于指示所述第一初始图像的卷积残差信息，所述第一初始图像包括第一相机从目标对象的第一方向采集得到的预定数量的相邻帧图像；
7.基于所述平移像素差，确定所述第一初始图像的变换矩阵，其中，所述变换矩阵用于指示所述第一初始图像的图像变换信息；
8.基于所述变换矩阵以及所述第一初始图像信息，确定第一图像信息，其中，所述第一图像信息用于指示所述目标对象的第一方向图像信息；
9.对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息。
10.优选地，基于所述平移像素差，确定所述第一初始图像的变换矩阵包括：
11.利用所述平移像素差对所述第一初始图像进行图像对准处理，以确定所述第一初始图像的位置基准数据；
12.对所述位置基准数据进行残差结构线性计算，确定所述变换矩阵。
13.优选地，基于所述变换矩阵以及所述第一初始图像信息，确定第一图像信息包括：
14.基于所述变换矩阵以及所述第一初始图像信息，对所述第一初始图像进行图像拼
接处理，以确定所述第一图像信息。
15.优选地，所述对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息包括：
16.获取所述第一图像信息中包含的初始特征信息，其中，所述初始特征信息用于指示所述目标对象的目标特征；
17.基于所述初始特征信息，对所述目标特征进行特征计算，以得到第一特征信息；
18.对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息。
19.优选地，所述对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息包括：
20.对所述第一图像执行特征判断处理；
21.在确定所述第一图像为目标类型图像的情况下，对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息。
22.优选地，所述对所述第一图像执行特征判断处理还包括：
23.在确定所述第一图像不为目标类型图像的情况下，提取相邻的下一个所述第一图像，并对其执行特征判断处理。
24.优选地，所述方法还包括：
25.获取预定数量帧的第二初始图像，其中，所述第二初始图像为第二相机从目标对象的第二方向采集得到的；
26.在所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息之后，所述方法还包括：
27.对所述第二初始图像进行识别以获取所述目标对象的身份信息。
28.优选地，所述初始特征信息为所述第一图像信息的热力图特征信息，则：
29.获取所述第一图像信息中包含的初始特征信息，包括：
30.利用高斯函数对所述第一图像进行处理以生成初步热力图；
31.基于所述初始特征信息，对所述目标特征进行特征计算，以得到第一特征信息，包括：
32.使用hrnet网络结构对所述初步热力图进行回归分析以得出预测热力图；
33.对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息，包括：
34.判断所述预测热力图中初步统计的峰值数量是否小于等于2；
35.若是，则：若初步统计的所述峰值数量小于2，则输出异常提示或直接输出车轴数量为2，若初步统计的所述峰值数量等于2，则直接输出车轴数量为2；
36.若否，则：回归计算各峰值对应的热力线条的长度，并基于所述长度计算得出长度均值，进一步计算各热力线条与所述长度均值的偏差值，若所述偏差值为负且所述偏差值的绝对值大于或等于第一偏差阈值，则将所述峰值滤除；对所述峰值进行计数。
37.优选地，所述对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息，还包括：
38.若所述偏差值为正且所述偏差值的绝对值大于或等于第二偏差阈值，则对满足该条件的峰值进行计数，若计数值小于等于第三阈值，则不对满足该条件的峰值进行滤除，对所述峰值进行计数；否则，输出异常提示。
39.本发明的第二方面提供了一种图像识别装置，包括：
40.第一回归模块，用于对获取的残差图像信息进行第一回归计算，以得到第一初始图像的平移像素差，其中，所述残差图像信息用于指示所述第一初始图像的卷积残差信息，所述第一初始图像包括第一相机从目标对象的第一方向采集得到的预定数量的相邻帧图像；
41.第一处理模块，用于基于所述平移像素差，确定所述第一初始图像的变换矩阵，其中，所述变换矩阵用于指示所述第一初始图像的图像变换信息；
42.第二处理模块，用于基于所述变换矩阵以及所述第一初始图像信息，确定第一图像信息，其中，所述第一图像信息用于指示所述目标对象的第一方向图像信息；
43.第二回归模块，用于对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息。
44.优选地，所述基于所述平移像素差，确定所述第一初始图像的变换矩阵包括：
45.利用所述平移像素差对所述第一初始图像进行图像对准处理，以确定所述第一初始图像的位置基准数据；
46.对所述位置基准数据进行残差结构线性计算，确定所述变换矩阵。
47.优选地，所述基于所述变换矩阵以及所述第一初始图像信息，确定第一图像信息包括：
48.基于所述变换矩阵以及所述第一初始图像信息，对所述第一初始图像进行图像拼接处理，以确定所述第一图像信息。
49.优选地，所述对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息包括：
50.获取所述第一图像信息中包含的初始特征信息，其中，所述初始特征信息用于指示所述目标对象的目标特征；
51.基于所述初始特征信息，对所述目标特征进行特征计算，以得到第一特征信息；
52.对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息。
53.优选地，所述对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息包括：
54.对所述第一图像执行特征判断处理；
55.在确定所述第一图像为目标类型图像的情况下，对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息。
56.优选地，所述对所述第一图像执行特征判断处理还包括：
57.在确定所述第一图像不为目标类型图像的情况下，提取相邻的下一个所述第一图像，并对其执行特征判断处理。
58.优选地，所述装置还包括：
59.第三处理模块，用于在所述第二回归模块对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息之后，对所述第二初始图像进行识别以获取所述目标对象的身份信息；其中，所述第二初始图像包括第二相机从目标对象的第二方向采集得到的预定数量的图像。
60.优选地，所述初始特征信息为所述第一图像信息的热力图特征信息，则：
61.获取所述第一图像信息中包含的初始特征信息，包括：
62.利用高斯函数对所述车辆侧面的图像进行处理以生成初步热力图；
63.基于所述初始特征信息，对所述目标特征进行特征计算，以得到第一特征信息，包括：
64.使用hrnet网络结构对所述初步热力图进行回归分析以得出预测热力图；
65.对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息，包括：
66.判断所述预测热力图中初步统计的峰值数量是否小于等于2；
67.若是，则：若初步统计的所述峰值数量小于2，则输出异常提示或直接输出车轴数量为2，若初步统计的所述峰值数量等于2，则直接输出车轴数量为2；
68.若否，则：回归计算各峰值对应的热力线条的长度，并基于所述长度计算得出长度均值，进一步计算各热力线条与所述长度均值的偏差值，若所述偏差值为负且所述偏差值的绝对值大于或等于第一偏差阈值，则将所述峰值滤除；对所述峰值进行计数。
69.优选地，所述对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息，还包括：
70.若所述偏差值为正且所述偏差值的绝对值大于或等于第二偏差阈值，则对满足该条件的峰值进行计数，若计数值小于等于第三阈值，则不对满足该条件的峰值进行滤除，对所述峰值进行计数；否则，输出异常提示。
71.本发明的第三方面提供了一种电子设备，所述设备包括：
72.存储有可执行程序代码的存储器；
73.与所述存储器耦合的处理器；
74.所述处理器调用所述存储器中存储的所述可执行程序代码，执行如上任一项所述的方法。
75.本发明的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。
76.本发明的有益效果在于：
77.1)本发明的方案利用帧间的变换矩阵来重建目标对象的目标方向的第一图像，减少了帧间目标对象运动速度以及拍摄间隔对识别结果造成的影响，提高了识别精度；
78.2)本发明在确定目标对象的目标信息时将第一图像处理为热力图，仅需统计热力图的峰值数量即可确定目标对象的目标信息，相比于目标信息确定方法来说具有更高的准确率以及计算速度。
附图说明
79.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
80.图1是本发明实施例公开的一种信息处理方法的流程示意图；
81.图2是本发明实施例公开的相机布设场景示意图；
82.图3是本发明实施例公开的多任务的卷积残差神经网络模型的结构示意图；
83.图4是本发明实施例公开的重建得到的车辆侧面的图像的示意图；
84.图5是本发明实施例公开的对图4中重建得到的车辆侧面的图像进行高斯处理后得到的热力图的示意图；
85.图6是本发明实施例公开的多任务的卷积残差神经网络模型的结构示意图；
86.图7是本发明实施例公开的相邻车道车辆的车轮对本车进行干扰情况下的示意图；
87.图8是本发明实施例公开的马路道牙豁口或异物对车轮遮挡情况下的示意图；
88.图9是本发明实施例公开的对车辆侧面的图像的外轮廓进行扩增闭合处理前的热力图结果示意图；
89.图10是本发明实施例公开的对车辆侧面的图像的外轮廓进行扩增闭合处理后的热力图结果示意图；
90.图11是本发明实施例公开一种图像识别装置的结构示意图；
91.图12是本发明实施例公开一种电子设备的结构示意图。
具体实施方式
92.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
93.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
94.在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
95.此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
96.需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
97.实施例一
98.请参阅图1，图1是本发明实施例公开的一种信息处理方法的流程示意图。本实施例中，以高速公路车轴识别场景为例对上述信息处理方法进行如下示例性阐述。参照图2所示，本发明在车道的正面和侧面同时布设了相机并将二者关联，其中，正面相机拍摄车辆正面图像，侧面相机(例如阵列相机)获取侧面图像，其中，为了降低设备成本及算力成本，本发明中使用的侧面相机优选为低帧率(例如25帧)的相机。
99.如图1所示，本发明实施例的一种信息处理方法，包括：
100.步骤s1，对获取的残差图像信息进行第一回归计算，以得到第一初始图像的平移像素差，其中，所述残差图像信息用于指示所述第一初始图像的卷积残差信息，所述第一初始图像包括第一相机从目标对象的第一方向采集得到的预定数量的相邻帧图像。
101.在本实施例中，目标对象可以(但不限于)是车辆、行人、建筑物、动物等，第一方向
可以是(但不限于)是与目标对象相垂直的侧面(左侧或右侧)、正面、顶面、底面、背面等，预定数量可以是2帧，或至少2帧，也可以是1帧，残差图像信息包括(但不限于)残差图像的像素、像素的排布顺序及位置等信息，第一回归计算包括(但不限于)线性回归、逻辑回归、elasticnet回归、lasso regression套索回归、ridge regression岭回归等等，第一回归计算可以是通过神经网络模型来实现，也可以通过其他方式实现，例如svm模型、禁忌搜索模型、粒子群模型、模拟退火模型等。
102.其中，本发明构建了一个多任务的卷积残差神经网络，将相邻两帧视频帧输入多任务卷积残差神经网络模型，以实现输出两帧视频帧中车体的平移像素差。而且，构建的多任务卷积残差神经网络模型只需要经过足够多的预先训练，比如在各种天气、能见度等条件下进行训练，就可以适应各种极端天气，能够明显提高对车轴识别的准确性。
103.s2，基于所述平移像素差，确定所述第一初始图像的变换矩阵，其中，所述变换矩阵用于指示所述第一初始图像的图像变换信息。
104.在本实施例中，变换矩阵可以是3x3矩阵，其描述内容包括(但不限于)平移特征、旋转特征、仿射特征中的任一种。
105.其中，由于使用的是侧面布设的相机，拍摄到的各图像帧更多的是平移特性，此时只需要找到每帧图像中的目标(车辆)的平移变化，即可实现后续的侧面图像拼接。
106.s3，基于所述变换矩阵以及所述第一初始图像信息，确定第一图像信息，其中，所述第一图像信息用于指示所述目标对象的第一方向图像信息。
107.在本实施例中，第一图像信息可以是采用3x3矩阵所描述内容中的平移特征、旋转特征、仿射特征中的任一种确定出的。第一图像信息可以是首尾拼接图像，也可以是中间拼接图像等。
108.其中，在得出相邻图像帧之间的变换矩阵之后，就可以将各图像帧拼接起来进而得到第一图像信息。
109.s4，对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息。
110.在本实施例中，回归计算包括(但不限于)线性回归、逻辑回归、elasticnet回归、lasso regression套索回归、ridge regression岭回归等等，第一回归计算可以是通过神经网络模型来实现，也可以通过其他方式实现，例如svm模型、禁忌搜索模型、粒子群模型、模拟退火模型等等。目标对象的目标信息包括(但不限于)车轴数、桥墩数、腿数等，还可以包括人、动物、车辆、建筑物等的数量信息或身份信息或其他特征信息等。
111.在本发明实施例中，本发明的方案利用帧间的变换矩阵来拼接重建车辆侧面的图像，该方案不依赖于帧间车速的匀速与否，即便帧间拍摄间隔存在误差也不会影响最终的识别结果。
112.优选地，所述步骤s2中，基于所述平移像素差，确定所述第一初始图像的变换矩阵包括：
113.步骤s22，利用所述平移像素差对所述第一初始图像进行图像对准处理，以确定所述第一初始图像的位置基准数据；
114.步骤s24，对所述位置基准数据进行残差结构线性计算，确定所述变换矩阵。
115.在本实施例中，所述对准处理包括(但不限于)基于orb特征的方法、sift特征点匹配法、单应性矩阵法、随机抽样法等等。
116.在本发明实施例中，先利用平移像素差来将相邻两帧视频帧进行对准处理，于是就可以确定视频帧的位置基准点，然后对基准点进行残差结构线性计算便可以确定出这相邻两帧视频帧的变换矩阵。
117.另外，虽然车辆移动主要是平移变换，但是由于车辆经过架杆时摄像头会有轻微抖动，以及车辆移动过程中会存在视差的变化，因此探寻两帧图像间车体的变换时不能仅是简单的平移变换，而是应当包括如还包括两幅图像帧间的平移、旋转、仿射等变换。
118.所以，参照图3，本发明进一步构建了一个多任务的卷积残差神经网络模型，其包括第一残差结构、第一分支结构、变换结构、输出结构，所述变换结构包括第二残差结构、池化结构、线性变换结构；其中，所述相邻两帧视频帧先输入第一残差结构(可以为5个)，以计算得出特征图，将所述特征图输入所述第一分支结构；所述第一分支结构将所述特征图经过卷积、池化、线性变换操作后回归出所述两帧视频帧的平移像素差，并利用所述平移像素差将所述两帧视频帧进行图像对准，再将对准结果输入所述变换结构；所述变换结构输出预测的所述两帧视频帧的变换矩阵，具体为3x3变换矩阵(描述的两张图像间的平移、旋转、仿射等变换)；所述输出结构输出一段仅包含车体的视频片段，以及每两帧视频间的变换矩阵。
119.优选地，所述步骤s3中，基于所述变换矩阵以及所述第一初始图像信息，确定第一图像信息包括：
120.步骤s32，基于所述变换矩阵以及所述第一初始图像信息，对所述第一初始图像进行图像拼接处理，以确定所述第一图像信息。
121.在本发明实施例中，在确定出变换矩阵之后，就可以直接基于变换矩阵对多帧视频帧进行拼接，最终获得第一图像信息。
122.优选地，所述步骤s4中，对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息包括：
123.步骤s42，获取所述第一图像信息中包含的初始特征信息，其中，所述初始特征信息用于指示所述目标对象的目标特征；
124.步骤s44，基于所述初始特征信息，对所述目标特征进行特征计算，以得到第一特征信息；
125.步骤s46，对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息。
126.在本发明实施例中，本发明通过计算第一图像中目标对象的目标特征来获得第一特征信息，再对第一特征信息进行回归计算就可以获得目标信息。其中，所述初始特征信息可以是热力图特征信息。
127.优选地，所述对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息，包括：
128.步骤s46，对所述第一图像执行特征判断处理；
129.步骤s48，在确定所述第一图像为目标类型图像的情况下，对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息。
130.在本发明实施例中，由于最终要获得的目标对象的目标信息是车轴计数，所以需要先确定拼接后的图像中的目标对象是否是车辆。当然，该判断也可以设置于前述的多任
务的卷积残差神经网络模型中，具体而言，同样参照图3，设置多任务卷积残差神经网络模型还包括第二分支结构，其中，先将所述特征图输入第二分支结构，若所述第二分支结构判断此两帧视频帧均为车身，则再将所述特征图再输入所述第一分支结构。
131.优选地，所述对所述第一图像执行特征判断处理还包括：
132.步骤s462，在确定所述第一图像不为目标类型图像的情况下，提取相邻的下一个所述第一图像，并对其执行特征判断处理。
133.在本发明实施例中，先对第一图像中是否包含车辆进行识别分析，在确定包含车辆之后才基于第一图像进行车轴计数识别。如果识别分析结果表明第一图像中不包含车辆时，则跳过该第一图像，对下一个第一图像进行识别。
134.优选地，所述方法还包括：
135.步骤s5，获取预定数量帧的第二初始图像，其中，所述第二初始图像为第二相机从目标对象的第二方向采集得到的；
136.在所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息之后，所述方法还包括：
137.步骤s6，对所述第二初始图像进行识别以获取所述目标对象的身份信息。
138.在本发明实施例中，还设置了正面相机，其用于拍摄车辆的正面图像，基于正面图像以提取出车牌号码，用于与前述的车轴计数结果进行关联存储。
139.优选地，所述初始特征信息为所述第一图像信息的热力图特征信息，则：
140.获取所述第一图像信息中包含的初始特征信息，包括：
141.利用高斯函数对所述第一图像进行处理以生成初步热力图；
142.基于所述初始特征信息，对所述目标特征进行特征计算，以得到第一特征信息，包括：
143.使用hrnet网络结构对所述初步热力图进行回归分析以得出预测热力图；
144.对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息，包括：
145.s10，统计所述预测热力图的峰值数量；
146.s12，检测所述峰值数量是否小于等于2，若是，则转s14；若否，则转s16；
147.s14，若所述峰值数量小于2，则输出异常提示或直接输出车轴数量为2，若所述峰值数量等于2，则直接输出车轴数量为2；
148.s16，计算各峰值对应的热力线条的长度，并基于所述长度计算得出长度均值，进一步计算各热力线条与所述长度均值的偏差值；
149.s18，若所述偏差值为负且所述偏差值的绝对值大于或等于第一偏差阈值，则将所述峰值滤除；
150.s20，对所述峰值进行计数。
151.在本发明实施例中，本发明在检测车轴时还应用了关键点检测技术，将车轴视为一个个关键点，利用高斯函数对拼接好的第一图像即车辆侧面图像进行处理以生成初步热力图，之后再使用例如hrnet网络结构对该初步热力图进行回归分析以滤除干扰物的影响，此时只需统计预测热力图的峰值数量即可获得车轴计数，相比于传统的车轴分类方法来说具有更高的准确率。例如，参照图4
‑
5，图4所示的是在步骤s3中重建得到的车辆侧面的图像，从该车辆侧面的图像中可以看出该车辆是四轴车辆；然后采用高斯函数对该车辆侧面
的图像进行处理以生成热力图如图5所示，从图5可以明显看出四条向下突出的热力线条(即热力图的峰值)，此时只需对热力图的峰值数量进行计数即可得出该车辆有四个车轴。
152.其中，可采用如下方式对hrnet网络结构进行训练：
153.1)构建并复制训练集，以获得第一训练集和第二训练集，将第一训练集和第二训练集中的样本进行一一对应；
154.2)对所述第一训练集进行人工标注，对所述第二训练集进行随机处理；
155.3)将所述第一训练集和第二训练集一一对应的样本依次逐对输入hrnet网络结构，并计算损失函数，
[0156][0157]
式中，d
i
为预测关键点和标记关键点之间的距离，v
i
为标记关键点的坐标，sd
i
表示各关键点的标准差,δ(*)表示针对关键点的计算函数；
[0158]
4)在损失函数小于或等于阈值时停止训练，得到训练好的hrnet网络结构。
[0159]
而且，选取不同天气、能见度等条件下车辆侧面图像组件训练集，再将经过人工标注的第一训练集和随机处理的第二训练集同时输入hrnet网络结构进行训练，直至满足训练结束条件。其中，随机处理可以为放大、缩小、旋转、镜像翻转中的至少一种。如此，本发明训练好的hrnet网络结构具有更强的泛化能力，可以适应各种气候条件下的车轴精确识别。此处需要说明的是，hrnet网络结构有许多形式，例如，融入了注意力机制/双注意力机制的hrnet网络结构，hrnet_attri网络结构，融入了hrfpn的hrnet网络结构等等。
[0160]
另外，由于车轮是位于车辆下部与地面接触部位的，所以，在统计预测热力图的峰值数量时应仅统计位于车辆下部的峰值，参照图6，其中1、2、3、4代表的热力线条应当被认定为车轴，对于5、6、7，其虽然也被分析出是热力线条，但其是位于车辆顶部的货物，显然不应当被认定为车轴。具体实现时可基于热力线条的向量方向或热力线条的自由端所处位置来确定，本发明对此不做具体限定。经过上述处理之后，再使用hrnet网络结构对该热力图进行回归分析，如此回归分析只需要对车辆下部的车轮所在区域进行，一方面极大的降低了计算负荷，另一方面，也减少了干扰对象。
[0161]
对于上述车轴计数过程，如果峰值数量小于或等于2，则可以认定为异常(计数为0或1时)，因为悬挂车牌的机动车至少是两轮的，当然也存在因干扰或识别准确率而导致的识别错误的情况，此时可输出异常(例如计数为0时)或直接输出车轴数量为2(例如计数为1时)。
[0162]
对于峰值数量大于2的情况：由于本发明实际上是基于车轮的“凸出”特性来对热力图的峰值进行计数以最终获得车轴计数，但现实情况是相邻车道的其他车辆的车轮很有可能会闯入本车的侧面图像中，进而造成车轴计数的错误。例如，参见图7所示，本车实际上为3轴车辆，但是重建得到的侧面图像中包括了车轮2，而车轮2是相邻车道的车辆的车轮，此时若继续采用前述的热力图分析方法会判定本车为4轴车辆，于是也就发生了识别错误。针对该技术问题，本发明还计算各峰值对应的热力线条的长度，并基于所述长度计算得出长度均值，若热力线条的长度相对于长度均值过短，则说明该热力线条对应的峰值是相邻车道的干扰车轮，应当滤除后再进行计数。
[0163]
其中，长度均值可以为第一均值与第二均值之间的一个浮动数值。其中，所述第一均值的计算方式为而第二均值的计算方式为其中，l
n
为各峰值对应的热力线条的长度值，n为峰值数量，第一均值大于第二均值。于是，长度均值就为(α*m1 β*m2)，其中，α、β为计算系数，且α β＝1，计算系数的取值原则为：峰值数量越大，则说明车辆更大，底盘离地间隙也就更高，相邻车道车辆的车轮也就更容易被侧面相机拍摄到而造成干扰，此时设置α＞β，即使长度均值更接近第一均值，也即调高了长度均值，在第一偏差阈值固定的情况下，更容易将相邻车道车辆的车轮的峰值滤除；反之则设置α＜β，即使长度均值更接近第二均值，也即调低了长度均值，在第一偏差阈值固定的情况下，避免了将因识别问题导致本车热力线条相对较短而被误过滤的情况。通过上述方式，本发明的方案通过调节长度均值的大小而同时实现了过滤相邻车道车轮的干扰以及避免过于敏感而导致的误滤除。其中，对于α、β的具体调节方法，可以设置标准峰值数量，比如3个，然后基于峰值数量与标准峰值数量的偏离程度来确定α、β的具体值。
[0164]
其中，作为一种可替换的方案，可以将步骤s16中的偏差值的计算替换为偏差程度的计算，即计算偏差值与长度均值的偏差程度，此时只需要对应修改偏差阈值即可。
[0165]
优选地，统计所述预测热力图的峰值数量作为车轴数量，还包括：
[0166]
s19，若所述偏差值为正且所述偏差值的绝对值大于或等于第二偏差阈值，则对满足该条件的峰值进行计数，若计数值小于等于第三阈值，则不对满足该条件的峰值进行滤除，转s20；否则，输出异常提示。
[0167]
在本发明实施例中，侧面相机所部署的地面通常会高于车道面，于是就会导致车轮下端一部分被马路道牙遮蔽，同时，马路道牙还会存在豁口，比如排水通道、损坏或其他原因设置的豁口，此时，车辆的车轮就会同时存在遮蔽与非遮蔽，而且，当侧面相机的拍摄范围内存在异物时也会导致前述遮挡/非遮挡的情况。参见图8所示，本车实际为4轴车辆，由于马路道牙/异物的遮蔽，导致车轮1、3、4的下端被部分遮蔽，但是该段马路道牙还存在一个豁口/车轮2处无异物，车轮2并未被遮蔽。此时，若仍然按照前述的方法对热力图的峰值进行计数，则结果为1，显然，这也导致了识别错误。针对该技术问题，本发明进一步计算了各峰值对应的热力线条的长度与长度均值的偏差情况，若偏差值为正且偏差值的绝对值大于或等于第二偏差阈值，则对满足该条件的峰值进行计数，若计数值小于等于第三阈值(比如2)，则说明上述的偏差是由于豁口的存在或异物的遮挡导致的，此时可不对其进行滤除，直接计数即可；但是，对于正偏差的峰值的数量超过了第三阈值的情况，以5轴车辆举例，假如只有一个车轮被遮挡，而剩余4个车轮未被遮挡，但此时的长度均值也会对应变大，相应地满足上述条件的峰值数量也不会很多，此时很可能是某些原因导致的识别错误，应当输出提示，以使工作人员及时进行处置。
[0168]
优选地，在生成初步热力图之前，还包括：
[0169]
对重建的所述车辆侧面的图像的外轮廓进行扩增闭合处理，以消除凹部。
[0170]
在本发明实施例中，参照图9所示，车辆的车头部分是高于车体部分的，于是，处理得到的热力图中车轮1、2所对应的热力线条的长度与车轮3、4所对应的热力线条的长度具有明显的差异，此时，如果按照前述步骤s40
‑
s50的方法进行判断的话，则有可能会导致某些热力线条被滤除，从而导致车轴识别错误。针对该技术问题，本发明进一步设置在利用高
斯函数对所述车辆侧面的图像进行处理以生成初步热力图之前，先对重建的所述车辆侧面的图像的外轮廓进行扩增闭合处理，以消除凹部。参照图10所示，基于车辆的外轮廓曲线进行扩增闭合处理，图中的虚线即为扩增闭合处理后生成的轮廓线，车辆侧面图像被再次重建，对再次重建后的侧面图像进行高斯处理而获得的热力图就如图10所示了，此时车轮1、2、3、4所对应的热力线条的长度均是相当的程度，也就避免了车体结构的干扰。
[0171]
实施例二
[0172]
请参阅图11，图11是本发明实施例公开的一种图像识别装置的结构示意图，该装置是与实施例所述的方法对应的。如图11所示，本发明实施例的一种图像识别装置，包括：
[0173]
第一回归模块81，用于对获取的残差图像信息进行第一回归计算，以得到第一初始图像的平移像素差，其中，所述残差图像信息用于指示所述第一初始图像的卷积残差信息，所述第一初始图像包括第一相机从目标对象的第一方向采集得到的预定数量的相邻帧图像；
[0174]
第一处理模块82，用于基于所述平移像素差，确定所述第一初始图像的变换矩阵，其中，所述变换矩阵用于指示所述第一初始图像的图像变换信息；
[0175]
第二处理模块83，用于基于所述变换矩阵以及所述第一初始图像信息，确定第一图像信息，其中，所述第一图像信息用于指示所述目标对象的第一方向图像信息；
[0176]
第二回归模块84，用于对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息。
[0177]
优选地，所述基于所述平移像素差，确定所述第一初始图像的变换矩阵包括：
[0178]
利用所述平移像素差对所述第一初始图像进行图像对准处理，以确定所述第一初始图像的位置基准数据；
[0179]
对所述位置基准数据进行残差结构线性计算，确定所述变换矩阵。
[0180]
优选地，所述基于所述变换矩阵以及所述第一初始图像信息，确定第一图像信息包括：
[0181]
基于所述变换矩阵以及所述第一初始图像信息，对所述第一初始图像进行图像拼接处理，以确定所述第一图像信息。
[0182]
优选地，所述对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息包括：
[0183]
获取所述第一图像信息中包含的初始特征信息，其中，所述初始特征信息用于指示所述目标对象的目标特征；
[0184]
基于所述初始特征信息，对所述目标特征进行特征计算，以得到第一特征信息；
[0185]
对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息。
[0186]
优选地，所述对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息包括：
[0187]
对所述第一图像执行特征判断处理；
[0188]
在确定所述第一图像为目标类型图像的情况下，对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息。
[0189]
优选地，所述对所述第一图像执行特征判断处理还包括：
[0190]
在确定所述第一图像不为目标类型图像的情况下，提取相邻的下一个所述第一图
像，并对其执行特征判断处理。
[0191]
优选地，所述装置还包括：
[0192]
第三处理模块85，用于在所述第二回归模块84对所述第一图像信息进行特征回归计算，以确定所述目标对象的目标信息之后，对所述第二初始图像进行识别以获取所述目标对象的身份信息；其中，所述第二初始图像包括第二相机从目标对象的第二方向采集得到的预定数量的图像。
[0193]
优选地，所述初始特征信息为所述第一图像信息的热力图特征信息，则：
[0194]
获取所述第一图像信息中包含的初始特征信息，包括：
[0195]
利用高斯函数对所述第一图像进行处理以生成初步热力图；
[0196]
基于所述初始特征信息，对所述目标特征进行特征计算，以得到第一特征信息，包括：
[0197]
使用hrnet网络结构对所述初步热力图进行回归分析以得出预测热力图；
[0198]
对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息，包括：
[0199]
判断所述预测热力图中初步统计的峰值数量是否小于等于2；
[0200]
若是，则：若初步统计的所述峰值数量小于2，则输出异常提示或直接输出车轴数量为2，若初步统计的所述峰值数量等于2，则直接输出车轴数量为2；
[0201]
若否，则：回归计算各峰值对应的热力线条的长度，并基于所述长度计算得出长度均值，进一步计算各热力线条与所述长度均值的偏差值，若所述偏差值为负且所述偏差值的绝对值大于或等于第一偏差阈值，则将所述峰值滤除；对所述峰值进行计数。
[0202]
优选地，所述对所述第一特征信息进行第二回归计算，以确定所述目标对象的目标信息，还包括：
[0203]
若所述偏差值为正且所述偏差值的绝对值大于或等于第二偏差阈值，则对满足该条件的峰值进行计数，若计数值小于等于第三阈值，则不对满足该条件的峰值进行滤除，对所述峰值进行计数；否则，输出异常提示。
[0204]
该实施例中的一种图像识别装置的具体功能参照上述实施例一，由于本实施例中的系统采用了上述实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0205]
实施例三
[0206]
请参阅图12，图12是本发明实施例公开的一种电子设备，其特征在于：所述设备包括：
[0207]
存储有可执行程序代码的存储器；
[0208]
与所述存储器耦合的处理器；
[0209]
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的方法。
[0210]
实施例四
[0211]
本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的方法。
[0212]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机
可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0213]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0214]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。