目标识别方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种目标识别方法及装置。


背景技术：

2.随着当前社会经济的快速发展，各行各业都在不断的加快发展的速度，人们的生活质量和生活水平也在不断的提高，无论是人们的生活还是工作都逐渐实现了现代化和智能化，对于货物运输行业也是如此。货物运输的两大核心内容：一个是快捷、准确、节约的配送服务；一个是安全、可靠的货物运输与结算。
3.在货物运输领域中，会出现货物丢失、损毁等意外事件，目前对车内装载货物的识别还主要依靠人工现场查看，或者利用摄像头采集图片进行识别等方式来进行。
4.但是，人工现场查看效率较低，且只适用于车辆停止运行的时候，在车辆运行中，很难做到货物状况的判断；摄像头采集图像进行识别时，由于车辆在行驶过程中容易发生抖动，以致采集的图像像素较差，从而造成误报或漏报等情况。


技术实现要素：

5.本发明提供一种目标识别方法及装置，用以解决现有技术中由于拍摄角度变化以致目标识别精度较差的缺陷，提高目标识别的准确率。
6.本发明提供一种目标识别方法，包括：获取待识别车厢图片；将所述待识别车厢图片输入至目标识别模型，得到所述目标识别模型输出的目标识别结果；其中，所述目标识别模型是基于样本图片及其对应的角点标签和目标真值得到的；所述目标识别模型用于根据对所述待识别车厢图片预测得到的角点特征对所述待识别车厢图片进行识别，得到目标识别结果。
7.根据本发明提供的一种目标识别方法，所述目标识别模型，包括：特征提取层，对所述待识别车厢图片进行特征提取，得到车厢特图；角点预测层，基于所述车厢特征，得到角点特征；目标识别层，根据所述角点特征，对所述待识别车厢图片进行识别，得到目标识别结果。
8.根据本发明提供的一种目标识别方法，所述根据所述角点特征，对所述待识别车厢图片进行识别，包括：根据所述角点特征，确定所述待识别车厢图片的待识别区域；对所述待识别区域进行识别分类，得到目标识别结果。
9.根据本发明提供的一种目标识别方法，所述根据所述角点特征，确定所述待识别车厢图片的待识别区域，包括：根据所述角点特征，从所述待识别车厢图片中选择位于所述角点特征范围内的区域，作为所述待识别车厢图片的待识别区域。
10.根据本发明提供的一种目标识别方法，所述对所述待识别区域进行识别分类，包括：对所述待识别区域进行卷积操作，得到目标特征；基于所述目标特征进行识别分类，得到目标识别结果。
11.根据本发明提供的一种目标识别方法，训练所述目标识别模型，包括：获取样本图
片及其对应的角点标签和目标真值；将所述样本图片作为训练使用的输入数据，将所述角点标签作为待训练模型基于所述样本图片提取的角点训练特征的标签，将所述目标真值作为所述待训练模型基于所述角点训练特征对所述样本图片进行目标识别的标签，对所述待训练模型进行训练，得到用于生成待识别车厢图片的目标识别结果的目标识别模型。
12.本发明还提供一种目标识别装置，包括：数据获取模块，获取待识别车厢图片；目标识别模块，将所述待识别车厢图片输入至目标识别模型，得到所述目标识别模型输出的目标识别结果；其中，所述目标识别模型是基于样本图片及其对应的角点标签和目标真值得到的；所述目标识别模型用于根据对所述待识别车厢图片预测得到的角点特征对所述待识别车厢图片进行识别，得到目标识别结果。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标识别方法的步骤。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标识别方法的步骤。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标识别方法的步骤。
16.本发明提供的目标识别方法及装置，通过将获取的车厢图片输入至目标识别模型中，以便于根据提取的车厢图片的角点特征进行目标识别，根据车厢角点与车厢内货物的关联性，迅速确定货物相对于车厢图片的位置，从而提高目标识别的准确性，避免受拍摄角度的影响以致产生误报或漏报等勤快，在避免增加较多额外计算量的同时，提高目标识别的效率。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明提供的目标识别方法的流程示意图之一；
19.图2是本发明提供的训练目标识别模型的流程示意图；
20.图3是本发明提供的目标识别模型的架构示意图；
21.图4是本发明提供的目标识别装置的结构示意图；
22.图5是本发明提供的训练模块的结构示意图；
23.图6是本发明提供的电子设备的结构示意图。
具体实施方式
24.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.图1示出了本发明一种目标识别方法的流程示意图，方法包括：
26.s11，获取待识别车厢图片；
27.s12，将待识别车厢图片输入至目标识别模型，得到目标识别模型输出的目标识别结果；
28.其中，目标识别模型是基于样本图片及其对应的角点标签和目标真值得到的；
29.目标识别模型用于根据对待识别车厢图片预测得到的角点特征对待识别车厢图片进行识别，得到目标识别结果。
30.需要说明的是，本说明书中的s1n不代表目标识别方法的先后顺序，下面具体描述本发明的目标识别方法。
31.步骤s11，获取待识别车厢图片。
32.需要说明的是，由于在利用车辆对目标运输过程中，不同的目标在货运过程中可能出现不同的情况，比如，车辆行驶不平稳以致车厢内装载的货物目标发生碰撞，再比如，车厢闷热以致车厢装载的货物目标发生腐烂，再比如，车厢由于门未关闭以致其内装载货物遗失，因此，需要在车厢安装摄像装置，以便于及时了解车厢内装载的货物类型或者车厢门是否关闭。
33.在本实施例中，获取待识别车厢图片，包括：基于预设时间段获取多帧连续拍摄的车厢图片。
34.在一个可选实施例中，获取待识别车厢图片，包括：获取车厢区域的视频流；基于视频流，提取预设时间段内的车厢图片。具体而言，基于视频流，提取预设时间段内的车厢图片，包括：基于视频流，采集当前帧车厢图片前后一定帧数的车厢图片，比如，采集当前帧车厢图片的前后预设帧数车厢图片，以避免后续基于单帧车厢图片进行判断以致检测结果较差的情况，获取的具体车厢图片数量可根据实际需要设定，此处不做进一步地限定，比如，可以为当前帧车厢图片前后五帧车厢图片。
35.需要说明的是，待识别车厢图片是基于交通工具上的雷达、传感器或摄像头等装置获取得到的，此处对待检测图片的来源不做进一步地限定。交通工具可以为车辆、船舶或者飞机等用于载人或者搭载货物的交通工具，其中车辆可以为私家车或者运营车辆，比如共享汽车、网约车、出租车、公交车、校车、货车、客车、火车、地铁和有轨电车等。
36.在一个可选实施例中，可以采用高分辨率的红外摄像头获取视频流，红外摄像头设置于车厢内，用以拍摄车厢区域，对应车厢内还可设有红外灯，以便于在晚上或光照条件差的情况下，仍能清楚地采集车厢图片。在其他实施例中，车厢图片可以采用dms摄像头、oms摄像头、摄像机、录像机以及带有摄像头的电子器件中的至少一种进行采集，电子器件可以为移动终端、电脑、相机、平板电脑等移动终端设备。
37.步骤s12，将待识别车厢图片输入至目标识别模型，得到目标识别模型输出的目标识别结果；其中，目标识别模型是基于样本图片及其对应的角点标签和目标真值得到的；目标识别模型用于根据对待识别车厢图片预测得到的角点特征对待识别车厢图片进行识别，得到目标识别结果。
38.在本实施例中，目标识别模型，包括：特征提取层，对待识别车厢图片进行特征提取，得到车厢特图；角点预测层，基于车厢特征，得到角点特征；目标识别层，根据角点特征，对待识别车厢图片进行识别，得到目标识别结果。需要说明的是，通过目标识别模型对待识
别车厢图片进行预测，得到角点特征，以利用角点特征进一步识别待识别车厢图片的目标，从而避免由于拍摄角度的变化以致影响目标识别精度的情况，提高目标识别的准确率和效率。
39.具体而言，根据角点特征，对待识别车厢图片进行识别，包括：根据角点特征，确定待识别车厢图片的待识别区域；对待识别区域进行识别分类，得到目标识别结果。
40.首先，根据角点特征，确定待识别车厢图片的待识别区域。在本实施例中，根据角点特征，确定待识别车厢图片的待识别区域，具体包括：根据角点特征，从待识别车厢图片中选择位于角点特征范围内的区域，作为待识别车厢图片的待识别区域。需要说明的是，由于存在多个角点特征，因此，将待识别区域确定为角点特征对应在待识别车厢图片上所围成的区域，从而便于对待识别区域进行目标识别，避免待识别区域以外的区域对目标识别结果造成影响，且提高后续目标识别的精度。
41.其次，对待识别区域进行识别分类，得到目标识别结果。在本实施例中，对待识别区域进行识别分类，包括：对待识别区域进行卷积操作，得到目标特征；基于目标特征进行识别分类，得到目标识别结果。
42.在一个可选实施例中，参考图2，在将待识别车厢图片输入至目标识别模型之前，还包括训练目标识别模型，具体包括：
43.s21，获取样本图片及其对应的角点标签和目标真值；
44.s22，将样本图片作为训练使用的输入数据，将角点标签作为待训练模型基于样本图片提取的角点训练特征的标签，将目标真值作为待训练模型基于角点训练特征对样本图片进行目标识别的标签，对待训练模型进行训练，得到用于生成待识别车厢图片的目标识别结果的目标识别模型。
45.需要说明的是，本说明书中的s2n不代表目标识别方法的先后顺序，下面结合图3具体描述本发明的目标识别方法。
46.s21，获取样本图片及其对应的角点标签和目标真值。
47.在本实施中，获取样本图片及其对应的角点标签和目标真值，包括：采集训练视频或图像，并筛选其中包含车厢的视频或图像作为有效样本图片；对有效样本图片进行标注，得到角点标签和目标真值。
48.需要补充的是，在采集训练视频或图像时，可以在不同车辆行驶环境下对不同车厢进行录像，录制不同的车厢装载的不同货物的视频，以及录制一些车厢未装载货物的视频或图像。另外，网上下载图像或对不同的车厢进行拍照的图像也可以作为样本图片。
49.为了建立车厢与货物之间的关联性，以及考虑连续视频帧之间的冗余性，在筛选采集的训练视频时，对视频文件每隔几帧采集1帧，以去除未包含车厢的视频；在筛选采集的图像时，对其进行筛选，以去除未包含车厢的图像。
50.另外，样本图片可以理解为图片数据的集合，该图片数据可以是针对不同车厢，且任一车厢在不同角度、不同环境条件、不同像素颜色等状态下的图片，图片数据流通常比较大，可达上百万张级别。上述样本图片用于训练待训练网络，以完成模型的构建。
51.在一个可选实施例中，在获取样本图片及其对应的角点标签和目标真值之后，还包括：利用数据增强策略对样本图片进行数据增强。上述数据增强策略包括图像缩放、水平镜像翻转、随机调整亮度和色调等，保持各目标的标签信息不变同时边界框坐标信息根据
相应的几何变换方法进行更新。
52.s22，将样本图片作为训练使用的输入数据，将角点标签作为待训练模型基于样本图片提取的角点训练特征的标签，将目标真值作为待训练模型基于角点训练特征对样本图片进行目标识别的标签，对待训练模型进行训练，得到用于生成待识别车厢图片的目标识别结果的目标识别模型。
53.在本实施例中，待训练网络中通常包括分别用于提取对应目标特征的特征提取层、对应预测各提取出的车厢特征的角点预测层、基于角点预测层得到的角点特征进行目标识别的目标识别层和损失函数；按照预设的迭代规则，将上述样本图片或经数据增强后的样本图片输入至待训练模型中进行训练，得到训练后的目标识别模型。
54.具体而言，参考图3，对待训练模型进行训练，包括：将样本图片输入至待训练模型中，得到待训练模型输出的目标识别结果；根据待训练模型基于样本图片提取得到的角点坐标和角点标签以及待训练模型输出的目标识别结果和目标真值，构建损失函数，并基于损失函数收敛，结束训练。需要说明的是，基于角点标签提高模型对角点特征预测的准确性，从而提高后续目标识别的准确性，便于迅速确定待识别区域，从而快速进行目标识别。
55.综上所述，本发明通过将获取的车厢图片输入至目标识别模型中，以便于根据提取的车厢图片的角点特征进行目标识别，根据车厢角点与车厢内货物的关联性，迅速确定货物相对于车厢图片的位置，从而提高目标识别的准确性，避免受拍摄角度的影响以致产生误报或漏报等勤快，在避免增加较多额外计算量的同时，提高目标识别的效率。
56.下面对本发明提供的目标识别装置进行描述，下文描述的目标识别装置与上文描述的目标识别方法可相互对应参照。
57.图4示出了一种目标识别装置的结构示意图，该装置包括：
58.数据获取模块41，获取待识别车厢图片；
59.目标识别模块42，将待识别车厢图片输入至目标识别模型，得到目标识别模型输出的目标识别结果；
60.其中，目标识别模型是基于样本图片及其对应的角点标签和目标真值得到的；
61.目标识别模型用于根据对待识别车厢图片预测得到的角点特征对待识别车厢图片进行识别，得到目标识别结果。
62.在本实施例中，数据获取模块41，包括：数据获取单元，基于预设时间段获取多帧连续拍摄的车厢图片。
63.在一个可选实施例中，数据获取模块41，包括：数据获取单元，获取车厢区域的视频流；数据提取单元，基于视频流，提取预设时间段内的车厢图片。具体而言，数据获取单元，包括：采集子单元，基于视频流，采集当前帧车厢图片前后一定帧数的车厢图片，比如，采集当前帧车厢图片的前后预设帧数车厢图片，以避免后续基于单帧车厢图片进行判断以致检测结果较差的情况，获取的具体车厢图片数量可根据实际需要设定，此处不做进一步地限定，比如，可以为当前帧车厢图片前后五帧车厢图片。
64.需要说明的是，待识别车厢图片是基于交通工具上的雷达、传感器或摄像头等装置获取得到的，此处对待检测图片的来源不做进一步地限定。交通工具可以为车辆、船舶或者飞机等用于载人或者搭载货物的交通工具，其中车辆可以为私家车或者运营车辆，比如共享汽车、网约车、出租车、公交车、校车、货车、客车、火车、地铁和有轨电车等。
65.在一个可选实施例中，可以采用高分辨率的红外摄像头获取视频流，红外摄像头设置于车厢内，用以拍摄车厢区域，对应车厢内还可设有红外灯，以便于在晚上或光照条件差的情况下，仍能清楚地采集车厢图片。在其他实施例中，车厢图片可以采用dms摄像头、oms摄像头、摄像机、录像机以及带有摄像头的电子器件中的至少一种进行采集，电子器件可以为移动终端、电脑、相机、平板电脑等移动终端设备。
66.目标识别模块42，包括：特征提取单元，对待识别车厢图片进行特征提取，得到车厢特图；角点预测单元，基于车厢特征，得到角点特征；目标识别单元，根据角点特征，对待识别车厢图片进行识别，得到目标识别结果。需要说明的是，通过角点预测单元对特征提取单元提取的车厢特征进行预测，得到角点特征，以便于目标识别单元利用角点特征进一步识别待识别车厢图片的目标，从而避免由于拍摄角度的变化以致影响目标识别精度的情况，提高目标识别的准确率和效率。
67.具体而言，目标识别单元，包括：区域选择子单元，根据角点特征，确定待识别车厢图片的待识别区域；目标识别子单元，对待识别区域进行识别分类，得到目标识别结果。
68.更进一步地说，区域选择子单元，包括：区域选择孙单元，根据角点特征，从待识别车厢图片中选择位于角点特征范围内的区域，作为待识别车厢图片的待识别区域。需要说明的是，由于存在多个角点特征，因此，将待识别区域确定为角点特征对应在待识别车厢图片上所围成的区域，从而便于对待识别区域进行目标识别，避免待识别区域以外的区域对目标识别结果造成影响，且提高后续目标识别的精度。
69.另外，目标识别子单元，包括：卷积孙单元，对待识别区域进行卷积操作，得到目标特征；目标识别孙单元，基于目标特征进行识别分类，得到目标识别结果。
70.在一个可选实施例中，参考图5，该装置还包括训练模块，用于训练目标识别模型。具体而言，训练模块包括：
71.样本获取单元51，获取样本图片及其对应的角点标签和目标真值；
72.训练单元52，将样本图片作为训练使用的输入数据，将角点标签作为待训练模型基于样本图片提取的角点训练特征的标签，将目标真值作为待训练模型基于角点训练特征对样本图片进行目标识别的标签，对待训练模型进行训练，得到用于生成待识别车厢图片的目标识别结果的目标识别模型。
73.在本实施例中个，样本获取单元51，包括：样本采集子单元，采集训练视频或图像，并筛选其中包含车厢的视频或图像作为有效样本图片；标注子单元，对有效样本图片进行标注，得到角点标签和目标真值。
74.需要补充的是，在数据采集子单元采集训练视频或图像时，可以在不同车辆行驶环境下对不同车厢进行录像，录制不同的车厢装载的不同货物的视频，以及录制一些车厢未装载货物的视频或图像。另外，也可以从网上下载图像或对不同的车厢进行拍照，得到样本图片。
75.为了建立车厢与货物之间的关联性，以及考虑连续视频帧之间的冗余性，样本采集子单元，包括：样本采集孙单元，对视频文件每隔几帧采集1帧，以去除未包含车厢的视频；筛选孙单元，对采集的图像进行筛选，以去除未包含车厢的图像。
76.另外，样本图片可以理解为图片数据的集合，该图片数据可以是针对不同车厢，且任一车厢在不同角度、不同环境条件、不同像素颜色等状态下的图片，图片数据流通常比较
大，可达上百万张级别。上述样本图片用于训练待训练网络，以完成模型的构建。
77.在一个可选实施例中，该训练模块，还包括：数据增强单元，利用数据增强策略对样本图片进行数据增强。上述数据增强策略包括图像缩放、水平镜像翻转、随机调整亮度和色调等，保持各目标的标签信息不变同时边界框坐标信息根据相应的几何变换方法进行更新。
78.训练单元52，将样本图片作为训练使用的输入数据，将角点标签作为待训练模型基于样本图片提取的角点训练特征的标签，将目标真值作为待训练模型基于角点训练特征对样本图片进行目标识别的标签，对待训练模型进行训练。需要说明的是，待训练网络中通常包括分别用于提取对应目标特征的特征提取层、对应预测各提取出的车厢特征的角点预测层、基于角点预测层得到的角点特征进行目标识别的目标识别层和损失函数；按照预设的迭代规则，将上述样本图片或经数据增强后的样本图片输入至待训练模型中进行训练，得到训练后的目标识别模型。
79.具体而言，训练单元52，包括：训练子单元，将样本图片输入至待训练模型中，得到待训练模型输出的目标识别结果；损失函数计算单元，根据待训练模型基于样本图片提取得到的角点坐标和角点标签以及待训练模型输出的目标识别结果和目标真值，构建损失函数，并基于损失函数收敛，结束训练。需要说明的是，基于角点标签提高模型对角点特征预测的准确性，从而提高后续目标识别的准确性，便于迅速确定待识别区域，从而快速进行目标识别。
80.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)61、通信接口(communications interface)62、存储器(memory)63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信。处理器61可以调用存储器63中的逻辑指令，以执行目标识别方法，该方法包括：获取待识别车厢图片；将待识别车厢图片输入至目标识别模型，得到目标识别模型输出的目标识别结果；其中，目标识别模型是基于样本图片及其对应的角点标签和目标真值得到的；目标识别模型用于根据对待识别车厢图片预测得到的角点特征对待识别车厢图片进行识别，得到目标识别结果。
81.此外，上述的存储器63中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
82.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标识别方法，该方法包括：获取待识别车厢图片；将待识别车厢图片输入至目标识别模型，得到目标识别模型输出的目标识别结果；其中，目标识别模型是基于样本图片及其对应的角点标签和目标真值得到的；目标识别模型
用于根据对待识别车厢图片预测得到的角点特征对待识别车厢图片进行识别，得到目标识别结果。
83.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标识别方法，该方法包括：获取待识别车厢图片；将待识别车厢图片输入至目标识别模型，得到目标识别模型输出的目标识别结果；其中，目标识别模型是基于样本图片及其对应的角点标签和目标真值得到的；目标识别模型用于根据对待识别车厢图片预测得到的角点特征对待识别车厢图片进行识别，得到目标识别结果。
84.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
85.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
86.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。