目标检测方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种目标检测方法及装置。


背景技术：

2.目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割。随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。比如，在某些特定监控场景内，不允许有接电话、抽烟等行为，因此，需要对上述场景内的抽烟、打电话等行为进行实时检测，以便于及时发出预警。
3.目前，特定目标检测方法大多采用增大输入、深浅层featuremap的特征融合、注意力机制和小目标数据过采样等方式提升小目标检测精度。然而，由于特定目标在检测任务中样本命中较低，同时像素点较少，特征不明显，因此，在下采样过程中容易造成特定目标特征的丢失，以致检测的准确度较差。


技术实现要素：

4.本发明提供一种目标检测方法及装置，用以解决现有技术中由于目标较小以致漏检的缺陷，实现定位特定目标，提高特定目标检测的精度。
5.本发明提供一种目标检测方法，包括：将获取的待检测图片输入至目标检测模型中，得到所述目标检测模型输出的目标检测结果；其中，所述目标检测模型是基于训练样本及其对应的目标真值训练得到的；所述目标检测模型用于基于所述待检测图片提取的人脸特征对所述待检测图片进行特定目标检测，得到目标检测结果。
6.根据本发明提供的一种目标检测方法，所述目标检测结果包括人脸检测结果和特定目标检测结果，所述目标检测模型，包括：人脸特征提取层，基于所述待检测图片进行特征提取，得到人脸特征；特定目标提取层，基于所述人脸特征，对所述待检测图片进行特征提取，得到特定目标特征；人脸检测层，基于所述人脸特征进行检测，得到人脸检测结果；特定目标检测层，对所述特定目标特征进行检测，得到特定目标检测结果。
7.根据本发明提供的一种目标检测方法，所述基于所述人脸特征，对所述待检测图片进行特征提取，包括：基于所述人脸特征，确定所述待检测图片的待检测区域；对所述待检测区域进行特征提取，得到特定目标特征。
8.根据本发明提供的一种目标检测方法，训练所述目标检测模型，包括：获取训练样本及其对应的目标真值；将所述训练样本作为训练使用的输入数据，将所述训练样本对应的目标真值作为标签，对待训练模型进行训练，得到用于生成待检测图片的目标检测结果的目标检测模型。
9.根据本发明提供的一种目标检测方法，所述对待训练模型进行训练，包括：将所述训练样本输入至所述待训练模型中，得到所述待训练模型输出的人脸预测结果和特定目标
预测结果；根据所述人脸预测结果和所述人脸预测结果对应的目标真值，构建人脸损失函数；根据所述特定目标预测结果和所述特定目标预测结果对应的目标真值，构建特定目标损失函数；基于所述人脸损失函数和所述特定目标损失函数，得到总损失函数，并基于所述总损失函数收敛，结束训练。
10.根据本发明提供的一种目标检测方法，所述总损失函数，表示为：
11.l＝l
t
ml
face
12.其中，l表示中损失函数，l
t
表示特定目标损失函数，l
face
表示人脸损失函数，m表示可学习变量，为人脸与特定目标的相关性。
13.本发明还提供一种目标检测装置，包括：目标检测模块，将获取的待检测图片输入至目标检测模型中，得到所述目标检测模型输出的目标检测结果；其中，所述目标检测模型是基于训练样本及其对应的目标真值训练得到的；所述目标检测模型用于基于所述待检测图片提取的人脸特征对所述待检测图片进行特定目标检测，得到目标检测结果。
14.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标检测方法的步骤。
15.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
16.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
17.本发明提供的目标检测方法及装置，通过不同分别提取不同目标特征，并基于率先提取得到的人脸特征对特定目标特征进行检测，以利用人脸与特定目标之间的关联性进行目标检测，提高了目标检测结果的准确率，且提高了目标检测的效率。
附图说明
18.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明提供的目标检测方法的流程示意图；
20.图2是本发明提供的目标检测模型的架构示意图；
21.图3是本发明提供的训练目标检测模型的流程示意图；
22.图4是本发明提供的目标检测装置的结构示意图；
23.图5是本发明提供的训练模块的结构示意图；
24.图6是本发明提供的电子设备的结构示意图。
具体实施方式
25.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳
动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.图1示出了本发明的一种目标检测方法的流程示意图，该方法包括：
27.将获取的待检测图片输入至目标检测模型中，得到目标检测模型输出的目标检测结果；
28.其中，目标检测模型是基于训练样本及其对应的目标真值训练得到的；
29.目标检测模型用于基于待检测图片提取的人脸特征对待检测图片进行特定目标检测，得到目标检测结果。
30.下面具体结合图2-图3描述本发明的目标检测方法。
31.在一个可选实施例中，在将获取的待检测图片输入至目标检测模型中之前，还包括：获取待检测图片。需要说明的是，获取的待检测图片可以为待进行行为识别、场景识别、身份识别或其他目标识别所需要的图片。比如，当需要进行自动驾驶异常行为检测时，获取的待检测图片来源于车辆对于驾驶位实时拍摄的视频流或至少一帧图片序列；再比如，当自动驾驶车辆需要进行场景识别时，获取的待检测图片来源于车辆对于车身周围环境实时获取的图片序列，此时待检测图片可以通过车身的雷达、传感器或摄像头等装置获取，此处对待检测图片的来源不做进一步地限定。
32.在本实施例中，将获取的待检测图片输入至目标检测模型中，得到目标检测模型输出的目标检测结果。以对香烟、手机等特定目标进行检测为例，由于香烟、手机等物品像素过小，不宜采用针对某一目标(如烟、手机)的检测模型进行检测，且抽烟、打电话行为均与人脸存在关联，即抽烟、打电话等行为均需依赖人实现，因此可依赖较易识别的人脸对香烟、手机等特定目标进行检测，提高模型检测精度的同时，避免造成过拟合。
33.具体而言，目标检测结果包括人脸检测结果和特定目标检测结果，目标检测模型，包括：人脸特征提取层，基于待检测图片进行特征提取，得到人脸特征；特定目标提取层，基于人脸特征，对待检测图片进行特征提取，得到特定目标特征；人脸检测层，基于人脸特征进行检测，得到人脸检测结果；特定目标检测层，对特定目标特征进行检测，得到特定目标检测结果。
34.需要说明的是，在将获取的待检测图片输入至目标检测模型中后，分别基于目标检测模型特定的特征提取层提取相应特征，从而分别根据提取的特征进行检测，得到相应的目标，以实现多目标检测，大大提升检测效率。参考图2，目标检测模型包括多个卷积层，选取其中特定的卷积层提取相应目标特征，并选择对应该卷积层的特定卷积层对提取的目标特征进行检测，以得到目标检测结果。应当注意，不同目标对应不同卷积层分别进行特征提取以及目标检测。
35.首先，人脸特征提取层，基于待检测图片进行特征提取，得到人脸特征，以及特定目标提取层，基于人脸特征，对待检测图片进行特征提取，得到特定目标特征。应当注意的是，由于人脸相较于其他特定目标，比如香烟和手机等，较易被识别，因此在进行特征提取时，人脸特征提取层会率先提取出人脸特征，再利用人脸与香烟、手机等特定目标之间的关联，迅速定位到香烟、手机等特定目标，以迅速提取出特定目标特征，从而便于提升检测效率。
36.更进一步地说，在基于人脸特征，对待检测图片进行特征提取时，包括：基于人脸特征，确定待检测图片的待检测区域；对待检测区域进行特征提取，得到特定目标特征。
37.其次，人脸检测层，基于人脸特征进行检测，得到人脸检测结果；以及特定目标检测层，对特定目标特征进行检测，得到特定目标检测结果。应当注意，通过人脸检测层对人脸特征提取层提取的人脸特征进行检测，以及通过特定目标检测层对特定目标提取出的特定目标特征进行检测，以便于使用不同的特征层检测不同的目标，从而提高目标检测的效率和准确率。
38.在一个可选实施例中，参考图3，训练目标检测模型，包括：
39.s31，获取训练样本及其对应的目标真值；
40.s32，将训练样本作为训练使用的输入数据，将训练样本对应的目标真值作为标签，对待训练模型进行训练，得到用于生成待检测图片的目标检测结果的目标检测模型。
41.需要说明的是，本说明书中的s3n不代表训练目标检测模型的先后顺序。
42.步骤s31，获取训练样本及其对应的目标真值。
43.在本实施例中，获取训练样本及其对应的目标真值，包括：采集训练视频或图像，并使用人脸检测方法筛选出其中包含人脸信息的视频或图像作为有效训练样本；对有效训练样本进行标注，得到人脸的标签和相应边界框信息，以及得到香烟和电话等特定目标的标签和相应边界框信息。
44.需要补充的是，在采集训练视频或图像时，可以在不同的车辆行驶环境下对不同驾驶员的驾驶行为进行录像，录制不同的驾驶员抽烟或玩手机的行为视频，以及录制一些不同驾驶员未抽烟和玩手机的视频作为正常样本。另外，网上下载图像或对不同的特定目标进行拍照的图像也可以作为训练样本。
45.为了建立特定目标和人之间的关联性，以及考虑连续视频帧之间的冗余性，在筛选采集的训练视频时，对视频文件每隔几帧采集1帧使用人脸检测算法进行处理，以去除未包含人脸信息的视频；在筛选采集的图像时，直接使用人脸检测算法进行处理，以去除未包含人脸信息的图像。
46.在对有效训练样本进行标注时，对人脸以及香烟、手机等特定目标进行标注，即图像中出现人脸和特定目标时，标记其边框，并相应的设定标签为人脸、香烟和/或手机等。
47.在一个可选实施例中，在获取训练样本及其对应的目标真值之后，还包括：利用数据增强策略对训练样本进行数据增强。上述数据增强策略包括图像缩放、水平镜像翻转、随机调整亮度和色调等，保持各目标的标签信息不变同时边界框坐标信息根据相应的几何变换方法进行更新。
48.步骤s32，将训练样本作为训练使用的输入数据，将训练样本对应的目标真值作为标签，对待训练模型进行训练，得到用于生成待检测图片的目标检测结果的目标检测模型。
49.在本实施例中，待训练网络可以是训练装置中内置的已有网络，该已有网络通常包括一个网络结构，也可以是用户指定的其他网络，如目标检测网络fpn等。待训练网络中通常包括分别用于提取对应目标特征的特征提取层、对应检测各提取出的目标特征的目标检测层和损失函数；按照预设的迭代规则，将上述增训练样本或经数据增强后的训练样本输入至待训练模型中进行训练，得到训练后的目标检测模型。
50.具体而言，对待训练模型进行训练，包括：将训练样本输入至待训练模型中，得到待训练模型输出的人脸预测结果和特定目标预测结果；根据人脸预测结果和人脸预测结果对应的目标真值，构建人脸损失函数；根据特定目标预测结果和特定目标预测结果对应的
目标真值，构建特定目标损失函数；基于人脸损失函数和特定目标损失函数，得到总损失函数，并基于总损失函数收敛，结束训练。
51.总损失函数，表示为：
52.l＝l
t
ml
face
53.其中，l表示中损失函数，l
t
表示特定目标损失函数，l
face
表示人脸损失函数，m表示可学习变量，为人脸与特定目标的相关性。
54.综上所述，本发明实施例通过不同分别提取不同目标特征，并基于率先提取得到的人脸特征对特定目标特征进行检测，以利用人脸与特定目标之间的关联性进行目标检测，提高了目标检测结果的准确率，且提高了目标检测的效率。
55.下面对本发明提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
56.图4示出了一种目标检测装置的结构示意图，该装置，包括：
57.目标检测模块41，将获取的待检测图片输入至目标检测模型中，得到目标检测模型输出的目标检测结果；
58.其中，目标检测模型是基于训练样本及其对应的目标真值训练得到的；
59.目标检测模型用于基于待检测图片提取的人脸特征对待检测图片进行特定目标检测，得到目标检测结果。
60.在一个可选实施例中，该装置还包括数据获取模块，用于获取待检测图片。需要说明的是，获取的待检测图片可以为待进行行为识别、场景识别、身份识别或其他目标识别所需要的图片。比如，当需要进行自动驾驶异常行为检测时，获取的待检测图片来源于车辆对于驾驶位实时拍摄的视频流或至少一帧图片序列；再比如，当自动驾驶车辆需要进行场景识别时，获取的待检测图片来源于车辆对于车身周围环境实时获取的图片序列，此时待检测图片可以通过车身的雷达、传感器或摄像头等装置获取，此处对待检测图片的来源不做进一步地限定。
61.在本实施例中，利用目标检测模块41，将获取的待检测图片输入至目标检测模型中，得到目标检测模型输出的目标检测结果。以对香烟、手机等特定目标进行检测为例，由于香烟、手机等物品像素过小，不宜采用针对某一目标(如烟、手机)的检测模型进行检测，且抽烟、打电话行为均与人脸存在关联，即抽烟、打电话等行为均需依赖人实现，因此可依赖较易识别的人脸对香烟、手机等特定目标进行检测，提高模型检测精度的同时，避免造成过拟合。
62.具体而言，目标检测模块41，包括：人脸特征提取单元，基于待检测图片进行特征提取，得到人脸特征；特定目标提取单元，基于人脸特征，对待检测图片进行特征提取，得到特定目标特征；人脸检测单元，基于人脸特征进行检测，得到人脸检测结果；特定目标检测单元，对特定目标特征进行检测，得到特定目标检测结果。
63.需要说明的是，在将获取的待检测图片输入至目标检测模型中后，分别基于目标检测模型特定的特征提取层提取相应特征，从而分别根据提取的特征进行检测，得到相应的目标，以实现多目标检测，大大提升检测效率。
64.更进一步地说，特定目标提取单元，包括：区域选择子单元，基于人脸特征，确定待检测图片的待检测区域；特征提取子单元，对待检测区域进行特征提取，得到特定目标特
征。
65.在一个可选实施例中，参考图5，该装置还包括训练模块，用于训练目标检测模型，训练模块包括：
66.样本获取单元51，获取训练样本及其对应的目标真值；
67.训练单元52，将训练样本作为训练使用的输入数据，将训练样本对应的目标真值作为标签，对待训练模型进行训练，得到用于生成待检测图片的目标检测结果的目标检测模型。
68.在本实施例中，样本获取单元51，包括：数据采集子单元，采集训练视频或图像，并使用人脸检测方法筛选处其中包含人脸信息的视频或图像作为有效训练样本；标注子单元，对有效训练样本进行标注，得到人脸的标签和相应边界框信息，以及得到香烟和电话等特定目标的标签和相应边界框信息。
69.需要补充的是，在采集训练视频或图像时，可以在不同的车辆行驶环境下对不同驾驶员的驾驶行为进行录像，录制不同的驾驶员抽烟或玩手机的行为视频，以及录制一些不同驾驶员未抽烟和玩手机的视频作为正常样本。另外，网上下载图像或对不同的特定目标进行拍照的图像也可以作为训练样本。
70.为了建立特定目标和人之间的关联性，以及考虑连续视频帧之间的冗余性，在筛选采集的训练视频时，对视频文件每隔几帧采集1帧使用人脸检测算法进行处理，以去除未包含人脸信息的视频；在筛选采集的图像时，直接使用人脸检测算法进行处理，以去除未包含人脸信息的图像。
71.在对有效训练样本进行标注时，对人脸以及香烟、手机等特定目标进行标注，即图像中出现人脸和特定目标时，标记其边框，并相应的设定标签为人脸、香烟和/或手机等。
72.在一个可选实施例中，训练模块，还包括数据增强单元，用于利用数据增强策略对训练样本进行数据增强。上述数据增强策略包括图像缩放、水平镜像翻转、随机调整亮度和色调等，保持各目标的标签信息不变同时边界框坐标信息根据相应的几何变换方法进行更新。
73.训练单元52，将训练样本作为训练使用的输入数据，将训练样本对应的目标真值作为标签，对待训练模型进行训练，得到用于生成待检测图片的目标检测结果的目标检测模型。需要说明的是，待训练网络可以是训练装置中内置的已有网络，该已有网络通常包括一个网络结构，也可以是用户指定的其他网络，如目标检测网络fpn等。待训练网络中通常包括分别用于提取对应目标特征的特征提取层、对应检测各提取出的目标特征的目标检测层和损失函数；按照预设的迭代规则，将上述增训练样本或经数据增强后的训练样本输入至待训练模型中进行训练，得到训练后的目标检测模型。
74.训练单元52，包括：训练子单元，将训练样本输入至待训练模型中，得到待训练模型输出的人脸预测结果和特定目标预测结果；第一损失函数获取子单元，根据人脸预测结果和人脸预测结果对应的目标真值，构建人脸损失函数；第二损失函数获取子单元，根据特定目标预测结果和特定目标预测结果对应的目标真值，构建特定目标损失函数；总损失函数获取子单元，基于人脸损失函数和特定目标损失函数，得到总损失函数，并基于总损失函数收敛，结束训练。
75.应当注意，在获取总损失函数时，根据人脸损失函数与可变学习量的乘积和特定
目标损失函数之和，得到总损失函数，从而便于利用待训练模型在训练过程中率先提取出的人脸特征对香烟、手机等特定目标进行学习，从而提高模型的检测精度。
76.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)61、通信接口(communications interface)62、存储器(memory)63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信。处理器61可以调用存储器63中的逻辑指令，以执行目标检测方法，该方法包括：将获取的待检测图片输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及其对应的目标真值训练得到的；目标检测模型用于基于待检测图片提取的人脸特征对待检测图片进行特定目标检测，得到目标检测结果。
77.此外，上述的存储器63中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
78.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标检测方法，该方法包括：将获取的待检测图片输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及其对应的目标真值训练得到的；目标检测模型用于基于待检测图片提取的人脸特征对待检测图片进行特定目标检测，得到目标检测结果。
79.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标检测方法，该方法包括：将获取的待检测图片输入至目标检测模型中，得到目标检测模型输出的目标检测结果；其中，目标检测模型是基于训练样本及其对应的目标真值训练得到的；目标检测模型用于基于待检测图片提取的人脸特征对待检测图片进行特定目标检测，得到目标检测结果。
80.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
81.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
82.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。