基于二阶网络的多任务检测方法和系统与流程

本公开涉及基于二阶网络的多任务检测方法和系统。

背景技术：

1、随着对汽车的智能性和安全性的要求持续增加，驾驶员监控系统(dms)正在成为新的热点。例如，近年来，对于没有配备dms的主动安全系统，难以从欧洲新车安全评鉴协会(e-ncap)获得五星等级。根据欧盟颁布的《一般安全法规》(gsr)，在欧洲市场上出现的所有新车，必须安装驾驶员疲劳监控系统。

2、在这样的驾驶员监控系统中，常常需要执行例如人脸检测、人脸关键点检测、头部姿态估计、视线估计等操作。然而，在以往的系统中，执行这些操作的各个模块是串行的且独立的，需要对数据执行多次预处理操作。结果，整个过程需要花费较长时间，难以满足低时延高速智能舱的要求。

3、另一方面，当前的多任务网络是一阶网络，并行任务少，精度低，无法针对特定商业场景来优化算法设计。

4、以上描述仅提供与本实施例相关的背景信息，并且可能包含不构成现有技术的信息。

技术实现思路

1、本公开的主要方面旨在提供一种方法和系统，其通过重用公共网络来提取图像特征，并使用轻量型分支网络来实现多任务检测，由此能够在实现基本相同的精确度下，极大地减少运行时间。

2、本公开的方面不限于上述内容，并且本领域技术人员从以下描述应该能够清楚地理解本文未提及的其他方面。

3、根据本公开的一方面，提供了一种多任务检测方法，所述方法包括以下步骤：接收输入图像；经由第一主干网络对所述图像进行处理，以生成所述图像的特征图，并检测所述图像中的人脸；将与所述人脸关联的人脸框在所述图像中的坐标映射回所生成的特征图，以裁剪出与所述人脸框对应的人脸区域的特征图；以及将所述人脸区域的特征图输入到第二主干网络，以用于后续多任务并行检测。

4、在一些实施例中，所述图像的特征图是在所述第一主干网络的最后一层生成的。

5、在一些实施例中，经由第一主干网络对所述图像进行处理，以生成所述图像的特征图的步骤包括：对所述图像执行卷积和子采样操作，以生成所述特征图。

6、在一些实施例中，当所述图像中存在多个人脸时，检测所述图像中的人脸的步骤包括：检测所述图像中置信度最高的人脸。

7、在一些实施例中，裁剪出与所述人脸框对应的人脸区域的特征图的步骤包括：使用双线性插值方法，从所述图像的特征图裁剪出与所述人脸框对应的人脸区域的特征图。

8、在一些实施例中，将所述人脸区域的特征图输入到第二主干网络，以用于后续多任务并行检测的步骤包括：经由所述第二主干网络，从所述人脸区域的特征图提取与后续多个检测任务关联的特征，以分别输入到与后续多个检测任务关联的多个分支网络。

9、在一些实施例中，所述方法还包括以下步骤：基于所述多个分支网络的损失函数之和，训练所述多个分支网络。

10、在一些实施例中，当训练所述多个分支网络时，冻结所述第一主干网络。

11、在一些实施例中，所述多个检测任务包括关键点检测、头部姿态估计和视线估计中的一种或多种。

12、在一些实施例中，所述第一主干网络是单独训练的。

13、根据本公开的另一方面，提供了一种多任务检测系统，所述系统包括：人脸检测模块，被配置成：接收输入图像，经由第一主干网络对所述图像进行处理，以生成所述图像的特征图，并检测所述图像中的人脸；人脸特征提取模块，被配置成：将与所述人脸关联的人脸框在所述图像中的坐标映射回所生成的特征图，以裁剪出与所述人脸框对应的人脸区域的特征图；和多任务并行检测模块，被配置成：经由第二主干网络对所述人脸区域的特征图进行处理，以用于后续多任务并行检测。

14、在一些实施例中，所述图像的特征图是在所述第一主干网络的最后一层生成的。

15、在一些实施例中，经由第一主干网络对所述图像进行处理，以生成所述图像的特征图包括：对所述图像执行卷积和子采样操作，以生成所述特征图。

16、在一些实施例中，当所述图像中存在多个人脸时，检测所述图像中的人脸包括：检测所述图像中置信度最高的人脸。

17、在一些实施例中，裁剪出与所述人脸框对应的人脸区域的特征图包括：使用双线性插值方法，从所述图像的特征图裁剪出与所述人脸框对应的人脸区域的特征图。

18、在一些实施例中，经由第二主干网络对所述人脸区域的特征图进行处理，以用于后续多任务并行检测包括：经由所述第二主干网络，从所述人脸区域的特征图提取与后续多个检测任务关联的特征，以分别输入到与后续多个检测任务关联的多个分支网络。

19、在一些实施例中，基于所述多个分支网络的损失函数之和，训练所述多个分支网络。

20、在一些实施例中，当训练所述多个分支网络时，冻结所述第一主干网络。

21、在一些实施例中，所述多个检测任务包括关键点检测、头部姿态估计和视线估计中的一种或多种。

22、在一些实施例中，所述第一主干网络是单独训练的。

23、根据本公开的实施例，代替以往的串行检测方案，通过使用公共网络模型来提取图像数据特征，然后使用轻量型网络来完成并行多任务，这可以将dms的多个任务(例如，人脸检测、人脸关键点检测、头部姿态估计、视线估计等)在座舱中组合成一个任务。由此，当运行时，不需要对图像数据执行多次预处理操作(例如，图像裁剪、缩放、归一化等)，能够极大地节省计算资源(例如，cpu资源)的消耗。与以往的方法相比，本公开的实施例能够在实现基本相同的检测精度下，减少50％以上的运行时间。

24、本公开的效果不限于上述内容，并且本领域普通技术人员从以下描述应该能够清楚地理解本文未提及的其他效果。

1.一种多任务检测方法，所述方法包括以下步骤：

2.根据权利要求1所述的方法，其中，所述图像的特征图是在所述第一主干网络的最后一层生成的。

3.根据权利要求1所述的方法，其中，经由第一主干网络对所述图像进行处理，以生成所述图像的特征图的步骤包括：

4.根据权利要求1所述的方法，其中，当所述图像中存在多个人脸时，检测所述图像中的人脸的步骤包括：

5.根据权利要求1所述的方法，其中，裁剪出所述人脸区域的特征图的步骤包括：

6.根据权利要求1所述的方法，其中，将所述人脸区域的特征图输入到第二主干网络，以用于后续多任务并行检测的步骤包括：

7.根据权利要求6所述的方法，还包括以下步骤：

8.根据权利要求7所述的方法，其中，当训练所述多个分支网络时，冻结所述第一主干网络。

9.根据权利要求6所述的方法，其中，所述多个检测任务包括关键点检测、头部姿态估计和视线估计中的一种或多种。

10.根据权利要求1所述的方法，其中，所述第一主干网络是单独训练的。

11.一种多任务检测系统，所述系统包括：

12.根据权利要求11所述的系统，其中，所述图像的特征图是在所述第一主干网络的最后一层生成的。

13.根据权利要求11所述的系统，其中，经由第一主干网络对所述图像进行处理，以生成所述图像的特征图包括：

14.根据权利要求11所述的系统，其中，当所述图像中存在多个人脸时，检测所述图像中的人脸包括：

15.根据权利要求11所述的系统，其中，裁剪出所述人脸区域的特征图包括：

16.根据权利要求11所述的系统，其中，经由第二主干网络对所述人脸区域的特征图进行处理，以用于后续多任务并行检测包括：

17.根据权利要求16所述的系统，其中，基于所述多个分支网络的损失函数之和，训练所述多个分支网络。

18.根据权利要求17所述的系统，其中，当训练所述多个分支网络时，冻结所述第一主干网络。

19.根据权利要求16所述的系统，其中，所述多个检测任务包括关键点检测、头部姿态估计和视线估计中的一种或多种。

20.根据权利要求11所述的系统，其中，所述第一主干网络是单独训练的。

21.一种计算机可读存储介质，存储有指令，所述指令当由处理器执行时，使所述处理器执行根据权利要求1-10中任一项所述的方法。