适用于多目标的多级目标检测方法及装置与流程

1.本发明涉及目标检测技术领域，尤其涉及一种适用于多目标的多级目标检测方法及装置。


背景技术：

2.目标检测技术是计算机视觉研究领域的重要课题，应用该技术可在视频中检测出特定目标，因而广泛应用于视频监控、医疗诊断、智能交通等领域。在视频监控领域，通常采用目标检测技术进行行人检测。通过对监控视频逐帧进行检测，可得到是否有行人以及存在多少行人等信息。多目标检测与跟踪一直以来都是计算机视觉领域的研究热点，现有检测方法在各种复杂场景下难以取得较好的前景检测效果；另外，检测过程中，目标间容易出现相互遮挡问题，目标检测中容易出现欠分割和过分割问题，在复杂环境下的鲁棒性有待提升。因此，有必要提出一种适用于多目标的多级目标检测方法及装置，以解决上述问题。


技术实现要素：

3.本发明提供一种适用于多目标的多级目标检测方法及装置，以解决现有的检测方法在各种复杂场景下难以取得较好的前景检测效果；另外，检测过程中，目标间容易出现相互遮挡问题，目标检测中容易出现欠分割和过分割问题，在复杂环境下的鲁棒性有待提升的问题。
4.第一方面，本发明提供一种适用于多目标的多级目标检测方法，包括：
5.获取待进行多级目标的输入图像；
6.对所述输入图像进行预处理；
7.使用rpn网络模型对线性滤波预处理后的图像中的目标区域进行识别；
8.对识别出的目标区域进行分类以确定分类归属；
9.对确定分类归属后的目标区域进行分类合并；
10.对分类合并后的目标区域进行背景和前景的区分；
11.对区分出的背景和前景进行图像分割。
12.进一步地，对所述输入图像进行预处理包括：
13.基于图像滤波器对所述输入图像进行滤波预处理；
14.对滤波预处理后的输入图像进行图像锐化预处理。
15.进一步地，基于图像滤波器对所述输入图像进行滤波预处理的步骤中，采用以下图像滤波器中的一种或者多种对所述输入图像进行滤波预处理：方框滤波、均值滤波、高斯滤波、中值滤波、双边滤波。
16.进一步地，对滤波预处理后的输入图像进行图像锐化预处理的步骤中，基于canny算子、sobel算子、laplacian算子以及scharr滤波器实现锐化预处理。
17.进一步地，对识别出的目标区域进行分类以确定分类归属，包括：
18.提取目标区域的至少一个候选区域特征；
19.基于所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量；
20.基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率；
21.判单所述所述目标属于所述小类的分类概率是否大于预设阈值；
22.如果所述所述目标属于所述小类的分类概率大于预设阈值，将所述目标判定为属于所述小类的分类。
23.第二方面，本发明提供一种适用于多目标的多级目标检测装置，包括：
24.获取单元，用于获取待进行多级目标的输入图像；
25.预处理单元，用于对所述输入图像进行预处理；
26.识别单元，用于使用rpn网络模型对线性滤波预处理后的图像中的目标区域进行识别；
27.分类单元，用于对识别出的目标区域进行分类以确定分类归属；
28.合并单元，用于对确定分类归属后的目标区域进行分类合并；
29.区分单元，用于对分类合并后的目标区域进行背景和前景的区分；
30.分割单元，用于对区分出的背景和前景进行图像分割。
31.进一步地，所述预处理包括：
32.滤波子单元，用于基于图像滤波器对所述输入图像进行滤波预处理；
33.锐化子单元，用于对滤波预处理后的输入图像进行图像锐化预处理。
34.进一步地，所述滤波子单元，用于采用以下图像滤波器中的一种或者多种对所述输入图像进行滤波预处理：方框滤波、均值滤波、高斯滤波、中值滤波、双边滤波。
35.进一步地，所述锐化子单元，用于基于canny算子、sobel算子、laplacian算子以及scharr滤波器实现锐化预处理。
36.进一步地，所述分类单元，包括：
37.提取子单元，用于提取目标区域的至少一个候选区域特征；
38.分类子单元，用于基于所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量；
39.确定子单元，用于基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率；
40.判断子单元，用于判单所述所述目标属于所述小类的分类概率是否大于预设阈值；
41.判定子单元，用于在所述所述目标属于所述小类的分类概率大于预设阈值的情况下，将所述目标判定为属于所述小类的分类。。
42.本发明的有益效果如下：本发明提供的一种适用于多目标的多级目标检测方法及装置，通过获取待进行多级目标的输入图像，对输入图像进行预处理；使用rpn网络模型对线性滤波预处理后的图像中的目标区域进行识别，对识别出的目标区域进行分类以确定分类归属，对确定分类归属后的目标区域进行分类合并，对分类合并后的目标区域进行背景
和前景的区分，对区分出的背景和前景进行图像分割，实现在各种复杂场景下取得较好的前景检测效果；解决检测过程中目标间容易出现相互遮挡问题以及检测中目标容易出现欠分割和过分割问题，显著提升在复杂环境下的鲁棒性。
附图说明
43.为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明实施例提供的适用于多目标的多级目标检测方法的流程图。
45.图2为本发明实施例提供的适用于多目标的多级目标检测方法一个实施例的流程图。
46.图3为本发明实施例提供的适用于多目标的多级目标检测装置的示意图。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
48.请参阅图1，本发明提供一种适用于多目标的多级目标检测方法，包括：
49.步骤s101，获取待进行多级目标的输入图像。
50.步骤s102，对所述输入图像进行预处理。
51.在本实施例中，对所述输入图像进行预处理具体可以包括：基于图像滤波器对所述输入图像进行滤波预处理；对滤波预处理后的输入图像进行图像锐化预处理。
52.具体地，基于图像滤波器对所述输入图像进行滤波预处理的步骤中，采用以下图像滤波器中的一种或者多种对所述输入图像进行滤波预处理：方框滤波、均值滤波、高斯滤波、中值滤波、双边滤波。平滑预处理也称模糊预处理，主要用于消除图像中的噪声部分，平滑预处理常用的用途是用来减少图像上的噪点或失真，平滑主要使用图像滤波，图像平滑常用的方法就是图像滤波器，常用的图像滤波器有以下几种：方框滤波——boxblur函数、均值滤波(邻域平均滤波)——blur函数、高斯滤波——gaussianblur函数、中值滤波——medianblur函数、双边滤波——bilateralfilter函数。
53.具体地，对滤波预处理后的输入图像进行图像锐化预处理的步骤中，基于canny算子、sobel算子、laplacian算子以及scharr滤波器实现锐化预处理。图像锐化操作是为了突出显示图像的边界和其他细节，图像锐化实现的方法是通过各种算子和滤波器实现的。
54.步骤s103，使用rpn网络模型对线性滤波预处理后的图像中的目标区域进行识别。
55.步骤s104，对识别出的目标区域进行分类以确定分类归属。
56.如图2所示，在本实施例中，对识别出的目标区域进行分类以确定分类归属，包括：
57.步骤s201，提取目标区域的至少一个候选区域特征。
58.步骤s202，基于所述候选区域特征，得到对应至少两个大类的至少一个第一概率
向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量。
59.具体地，基于至少一个所述候选区域特征通过第一分类器进行分类，得到对应至少两个大类的至少一个第一概率向量，基于至少一个所述候选区域特征通过至少两个第二分类器对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量。
60.步骤s203，基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率。
61.步骤s204，判单所述所述目标属于所述小类的分类概率是否大于预设阈值。
62.步骤s205，如果所述所述目标属于所述小类的分类概率大于预设阈值，将所述目标判定为属于所述小类的分类。
63.步骤s105，对确定分类归属后的目标区域进行分类合并。
64.步骤s106，对分类合并后的目标区域进行背景和前景的区分。
65.步骤s107，对区分出的背景和前景进行图像分割。
66.由以上实施例可知，本发明提供的一种适用于多目标的多级目标检测方法，通过获取待进行多级目标的输入图像，对输入图像进行预处理；使用rpn网络模型对线性滤波预处理后的图像中的目标区域进行识别，对识别出的目标区域进行分类以确定分类归属，对确定分类归属后的目标区域进行分类合并，对分类合并后的目标区域进行背景和前景的区分，对区分出的背景和前景进行图像分割，实现在各种复杂场景下取得较好的前景检测效果；解决检测过程中目标间容易出现相互遮挡问题以及检测中目标容易出现欠分割和过分割问题，显著提升在复杂环境下的鲁棒性。
67.请参阅3，本发明提供一种适用于多目标的多级目标检测装置，包括：
68.获取单元31，用于获取待进行多级目标的输入图像；
69.预处理单元32，用于对所述输入图像进行预处理；
70.识别单元33，用于使用rpn网络模型对线性滤波预处理后的图像中的目标区域进行识别；
71.分类单元34，用于对识别出的目标区域进行分类以确定分类归属；
72.合并单元35，用于对确定分类归属后的目标区域进行分类合并；
73.区分单元36，用于对分类合并后的目标区域进行背景和前景的区分；
74.分割单元37，用于对区分出的背景和前景进行图像分割。
75.进一步地，所述预处理包括：
76.滤波子单元，用于基于图像滤波器对所述输入图像进行滤波预处理；
77.锐化子单元，用于对滤波预处理后的输入图像进行图像锐化预处理。
78.进一步地，所述滤波子单元，用于采用以下图像滤波器中的一种或者多种对所述输入图像进行滤波预处理：方框滤波、均值滤波、高斯滤波、中值滤波、双边滤波。
79.进一步地，所述锐化子单元，用于基于canny算子、sobel算子、laplacian算子以及scharr滤波器实现锐化预处理。
80.进一步地，所述分类单元，包括：
81.提取子单元，用于提取目标区域的至少一个候选区域特征；
82.分类子单元，用于基于所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量；
83.确定子单元，用于基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率；
84.判断子单元，用于判单所述所述目标属于所述小类的分类概率是否大于预设阈值；
85.判定子单元，用于在所述所述目标属于所述小类的分类概率大于预设阈值的情况下，将所述目标判定为属于所述小类的分类。
86.本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被预处理器执行时实现本发明提供的适用于多目标的多级目标检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：rom)或随机存储记忆体(英文：randomaccessmemory，简称：ram)等。
87.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
88.本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于适用于多目标的多级目标检测装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
89.以上所述的本发明实施方式并不构成对本发明保护范围的限定。