目标检测方法、装置及计算机可读存储介质与流程

1.本技术涉及目标检测技术领域，特别是涉及一种目标检测方法、装置及计算机可读存储介质。


背景技术：

2.在利用传统的目标检测算法对目标进行检测时，如图1所示，最后输出的位置信息一般只包括框定目标10的矩形框11的位置信息，包括矩形框11的中心坐标以及矩形框11的宽、高。这种做法只能对目标10进行定位，无法提供更多有关目标10的特征信息，具有局限性。


技术实现要素：

3.有鉴于此，本技术提供一种目标检测方法、装置及计算机可读存储介质，能够获取检测目标更多的目标特征。
4.本技术实施例第一方面提供一种目标检测方法，所述方法包括：获取待处理图像；对所述待处理图像进行目标识别，得到所述处理图像中检测目标的边界框以及所述检测目标上的特征点；根据所述边界框以及所述特征点，确定所述检测目标的目标特征。
5.本技术实施例第二方面提供一种目标检测装置，所述目标检测装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。
6.本技术实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。
7.本技术的有益效果是：本技术的目标检测方法在对待处理图像进行目标识别时，除了得到检测目标的边界框外，还会对检测目标上的特征点进行识别，由于通过边界框能够对检测目标进行定位，通过特征点能够获取检测目标例如角度、摆放面等特征，从而能够获取检测目标更多的目标特征，以及提高对检测目标进行定位的准确度。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是现有一应用场景中目标和矩形框的示意图；
10.图2是现有另一应用场景中目标和矩形框的示意图；
11.图3是一应用场景中目标的示意图；
12.图4是本技术目标检测方法一实施方式的流程示意图；
13.图5是本技术检测目标、边界框和特征点的示意图；
14.图6是本技术目标检测方法一实施方式中的部分流程示意图；
15.图7是图4中步骤s120的流程示意图；
16.图8是本技术一应用场景中待处理图像的示意图；
17.图9是本技术目标检测装置一实施方式的结构示意图；
18.图10是本技术计算机可读存储介质一实施方式的结构示意图。
具体实施方式
19.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.在现有技术中，对于一些需要根据目标方向进行抓取的任务，由于单纯的矩形框11(如图1所示)无法提供方向信息，为此提出了斜框检测的方案，如图2所示，此时在矩形框11的输出信息中多了一个角度theta，即直观表现为利用斜框12将目标10框住，此时输出信息包括斜框12的中心坐标、斜框12的宽、高以及斜框12的倾斜角度。
21.上述方案虽然能够得到目标10的角度，但是由于在训练阶段，画斜框12比画矩形框11多了一个角度需要调整，增加了图像标注的负担，且如图3所示，对于一些没有明显边角的，例如外观都是圆弧的不对称小饰品，这类很难用一个斜框12将其框起来。因此针对现有技术中的缺陷，本技术提出了如下方案：
22.参阅图4，在本技术一实施方式中，目标检测方法包括：
23.s110：获取待处理图像。
24.其中，待处理图像可以是目标检测装置通过任何途径获取的图像，且待处理图像可以是彩色图像，也可以是灰度图像，本技术对待处理图像的获取途径、类型均不做限制。
25.s120：对待处理图像进行目标识别，得到处理图像中检测目标的边界框以及检测目标上的特征点。
26.其中，待处理图像上的检测目标可以是人、动物、车等任一种类型的对象。且待处理图像中检测目标的数量可以是一个、两个、三个或者更多个。
27.其中，边界框是检测目标的外接矩形框，特征点位于检测目标上，且特征点通常是检测目标上一些位置特殊的点，例如为角点，或者为检测目标轮廓上的点。例如在图5应用场景中，边界框是检测目标21的外接矩形框22，特征点为检测目标21上的若干角点23。
28.s130：根据边界框以及特征点，确定检测目标的目标特征。
29.可以理解的是，当待处理图像中的检测目标为多个时，根据同一检测目标的边界框以及特征点，确定该检测目标的目标特征。
30.具体地，通过边界框可以对检测目标进行定位，而通过特征点可以确定检测目标的角度、摆放面等信息。例如，在待处理图像上确定一基准方向，将检测目标上两预定特征点所在直线与该基准方向的夹角确定为检测目标的角度，又例如，假设检测目标包括相背设置的正反面，正面存在特征点，反面不存在特征点，因此当识别出待处理图像中检测目标上不存在特征点时，确定检测目标的反面朝上，当识别出待处理图像中检测目标上存在特
征点时，确定检测目标的正面朝上。
31.也就是说，相比现有技术，本技术不仅仅会识别出检测目标的边界框，还会识别出检测目标上的特征点，从而结合边界框和特征点，既可以对检测目标进行定位，也能获取例如检测目标的角度、摆放面等更多的目标特征。
32.在本实施方式中，为了提高图像识别的速度以及准确率，利用预先训练好的目标检测网络对待处理图像进行目标识别，得到检测目标的边界框以及特征点。
33.具体地，该目标检测网络预先训练而达到收敛，其可以识别所接收到的待处理图像中检测目标的边界框以及检测目标上的特征点，具体地，在将待处理图像输入该目标检测网络后，目标检测网络输出边界框中心点的坐标、边界框的宽、高以及各个特征点的坐标。
34.在其他实施方式中，也可以先利用一个目标检测网络对待处理图像进行目标识别，在得到检测目标的边界框而对检测目标进行定位后，再利用另一个目标检测网络识别检测目标上的特征点。
35.可以理解的是，本实施方式利用同一目标检测网络对待处理图像进行目标识别，相比利用两个目标检测网络先后对待处理图像进行目标识别，可以提高图像识别的速度，且也可以将同一检测目标的边界框以及特征点进行关联。
36.参阅图6，在本实施方式中，还会对目标检测网络进行训练，其训练过程包括：
37.s140：获取样本图像，样本图像包括样本目标。
38.s150：在样本图像中标注样本目标的样本边界框以及样本目标上的样本特征点。
39.s160：以样本图像作为输入，样本目标的样本边界框、样本特征点为标注信息，对目标检测网络进行训练。
40.具体地，在训练过程中，在获取样本图像后，在样本图像上标注样本目标的真实信息，包括样本目标的外接矩形框(即样本边界框)以及样本目标上的特征点(即样本特征点)，在将样本图像输入至目标检测网络中后，以样本图像的标注信息对目标检测网络进行训练，在训练过程中，使目标检测网络输出的边界框逐渐接近样本边界框，以及输出的特征点逐渐接近样本特征点，直至达到训练要求。
41.在将目标检测网络训练完毕后，生成权重文件，该权重文件包括目标检测网络对接收到的图像进行处理的各项参数，而后当需要利用目标检测网络识别待处理图像时，将该权重文件加载到目标检测网络中，加载了权重文件的目标检测网络能够对待处理图像进行处理。
42.在现有技术中，由于只需要识别检测目标的边界框，因此在训练网络的过程中，标注信息只包括样本边界框，此时标注信息格式为“类别x y w h”，其中，类别表示样本边界框中样本目标的类别(例如是人、是车、是猫，还是狗等)，x、y、w、h依次表示样本边界框中心点的横坐标、纵坐标以及样本边界框的宽、高。
43.而在本实施方式中，在训练网络的过程中，标注信息同时包括样本边界框以及样本特征点，此时标注信息格式为“类别x y w h x1 y1
……
xn yn”，其中，类别、x、y、w、h的含义与现有技术中相同，而x1、y1分别表示标号为1的样本特征点的横坐标、纵坐标，xn、yn分别表示标号为n的样本特征点的横坐标、纵坐标，其中，n与样本特征点的个数相等。
44.其中，本实施方式中使用的目标检测网络可以是在现有yolo目标检测网络的基础
上进行改进，也可以是在其他目标检测网络，例如ssd、faster、cnn等网络上进行改进，在此不做限制。
45.其中，结合图7，本实施方式中目标检测网络对待处理图像进行识别的过程包括：
46.s121：目标检测网络在接收到待处理图像后，在待处理图像上生成多个锚框。
47.s122：分别预测各个锚框相对边界框的偏移量和相对特征点的偏移量，以及各个锚框相对边界框的置信度和相对特征点的置信度。
48.s123：根据各个锚框的位置、各个锚框相对边界框的偏移量和相对特征点的偏移量，以及各个锚框相对边界框的置信度和相对特征点的置信度，确定边界框以及特征点。
49.具体地，锚框也称为先验框，其位置、尺寸都是预先设定，目标检测网络在接收到待处理图像后，按照预设的规则在待处理图像上生成锚框。
50.在生成多个锚框后，针对每个锚框，都去预测其相对边界框的偏移量，同时还会得到每个锚框相对边界框的置信度。其中，锚框相对边界框的置信度表征，该锚框中存在对应边界框的概率以及预测得到的该锚框相对对应边界框的偏移量的准确率。
51.其中，锚框相对边界框的偏移量也可以理解为，锚框相对检测目标的偏移量，同时锚框相对边界框的偏移量实质上指的是，锚框的中心点相对边界框的中心点，也即检测目标的中心点的偏移量；锚框相对边界框的置信度，也可以理解为锚框相对检测目标的置信度。
52.类似的，针对每个锚框，都去预测其相对特征点的偏移量，同时还会得到每个锚框相对特征点的置信度。其中，锚框相对特征点的置信度表征，该锚框中存在对应特征点的概率以及预测得到的该锚框相对对应特征点的偏移量的准确率。其中，锚框相对特征点的偏移量实质上指的是锚框的中心点相对特征点的偏移量。
53.最后根据各个锚框的位置、各个锚框相对边界框的偏移量以及各个锚框相对边界框的置信度，可以确定边界框。
54.根据各个锚框的位置、各个锚框相对特征点的偏移量以及各个锚框相对特征点的置信度，可以确定特征点。
55.其中，关于此处得到边界框以及特征点的具体过程可参见下文。
56.在本实施方式中，步骤s121在待处理图像上生成多个锚框的步骤，包括：将待处理图像划分为多个图像块；在待处理图像上，以多个图像块中每个图像块的中心点为中心，生成多个锚框。
57.具体地，结合图8，在将待处理图像划分为多个图像块(也称为网格cell)后，每个图像块的中心点101为格点，然后以每个图像块的格点为中心点建立锚框。
58.由前述分析可知，锚框相对边界框的偏移量实质上指的是，锚框的中心点相对边界框的偏移量，而锚框的中心点为图像块的中心点，因此锚框相对边界框的偏移量指的是，图像块的中心点相对边界框的偏移量，同样地，锚框相对特征点的偏移量指的是，图像块的中心点相对特征点的偏移量。
59.因此当图像块的数量越多，图像块的中心点越密集时，可以预测越多的图像块的中心点相对边界框、相对特征点的偏移量，从而预测的误差会随之降低，也就是说，图像块的数量越多，预测图像块的中心点相对边界框的偏移量的误差、图像块的中心点相对特征点的偏移量的误差会越低，而图像块的中心点相对边界框、特征点的偏移量的误差越低，最
终边界框、特征点的定位越准确。
60.也就是说，本技术边界框、特征点的定位与图像块相关，从而可以通过调节图像块的数量(也就是调节图像块的大小)，调节边界框、特征点定位的准确率，既能满足不同应用场景的需求，也能调节定位的准确率。需要说明的是，在其他实施方式中，也可以是以图像块中的预定点为中心生成锚框，其中该预定点可以不是图像块的中心点。
61.同时在本实施方式中，在生成锚框时，以每个图像块的中心点101为中心，分别生成至少两种不同尺度的锚框，也就是说，以每个图像块的中心点101都建立至少两种不同尺度的锚框。
62.其中，尺度不同指的是，锚框的面积不同，和/或，锚框的长宽比不同。例如，在图8中，针对中心点101，分别生成锚框102和锚框103。
63.具体地，边界框、特征点的识别其实是对其领域图像的识别，如果领域图像取的太小，则不能完全包含边界框、特征点，会导致边界框、特征点无法识别，而领域图像取得太大，会涵盖边界框、特征点之外的特征，从而在识别时会降低识别速度，因此本实施方式在识别时，会识别至少两种不同尺度的领域图像，即对应在生成锚框时，以每个图像块中的中心点都会生成至少两种不同尺度的锚框。
64.其中，当以多个图像块中每个图像块的中心点101为中心，生成多个锚框时，确定边界框的过程包括：根据各个锚框的位置、各个锚框相对边界框的偏移量以及各个锚框相对边界框的置信度，确定对应同一检测目标的至少两种不同尺度的目标检测框，然后将至少两种不同尺度的目标检测框中对应置信度最高的目标检测框，确定为该检测目标的边界框。
65.具体地，当以每个图像块的中心点101为中心，都只生成一个同一尺度的锚框时，针对每个锚框都去预测边界框，得到各个锚框相对边界框的偏移量，以及各个锚框相对边界框的置信度，然后根据各个锚框的位置以及各个锚框相对边界框的偏移量，能够得到与同一检测目标对应的多个大小、长宽比都相同的目标检测框，以及多个目标检测框的置信度，其中目标检测框的置信度为对应锚框相对对应检测目标的置信度。
66.在得到与同一检测目标对应的多个目标检测框后，采用nms(non maximum suppression，非极大值抑制)算法对该多个目标检测框进行处理，最后对应同一个检测目标，只会保留一个目标检测框。
67.而当以每个图像块的中心点101为中心，生成至少两种不同尺度的锚框时，针对每种尺度的锚框，分别重复执行上述步骤，从而对应同一个检测目标，会得到至少两种不同尺度的目标检测框，然后在该两种不同尺度的目标检测框中，保留对应置信度最高的目标检测框，从而得到检测目标的边界框。
68.类似地，确定特征点的过程包括：根据各个锚框的位置、各个锚框相对特征点的偏移量以及各个锚框相对特征点的置信度，得到对应同一特征点的至少两种不同尺度的特征点检测框，然后将同一特征点对应的至少两种不同尺度的特征点检测框中，对应置信度最高的特征点检测框的中心点，确定为特征点。
69.其中，特征点的过程与上述边界框的确定过程类似，主要不同之处在于：其在得到对应同一特征点的至少两种不同尺度的特征点检测框后，找出对应置信度最高的特征点检测框，然后将该特征点检测框的中心点确定为特征点。
70.参阅图9，图9是本技术目标检测装置一实施方式的结构示意图。该目标检测装置200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220、通信电路230，存储器220中存储有程序数据，处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。
71.其中，目标检测装置200可以是电脑、手机等任一项具有图像处理能力的装置，在此不做限制。
72.参阅图10，图10是本技术计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质300存储有计算机程序310，计算机程序310能够被处理器执行以实现上述任一项方法中的步骤。
73.其中，计算机可读存储介质300具体可以为u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等可以存储计算机程序310的装置，或者也可以为存储有该计算机程序310的服务器，该服务器可将存储的计算机程序310发送给其他设备运行，或者也可以自运行该存储的计算机程序310。
74.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。