运动目标检测方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体地，涉及一种运动目标检测方法、装置、电子设备及存储介质。


背景技术：

2.目标检测是指找出图像中感兴趣的目标，并确定出目标的位置。目前目标检测可以通过传统检测方法和深度学习方法来实现。
3.传统检测方法多是基于滑动窗口的框架，首先对整幅图像进行遍历选择候选区域，再利用常用的方向梯度直方图(histogram of oriented gradient，hog)和尺度不变特征变换(scale
‑
invariant feature transform，sift)特征等对这些区域提取特征，最后使用分类器进行分类。深度学习的方法通常是利用二阶段或一阶段目标检测器，检测出图像中存在的目标的位置。
4.然而在使用上述方法检测运动目标时，例如运动的球体，由于运动的球体在某一帧可能会被球员完全遮挡，则无法检测到球体，从而导致漏检。


技术实现要素：

5.本技术实施例中提供了一种运动目标检测方法、装置、电子设备及存储介质，可以有效解决检测运动目标时的漏检的问题。
6.根据本技术实施例的第一个方面，提供了一种运动目标检测方法，获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框；确定所述目标检测框中物体为所述目标物体。
7.根据本技术实施例的第二个方面，提供了一种运动目标检测装置，该装置包括：获取模块，用于获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；检测模块，用于将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；检测框确定模块，用于结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框，目标物体确定模块，用于确定所述目标检测框中物体为所述目标物体。
8.根据本技术实施例的第三个方面，提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述应用于电子设备的方法。
9.根据本技术实施例的第四方面，本技术实施列提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
10.采用本技术实施例中提供的目标检测方法，获取待输入图像，所述待输入图像包
括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框；确定所述目标检测框中物体为所述目标物体。在当前帧图像被遮挡时，可以结合连续的多帧图像对目标物体的位置进行预测，避免漏检。结合在所述当前帧图像之前的连续帧图像中目标物体的检测框确定出当前帧图像中目标物体的目标检测框，使得当前帧图像中的目标检测框更为稳定，准确确定目标物体。
附图说明
11.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
12.图1为本技术实施例提供的运动目标检测方法的应用环境示意图；
13.图2为本技术一个实施例提供的运动目标检测方法的流程图；
14.图3为本技术一个实施例提供的运动目标检测模型的结构示意图；
15.图4为本技术另一个实施例提供的运动目标检测方法的流程图；
16.图5为本技术再一个实施例提供的运动目标检测方法的流程图；
17.图6为本技术一个实施例提供的运动目标检测装置的功能模块图；
18.图7为本技术实施例提出的用于执行根据本技术实施例的运动目标检测方法的电子设备的结构框图。
具体实施方式
19.目标检测是当前计算机视觉领域中的一个分支，进行目标检测通常使用两类方法：传统检测方法和深度学习方法。
20.传统的目标检测方法多是基于滑动窗口的框架，首先对整幅图像进行遍历选择候选区域，再利用常用的方向梯度直方图(histogram of oriented gradient，hog)和尺度不变特征变换(scale
‑
invariant feature transform，sift)特征等对这些区域提取特征，最后使用分类器进行分类。
21.但近年来传统检测方法已难以满足人们对目标检测效果的要求，如今深度学习已在计算机视觉领域占据了大半江山，基于深度学习的目标检测研究取得了质的飞跃；现有基于深度学习的目标检测方法，利用二阶段或一阶段目标检测器，检测出图像中存在的目标位置。二阶段算法如r
‑
cnn通过选择性搜索算法，根据图像中纹理、边缘、颜色等信息，检测较少区域的同时保证了较高的召回率，但实时性不足；一阶段算法如ssd能够在保证高精度检测的同时，兼顾检测速度。目前对于运动目标检测方法常常基于深度学习的目标检测方法来实现。
22.然而上述方法均是基于单帧2d图像进行运动目标检测的，由于运动的目标，例如球体，可能会被球场上的球员遮挡，当前帧图像可能存在球体完全被遮挡的情况，进而导致目标漏检。运动目标具有运动模糊的特点，在遇到模糊的目标时，无法正确检测目标的位置，也会导致漏检，并且，由于场景中还可以出现其他物体，也可能出现误检的情况。
23.针对上述问题，本技术实施例中提供了一种运动目标检测方法，获取待输入图像，
所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框；确定所述目标检测框中物体为所述目标物体。在当前帧图像被遮挡时，可以结合连续的多帧图像对目标物体的位置进行预测，避免漏检。结合在所述当前帧图像之前的连续帧图像中目标物体的检测框确定出当前帧图像中目标物体的目标检测框，使得当前帧图像中的目标检测框更为稳定，准确确定目标物体。
24.本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript，以及python等。
25.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
26.请参阅图1，示出了本技术提供的运动目标检测方法的应用环境10，所述应用环境10包括电子设备20，图像采集装置30以及比赛场地40。其中，所述图像采集装置30和所述电子设备20通信连接，所述图像采集装置30可以采集到的图像发送给所述电子设备20，所述电子设备20可以对所述接收到的图像进行处理。
27.所述图像采集装置30可以是具有图像采集功能的移动设备，例如智能手机，平板电脑等。所述图像采集装置30设置在比赛场地40中，用于采集所述场景40中的环境信息，其中，所述图像采集装置30的拍摄视野可以覆盖整个比赛场地40。
28.所述图像采集装置30中可以将采集的图像通过网络发送至所述电子设备20。所述网络可以5g网络，4g网络，wi
‑
fi网络等。所述电子设备20可以是服务器，智能终端，电脑等设备。
29.从而，所述电子设备20可以获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框；确定所述目标检测框中物体为所述目标物体。
30.请参阅图2，本技术实施例提供了一种运动目标检测方法，可应用于前述应用环境10中的电子设备，所述电子设备可以是智能手机，电脑或服务器等，具体的该方法可以包括以下步骤。
31.步骤110，获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像。
32.待输入图像可以是由图像采集装置实时采集的，所述图像采集装置可以是每采集到一帧图像，将采集到的图像发送给电子设备，从而所述电子设备可以获取到图像采集装置采集的每帧图像。
33.电子设备可以从图像采集装置采集的图像中获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像。可以理解的是，所述连续的多帧图像可以是指连续的三帧图像、连续的四帧图像、或是连续的五帧图像。下面仅以
连续的三帧图像进行详细说明。
34.电子设备可以临时存储两帧图像，在得到当前帧图像时，与临时存储的两帧图像组成所述待输入图像。例如，电子设备可以临时存储第1帧图像和第2帧图像，在获取到第3帧图像时，与临时存储的第1帧图像和第2帧图像组成所述待输入图像，第3帧图像即为当前帧图像。在接收到第4帧图像时，电子设备可以临时存储第2帧图像和第3帧图像，将第4帧图像，第2帧图像以及第3帧图像组成待输入图像，此时第4帧图像为当前帧图像。
35.步骤120，将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图。
36.在得到所述待输入图像后，将所述待输入图像输入目标检测模型中，输出与所述当前帧图像对应的热力图。
37.由于所述目标检测模型的输入为连续三帧图像，每帧图像有3个通道，3帧图像拼接在一起为9个通道，由于u
‑
net网络计算量过大会影响检测速度，因此，可以在u
‑
net网络中每个卷积层之前设置1*1卷积层，降低通道数为之前通道的四分之一，以此降低u
‑
net网络的计算量，可提升目标检测的速度，并且输入的为连续多帧图像，相比于单帧图像可以获取更多的信息，从而可以降低误检的概率。
38.可以理解的是，在待输入图像为连续的三帧图像时，目标检测模型的输入层支持9个通道，在待输入图像为连续的四帧图像时，目标检测模型的输入层支持12个通道。具体的，可以目标检测模型的输入层的通道数可以根据待输入图像中的图像数量进行确定，在此不做具体限定。
39.所述目标检测模型为预先对神经网络模型进行训练后得到的，所述神经网络模型包括u
‑
net网络，所述u
‑
net网络中的每个卷积层之前设置有1*1卷积，可以降低u
‑
net网络的计算量，有效提升目标检测的速度。
40.在训练所述神经网络模型得到目标检测模型时，可以是先获取样本集，所述样本集包括按照视频片段存储的多张拍摄时间连续的样本图像，以及与所述样本图像对应的标签，所述标签包括目标物体的标注框的中心位置，宽度和高度；再使用所述样本对神经网络模型进行训练，得到所述目标检测模型。具体的，所述目标检测模型的结构可以参照图3，在图3中，将待输入图像，假设待输入图像为连续的三帧图像，则可以得到宽*高*9维矩阵，将该宽*高*9维的矩阵输入输入层，经过所述输入层之后进入u
‑
net网络，最后输出宽*高*1维热力图。所述u
‑
net网络中可以包括卷积层、relu激活函数、bn层、最大值池化层以及反卷积层，在每个卷积层之前设置有1*1卷积。
41.步骤130，结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框。
42.在得到当前帧图像的热力图之后，可以结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，并基于所述检测框从所述的热力图中确定当前帧图像中目标物体的目标检测框。
43.具体的，在确定当前帧图像中目标物体的目标检测框时，可以是从所述热力图中确定所述目标物体的目标矩形框；获取在所述当前帧图像之前的连续帧图像中目标物体的检测框；确定所述检测框和所述目标矩形框的宽度的均值，以及所述检测框和所述目标矩形框的高度的均值为目标尺寸；将所述目标矩形框设置为所述目标尺寸，得到所述目标检
测框。
44.所述连续帧图像的数量可以是指4帧图像，5帧图像等等，在此不做具体限定。
45.步骤140，确定所述目标检测框中物体为所述目标物体。
46.在确定出所述目标检测框后，可以直接确定所述目标检测框中的物体为所述目标物体。
47.本技术实施例提供的运动目标检测方法，获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框；确定所述目标检测框中物体为所述目标物体。在当前帧图像被遮挡时，可以结合连续的多帧图像对目标物体的位置进行预测，避免漏检。结合在所述当前帧图像之前的连续帧图像中目标物体的检测框确定出当前帧图像中目标物体的目标检测框，使得当前帧图像中的目标检测框更为稳定，准确确定目标物体。
48.请参阅图4，本技术另一实施例提供了一种运动目标检测方法，在前述实施例的基础上重点描述了确定当前帧图像中目标物体的目标检测框的过程，具体的该方法可包括以下步骤。
49.步骤210，获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像。
50.步骤220，将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图。
51.步骤210和步骤220可参照前述实施例对应部分，在此不再赘述。
52.步骤230，从所述热力图中确定所述目标物体的目标矩形框。
53.在得到所述热力图之后，可以从所述热力图中确定出所述目标物体的目标矩形框。具体的，电子设备可以确定所述热力图中的所有轮廓，对于每个轮廓，可以得到包含所述轮廓的最小矩形框。需要说明的是，最小矩形框是指包含所述轮廓的面积最小的矩形框。
54.若所述热力图中包括多个轮廓，则可以得到多个最小矩形框，在得到多个矩形框后，可以获取每个最小矩形框的面积，从所述最小矩形框中选择面积最大的矩形框为所述目标矩形框。例如，有3个最小矩形框分别为框a，框b和框c，其中，框b的面积是最大的，可以确定框b为所述目标矩形框。
55.步骤240，获取在所述当前帧图像之前的连续帧图像中目标物体的检测框。
56.步骤250，确定所述检测框和所述目标矩形框的宽度的均值，以及所述检测框和所述目标矩形框的高度的均值为目标尺寸。
57.在确定所述目标矩形框之后，为了避免检测框大小不稳定的问题，即可能出现前一帧图像和下一帧图像检测出来的检测框尺寸差别很大，视觉效果不好，可以获取在所述当前帧图像之前的连续帧图像中目标物体的检测框，并根据获取到的检测框确定出目标检测框。
58.具体的，获取在所述当前帧图像之前的连续帧图像中目标物体的检测框时，每一帧图像都对应一个检测框，若获取的是连续3帧图像的检测框，即可以得到3个检测框，若获取的是连续4帧图像的检测框，则可以得到4个检测框。
59.在得到多个检测框后，可以获取每个检测框的宽度和高度，计算每个检测框与所述目标矩形框的宽度的均值，以及每个检测框与所述目标矩形框的高度的均值，得到目标尺寸。
60.例如，有3个检测框，第1个检测框的宽度为x1，高度为y1，第2个检测框的宽度为x2，高度为y2，第3个检测框的宽度为x3，高度为y3，目标矩形框的宽度为x4，高度为y4。计算每个检测框与所述目标矩形框的宽度的均值为：x＝(x1 x2 x3 x4)/4；计算每个检测框与所述目标矩形框的高度的均值为：y＝(y1 y2 y3 y4)/4；所述目标尺寸即宽度为x，高度为y。
61.步骤260，将所述目标矩形框设置为所述目标尺寸，得到所述目标检测框。
62.在确定所述目标尺寸后，可以将所述目标矩形框设置为所述目标尺寸，得到目标检测框。
63.在一些实施方式中，可以是先确定所述目标矩形框的中心点，以所述中心点位扩展中心，分别向扩展宽度的均值的一半，以及分别扩展高度的均值的一半，得到所述目标检测框。
64.在另一些实施方式中，可以是将所述目标矩形框朝着预设方向进行扩展或缩小直到所述目标矩形框的尺寸为目标尺寸，即可以得到所述目标检测框。
65.步骤270，确定所述目标检测框中物体为所述目标物体。
66.步骤270可参照前述实施例对应部分，在此不再赘述。
67.本技术实施例提供的运动目标检测方法，从所述热力图中确定出目标矩形框后，结合在所述当前帧图像之前的连续帧图像对应的目标物体的检测框，确定出目标尺寸，将目标矩形框设置为目标尺寸得到所述目标检测框。从而，可以避免目标检测框闪动剧烈，得到大小较为稳定的目标检测框，具有较好的视觉效果。
68.请参阅图5，本技术再一实施例提供了一种运动目标检测方法，在前述实施例的基础上重点描述了得到目标检测模型的过程，具体的该方法可包括以下步骤。
69.步骤310，获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像。
70.步骤310可参照前述实施例对应部分，在此不再赘述。
71.步骤320，获取样本集，所述样本集包括多个图像组，每个所述图像组包括连续的多帧样本图像以及与所述样本图像对应的标签，所述标签包括所述样本图像中目标物体的标注框的中心位置以及所述样本图像中目标物体的标注框的宽度和高度。
72.在得到待输入图像后，需要将所述待输入图像输入目标检测模型中，进行目标检测。在使用所述目标检测模型之前，需要对神经网络模型进行训练，以得到所述目标检测模型。
73.在训练神经网络模型时，通常需要构建样本集，样本集中包括多个图像组，每个图像组包括连续的多帧样本图像，以及与所述样本图像对应的标签，所述标签包括的所述样本图像中目标物体的标注框的中心位置以及所述样本图像中目标物体的标注框的宽度和高度。
74.所述图像组可以是来自视频片段中的，视频片段由拍摄时间连续的样本图像构成，可以获取所述视频片段中的每一帧样本图像，将连续的多帧样本图像组合成所述图像
组。每个图像组中包括的样本图像数量是相同的，且与待输入图像中的图像数量相同。
75.例如，每个图像组中可以包括连续的3帧样本图像，那么待输入图像中也是连续的3帧图像。
76.步骤330，使用所述样本集对神经网络模型进行训练，得到所述目标检测模型。
77.在使用样本集对所述神经网络模型进行训练时，可以是将是样本集中的图像组输入所述神经网络模型，可以是得到与当前样本图像对应的热力图，其中，所述当前样本图像为所述图像组中的最后一帧图像。
78.由于u
‑
net网络的计算量过大会影响模型速度，因此，在u
‑
net网络中的每个卷积层之前都设置有1*1卷积层，降低通道数，以减小计算量，加快模型速度，使用热力图来预测检测框，也可以缓解运动模糊的问题。
79.在得到与所述当前样本图像对应的热力图之后，可以获取所述样本图像的标签，并根据所述标签，计算标签热力值。所述标签中包括样本图像中目标物体的标注框的中心位置，宽度和高度，具体的计算标签热力值可以是按照以下公式进行计算：
[0080][0081]
其中，g
xy
表示标签热力值，(x1,y1)表示所述样本图像中每个像素点的坐标，(x0,y0)表示所述标注框的中心位置的坐标，σ2表示高斯模糊的方差。在本技术实施例中，σ2的取值为16，具体可根据需要进行设置。
[0082]
在得到所述标签热力值之后，可以获取与所述热力图对应的预测值，并根据所述预测值和所述标签热力值确定目标损失。具体的，所述目标损失为预测值和所述标签热力值之间的加权二值交叉熵，由此得到的目标损失函数为：
[0083][0084]
其中，(x2,y2)表示热力图中每个像素点的坐标，g
xy
表示标签热力值，p
xy
表示预测值。
[0085]
从而可以根据所述目标损失确定所述神经网络模型是否收敛，在所述神经网络模型收敛时，得到所述目标检测模型。
[0086]
步骤340，将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图。
[0087]
步骤350，结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框。
[0088]
步骤360，确定所述目标检测框中的物体为所述目标物体。
[0089]
步骤340至步骤360可参照前述实施例对应部分，在此不再赘述。
[0090]
需要说明的是，步骤320和步骤330为得到所述目标检测模型的步骤，因此，步骤320和步骤330可以是在步骤340之前执行，也可以是在步骤310之前执行，在此不做具体限定。
[0091]
本技术实施例提供的运动目标检测方法，训练神经网络模型得到目标检测模型，所述目标检测模型中包括u
‑
net网络，所述u
‑
net网络中的每个卷积层之前设置有1*1卷积层。在原有的u
‑
net网络的基础上，在每个卷积层之前设置有1*1卷积，可降低u
‑
net网络的
计算量，有效提升对运动目标的检测速度。
[0092]
请参阅图6，本技术实施例提供了一种运动目标检测装置400，所述与运动目标检测装置400包括获取模块410，检测模块420，检测框确定模块430以及目标物体确定模块440。所述获取模块410，用于获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；所述检测模块420，用于将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；所述检测框确定模块430，用于结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框；所述目标物体确定模块440，用于确定所述目标检测框中物体为所述目标物体。
[0093]
进一步的，所述目标检测模型包括u
‑
net网络，所述u
‑
net网络中的每个卷积层之前设置有1*1卷积。
[0094]
进一步的，所述检测框确定模块430还用于从所述热力图中确定所述目标物体的目标矩形框；获取在所述当前帧图像之前的连续帧图像中目标物体的检测框；确定所述检测框和所述目标矩形框的宽度的均值，以及所述检测框和所述目标矩形框的高度的均值为目标尺寸；将所述目标矩形框设置为所述目标尺寸，得到所述目标检测框。
[0095]
进一步的，所述检测框确定模块430还用于确定所述热力图中的所有轮廓；基于每个轮廓得到包含所述轮廓的最小矩形框；获取所述最小矩形框中面积最大的矩形框为所述目标矩形框。
[0096]
进一步的，所述检测模块420还用于获取样本集，所述样本集包括多个图像组，每个所述图像组包括连续的多帧样本图像以及与所述样本图像对应的标签，所述标签包括所述样本图像中目标物体的标注框的中心位置以及所述样本图像中目标物体的标注框的宽度和高度；使用所述样本集对神经网络模型进行训练，得到所述目标检测模型。
[0097]
进一步的，所述检测模块420还用于将所述图像组输入所述神经网络模型，得到与当前样本图像对应的热力图，所述当前样本图像为所述图像组中的最后一帧图像；根据当前样本图像对应的标签，计算标签热力值；获取与所述热力图对应的预测值，并根据所述预测值和所述标签热力值确定目标损失；在根据所述目标损失确定所述神经网络模型收敛时，得到所述目标检测模型。
[0098]
进一步的，所述检测模块420还用于根据以下公式计算标签热力值：
[0099][0100]
其中，g
xy
表示标签热力值，(x1,y1)表示所述样本图像中每个像素点的坐标，(x0,y0)表示所述标注框的中心位置的坐标，σ2表示高斯模糊的方差。
[0101]
进一步的，所述检测模块420还用于根据所述预测值和所述标签热力值确定的所述目标损失为：
[0102][0103]
其中，(x2,y2)表示热力图中每个像素点的坐标，g
xy
表示标签热力值，p
xy
表示预测值。
[0104]
进一步的，所述目标物体为球体。
[0105]
本技术实施例提供的运动目标检测装置，获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框；确定所述目标检测框中物体为所述目标物体。在当前帧图像被遮挡时，可以结合连续的多帧图像对目标物体的位置进行预测，避免漏检。结合在所述当前帧图像之前的连续帧图像中目标物体的检测框确定出当前帧图像中目标物体的目标检测框，使得当前帧图像中的目标检测框更为稳定，准确确定目标物体。
[0106]
要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0107]
请参阅图7，本技术实施例提供了一种电子设备的结构框图，该电子设备500包括处理器510以及存储器520以及一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器520中并被配置为由所述一个或多个处理器510执行，所述一个或多个程序配置用于执行上述运动目标检测方法。
[0108]
该电子设备500可以是智能手机、平板电脑等能够运行应用程序的终端设备，还可以是服务器。本技术中的电子设备500可以包括一个或多个如下部件：处理器510、存储器520、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器520中并被配置为由一个或多个处理器510执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
[0109]
处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器520内的指令、程序、代码集或指令集，以及调用存储在存储器520内的数据，执行电子设备500的各种功能和处理数据。可选地，处理器510可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器510可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器510中，单独通过一块通信芯片进行实现。
[0110]
存储器520可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read
‑
only memory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备500在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
[0111]
本技术实施例提供的电子设备，获取待输入图像，所述待输入图像包括连续的多帧图像，所述多帧图像中的最后一帧图像为当前帧图像；将所述待输入图像输入目标检测模型中，得到与所述当前帧图像对应的热力图；结合在所述当前帧图像之前的连续帧图像中目标物体的检测框，从所述热力图中确定当前帧图像中目标物体的目标检测框；确定所
述目标检测框中物体为所述目标物体。在当前帧图像被遮挡时，可以结合连续的多帧图像对目标物体的位置进行预测，避免漏检。结合在所述当前帧图像之前的连续帧图像中目标物体的检测框确定出当前帧图像中目标物体的目标检测框，使得当前帧图像中的目标检测框更为稳定，准确确定目标物体。
[0112]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0113]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0114]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0115]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0116]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0117]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。