一种目标检测方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种目标检测方法、装置、电子设备及存储介质。


背景技术：

2.随着计算机技术的不断发展，对于视频图像进行目标检测，已经得到了广泛的应用。
3.但是现有技术中目标检测的计算工作往往由终端设备实现，但是由于终端的算力有限，往往很难承担大量的计算任务，因此，往往需要借助云平台服务器来分担计算任务，但是现有技术中端云协同进行目标检测对于网络带宽的需求较高。
4.因此如何的实现目标检测已经成为业界亟待解决的问题。


技术实现要素：

5.本发明提供一种目标检测方法、装置、电子设备及存储介质，用以解决现有技术中端云协同进行目标检测的对于网络带宽的需求较高的缺陷。
6.本发明提供一种目标检测方法，包括：
7.获取终端发送的多组连续视频帧组，其中，每组所述连续视频帧组包括第一视频帧和n个第二视频帧；
8.对各个所述第一视频帧进行目标检测，得到各个第一视频帧中的第一目标位置信息，并将各个所述第一目标位置信息发送到终端，以供所述终端基于各个所述第一目标位置信息，通过目标跟踪算法，确定每组所述连续视频帧组中第二视频帧的第一目标兴趣范围信息；
9.获取所述终端反馈的所述第一目标兴趣范围信息。
10.根据本发明提供的一种目标检测方法，在所述得到各个目标视频帧中的第一目标位置信息之后，所述方法还包括：
11.获取目标第二视频帧的第一目标兴趣范围信息，所述目标第二视频帧是所述第一视频帧的前一帧视频帧；
12.对所述目标第二视频帧的目标兴趣范围信息和所述第一视频帧的第一目标位置信息进行目标关联分析，确定所述第一视频帧中的第二目标位置信息。
13.根据本发明提供的一种目标检测方法，在所述确定所述第一视频帧中的第二目标位置信息之后，所述方法还包括：
14.将所述第二目标位置信息发送到所述终端，以供所述终端基于所述基于第二目标位置信息，通过目标跟踪算法确定，所述目标第二视频帧所在的连续视频帧组中的第二目标兴趣范围信息；
15.获取所述终端反馈的所述第二目标兴趣范围信息。
16.根据本发明提供的一种目标检测方法，在所述确定所述第一视频帧中的第二目标
位置信息之后，所述方法还包括：
17.基于所述第二目标位置中的第二目标数量，确定第二目标出现比率信息；
18.基于所述第二目标出现比率信息，确定所述连续视频帧组的长度信息；
19.将所述长度信息发送到所述终端，以供所述终端根据所述长度信息，对原始视频进行重新分组，得到重新分组后的多组连续视频帧组。
20.根据本发明提供的一种目标检测方法，所述基于所述第二目标出现比率信息，确定所述连续视频帧组的长度信息，包括：
[0021][0022]
其中，n为所述连续视频帧组的原始长度信息，n
max
和n
min
是帧组的预设长度最大值和预设长度最小值，r
th1
和r
th2
是预设的出现比率阈值，n
′
为连续视频帧组的长度信息，r为第二目标出现比率信息。
[0023]
本发明还提供一种目标检测装置，包括：
[0024]
第一获取模块，用于获取终端发送的多组连续视频帧组，其中，每组所述连续视频帧组包括第一视频帧和n个第二视频帧；
[0025]
检测模块，用于对各个所述第一视频帧进行目标检测，得到各个第一视频帧中的第一目标位置信息，并将各个所述第一目标位置信息发送到终端，以供所述终端基于各个所述第一目标位置信息，通过目标跟踪算法，确定每组所述连续视频帧组中第二视频帧的第一目标兴趣范围信息；
[0026]
第二获取模块，用于获取所述终端反馈的所述第一目标兴趣范围信息。
[0027]
根据本发明提供的目标检测装置，所述装置还包括：
[0028]
第三获取模块，用于获取目标第二视频帧的第一目标兴趣范围信息，所述目标第二视频帧是所述第一视频帧的前一帧视频帧；
[0029]
分析模块，用于对所述目标第二视频帧的目标兴趣范围信息和所述第一视频帧的第一目标位置信息进行目标关联分析，确定所述第一视频帧中的第二目标位置信息。
[0030]
根据本发明提供的目标检测装置，所述装置还包括：
[0031]
发送模块，用于将所述第二目标位置信息发送到所述终端，以供所述终端基于所述基于第二目标位置信息，通过目标跟踪算法确定，所述目标第二视频帧所在的连续视频帧组中的第二目标兴趣范围信息；
[0032]
第四获取模块，用于获取所述终端反馈的所述第二目标兴趣范围信息。
[0033]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标检测方法的步骤。
[0034]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标检测方法的步骤。
[0035]
本发明提供的一种目标检测方法、装置、电子设备及存储介质，通过获取终端发送的连续视频帧组后，首先仅仅对第一视频帧进行目标检测后，确定第一目标位置信息后，由终端根据第一目标位置信息，在第二视频帧中仅保留第一目标位置信息可能存在的区域，即仅保留第一目标兴趣范围信息，在数据上传中丢弃第二视频帧中除第一目标兴趣范围信
息之外的数据，可以在实现有效目标检测的同时，大幅降低视频数据上传所需带宽。
附图说明
[0036]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本发明提供的目标检测方法流程图；
[0038]
图2为本发明提供的目标检测装置结构示意图；
[0039]
图3示例了一种电子设备的实体结构示意图。
具体实施方式
[0040]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
图1为本发明提供的目标检测方法流程图，如图1所示，包括：
[0042]
步骤110，获取终端发送的多组连续视频帧组，其中，每组所述连续视频帧组包括第一视频帧和n个第二视频帧；
[0043]
具体地，云平台获取终端发送的多组连续视频帧组，该云平台具体可以是指能够实现目标检测的云端服务器，该云平台中具体可以搭载有目标检测智能算法，以实现目标检测。
[0044]
本技术中所描述的终端具体可以是具有数据传输功能的终端，其具体可以是指手机、平板电脑、摄像头、或者汽车中搭载的处理器等等。
[0045]
本技术实施例中所描述的多组连续视频帧组，是终端将输入的视频画面按照预设长度信息n，进行自适应帧组聚合，自适应地将视频画面划分为多个帧组，且每个帧组中的各个视频帧具有时间连续性，即每个连续视频帧组包含时间连续的视频帧。
[0046]
本技术中的第一视频帧是从连续视频帧组中选取的关键视频帧，其可以是连续视频帧组中的第一帧，也可以是从连续视频帧组中选取的任一帧。
[0047]
本技术中所描述的第二视频帧，是连续视频帧组中出第一视频帧之外的其它视频帧，其可以有一个或者多个。
[0048]
步骤120，对各个所述第一视频帧进行目标检测，得到各个第一视频帧中的第一目标位置信息，并将各个所述第一目标位置信息发送到终端，以供所述终端基于各个所述第一目标位置信息，通过目标跟踪算法，确定每组所述连续视频帧组中第二视频帧的第一目标兴趣范围信息；
[0049]
具体地，云平台通过目标检测神经网络算法识别第一视频帧中感兴趣区域，得到第一目标位置信息，并将该位置范围信息反馈给终端设备，目标检测神经网络算法具体可以经过预先训练的目标检测神经网络算法。
[0050]
本技术中所描述的第一目标位置信息，具体可以是检测目标所在位置的信息。
[0051]
云平台在检测到各个第一视频帧中的第一目标位置信息后，会将各个所述第一目标位置信息发送到终端，终端设备在获取到第一目标位置信息后，会以该位置为初始值，调用目标跟踪算法，计算出在同一帧组内后续第二视频帧内的目标可能位置范围，即第一目标兴趣范围信息。
[0052]
在本技术实施例中，对于目标可能位置范围首先选定每个目标可能位置的方形区域；考虑到跟踪算法可能出现误差，将该方形区域的四边向外延展n个像素；为减少常见视频/图像编码中画面宏块内部的高频分量带来的画面瑕疵和额外带宽需求，进一步向外延展该区域各边，直至其与8的整数倍坐标对齐。该区域边界延展过程以公式表示为：
[0053][0054][0055]
式中，(x0,y0),(x1,y1)为跟踪算法得到的方形区域的左上角与右下角坐标；(x
′0,y
′0),(x
′1,y
′1)为延展后的方形区域左上角与右下角坐标。w,h为每帧图像的宽、高像素数量。n值由以下公式给出：
[0056]
n＝n0 δn
·
v
[0057]
式中v为目标在当前画面中的移动速度(单位：像素/帧)。本发明中取n0＝4,δn＝0.5。
[0058]
之后，对所有目标延展后的方形区域求并集，仅将该并集内的图像区域编码，并通过网络上传至云设备。云设备通过运行目标检测神经网络算法，确定目标位于画面内的精确位置，得到第一目标兴趣范围信息。
[0059]
步骤130，获取所述终端反馈的所述第一目标兴趣范围信息。
[0060]
具体地，为了有效降低云平台和终端之间传输数据所需带宽，在数据上传中丢弃第二视频帧中非感兴趣区域画面数据，大幅降低视频数据上传所需带宽，因此终端仅仅反馈各视频帧组中第一目标兴趣范围信息内的图像数据。
[0061]
在本技术实施例中，通过获取终端发送的连续视频帧组后，首先仅仅对第一视频帧进行目标检测后，确定第一目标位置信息后，由终端根据第一目标位置信息，在第二视频帧中仅保留第一目标位置信息可能存在的区域，即仅保留第一目标兴趣范围信息，在数据上传中丢弃第二视频帧中除第一目标兴趣范围信息之外的数据，可以在实现有效目标检测的同时，大幅降低视频数据上传所需带宽。
[0062]
可选地，在所述得到各个目标视频帧中的第一目标位置信息之后，所述方法还包括：
[0063]
获取目标第二视频帧的第一目标兴趣范围信息，所述目标第二视频帧是所述第一视频帧的前一帧视频帧；
[0064]
对所述目标第二视频帧的目标兴趣范围信息和所述第一视频帧的第一目标位置信息进行目标关联分析，确定所述第一视频帧中的第二目标位置信息。
[0065]
具体地，云平台在获得每帧关键帧的检测结果，即第一视频帧的第一目标位置信息后，会将其与前一帧第二视频帧的检测结果进行比较。通过参考目标移动速度和方向历史记录，将第二视频帧内目标与第一视频帧内的目标进行身份关联对应。对于仅在第一视
频帧内出现、未在前一帧第二视频帧内出现的目标，将其标识为“新目标”，即第二目标位置信息，并将此类目标的位置范围反馈至端设备。
[0066]
在本技术实施例中，通过将目标第二视频帧的目标兴趣范围信息和第一视频帧的第一目标位置信息进行目标关联分析，从而有效确定该第一视频帧中的目标是新的目标还是来自于上一帧视频帧的目标，能够有效检测出新的坐标。
[0067]
可选地，在所述确定所述第一视频帧中的第二目标位置信息之后，所述方法还包括：
[0068]
将所述第二目标位置信息发送到所述终端，以供所述终端基于所述基于第二目标位置信息，通过目标跟踪算法确定，所述目标第二视频帧所在的连续视频帧组中的第二目标兴趣范围信息；
[0069]
获取所述终端反馈的所述第二目标兴趣范围信息。
[0070]
具体地，本技术中所描述的终端设备在获得云平台反馈的第二目标位置信息后，以第二目标位置信息为初始值，调用跟踪算法，在缓存的前一帧组的第二视频帧中反向跟踪得到该新目标的可能位置范围，得到连续视频帧组中的第二目标兴趣范围信息。
[0071]
本技术中所描述的第二目标兴趣范围信息内可能包含待检测的新目标，因此在本技术实施例中终端会将第二目标兴趣范围信息的图像信息重新上传到云平台进行检测。
[0072]
云平台将对此类图像重新调用目标检测神经网络，并将得到的目标检测结果与第一次对相应时间点进行检测的结果合并，得到更完整的目标检测结果。
[0073]
在本技术实施例中，利用反向跟踪方法，实现对新出现目标的全程检测，提高目标检测任务整体精度。
[0074]
可选地，在所述确定所述第一视频帧中的第二目标位置信息之后，所述方法还包括：
[0075]
基于所述第二目标位置中的第二目标数量，确定第二目标出现比率信息；
[0076]
基于所述第二目标出现比率信息，确定所述连续视频帧组的长度信息；
[0077]
将所述长度信息发送到所述终端，以供所述终端根据所述长度信息，对原始视频进行重新分组，得到重新分组后的多组连续视频帧组。
[0078]
具体地，在云平台在识别每个第一视频帧中的第二目标位置信息之后，会将第二目标位置信息中目标数量t
n
与该帧内所有被发现目标数量t
a
相除，得到第二目标出现比率信息r：
[0079][0080]
算法将依照以下公式，重新计算适合当前视频识别难度的帧组长度信息n
′
：
[0081][0082]
其中，n为所述连续视频帧组的原始长度信息，n
max
和n
min
是帧组的预设长度最大值和预设长度最小值，r
th1
和r
th2
是预设的出现比率阈值，n
′
为连续视频帧组的长度信息，r为第二目标出现比率信息。
[0083]
云平台将新帧组长度n
′
经网络下发至端设备。端设备在收到新n
′
值后，将对所有
尚未上传第一视频帧的帧组重新按照新n
′
值进行帧组聚合，并重新指定重新聚合后的每组第一帧为第一视频帧、后续帧为第二视频帧。
[0084]
在本技术实施例中，在每次检测到第二目标位置信息后，实时根据视频画面内容和目标检测任务难度调整帧组长度，在检测精度与带宽需求间取得动态平衡。
[0085]
可选地，在本技术实施例中，当对任一帧组的计算处理因与云设备通信、等待返回对其第一视频帧进行检测的结果而出现暂时中断时，端侧设备将按时间顺序选择首个可以立刻开始执行图像编码或跟踪的帧组，将端侧算力用于处理该选定的帧组，直到之前处于等待状态的帧组结束通信、恢复计算，从而防止端侧设备出现空闲状态，充分利用计算算力。
[0086]
下面对本发明提供的目标检测装置进行描述，下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
[0087]
图2为本发明提供的目标检测装置结构示意图，如图2所示，包括：第一获取模块210、检测模块220和第二获取模块230；其中，第一获取模块210用于获取终端发送的多组连续视频帧组，其中，每组所述连续视频帧组包括第一视频帧和n个第二视频帧；其中，检测模块220用于对各个所述第一视频帧进行目标检测，得到各个第一视频帧中的第一目标位置信息，并将各个所述第一目标位置信息发送到终端，以供所述终端基于各个所述第一目标位置信息，通过目标跟踪算法，确定每组所述连续视频帧组中第二视频帧的第一目标兴趣范围信息；其中，第二获取模块230用于获取所述终端反馈的所述第一目标兴趣范围信息。
[0088]
可选地，所述装置还包括：
[0089]
第三获取模块，用于获取目标第二视频帧的第一目标兴趣范围信息，所述目标第二视频帧是所述第一视频帧的前一帧视频帧；
[0090]
分析模块，用于对所述目标第二视频帧的目标兴趣范围信息和所述第一视频帧的第一目标位置信息进行目标关联分析，确定所述第一视频帧中的第二目标位置信息。
[0091]
可选地，所述装置还包括：
[0092]
发送模块，用于将所述第二目标位置信息发送到所述终端，以供所述终端基于所述基于第二目标位置信息，通过目标跟踪算法确定，所述目标第二视频帧所在的连续视频帧组中的第二目标兴趣范围信息；
[0093]
第四获取模块，用于获取所述终端反馈的所述第二目标兴趣范围信息。
[0094]
在本技术实施例中，通过获取终端发送的连续视频帧组后，首先仅仅对第一视频帧进行目标检测后，确定第一目标位置信息后，由终端根据第一目标位置信息，在第二视频帧中仅保留第一目标位置信息可能存在的区域，即仅保留第一目标兴趣范围信息，在数据上传中丢弃第二视频帧中除第一目标兴趣范围信息之外的数据，可以在实现有效目标检测的同时，大幅降低视频数据上传所需带宽。
[0095]
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行目标检测方法，该方法包括：获取终端发送的多组连续视频帧组，其中，每组所述连续视频帧组包括第一视频帧和n个第二视频帧；对各个所述第一视频帧进行目标检测，得到各个第一视频帧中的第一目标位置信息，
并将各个所述第一目标位置信息发送到终端，以供所述终端基于各个所述第一目标位置信息，通过目标跟踪算法，确定每组所述连续视频帧组中第二视频帧的第一目标兴趣范围信息；获取所述终端反馈的所述第一目标兴趣范围信息。
[0096]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0097]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的目标检测方法，该方法包括：获取终端发送的多组连续视频帧组，其中，每组所述连续视频帧组包括第一视频帧和n个第二视频帧；对各个所述第一视频帧进行目标检测，得到各个第一视频帧中的第一目标位置信息，并将各个所述第一目标位置信息发送到终端，以供所述终端基于各个所述第一目标位置信息，通过目标跟踪算法，确定每组所述连续视频帧组中第二视频帧的第一目标兴趣范围信息；获取所述终端反馈的所述第一目标兴趣范围信息。
[0098]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的目标检测方法，该方法包括：获取终端发送的多组连续视频帧组，其中，每组所述连续视频帧组包括第一视频帧和n个第二视频帧；对各个所述第一视频帧进行目标检测，得到各个第一视频帧中的第一目标位置信息，并将各个所述第一目标位置信息发送到终端，以供所述终端基于各个所述第一目标位置信息，通过目标跟踪算法，确定每组所述连续视频帧组中第二视频帧的第一目标兴趣范围信息；获取所述终端反馈的所述第一目标兴趣范围信息。
[0099]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0100]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0101]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。