目标对象检测方法、装置、电子设备以及存储介质与流程

1.本技术涉及人工智能、目标对象跟踪、目标对象检测、图像处理等领域，尤其涉及目标对象检测方法、装置、电子设备以及存储介质。


背景技术：

2.视觉目标跟踪技术(visual object tracking，简称vot)是计算机视觉技术中一个重要的研究技术。目标跟踪技术通常用于运动中的常见物体，如人、动物、飞机、汽车等等。
3.在对目标物体进行跟踪的过程中，会在视频的第一帧(也称初始帧)中标记期望跟踪的物体，目标跟踪算法需要完成在视频的后续帧中持续跟踪该物体，提供该物体的位置信息。目标跟踪技术的核心思想是根据第一帧标注的目标(target)，提取模板信息(template)，在后续的视频帧搜索区域(search region)内计算不同候选位置与模板的匹配度，选择匹配度最高的位置从而确定目标位置。根据场景的不同，目标跟踪技术常见的难点问题包括但不限于如下几种：尺度变换、背景干扰、超出视野范围、光照变化、平面内旋转和平面外旋转、变形、低分辨率、快速运动、运动模糊、遮挡等，这使得在对目标物体进行跟踪、检测过程中，跟踪、检测的目标物体产生了差异，进而影响了目标跟踪、检测算法的准确性。
4.因此，如何提高目标跟踪、检测的准确性，成为亟需解决的问题。


技术实现要素：

5.本技术实施例提供一种目标对象检测方法、装置、电子设备以及存储介质，可提升目标跟踪、检测的准确性，适用性高。
6.一方面，本技术实施例提供一种目标对象检测方法，该方法包括：
7.根据目标模板集合，对图像中的目标对象进行检测，得到上述图像中的目标对象的检测结果。
8.一方面，本技术实施例提供了一种目标对象检测装置，上述装置用于视频中目标对象的跟踪，对于上述视频中的任一帧图像，该装置包括：
9.目标对象处理模块，用于根据目标模板集合，对图像中的目标对象进行检测，得到上述图像中的目标对象的检测结果。
10.一方面，本技术实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；
11.上述存储器用于存储计算机程序；
12.上述处理器被配置用于在调用上述计算机程序时，执行上述目标对象检测方法的任一可选实施方式所提供的方法。
13.一方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现上述目标对象检测方法的任一种可
能的实施方式所提供的方法。
14.一方面，本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述目标对象检测方法的任一种可能的实施方式所提供的方法。
15.本技术实施例所提供的方案的有益效果在于：
16.本技术实施例所提供的目标对象检测方法、装置、电子设备以及存储介质，在对目标对象进行检测时，是通过目标模板集合对图像中的目标对象进行检测，来得到图像中的目标对象的检测结果，这种使用目标模板集合的方式，由于目标模板集合中包含了一个或多个目标模板，使得目标模板集合所包含的信息更加丰富，避免了仅使用第一帧图像进行目标对象的检测，换言之，目标模板集合中记录了目标对象的可能出现的多种特征信息，能够更加全面的描述目标对象的信息，进而提高了对目标对象进行检测的准确性。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本技术实施例提供的一种目标跟踪方法的网络结构示意图；
19.图2是本技术实施例提供的另一种目标跟踪方法的网络结构示意图；
20.图3是本技术实施例提供的一种目标对象跟踪的方法的流程示意图；
21.图4是本技术实施例提供的一种记忆匹配的原理示意图；
22.图5是本技术实施例提供的一种轻量级的目标对象检测方法的网络结构示意图；
23.图6是本技术实施例提供的另一种轻量级的目标对象检测方法的网络结构示意图；
24.图7是本技术实施例提供的一种记忆更新的流程示意图；
25.图8是本技术实施例提供的一种目标对象检测装置的结构示意图；
26.图9是本技术实施例提供的电子设备的结构示意图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
29.在对目标对象进行跟踪时，由于光照变化、遮挡、变形等影响，跟踪的目标对象的特征信息会产生不同程度的变化，进而影响了目标跟踪的准确性。
30.为了解决上述问题，本技术实施例提供了一种目标对象检测方法，旨在解决上述问题中的至少一项，该方法具体可以由任一电子设备执行，可以是终端设备、也可以是服务器等。该方法包括：
31.步骤s101，根据目标模板集合，对图像中的目标对象进行检测，得到上述图像中的目标对象的检测结果。
32.可选的，上述方法可以用于视频中目标对象的跟踪、检测，或者对任意一帧图像中的目标对象进行检测的场景中，在此不作任何限定。
33.对于该视频的来源本技术实施例不做限定，如可以为通过可见光摄像头拍摄的一段视频，如监控录像、体育赛事直播视频等等。
34.本技术实施例中的目标对象检测方法可应用视觉对象跟踪，其中，视觉目标跟踪技术vot是一项重要的计算机视觉研究任务，同时在我们的日常生活中有许多实际应用。例如，监控录像中查找目标对象(如犯罪嫌疑人，走失的小孩、老人、动物等等)，也可以用于体育赛事直播视频中锁定目标运动员，还可以用于确定监控视频中车辆的行踪轨迹，还可以用于跟踪飞行中的小型飞行器等等。再例如，在智能手机上，可以将本技术实施例中的目标对象检测方法用于辅助相机对焦，视频特效生成，运动对象分析等。本技术所示的目标对象检测方法可根据实际需要确定应用场景，在此不作任何限定。
35.当应用于视频跟踪、检测的场景中时，上述目标模板集合包括上述目标对象的初始目标模板、以及上述视频中该图像的前序图像中至少一帧图像对应的目标模板，任一前序图像对应的目标模板为该图像中目标对象所在的图像区域。
36.上述目标对象可以理解为想要跟踪、检测的物体，如运动中的人、动物、交通工具(如车、飞机等)，可以根据实际应用需求选择所想要跟踪、检测的目标对象，在此不作限定。可选的，视频中的待跟踪对象(即上述目标对象)可以通过用户标注的方式确定，视为真实值，还可以通过已知的目标对象的图像确定，例如可以在视频中第一次出现目标图像的视频帧中由用户进行标注，该标注区域即可以作为目标对象的初始目标模板，该初始目标模板还可以为已知的目标对象图像。
37.上述目标模板集合可以理解为一种目标记忆，并存储该目标记忆，该目标记忆包括目标对象在视频的已检测的各帧图像中的检测结果对应的图像区域(即目标对象在各帧图像所在的区域)，当然，在实际应用时，目标模板集合中存储的也可以是该图像区域的特征信息，也就是说，目标模板集合可以是目标对象在各帧图像所在的图像区域(即将目标对象在各帧图像中所在的图像区域作为目标模板)，还可以是图像区域的图像特征信息，以图像特征信息代表图像区域(即以目标对象在各帧图像中所出现的图像区域的特征作为目标模板)。
38.具体地，该目标模板集合中可以包括初始目标模板，该初始目标模板可以是基于该目标对象在该视频中第一次出现的第一帧图像确定的，如在该第一帧图像中标记期望跟踪的目标对象，得到期望跟踪的目标对象的标注信息，然后基于该标注信息，得到初始目标模板。或者，该初始目标模板还可以基于已知的目标对象的图像得到。同样的，可以将标记信息在上述第一帧图像中对应的目标图像区域作为初始目标模板，或者将该目标图像区域的特征信息作为初始目标模板。
39.对于任一帧待检测图像而言，该目标模板集合中还可以包括除初始目标模板之外
的其他已检测的各帧图像对应的目标模板，即该图像的前序图像中的至少一帧图像所对应的目标模板。例如，当该图像为第二帧图像时，该前序图像即为第一帧图像，目标模板即为初始目标模板。当该图像为第三帧图像时，该前序图像包括第一帧图像和第二帧图像中的至少一个，目标模板可以为初始目标模板，以及目标对象的第三帧图像的前序图像(即第二帧图像)的检测结果所在的图像区域(即目标区域)，等等。
40.可选的，对于任一帧图像，可以将该图像的所有前序图像对应的目标模板均添加到目标模板集合中，也可以将所有前序图像对应的目标模板中满足一定条件的目标模板添加到集合中，具体的条件可以根据实际需求配置，例如，对于任意一帧前序图像，可以根据该前序图像对应的目标模板与目标模板集合中已存储的各目标模板的匹配度确定是否将该前序图像对应的目标模板添加到该集合中，可选的，若上述各匹配度均小于设定值，可将该前序图像对应的目标模板添加至目标模板，采用该方案，可以避免目标模板集合中出现相似度过高的目标模板，能够有效减少后续数据的计算量。
41.可理解，对于不同的帧图像，在对该帧图像中的目标对象进行检测时，所使用的目标模板集合可能是不同的，每一帧图像所使用的目标模板集合中的模板数量可能相同、也可能不同。
42.在对视频中的目标对象进行跟踪、检测时，对于任一帧图像，可以通过上述目标模板集合对图像进行目标对象的检测，得到该目标对象的检测结果，该检测结果可以为该目标对象在图像中的位置信息，以及该位置信息的置信度，其中，置信度用于表征该检测结果的可信度、可靠性，取值范围为[0,1]。
[0043]
通过本技术实施例，在对图像中的目标对象进行检测时，是通过目标模板集合对图像中的目标对象进行检测，来得到图像中的目标对象的检测结果，这种采用记忆机制的方式，由于目标模板集合中不仅包含了初始目标模板，还包含了前序图像中目标对象所在的图像区域对应的目标模板，使得目标模板集合所包含的信息更加丰富，换言之，由于该目标模板集合的多样性，使得对目标对象的检测中所能依据的信息更加丰富，提高了检测结果的准确性。
[0044]
在一种可选的实施例中，根据目标模板集合，对图像中的目标对象进行检测，包括：
[0045]
根据上述目标模板集合和干扰模板集合，对上述图像中的目标对象进行检测。
[0046]
其中，干扰模板集合包括上述目标对象的各干扰模板，上述各干扰模板为上述视频中图像的前序图像中至少一帧图像中上述目标对象的干扰对象所在的图像区域。
[0047]
可选的，上述干扰对象也可以称为干扰物，即可能会对目标对象的检测造成干扰的对象，该干扰对象可以为视频中的帧图像中与跟踪的目标对象(视觉上)相似的物体、纹理(非物体)或形状。换言之，也可以理解为可能会产生干扰的物体。
[0048]
上述干扰模板集合可以理解为一种干扰记忆，并存储该干扰记忆，该干扰记忆包括目标对象在视频的已检测的各帧图像中的检测结果对应的图像区域之外的其他图像区域，换言之，干扰记忆包括该目标对象对应的干扰对象在已检测的各帧图像所在的图像区域，当然在实际应用时，干扰模板集合中存储的也可以是该干扰对象所在的图像区域的特征信息。其中，该干扰模板集合中包括至少一个干扰模板，每个干扰模板可以为干扰对象所在的图像区域，也可以是干扰对象所在图像区域的特征信息，在此不作限定。
[0049]
具体地，该干扰模板集合中包括了该目标对象的各干扰模板，各干扰模板为图像的前序图像中目标对象的干扰对象所在的图像区域。例如，当图像为第三帧图像时，图像的前序图像包括第一帧图像和第二帧图像，其中，对于第一帧图像而言，如果目标对象是通过对第一帧图像进行标注确定的，即初始目标模板为第一帧图像中所标注的图像区域，可选的，此时，可以不对第一帧图像进行目标对象以及目标对象的干扰对象进行检测，即从第二帧开始进行目标对象的跟踪检测，在对第二帧图像进行目标对象的检测时，会得到多个检测结果，可以将除了最终确定出的检测结果所对应的图像区域之外的其他检测结果所对应的图像区域中的部分或全部的图像区域，确定为该目标对象的干扰对象所在的图像区域。也就是说，在对第三帧图像进行检测时，干扰模板集合中包括的是第二帧图像对应的干扰模板。当然，也可以对第一帧图像进行干扰对象的检测，相应的，在对第三帧图像进行检测时，干扰模板集合中包括的是第二帧图像对应的干扰模板和第一帧图像对应的干扰模板。作为另一可选方式，第一帧图像对应的干扰模板也可以是通过标注的方式确定。
[0050]
可选的，在对图像进行目标对象的检测时，可以同时考虑图像的目标模板集合和干扰模板集合这两种信息，即同时考虑目标记忆和干扰记忆这两种信息，使得所得到的目标对象的检测结果更加接近目标记忆，并且远离干扰记忆。
[0051]
通过本技术实施例，视频中的目标对象在运动过程中，由于光照变换、目标对象的旋转、快速运动、运动模糊、遮挡、变形、背景干扰等原因，与第一帧图像所标注的信息相比，目标对象的物体特征会产生不同程度的变化，通过上述目标模板集合(即目标记忆)记忆该目标对象在运动过程中所产生的这种变化，能够更加完整的描述该目标对象。并且，通过干扰模板集合(即干扰记忆)能够记忆潜在的干扰对象的图像特征，使得在对目标对象进行检测时，能够避开这些干扰对象的影响。这种综合目标记忆和干扰记忆，来对目标对象进行检测的方式，能够综合考虑目标对象本身的因素，并且规避掉干扰对象的影响因素，极大地提高了对目标对象进行跟踪的准确性。
[0052]
在一种可选的实施例中，根据目标模板集合，对图像中的目标对象进行检测，得到上述图像中的目标对象的检测结果，包括：
[0053]
基于上述目标模板集合，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；
[0054]
从上述一个或多个目标对象候选区域中确定目标区域；
[0055]
基于上述目标区域，得到图像对应的上述目标对象的检测结果。
[0056]
可选的，上述一个或多个目标对象候选区域，也可以称为候选检测框、锚框或者锚点，表征了目标对象在图像中的各个可能的位置。其中，锚框或者锚点，对应的英文为anchor，在目标检测中，表示固定的参考框，是预设的一组不同尺度不同位置的固定参考框，覆盖几乎所有位置和尺度。
[0057]
在对图像进行目标对象的检测时，可以根据目标模板集合(即目标记忆)得到图像对应的一个或多个目标对象候选区域，具体过程如下：
[0058]
在对图像进行目标对象的检测时，会在图像的多个区域进行搜索，得到多个搜索区域框，然后可以将每个搜索区域框分别与图像对应的目标模板集合中的各目标模板进行一一匹配，或者将每个搜索区域框与图像对应的目标模板集合的各目标模板融合之后的融合模板进行匹配，得到匹配度较高的一个或多个目标对象候选区域。然后，从这一个或多个
目标对象候选区域中选出最终的目标区域，基于该目标区域得到图像对应的目标对象的检测结果。
[0059]
可以理解的是，本技术各可选实施例所提供的方案可以通过预训练好的神经网络模型实现。作为一可选示例，图1是本技术实施例提供的一种实现目标跟踪方法的神经网络模型的网络结构示意图，如图1所示，以包含运动员运动场景的视频为例，目标对象为一个运动员(可以称为目标运动员)，如图中所示，其中，当前帧即为需要检测的任一帧图像，第一帧模板即为视频的第一帧图像中目标对象所在的区域，即初始目标模板，通常由用户手动标注，视为真实值。记忆池为用于存储目标记忆的存储空间，该记忆池中存储有各目标模板(即图中所示的目标记忆)，对于图中所示的该帧而言，记忆池中存储有初始目标模板以及该帧的各前序图像对应的目标模板。
[0060]
在对图中所示的该当前帧进行目标对象的检测时，可以将该当前帧输入至主干网络，得到该当前帧对应的图像特征，即图中所示的搜索区域特征w*h*c(也就是特征图，w和h分别表示特征图的宽和高，c表示特征图的通道数，即特征图的数量)。
[0061]
为了得到多个一个或多个目标对象候选区域，可以将记忆池里的各目标记忆输入至主干网络得到各目标模板对应的图像特征(即前文中所描述的特征信息)，并可以通过特征融合网络(即图中所示的回忆网络)将各目标模板对应的图像区域的图像特征进行融合，得到融合后的特征(可以简称为目标融合特征)。基于目标融合特征和搜索区域特征，通过区域候选网络计算上述搜索区域特征与该目标融合特征的相关度，产生多个锚点(即一个或多个目标对象候选区域)，输出该多个锚点的分类结果(即图中所示的分类(置信度))、以及回归结果(即图中所示的回归位置(x,y,w,h))，其中(x,y,w,h)中的x，y表示目标对象候选区域的中心点(或者是目标候选区域的任一顶点，如左上角顶点)的横坐标和纵坐标，w，h表示目标对象候选区域的宽和高，根据该多个锚点的分类和回归的结果，从该多个锚点中选择出最终的锚点，基于所选择的锚点的分类和回归结果得到当前帧中的该目标对象的目标位置及对应的检测置信度(即图中所示的跟踪结果输出)，此外，还可以根据当前帧对应的跟踪结果更新上述目标记忆，例如，将跟踪结果添加至目标记忆中(即图中所示的跟踪结果输出，以及记忆更新)，以将更新后的目标记忆用于当前帧的下一帧图像的目标对象的检测。
[0062]
在一种可选的实施例中，根据目标模板集合，对图像中的目标对象进行检测，得到上述图像中的目标对象的检测结果，包括：基于上述目标模板集合，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；基于上述干扰模板集合，从上述一个或多个目标对象候选区域中确定目标区域；基于上述目标区域，确定上述目标对象的检测结果。
[0063]
可选的，在对图像进行目标对象的检测时，还可以根据目标模板集合(即目标记忆)和干扰模板集合(即干扰记忆)共同得到图像对应的一个或多个目标对象候选区域，具体过程如下：
[0064]
将记忆池中的目标模板集合(即目标记忆)和干扰模板集合(即干扰记忆)，经过主干网络提取图像特征后，通过回忆网络进行特征融合，得到融合后的融合模板，在对图像进行目标对象的检测时，会在图像的多个区域进行搜索，得到多个搜索区域框，然后将每个搜索区域框分别与图像对应的融合模板进行匹配，得到匹配度较高的一个或多个目标对象候选区域。然后，从这一个或多个目标对象候选区域中选出最终的目标区域，基于该目标区域
得到图像对应的目标对象的检测结果。
[0065]
可选的，在神经网络模型进行目标跟踪的过程中，除了使用目标记忆外，还可以基于目标对象的检测结果维护目标记忆和干扰记忆，以使对目标对象的跟踪检测更加准确，具体步骤如下：
[0066]
步骤1，输入视频序列的第一帧；
[0067]
步骤2，用户进行目标标注，根据标注信息，提取第一帧图像的中目标对象所在图像区域的图像特征，得到初始目标模板，并记入目标记忆；干扰记忆为空。
[0068]
步骤3，输入视频序列的第二帧，基于第一帧的初始目标模板，对目标对象在第二帧的目标位置进行预测，得到预测结果；
[0069]
步骤4，基于预测结果，输出第二帧中目标对象的目标位置、预测置信度等跟踪信息；
[0070]
步骤5，判断第二帧的预测结果是否符合更新记忆条件；若符合，更新记忆；否则，不更新；
[0071]
步骤6，输入第三帧，根据此时目标记忆和干扰记忆，通过回忆网络融合记忆池中目标记忆和干扰记忆的特征，得到融合后的记忆；
[0072]
步骤7，根据融合后的记忆为模板，进行目标位置预测，并输出结果；后续帧以此类推。
[0073]
为了更加清楚的描述上述过程，可参考图2所示的示例，图2是本技术实施例提供的另一种目标跟踪方法的网络结构示意图，如图2所示，以包含运动员运动场景的视频为例，目标对象为一个运动员(可以称为目标运动员)，如图中所示，当前帧即为需要检测的任一帧图像，第一帧模板视频的第一帧图像中目标对象所在的区域，即初始目标模板。记忆池为用于存储目标记忆和干扰记忆的存储空间，该记忆池中存储有各目标模板(即图中所示的目标记忆)、以及各干扰模板(即图中所示的干扰记忆)，对于图中所示的该当前帧而言，记忆池中存储有初始目标模板以及该帧的各前序图像对应的目标模板、以及当前帧的前序图像中的干扰对象对应的干扰模板。
[0074]
对于该当前帧，将该当前帧图像输入至主干网络，得到该当前帧图像对应的搜索区域特征w*h*c。
[0075]
为了得到多个一个或多个目标对象候选区域，可以将记忆池里的各目标记忆和各干扰记忆输入至主干网络，分别提取各目标记忆和各干扰记忆的图像特征，得到各目标模板对应的图像特征、以及各干扰模板对应的图像特征，并可以通过特征融合网络(即图中所示的回忆网络)对各目标模板对应的图像特征进行特征融合，得到目标记忆对应的目标特征核(即目标融合特征)，并通过特征融合网络对各干扰模板对应的图像特征进行特征融合，得到融合后的干扰特征(可以称为干扰特征核或者干扰融合特征)。为了得到若干个候选锚点(即目标对象候选区域)，可以基于目标特征核(即目标融合特征)和搜索区域特征，通过区域候选网络计算上述搜索区域特征与该目标特征核的相关度，得到多个锚点，记为top-k锚点(即一个或多个目标对象候选区域)，并得到该top-k锚点的分类结果(即图中所示的分类(置信度))、以及回归结果(即图中所示的回归位置(x,y,w,h))，将目标对象候选区域的对应的特征向量与干扰特征核进行计算，选取与干扰记忆匹配最低的锚点，记为bottom-1锚点，并基于该选择的锚点确定出当前帧中的目标对象的目标位置及置信度(即
图中所示的跟踪结果输出)，还可以根据跟踪结果更新目标记忆和干扰记忆，例如，将跟踪结果添加至目标记忆中、以及将这多个锚点中除最终选择的锚点之外的其他锚点中的部分或全部的锚点对应的图像区域添加至干扰记忆中，即图中所示的跟踪结果输出，以及记忆更新。
[0076]
在一种可选的实施例中，基于上述目标模板集合，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域，包括：
[0077]
确定上述目标模板集合对应的目标融合特征；
[0078]
基于上述目标融合特征，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；
[0079]
基于上述干扰模板集合，从上述一个或多个目标对象候选区域中确定目标区域，包括：
[0080]
确定上述干扰模板集合的干扰融合特征，基于上述干扰融合特征，从上述一个或多个目标对象候选区域中确定目标区域。
[0081]
以下说明图2所示的示例中记忆匹配过程，参见图3，图3是本技术实施例提供的一种目标对象跟踪的方法的流程示意图，具体步骤如下：
[0082]
步骤s1，提取目标记忆和干扰记忆的图像特征。
[0083]
步骤s2，基于提取的目标记忆和干扰记忆的图像特征，进行目标模板融合，融合为目标特征核(即目标融合特征)，以及进行干扰模板融合，融合为干扰特征核(即干扰融合特征)。
[0084]
步骤s3，对当前帧图像对应的搜索区域特征与目标特征核和干扰特征和进行相关度计算，得到相关度计算结果。
[0085]
步骤s4，根据相关度计算结果，得到一个或多个目标对象候选区域。
[0086]
步骤s5，从该一个或多个目标对象候选区域中确定出最终的检测结果，即目标对象在图像中的目标区域。
[0087]
步骤s6，根据得到检测结果更新目标记忆和干扰记忆。
[0088]
具体地，参见图4，图4是本技术实施例提供的一种记忆匹配的原理示意图。如图4所示，记忆池中存储有目标记忆和干扰记忆，目标记忆和干扰记忆经过主干网络提取图像特征，然后经过回忆网络进行目标模板融合，融合为目标特征核(w*h*c)，即目标融合特征，经过回忆网络进行干扰模板融合，融合为干扰特征核(w*h*c)，即干扰融合特征。当前帧搜索区域图像经过主干网络提取搜索区域特征，与目标特征核进行相关度计算，通过区域候选网络产生若干个待选锚点；根据相关度计算得到的匹配度选取最高的k个锚点，记为top-k锚点(即代表上述一个或多个目标对象候选区域)。此top-k锚点对应区域对齐特征与干扰特征核进行相关度计算(其中，区域对齐特征即图中所示的区域对齐特征，也就是确定若干目标对象候选区域在搜索区域特征中对应的特征)，得到此top-k锚点的与干扰记忆的匹配信息，选取与干扰记忆匹配最低的锚点，记为bottom-1锚点，根据该bottom-1锚点输出跟踪结果，包括目标对象的目标位置(即目标区域)和该目标位置的置信度，即图中所示的输出跟踪结果(置信度和目标位置)。
[0089]
需要说明的是，图1和图2中的记忆池中的目标模板和干扰模板并不局限于图中所示出的第一帧模板所对应的模板，还可以根据后续帧进行模板的更新。
[0090]
可理解，图1和图2所示的示例仅为一种示例，本技术实施例中对目标对象检测方法的网络结构不作限定，图1和图2两者的区别在于，图1在对目标对象进行检测时，仅使用目标记忆，图2在对目标对象进行检测时，综合考虑目标记忆和干扰记忆。
[0091]
通过本技术实施例，可以考虑目标记忆，或者同时考虑目标记忆和干扰记忆来进行目标对象的检测，这种采用记忆机制的方式，能够更加全面的记录目标对象在运动过程中的各种变化信息，有效地提高了检测的准确性。
[0092]
在一种可选的实现方式中，基于上述干扰模板集合，从上述一个或多个目标对象候选区域中确定目标区域，包括：
[0093]
对于每个目标对象候选区域，确定该目标对象候选区域与上述目标模板集合中各目标模板的第一匹配度，以及该目标对象候选区域与上述干扰模板集合中各干扰模板的第二匹配度；
[0094]
根据上述第一匹配度和上述第二匹配度，确定该目标对象候选区域的第一目标匹配度；
[0095]
基于每个目标对象候选区域所对应的上述第一目标匹配度，从各目标对象候选区域中确定目标区域。
[0096]
可选的，可以按照上述方式得到各目标对象候选区域与各目标模板的匹配度，记为第一匹配度。对于任一目标对象候选区域，还可以将该目标对象候选区域与各干扰模板集合中的各干扰模板计算匹配度，得到多个匹配度，取该多个匹配度的平均值(或中值)作为该目标对象候选区域与各干扰模板的匹配度，可以得到各目标候选区域与各干扰模板的匹配度，记为第二匹配度。将第一匹配度与第二匹配中的各个值一一对应相减，可以得到第一目标匹配度，将第一目标匹配度中的最大值对应的目标对象候选区域作为目标区域。
[0097]
通过本技术实施例，可以根据匹配度，将与目标记忆的匹配度较高、且与干扰记忆匹配度较低的目标对象候选区域作为目标区域，采用这种方式，使得当前跟踪的目标对象能够尽可能的接近目标记忆，同时尽可能的远离干扰记忆，提高了检测的准确性。
[0098]
在一种可选的实施例中，基于上述目标模板集合，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域，包括：
[0099]
根据目标模板集合中的至少一个目标模板，对图像进行上述目标对象的检测，得到一个或多个目标对象候选区域。
[0100]
可选的，上述目标模板集合中包含了至少一个目标模板，在对目标对象进行检测时，可以使用其中的一个目标模板进行检测，也可以使用其中的多个目标模板进行检测。还可以使用该目标模板集合中的所有目标模板的融合模板进行检测，等等，在此不作限定。
[0101]
在一种实施例中，可以使用初始目标模板 目标记忆(或者目标记忆和干扰记忆)得到目标对象的检测结果。具体地，可以使用目标模板集合中的初始目标模板与图像对应的多个搜索区域框进行一一匹配，得到一个或多个目标对象候选区域，然后，基于目标记忆和干扰记忆、或者基于目标记忆，从该一个或多个目标对象候选区域中选择出最终的目标对象对应的目标区域，基于该目标区域得到目标对象的检测结果。
[0102]
在一种实施例中，可以使用目标模板集合的各个目标模板(即目标记忆)得到目标对象的检测结果。具体地，可以使用目标模板集合中的各个目标模板与图像对应的多个搜索区域框进行匹配，得到一个或多个目标对象候选区域，然后，从该一个或多个目标对象候
选区域中选择出最终的目标对象对应的目标区域，基于该目标区域得到目标对象的检测结果。
[0103]
在一种实施例中，可以使用目标模板集合的各个目标模板(即目标记忆)和干扰模板的各个干扰模板(即干扰记忆)得到目标对象的检测结果。具体地，可以使用目标模板集合中的各个目标模板和干扰模板的各个干扰模板分别与图像对应的多个搜索区域框进行匹配，得到一个或多个目标对象候选区域，然后，从该一个或多个目标对象候选区域中选择出最终的目标对象对应的目标区域，基于该目标区域得到目标对象的检测结果。
[0104]
上述仅为一种示例，本实施例在此不作限定。
[0105]
通过本技术实施例，可以通过多种方式得到目标对象对应的一个或多个目标对象候选区域，提高了确定一个或多个目标对象候选区域的多样性、灵活性。
[0106]
在一种可选的实施例中，根据目标模板集合，对图像中的目标对象进行检测，得到上述图像中的目标对象的检测结果，包括：
[0107]
基于上述目标模板集合中的初始目标模板，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；
[0108]
基于上述目标模板集合和上述干扰模板集合，从上述一个或多个目标对象候选区域中确定目标区域；
[0109]
基于上述目标区域，确定上述目标对象的检测结果。
[0110]
在本技术的一个实施例中，可以使用目标模板集合中的初始目标模板，对图像进行目标对象的检测，得到一个或多个目标对象候选区域，然后使用目标记忆 干扰记忆得到最终的目标对象的检测结果。
[0111]
在一种可选的实施例中，基于所述目标模板集合和所述干扰模板集合，从所述一个或多个目标对象候选区域中确定目标区域，包括：
[0112]
对于每个目标对象候选区域，确定该目标对象候选区域与所述目标模板集合中各目标模板的第三匹配度，以及该目标对象候选区域与所述干扰模板集合中各干扰模板的第四匹配度；
[0113]
根据所述第三匹配度和所述第四匹配度，确定该目标对象候选区域的第二目标匹配度；
[0114]
基于每个目标对象候选区域所对应的所述第二目标匹配度，从各目标对象候选区域中确定目标区域。
[0115]
可选的，可以按照上述方式得到各目标对象候选区域与各目标模板的匹配度，记为第三匹配度。对于任一目标对象候选区域，还可以将该目标对象候选区域与各干扰模板集合中的各干扰模板计算匹配度，得到多个匹配度，取该多个匹配度的平均值(或中)作为该目标对象候选区域与各干扰模板的匹配度，可以得到各目标候选区域与各干扰模板的匹配度，记为第四匹配度。将第三匹配度与第四匹配中的各个值一一对应相减，可以得到第二目标匹配度，将第二目标匹配度中的最大值对应的目标对象候选区域作为目标区域。
[0116]
参见图5，图5是本技术实施例提供的一种轻量级的目标对象检测方法的网络结构示意图，如图5所示，记忆池中保留了目标记忆和干扰记忆。来自第一帧图像标注的模板图像通过主干网络、调整层提取了模板特征(即初始目标模板)；当前帧的图像经过主干网络和调整层，提取了搜索区域特征；通过区域候选网络进行模板特征(即初始目标模板)和搜
索区域特征的相关度计算(可选的，可以通过深度相关性计算方式来计算该相关度，如图中所示的depthwise correlation)，生成多个候选锚点；选取匹配度最高的k个锚点，记为top-k锚点(即一个或多个目标对象候选区域)；从目标记忆和干扰记忆中，取出保留的计算过的区域对齐特征(即图中所示的区域对齐特征x
f1
……
x
fk
)，计算top-k锚点中的任一锚点(即下述x
fk
)的匹配度，其中，x
fk
为x
f1
……
x
fk
中的第k各锚点，公式如下：
[0117][0118]
其中，z
fi
代表目标记忆中第i个目标模板fi的特征向量，d
fi
代表干扰记忆中第i个干扰模板fi的特征向量；x
fk
代表top-k锚点中第k个锚点的特征向量；dw
corr
(z
fi
,x
fk
)代表计算z
fi
和x
fk
的相关度匹配值；w
zi
代表目标记忆中第i个目标模板z
fi
的权重；w
di
代表干扰记忆中第i个干扰模板d
fi
的权重。通过公式，选择最终的锚点代表与当前目标记忆最相似、同时与干扰记忆最不相似的候选锚点，即选择出目标区域作为该目标对象的检测结果，即图中所示的最终锚点＝argmaxk(score(x
fk
))，根据该结果输出top-1锚点。m1为目标记忆中目标模板的数量，m2为干扰记忆中干扰模板的数量，可理解，对于不同帧图像，目标模板和干扰模板的数量可能是变化的，即不同帧图像所对象的目标模板的数量和干扰模板的数量可能相同也可能不同。其中，目标记忆中各目标模板的权重的具体确定方式本技术实施例不做限定，可选的，目标记忆中各目标模板的权重之和为1，可以设置初始目标模板的权重值较高，其余各目标模板的权重值较小，等等，在此不作限定。干扰记忆中各干扰模板的权重的具体确定方式本技术实施例不做限定，干扰记忆中各干扰模板的权重之和为1，可以依据每个干扰模板所在图像区域与目标对象所在图像区域之间的距离来设置各干扰模板的权重，等等，在此不作限定。
[0119]
在一种可选的实施例中，根据目标模板集合，对图像中的目标对象进行检测，得到上述图像中的目标对象的检测结果，包括：
[0120]
基于上述目标模板集合中的初始目标模板，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；
[0121]
基于上述目标模板集合，从上述一个或多个目标对象候选区域中确定目标区域；
[0122]
基于上述目标区域，确定上述目标对象的检测结果。
[0123]
在本技术的一个实施例中，可以使用目标模板集合中的初始目标模板，对图像进行目标对象的检测，得到一个或多个目标对象候选区域，然后使用目标记忆(即目标模板集合)得到最终的目标对象的检测结果。
[0124]
参见图6，图6是本技术实施例提供的另一种轻量级的目标对象检测方法的网络结构示意图，如图6所示，记忆池中仅保留目标记忆时，具体过程可以参考图5所示的实现方式，从目标记忆中，取出保留的计算过的区域对齐特征(即下述x
fk
)，计算top-k锚点中的任一锚点的匹配度，公式如下：
[0125][0126]
通过上述公式，选择最终的锚点代表与当前目标记忆最相似锚点，即选择出目标
区域作为该目标对象的检测结果，即图中所示的最终锚点＝argmaxk(score(x
fk
))，根据该结果输出top-1锚点。
[0127]
需要说明的是，对于根据图像所对应的目标模板集合中各目标模板，对图像进行上述目标对象的检测，得到一个或多个目标对象候选区域的具体实现方式，可将图5和图6中的初始目标模板替换为目标模板集合中各目标模板的融合模板，其他各部分的具体实现方式可参考图5和图6，在此不再赘述。
[0128]
通过本技术实施例，可以采用一种轻量级的实现方式，通过初始目标模板、或者各目标模板的融合模板得到若干个目标候选区域，然后从该若干个目标候选区域中选出最终的目标区域，减少了计算量，提高了效率。
[0129]
在一种可选的实施例中，从上述一个或多个目标对象候选区域中确定目标区域，包括：
[0130]
基于各目标对象候选区域与目标模板集合中各目标模板的匹配度，从上述一个或多个目标对象候选区域中确定目标区域；
[0131]
基于各目标对象候选区域与图像对应的干扰模板集合中的各干扰模板的匹配度，从上述一个或多个目标对象候选区域中确定目标区域。
[0132]
可选的，在从一个或多个目标对象候选区域中确定出目标区域时，可以包括以下至少一种实现方式：
[0133]
在一种可选的实现方式中，对于任一目标对象候选区域，可以与目标模板集合中的各目标模板计算匹配度，得到多个匹配度，取该多个匹配度的平均值作为该目标对象候选区域与各目标模板的匹配度。最终取各目标对象候选区域的匹配度中匹配度最高的一个目标对象候选区域作为最终的目标区域。
[0134]
在一种可选的实施例中，得到上述图像中的目标对象的检测结果之后，还包括：
[0135]
确定图像对应的目标模板；
[0136]
基于图像对应的目标模板，进行目标模板集合的更新。
[0137]
可选的，在得到图像中的目标对象的检测结果之后，可以基于该检测结果得到图像对应的目标模板，并基于该目标模板，进行目标模板集合的更新。例如，如果图像对应的目标模板与目标模板集合中的任一模板的相似度均较低，则可以将该目标模板添加至目标模板集合中，在此不作限定。
[0138]
具体地，在一种可选的实施例中，基于图像对应的目标模板，进行目标模板集合的更新，包括：
[0139]
确定该图像对应的目标模板和目标模板集合中各目标模板的相似度；
[0140]
若各上述相似度均小于或等于设定阈值，或者各上述相似度的融合相似度小于或等于设定阈值，则将该目标模板添加至目标模板集合中。
[0141]
可选的，可以将图像对应的目标模板和目标模板集合中各目标模板计算相似度，记为第五相似度，若第五相似度中的各相似度均小于或等于设定阈值(如0.9等)，或者第五相似度的各相似度的融合相似度(如各第五相似度的各相似度的平均值)小于或等于设定阈值(如0.9等)，此时，可以将图像对应的该目标模板添加至目标模板集合中，作为下一帧图像的目标模板集合。
[0142]
通过本技术实施例，可以根据图像的检测结果得到目标模板，并基于该目标模板
更新目标模板集合，使得目标模板集合能够记录目标对象的最新的特征，提高了目标模板集合的完整性。
[0143]
在一种可选的实施例中，得到上述图像中的目标对象的检测结果之后，还包括：
[0144]
确定图像对应的干扰模板；
[0145]
基于图像对应的干扰模板，进行干扰模板集合的更新。
[0146]
可选的，可选的，在得到图像中的目标对象的检测结果之后，可以基于该检测结果，确定出图像对应的干扰模板，进行干扰模板集合的更新。例如，确定干扰模板的方式可以为，将上述一个或多个目标对象候选区域中除了目标区域之外的其他目标对象候选区域中的部分或全部的目标对象候选区域所对应的图像区域确定为干扰模板，将该干扰模板添加至干扰模板集合中。
[0147]
具体地，在一种可选的实施例中，确定图像对应的干扰模板，包括：
[0148]
获取图像中上述目标对象所在的目标区域，以及该目标对象的各候选干扰对象所在的图像区域；
[0149]
对于任一候选干扰对象所在的图像区域，确定该图像区域与目标区域的第一相关性、以及该图像区域与图像对应的干扰模板集合中各干扰模板的第二相关性；
[0150]
基于各候选干扰对象所在的图像区域所对应的第一相关性和各第二相关性，从各候选干扰对象所在的图像区域中确定图像对应的干扰模板。
[0151]
可选的，可以获取图像中该目标对象所在的目标区域，以及该目标对象的各候选干扰对象所在的图像区域。其中，各候选干扰对象所在的图像区域可以为上述一个或多个目标对象候选区域中除了目标区域之外的图像区域，例如，上述top-k锚点中除了bottom-1锚点之外所对应的图像区域。
[0152]
对于任一候选干扰对象所在的图像区域，可以确定该图像区域与目标区域的第一相关性(该第一相关性可以表征该图像区域与目标区域之间的距离的远近)、以及确定出该图像区域与干扰模板集合中各干扰模板的第二相关性(该第二相关性可以表征该图像区域与各干扰模板的相似度)，然后，基于第一相关性和第一相关性，从各候选干扰对象所在的图像区域中确定图像对应的干扰模板。例如，可以选择第一相关性较大、且第二相关性较小的干扰对象所在的图像区域作为图像对应的干扰模板。
[0153]
以下结合一附图说明记忆更新的过程。参见图7，图7是本技术实施例中提供的一种记忆更新的流程示意图，如图7所示，最终选取的bottom-1锚点为当前帧目标对象跟踪的最终目标位置(即该锚点对应的图像区域为目标对象所在的图像区域)，根据目标对象的检测结果即目标位置和置信度，判断该目标对象的检测结果与现有的目标记忆的相关度是否小于某一阈值，也即判断此目标对象是否产生了一定变化。若是，则将此目标对象的检测结果对应的目标模板更新至目标记忆中，否则不更新。在top-k候选锚点中，除去选择的bottom-1锚点为目标位置，其余锚点中选取bottom-k2为候选的干扰锚点。判断这些干扰锚点与当前目标对象的目标位置的距离是否大于某一阈值。若是，则此锚点为可能的干扰物；否则，认为不是干扰物，可以选择丢弃该锚点的相关信息。进而，判断该干扰物与现有干扰记忆中的部分或全部的干扰模板的匹配度是否小于某一阈值，也即判断是否产生了新的干扰物。若是，则将此干扰物更新至干扰记忆中，否则不更新。
[0154]
通过本技术实施例，可以根据目标对象的检测结果对目标模板集合和干扰模板集
合进行维护更新，即对目标记忆和干扰记忆进行维护更新，保持目标记忆和干扰记忆为最新，为后续目标对象的检测提供了更加丰富多样的信息，提高了检测的准确性。
[0155]
以下说明采用本技术的记忆机制的好处，如表1所示，为分别对视频序列1、视频序列2、视频序列3采用没有记忆机制、实施目标记忆、以及实施目标记忆和干扰记忆后，对目标对象的跟踪的成功率和准确率，可以看出，实施目标记忆之后，对目标对象的跟踪的成功率和准确率均有提升，同时实施目标记忆和干扰记忆时成功率和准确率的效果最好。
[0156]
表1
[0157][0158]
参见图8，图8是本技术实施例提供的一种目标对象检测装置的结构示意图。本技术实施例提供的目标对象检测装置上述装置用于视频中目标对象的跟踪，该目标对象检测装置1包括：
[0159]
目标对象处理模块11，用于目标对象处理模块，用于根据目标模板集合，对图像中的目标对象进行检测，得到上述图像中的目标对象的检测结果。
[0160]
在一种可行的实施例中，上述目标对象处理模块，用于：
[0161]
根据上述目标模板集合和干扰模板集合，对上述图像中的目标对象进行检测。
[0162]
在一种可行的实施例中，上述目标对象处理模块，用于：
[0163]
基于上述目标模板集合，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；
[0164]
基于上述干扰模板集合，从上述一个或多个目标对象候选区域中确定目标区域；
[0165]
基于上述目标区域，确定上述目标对象的检测结果。
[0166]
在一种可行的实施例中，上述目标对象处理模块，用于：
[0167]
确定上述目标模板集合对应的目标融合特征，以及确定上述干扰模板集合的干扰融合特征；
[0168]
基于上述目标融合特征，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；
[0169]
基于上述干扰融合特征，从上述一个或多个目标对象候选区域中确定目标区域。
[0170]
在一种可行的实施例中，上述目标对象处理模块，用于：
[0171]
对于每个目标对象候选区域，确定该目标对象候选区域与上述目标模板集合中各目标模板的第一匹配度，以及该目标对象候选区域与上述干扰模板集合中各干扰模板的第二匹配度；
[0172]
根据上述第一匹配度和上述第二匹配度，确定该目标对象候选区域的第一目标匹配度；
[0173]
基于每个目标对象候选区域所对应的上述第一目标匹配度，从各目标对象候选区域中确定目标区域。
[0174]
在一种可行的实施例中，上述目标对象处理模块，用于：
[0175]
基于上述目标模板集合中的初始目标模板，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；
[0176]
基于上述目标模板集合和上述干扰模板集合，从上述一个或多个目标对象候选区域中确定目标区域；
[0177]
基于上述目标区域，确定上述目标对象的检测结果。
[0178]
在一种可行的实施例中，上述目标对象处理模块，用于：
[0179]
基于上述目标模板集合中的初始目标模板，对上述图像中的目标对象进行检测，得到一个或多个目标对象候选区域；
[0180]
基于上述目标模板集合，从上述一个或多个目标对象候选区域中确定目标区域；
[0181]
基于上述目标区域，确定上述目标对象的检测结果。
[0182]
在一种可行的实施例中，上述装置还包括，模板更新模块，该模板更新模块用于：
[0183]
得到上述图像中的目标对象的检测结果之后，确定图像对应的目标模板；
[0184]
基于图像对应的目标模板，进行目标模板集合的更新。
[0185]
在一种可行的实施例中，上述模板更新模块，用于：
[0186]
确定图像对应的目标模板和目标模板集合中各目标模板的相似度；
[0187]
若各上述相似度均小于或等于设定阈值，或者各上述相似度的融合相似度小于或等于设定阈值，则将该目标模板添加至目标模板集合中。
[0188]
在一种可行的实施例中，上述模板更新模块，用于：
[0189]
确定图像对应的干扰模板；
[0190]
基于图像对应的干扰模板，进行干扰模板集合的更新。
[0191]
在一种可行的实施例中，上述模板更新模块，用于：
[0192]
获取图像中上述目标对象所在的目标区域，以及该目标对象的各候选干扰对象所在的图像区域；
[0193]
对于任一候选干扰对象所在的图像区域，确定该图像区域与目标区域的第一相关性、以及该图像区域与图像对应的干扰模板集合中各干扰模板的第二相关性；
[0194]
基于各候选干扰对象所在的图像区域所对应的第一相关性和各第二相关性，从各候选干扰对象所在的图像区域中确定图像对应的干扰模板。
[0195]
本技术实施例中所提供的装置，可以通过ai模型来实现多个模块中的至少一个模块。可以通过非易失性存储器、易失性存储器和处理器来执行与ai相关联的功能。
[0196]
该处理器可以包括一个或多个处理器。此时，该一个或多个处理器可以是通用处理器，例如中央处理单元(cpu)、应用处理器(ap)等、或者是纯图形处理单元，例如，图形处理单元(gpu)、视觉处理单元(vpu)、和/或ai专用处理器，例如神经处理单元(npu)。
[0197]
该一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义的操作规则或人工智能(ai)模型来控制对输入数据的处理。通过训练或学习来提供预定义的操作规则或人工智能模型。
[0198]
这里，通过学习来提供指的是通过将学习算法应用于多个学习数据来得到预定义的操作规则或具有期望特性的ai模型。该学习可以在其中执行根据实施例的ai的装置本身中执行，和/或可以通过单独的服务器/系统来实现。
[0199]
该ai模型可以包含多个神经网络层。每一层具有多个权重值，一个层的计算是通过前一层的计算结果和当前层的多个权重来执行的。神经网络的示例包括但不限于卷积神经网络(cnn)、深度神经网络(dnn)、循环神经网络(rnn)、受限玻尔兹曼机(rbm)、深度信念网络(dbn)、双向循环深度神经网络(brdnn)、生成对抗网络(gan)、以及深度q网络。
[0200]
学习算法是一种使用多个学习数据训练预定目标装置(例如，机器人)以使得、允许或控制目标装置进行确定或预测的方法。该学习算法的示例包括但不限于监督学习、无监督学习、半监督学习、或强化学习。
[0201]
该ai模型可以通过使用图像数据作为该ai模型的输入数据，来获得视频中任一帧图像中的目标对象的检测结果。该ai模型可以通过训练获得。这里，“通过训练获得”意味着通过训练算法用多条训练数据训练基本ai模型来获得被配置成执行期望特征(或目的)的预定义操作规则或ai模型。该ai模型可以包括多个神经网络层。多个神经网络层中的每一层包括多个权重值，并且通过在前一层的计算结果与多个权重值之间的计算来执行神经网络计算。
[0202]
本技术实施例中的方法可应用于视觉理解，其中，视觉理解是一种用于像人类视觉一样识别和处理事物的技术，并且包括例如对象识别、对象跟踪、图像检索、人类识别、场景识别、3d重建/定位或图像增强。
[0203]
具体实现中，该ai模型可以为本技术实施例中的图1-2、4-7所示的神经网络模型，在此不作限定。
[0204]
具体实现中，上述装置1可通过其内置的各个功能模块执行如上述图3中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
[0205]
参见图9，图9是本技术实施例提供的电子设备的结构示意图。如图9所示，本实施例中的电子设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，上述电子设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(display)、键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1004可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
[0206]
在图9所示的电子设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序。
[0207]
应当理解，在一些可行的实施方式中，上述处理器1001可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存
储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
[0208]
具体实现中，上述电子设备1000可通过其内置的各个功能模块执行如上述图1中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
[0209]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，被处理器执行以实现图3中各个步骤所提供的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
[0210]
上述计算机可读存储介质可以是前述任一实施例提供的任务处理装置的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(randomaccess memory，ram)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0211]
本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图3中各个步骤所提供的方法。
[0212]
本技术的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或电子设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或电子设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0213]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0214]
以上所揭露的仅为本技术较佳实施例而已，不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。