模型控制方法、装置、设备及存储介质与流程

1.本技术涉及但不限于计算机视觉技术领域，尤其涉及一种模型控制方法、装置、设备及存储介质。


背景技术：

2.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。随着ai技术的发展，ai已经广泛应用在教育、家居、医疗、汽车等各个领域，然而人们越来越注重ai在人机交互方过程中的体验感和娱乐性，现有的人机交互模式已经不能满足人们的需求。


技术实现要素：

3.有鉴于此，本技术实施例至少提供一种模型控制方法、装置、设备及存储介质。
4.本技术实施例的技术方案是这样实现的：
5.一方面，本技术实施例提供一种模型控制方法，所述方法包括：获取待处理的图像帧集合，其中，所述图像帧集合中的图像帧具有先后时序关系，且所述图像帧包括参与任务的至少一个第一目标对象；确定所述至少一个第一目标对象和执行所述任务的至少一个受控模型之间的匹配关系；识别所述待处理的图像帧集合的至少两帧图像帧，得到第一识别结果，所述第一识别结果中至少包括每一所述第一目标对象的第一运动参数；基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务。
6.在一些实施例中，所述受控模型包括显示设备中的虚拟对象，所述基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务，包括：基于所述匹配关系和每一所述第一目标对象的所述第一运动参数，确定与每一所述第一目标对象匹配的所述虚拟对象的第二运动参数；控制所述虚拟对象按照所述第二运动参数完成所述任务。
7.这样，在受控模型包括显示设备中的虚拟对象的情况下，实现了通过真实第一目标对象的第一运动参数，控制显示设备中的虚拟对象按照第二运动参数完成任务。
8.在一些实施例中，所述识别所述待处理的图像帧集合的至少两帧图像帧，得到第一识别结果，包括：识别所述待处理的图像帧集合的至少两帧图像帧，得到第二识别结果，其中，所述第二识别结果包括候选对象的检测结果；获取实际参与任务的对象的数量；基于所述候选对象的检测结果，在所述候选对象中筛选出具有所述数量的所述第一目标对象；基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定各第一目标对象的第一运动参数。
9.这样，通过识别出候选对象的检测结果，再基于检测结果筛选出第一目标对象，最后获取第一目标对象的第一运动参数，实现了在图像帧中筛选出实际参与任务的对象，而
后续只获取实际参与任务对象的第一运动参数，再通过实际参与任务对象的第一运动参数来控制受控模型完成任务，从而筛掉不参与任务的观众，有助于提高控制准确度。
10.在一些实施例中，所述检测结果包括所述候选对象的检测框的位置信息，所述基于所述候选对象的检测结果，在所述候选对象中筛选出具有所述数量的所述第一目标对象，包括：确定所述候选对象的检测框的尺寸；基于所述候选对象的检测框的尺寸，在所述候选对象中筛选出具有所述数量的所述第一目标对象。
11.这样，通过获取候选对象的检测框的尺寸，然后基于候选对象的检测框的尺寸，在候选对象中筛选出第一目标对象，从而可以选择清晰度较高的对象作为第一目标对象，而筛掉没有参与任务的观众或玩家，有助于提高控制准确度。
12.在一些实施例中，所述检测结果包括所述候选对象的骨骼关键点的位置信息，所述基于所述候选对象的检测结果，在所述候选对象中筛选出具有所述数量的所述第一目标对象，包括：确定所述候选对象的骨骼关键点的完整度；基于所述候选对象的骨骼关键点的完整度，在所述候选对象中筛选出具有所述数量的所述第一目标对象。
13.本技术实施例中，通过获取候选对象的骨骼关键点的完整度，然后基于候选对象的骨骼关键点的完整度，在候选对象中筛选出第一目标对象，从而可以筛掉候选对象中部分身体不再图像帧画面中的对象，有助于提高控制准确度。
14.在一些实施例中，所述第一运动参数包括第一速度参数和/或第一方向参数，所述基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定各第一目标对象的第一运动参数，包括：基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定至少一个所述第一目标对象的动作是否为目标动作；响应于所述至少一个所述第一目标对象的动作为目标动作，确定所述目标动作的第一速度参数和/或第一方向参数；所述方法还包括：基于所述匹配关系和每一所述第一目标对象的第一速度参数和/或第一方向参数，确定与每一所述第一目标对象匹配的受控模型的第二速度参数和/或第二方向参数。
15.这样，在确定第一目标对象的动作为目标动作的情况下，再确定目标动作的第一速度参数和/或第一方向参数，用于后续控制与第一目标对象匹配的受控模型完成任务。如此，可以激发用户使自己的动作尽量满足目标动作的要求，从而实现控制受控模型完成任务，进而增加交互过程的难度和趣味性，激发用户的好胜心。
16.在一些实施例中，所述基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定至少一个所述第一目标对象的动作是否为目标动作，包括：基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定与所述至少一个所述第一目标对象关联的关键点的位置信息；基于所述第二识别结果所在图像帧的先后时序关系和所述关键点的位置信息，确定所述关键点的轨迹信息；响应于所述关键点的轨迹信息满足预设条件，确定所述至少一个所述第一目标对象的动作为目标动作。
17.这样，通过确定与第一目标对象关联的关键点的位置信息；然后基于图像帧的先后时序关系和关键点的位置信息，确定关键点的轨迹信息；在关键点的轨迹信息满足预设条件的情况下，确定第一目标对象的动作为目标动作，从而实现对目标动作的确定。
18.在一些实施例中，在至少两个第一目标对象匹配一个受控模型的情况下，所述识别结果还包括所述至少两个第一目标对象的动作幅度，所述基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成
所述任务，包括：确定所述至少两个第一目标对象的动作幅度是否一致；响应于所述至少两个第一目标对象的动作幅度不一致，对与所述至少两个第一目标对象匹配的受控模型不输出控制指令。
19.这样，通过设置在至少两个第一目标对象的动作幅度不一致时，对与至少两个第一目标对象匹配的受控模型不输出控制指令，从而实现对团队合作能力的评价，激发用户在多人为一组的情况下，团结一致，共同完成任务，增加交互过程的趣味性和挑战性。
20.在一些实施例中，在至少两个第一目标对象匹配一个受控模型的情况下，所述基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务，包括：基于所述至少两个第一目标对象中的每一所述第一目标对象的第一运动参数，在所述至少两个第一目标对象中确定第二目标对象；基于所述匹配关系，控制与所述至少两个第一目标对象匹配的受控模型，按照与所述第二目标对象的第一运动参数匹配的第二运动参数完成所述任务。
21.这样，通过第一目标对象的第一运动参数，来确定第二目标对象，再基于第二目标对象的第二运动参数来控制受控模型，可以实现对受控模型完成任务的时间的控制。
22.在一些实施例中，所述方法还包括：获取所述受控模型完成所述任务的第一时长；基于所述匹配关系，从第一历史记录集合中确定所述受控模型的第二历史记录集合；基于所述第二历史记录集合和所述第一时长，对所述受控模型进行排名。
23.这样，通过获取相应匹配关系下，受控模型完成任务的第二历史记录集合和第一时长，实现对受控模型进行排名，从而可以让用户知道自己的水平，提高用户的竞技心理，激发用户的玩乐心态。
24.在一些实施例中，在所述受控模型的数量为至少两个的情况下，所述方法还包括：获取每一所述受控模型完成所述任务的第二时长；基于每一所述第二时长，对所述至少两个受控模型进行排名。
25.这样，在受控模型的数量为至少两个的情况下，通过获取每个受控模型完成任务的第二时长，实现对所述至少两个受控模型的排名，从而提高用户的竞技心理，激发用户的玩乐心态。
26.第二方面，本技术实施例提供一种模型控制装置，所述装置包括：第一获取模块，用于获取待处理的图像帧集合，其中，所述图像帧集合中的图像帧具有先后时序关系，且所述图像帧包括参与任务的至少一个第一目标对象；第一确定模块，用于确定所述至少一个第一目标对象和执行所述任务的至少一个受控模型之间的匹配关系；识别模块，用于识别所述待处理的图像帧集合的至少两帧图像帧，得到第一识别结果，所述第一识别结果中至少包括每一所述第一目标对象的第一运动参数；控制模块，用于基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务。
27.第三方面，本技术实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
28.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
29.本技术实施例中，通过获取待处理的图像帧集合，其中，图像帧集合中的图像帧具有先后时序关系，且图像帧包括参与任务的至少一个第一目标对象；然后确定至少一个第一目标对象和执行任务的至少一个受控模型之间的匹配关系；之后识别待处理的图像帧集合的至少两帧图像帧，得到识别结果，识别结果中至少包括每一所述第一目标对象的第一运动参数；最后基于匹配关系，控制与每一第一目标对象匹配的受控模型，按照与第一运动参数匹配的第二运动参数完成任务。这样，可以使得受控模型基于第一目标对象的第一运动参数执行指定的任务，从而实现第一目标对象与受控模型之间的交互，增加交互过程中的趣味性。
30.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
31.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
32.图1a为本技术实施例提供的一种模型控制系统的架构示意图；
33.图1b为本技术实施例提供的另一种模型控制系统的架构示意图；
34.图1c为本技术实施例提供的一种模型控制方法的实现流程示意图；
35.图2a为本技术实施例提供的一种确定第一目标对象第一运动参数的实现流程示意图；
36.图2b为本技术实施例提供的另一种确定第一目标对象第一运动参数的实现流程示意图；
37.图3a为本技术实施例提供的一种确定第一目标对象的实现流程示意图；
38.图3b为本技术实施例提供的另一种确定第一目标对象的实现流程示意图；
39.图4a为本技术实施例提供的一种确定受控模型排名的实现流程示意图；
40.图4b为本技术实施例提供的另一种确定受控模型排名的实现流程示意图；
41.图5a、图5b和图5e为本技术实施例提供的一种模型控制方法的实现流程示意图；
42.图5c为本技术实施例提供的一种显示设备的显示界面示意图；
43.图5d为本技术实施例提供的一种单人模式下参与者控制龙舟前进的显示界面示意图；
44.图5f为本技术实施例提供的一种双人模式下参与者控制龙舟前进的显示界面示意图；
45.图6为本技术实施例提供的一种模型控制装置的结构示意图；
46.图7为本技术实施例提供的一种电子设备的硬件实体示意图。
具体实施方式
47.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图和实施例对本技术的技术方案进一步详细阐述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
48.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
49.所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
50.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术的目的，不是旨在限制本技术。
51.图1a为本技术实施例提供的一种模型控制系统10的一个可选的架构示意图，参见图1a，计算机处理设备300通过网络200连接图像采集模组100。网络200可以是广域网或者局域网，又或者是二者的组合。计算机处理设备300和图像采集模组100在物理上可以是分立的，也可以是一体的。图像采集模组100可以通过网络200将采集到的待处理的图像帧集合发送或存储至计算机处理设备300，其中，图像帧集合中的图像帧具有先后时序关系，且所述图像帧包括参与任务的至少一个第一目标对象。计算机处理设备300获取待处理的图像帧集合；确定所述至少一个第一目标对象和执行所述任务的至少一个受控模型之间的匹配关系；识别所述待处理的图像帧集合的至少两帧图像帧，得到第一识别结果；基于所述匹配关系，通过网络200控制与每一所述第一目标对象匹配的受控模型600，按照与所述第一运动参数匹配的第二运动参数完成所述任务，并显示受控模型600的任务完成结果。
52.图1b为本技术实施例提供的另一种模型控制系统10的一个可选的架构示意图，参见图1b，终端设备500通过网络200连接图像采集模组100，终端设备500和图像采集模组100通过网络200连接至服务器400。图像采集模组100可以通过网络200将采集到的待处理的图像帧集合发送或存储至服务器400，其中，图像帧集合中的图像帧具有先后时序关系，且所述图像帧包括参与任务的至少一个第一目标对象；服务器400获取待处理的图像帧集合；确定所述至少一个第一目标对象和执行所述任务的至少一个受控模型之间的匹配关系；识别所述待处理的图像帧集合的至少两帧图像帧，得到第一识别结果；基于所述匹配关系，通过网络200控制与每一所述第一目标对象匹配的受控模型600，按照与所述第一运动参数匹配的第二运动参数完成所述任务，服务器400通过网络200将受控模型600的任务完成结果发送给终端设备500予以显示。
53.在一些实施例中，服务器400可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。图像采集模组、终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术实施例不做限定。
54.图1c为本技术实施例提供的一种模型控制方法的流程示意图，应用于电子设备，如图1c所示，所述方法包括如下步骤s101至步骤s104：
55.s101：获取待处理的图像帧集合，其中，所述图像帧集合中的图像帧具有先后时序关系，且所述图像帧包括参与任务的至少一个第一目标对象；
56.这里，电子设备可以为图1a中的计算机处理设备300，例如手机、笔记本电脑、平板电脑、掌上上网设备、多媒体设备、流媒体设备、移动互联网设备、机器人等；也可以为图1b中的服务器400。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。处理器可以用于进行模型控制，存储器可以用于存储进行模型控制过程中需要的数据以及产生的数据。
57.图像帧集合包括视频或者实时帧图像，所述图像可为：二维(two-dimensional，2d)图像或者三维(three-dimensional，3d)图像，其中，2d图像可包括：单目或多目摄像头采集的红绿蓝(red green blue，rgb)图像等。在一些实现方式中，该图像帧集合可以为电子设备上设置的图像采集模组，如摄像头模组实时采集的图像；在另一些实现方式中，该图像帧集合可以为其他设备通过即时通信的方式传输给电子设备的需要进行模型控制的图像；在一些实现方式中，该图像帧集合也可以是电子设备响应于任务处理指令，通过服务器调用本地相册并从中获取的采集图像，对此本技术实施例不做限定。其中，不同时刻或时段获取的图像帧集合可以相同也可以不同，图像帧集合中图像帧的数量可以根据实际需求确定，例如3帧、5帧、10帧、15帧等，图像帧集合还可以是周期性更新的，每周期获取的图像帧数量可以相同也可以不同。
58.任务指受控模型基于控制指令需要完成的事项，例如，从出发点走到终点；绕着柱子转一圈等，其中，受控模型指响应于本技术实施例提供的模型控制方法执行任务的模型，包括虚拟受控模型(例如体感游戏显示设备中的虚拟对象)和实体受控模型，本技术实施例对任务的类型不做限定。第一目标对象指实际参与任务的对象，即用于控制受控模型完成任务的对象，其中，第一目标对象可以指动态的对象，例如运动的人、动物、机器人等；第一目标对象的数量可以为一个、两个或多个，本技术实施例对第一目标对象的类型和数量不做限定。
59.在本技术实施例待处理的图像帧中存在人脸/人体对象时，应用本技术技术方案的产品可以在获取图像帧之前取得对象同意；例如可以通过弹窗信息等方式获得对象授权，或是设置明确的标识告知对象会获取其人脸/人体图像，或者可以请对象自行上传其图像帧集合等方式。
60.在一些实施例中，在获取待处理的图像帧集合之后，可以对待处理的图像帧集合进行编解码及抽帧等逻辑处理，使得处理后的图像帧集合的帧率可以满足后续对图像帧集合进行处理所使用的算法需求。
61.s102：确定所述至少一个第一目标对象和执行所述任务的至少一个受控模型之间的匹配关系；
62.这里，匹配关系指第一目标对象和受控模型之间的对应关系，即所有第一目标对象共控制几个受控模型，几个第一目标对象控制一个受控模型，每个第一目标对象控制哪个受控模型。例如所有第一目标对象的数量为2人，共控制1个受控模型，即2个第一目标对象控制一个受控模型；又例如所有第一目标对象的数量为2人，共控制2个受控模型，即每个第一目标对象控制一个受控模型，也就是说第一目标对象与受控模型一一对应。
63.在一些实施例中，步骤s102的实施可以预先设置匹配类型，其中，匹配类型用于表征第一目标对象的数量、受控模型的数量以及几个第一目标对象控制一个受控模型，例如，
匹配类型可以为1对1，即第一目标对象的数量为一个，受控模型的数量为一个，一个第一目标对象控制一个受控模型；匹配类型可以为2对2，即第一目标对象的数量为两个，受控模型的数量为两个，每个第一目标对象控制一个受控模型；又例如匹配类型可以为2对1，即第一目标对象的数量为两个，受控模型的数量为1个，两个第一目标对象控制一个受控模型；然后通过人工输出的方式获取匹配类型，之后基于第一目标对象的位置，确定与第一目标对象匹配的受控模型，例如，在第一目标对象的数量为两个，受控模型的数量为两个的情况下，左侧的第一目标对象对应左侧的受控模型，右侧的第一目标对象对应右侧的受控模型。在一些实施例中，在获取匹配类型之后，还可以通过人工输入的方式选择与第一目标对象匹配的控制模型，例如，匹配关系是2对2，第一目标对象分别是甲和乙，受控模型分别是a和b，则第一目标对象甲可以人工选择与其匹配的受控模型为a，第一目标对象乙可以人工选择与其匹配的受控模型为b。
64.在一些实施例中，步骤s102的实施也可以通过图像采集模组采集受控模型的图像，之后对受控模型的图像进行识别，得到受控模型的数量；然后基于受控模型和第一目标对象的数量来确定第一目标对象和受控模型之间的匹配关系，例如识别出的受控模型的数量为1个，第一目标对象的数量为3个，则3个第一目标对象匹配1个受控模型；又例如识别出的受控模型的数量为2个，第一目标对象的数量为2个，则2个第一目标对象匹配2个受控模型，即每个第一目标对象控制一个受控模型，本技术实施例对确定第一目标对象和受控模型之间的匹配关系的方法不做限定。
65.s103：识别所述待处理的图像帧集合的至少两帧图像帧，得到第一识别结果，所述第一识别结果中至少包括每一所述第一目标对象的第一运动参数；
66.在一些实施例中，第一目标对象为所述至少两帧图像帧的每一帧中识别出的所有动态的对象，即对所述至少两帧图像帧中的每一帧进行识别，得到每一帧中所有动态的对象。实施时，可以通过人体骨骼关键点检测算法或目标检测算法等方法检测得到；例如，在每一帧中所有动态的对象数量与参与任务的第一目标对象数量一致时，第一目标对象为每一帧中识别出的所有动态的对象。
67.在一些实施例中，所述至少两帧图像帧的每一帧中识别出的所有动态的对象不都是参与任务的第一目标对象，即所述至少两帧图像帧的每一帧中识别出的所有动态的对象包括参与任务的对象和观众，对应地，如图2a所示，步骤s103的实施可以包括如下步骤s1031至步骤1034：
68.步骤s1031：识别所述待处理的图像帧集合的至少两帧图像帧，得到第二识别结果，其中，所述第二识别结果包括候选对象的检测结果；
69.这里，候选对象为所述至少两帧图像帧的每一帧中能够识别出的所有动态的对象，检测结果为识别图像帧后，得到的用于表征候选对象位置的参数，例如检测框的位置信息、骨骼关键点的位置信息等。
70.在一些实施例中，步骤s1031的实施可以利用神经网络等深度学习模型，通过人体骨骼关键点检测算法检测待处理的图像帧集合中的至少两帧图像帧，得到所述至少两帧图像帧的每一帧中的有效的人体骨骼关键点的位置信息，再基于有效的人体骨骼关键点，在所述至少两帧图像帧的每一帧中的确定候选对象，例如，在有效的人体骨骼关键点的数量大于等于预设值的情况下，确定其为候选对象，从而得到候选对象对应的检测结果(即候选
对象对应的骨骼关键点的位置信息)。
71.在一些实施例中，步骤s1031的实施也可以利用神经网络等深度学习模型，通过目标检测算法(例如rcnn，faster-rcnn，spp-net，fast-rcnn等)检测待处理的图像帧集合中的至少两帧图像帧，在所述至少两帧图像帧的每一帧中得到候选对象的检测框，即为候选对象的检测结果。
72.步骤s1032：获取实际参与任务的对象的数量；
73.这里，步骤s1032的实施可以通过人工输入的方式获取实际参与任务的对象的数量，或者根据任务类型预先设置实际参与任务的对象的数量。
74.步骤s1033：基于所述候选对象的检测结果，在所述候选对象中筛选出具有所述数量的所述第一目标对象；
75.这里，在候选对象的检测结果为候选对象的检测框的位置信息的情况下，可以基于检测框的大小，选择尺寸较大的候选对象作为第一目标对象，使得第一目标对象的图像更加清晰，便于后续关键点的检测。在候选对象的检测结果为候选对象的骨骼关键点的位置信息的情况下，例如，可以基于骨骼关键点的完整度，选择完整度较高的候选对象作为第一目标对象，使得第一目标对象的大部分身体在图像画面中，降低后续在图像中检测不到需要检测的关键点的风险；又例如，还可以基于特定的人体骨骼关键点的完整度，选择完整度较高的候选对象作为第一目标对象；其中，特定的人体骨骼关键点指用于确定第一识别结果的人体骨骼关键点，例如，在第一目标对象进行划船动作的情况下，可以通过第一目标对象的手腕点确定第一目标对象的第一识别结果，则特定的人体骨骼关键点为手腕点；又例如，在第一目标对象进行骑车动作的情况下，可以通过第一目标对象的脚腕点确定第一目标对象的第一识别结果，则特定的人体骨骼关键点为脚腕点；如此可以避免第一目标对象的特定的人体骨骼关键点被其他对象或物体遮挡，使得特定的人体骨骼关键点在图像画面中，以方便确定第一目标对象的第一识别结果。本技术实施例对在候选对象中筛选第一目标对象的方法不做限定。需要说明的是，由于第一目标对象是基于候选对象的检测结果筛选出的，而每一图像帧中候选对象的检测结果可能不同，因此，在候选对象中筛选出的第一目标对象也可能不同，即第一目标对象可能不是同一个人。
76.步骤s1034：基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定各第一目标对象的第一运动参数。
77.其中，第一运动参数用于表征第一目标对象运动的快慢和/或方向，在一些实施例中，第一运动参数可以包括第一速度参数和/或第一方向参数，第一速度参数用于表征运动的快慢，例如，角速度、线速度、频率、转速(第一目标对象为机器时)等；第一方向参数用于表征运动的方向，例如东南西北、顺时针、逆时针等，则第一运动参数可以为：例如速度3米每秒和顺时针方向(即第一运动参数包括第一速度参数和第一方向参数)，又例如速度3米每秒(即第一运动参数只包括第一速度参数)，再例如顺时针方向(即第一运动参数只包括第一方向参数)，本技术实施例对第一运动参数的形式不做限定。
78.在一些实施例中，可以通过识别与第一目标对象关联的关键点的位置信息，来确定第一运动参数。其中，关键点的位置信息可以为人体关键点的位置信息，包括但不限于：骨架关键点的位置信息和/或轮廓关键点的位置信息。骨架关键点的位置信息是骨架的关键点的位置信息，例如手腕、手肘、手指、脚腕等；轮廓关键点的位置信息是肢体的外表面的
关键点的位置信息，例如手部轮廓的顶点等。在一些实施例中，关键点的位置信息还可以包括所述第一目标对象身体上某个相对于身体位置固定的点的位置信息，例如，头上的发卡、身上的胸针等，所述位置信息可以包括坐标，如图像中的坐标。
79.在第二识别结果包括第一目标对象的检测框的位置信息的情况下，可以将第一目标对象的检测框对应的图像进行人体骨骼关键点检测，从而得到与第一目标对象关联的关键点的位置信息。
80.在第二识别结果包括第一目标对象骨骼关键点的位置信息的情况下，可以通过骨骼关键点之间的相对位置关系，确定与第一目标对象关联的关键点的位置信息。实施时，可以连接所有的骨骼关键点，得到整个骨架，然后基于骨架中各个骨头和关节的相对分布位置，确定出哪个关键点是与第一目标对象关联的关键点，从而得出所述关键点的位置信息。
81.由于第一目标对象的第二识别结果所在图像帧的先后时序不同(第二识别结果所在图像帧指得出第二识别结果的图像帧，例如识别第一帧图像帧，得到一个第二识别结果，则该第二识别结果所在图像帧为第一帧图像帧)，不同时序的图像帧中第一目标对象的身体姿态或运动状态可能不同，而不同身体姿态或不同运动状态下关键点的位置信息即坐标会发生变化，故可以根据第一目标对象的第二识别结果对应的图像帧的先后时序关系以及关键点的位置信息，确定关键点的位置信息的变化量，而由关键点的位置信息的变化量，可以表征第一目标对象运动的快慢和方向。例如关键点为鼻子，由两帧图像中鼻子的位置信息可知第一目标对象行走的路程，而由行走的路程除以两帧之间的时间差可以得到速度；此外，由两帧图像中关键点鼻子位置点的连线与固定方向例如(正东方向)的夹角可知第一目标对象的方向，从而得出第一目标对象的第一速度参数和第一方向参数。本技术实施例对第一运动参数的计算方法不做限定。
82.在一些实施例中，步骤s1034的实施可以对待处理的图像帧集合中的所有帧进行检测，确定出第一目标对象的第一运动参数；在一些实施例中，步骤s1034的实施也可以在确定第一目标对象的动作为目标动作的情况下，再对目标动作的第一运动参数进行确定，在第一目标对象的动作不为目标动作的情况下，输出的第一运动参数为零，其中，第一运动参数可以包括第一速度参数和/或第一方向参数，对应地，如图2b所示，步骤s1034的实施可以包括如下步骤s1034a至步骤s1034b：
83.步骤s1034a：基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定至少一个所述第一目标对象的动作是否为目标动作；
84.这里，目标动作可以根据任务需求进行设定，例如，任务为划船任务，需要在第一目标对象的动作为划船动作的情况下，控制受控模型完成任务，则目标动作为划船动作；又例如，任务为骑车任务，需要在第一目标对象的动作为骑车动作的情况下，控制受控模型完成任务，则目标动作为骑车动作，本技术实施例对目标动作的类型不做限定。
85.在至少两个第一目标对象匹配一个受控模型的情况下，可以只确定部分第一目标对象的动作是否为目标动作，例如3个第一目标对象匹配一个受控模型，则可以确定其中1个或2个第一目标对象的动作是否为目标动作，即可以不对所有的第一目标对象进行目标动作的确定。
86.在一些实施例中，步骤s1034a的实施可以通过预先训练的动作检测模型确定第一目标对象的动作是否为目标动作，例如时间段网络(temporal-segment-networks，tsn)、时
间关系网络(temporal relation network，trn)、时间金字塔网络(temporal pyramid network，tpn)等动作检测模型。
87.在一些实施例中，步骤s1034a的实施也可以包括如下步骤s13a1至步骤s13a3：
88.步骤s13a1：基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定与所述至少一个所述第一目标对象关联的关键点的位置信息；
89.这里，确定与所述至少一个第一目标对象关联的关键点的位置信息的方法同上，此处不再赘述。
90.在一些实施例中，每一图像帧中包括至少两个所述第一目标对象，为了方便确定每一所述第一目标对象的所述关键点的位置信息，可以让每一所述第一目标对象之间保持一定的距离，降低将关键点的位置信息匹配到错误第一目标对象的风险。
91.步骤s13a2：基于所述第二识别结果所在图像帧的先后时序关系和所述关键点的位置信息，确定所述关键点的轨迹信息；
92.这里同上，由于第二识别结果所在图像帧的先后时序不同，不同时序的图像帧中识别得到的对象的身体姿态或运动状态可能不同，而不同身体姿态或不同运动状态下关键点的位置信息即坐标会发生变化，故可以根据图像帧的先后时序关系以及关键点的位置信息，确定关键点的位置变化情况，即确定出关键点的轨迹信息。
93.步骤s13a3：响应于所述关键点的轨迹信息满足预设条件，确定所述至少一个所述第一目标对象的动作为目标动作。
94.这里，预设条件可以根据目标动作的期望运动轨迹而定，例如，目标动作的期望运动轨迹为圆形，则预设条件可以为满足圆形参数的条件；又例如，目标动作的期望运动轨迹为椭圆形，则预设条件可以为满足椭圆形参数的条件。实施时，可以将与所述第一目标对象关联的关键点的运动轨迹作为目标动作的运动轨迹，再基于与所述第一目标对象关联的关键点的运动轨迹，确定关键点的运动轨迹是否满足预设条件，进而判断所述第一目标对象的动作是否为目标动作。
95.在一些实施例中，所述第一目标对象关联的关键点可以为人体关键点，在所述目标动作为划船动作的情况下，所述人体关键点包括手腕点。由于划船时，所述手腕点的期望运动轨迹为椭圆形，因此，预设条件可以为满足椭圆参数范围的条件。当所述手腕点的轨迹信息满足预设条件即椭圆参数范围的条件时，可以确定所述第一目标对象的动作为划船动作。
96.在一些实施例中，步骤s13a3的实施可以将所述手腕点的轨迹信息拟合为椭圆形，再比对所述手腕点的轨迹信息是否满足预设条件，如比对拟合后的椭圆形的形状、面积等参数是否在预设参数范围内，从而确定所述第一目标对象的动作是否为划船动作。
97.在一些实施例中，所述第一目标对象关联的关键点可以为人体关键点，在所述目标动作为骑车动作的情况下，所述人体关键点包括脚腕点。由于骑车时，所述脚腕点的期望运动轨迹为圆形，因此，预设条件也可以为满足圆形参数范围的条件。当所述脚腕点的轨迹信息满足预设条件即圆形参数范围的条件时，可以确定所述第一目标对象的动作为骑车动作。
98.本技术实施例中，通过确定与第一目标对象关联的关键点的位置信息，然后基于图像帧的先后时序关系和关键点的位置信息，确定关键点的轨迹信息；在关键点的轨迹信
息满足预设条件的情况下，确定至少一个第一目标对象的动作为目标动作，从而实现对目标动作的确定。
99.步骤s1034b：响应于所述至少一个所述第一目标对象的动作为目标动作，确定所述目标动作的第一速度参数和/或第一方向参数；
100.示例性地，第一速度参数可以为角速度，第一方向参数可以为顺时针或逆时针。步骤s1034b的实施可以将每一图像帧中的关键点与固定点(例如拟合后的椭圆形或圆形的圆心)连线，得到第一线段，然后确定第一线段与过固定点的直线(例如椭圆形的短半径或长半径，圆形的某条半径等)的第一夹角，最后基于每两帧图像帧对应的第一夹角，得出第一速度参数和第一方向参数。在一些实施例中，可以通过确定每两帧图像帧的第一夹角之间的差值，得出第一速度参数和第一方向参数。
101.其中，若所述差值为正，则目标动作的第一方向参数为逆时针方向；若所述差值为负，则目标动作的第一方向参数为顺时针方向。所述差值除以图像帧对应的时间差，即为第一速度参数。例如，第1帧的第一夹角为18度(
°
)，第3帧的第一夹角为20
°
，第3帧与第1帧线轴角的差值为2
°
，由于差值为正，则说明目标动作的第一方向参数为逆时针方向，若一帧为33毫秒(ms)，则第3帧与第1帧的时间差为66ms，那么第一速度参数为2/66＝1/33
°
/ms。
102.在一些实施例中，为了提高第一速度参数和第一方向参数的准确率，可以确定多个第一速度参数和第一方向参数，然后对多个第一速度参数和第一方向参数进行滤波处理，得到目标动作的第一速度参数和第一方向参数。由于第一方向参数包括顺时针方向和逆时针方向，而滤波处理例如均值滤波的对象需为数字，因此，可以先将第一方向参数转化为数字形式，再进行滤波处理，例如第一方向参数为顺时针方向时，数值可以设置为1；第一方向参数为逆时针方向时，数值可以设置为-1，方便对多个第一方向参数进行滤波处理，本技术实施例对第一方向参数为顺时针方向和逆时针方向时的数值大小不做限定。在滤波处理之后的值大于或等于预设阈值(例如预设阈值为0)的情况下，得到第一方向参数为顺时针方向；在滤波处理之后的值小于预设阈值的情况下，得到第一方向参数为逆时针方向。
103.本技术实施例中，在确定第一目标对象的动作为目标动作的情况下，再确定目标动作的第一速度参数和/或第一方向参数，用于后续控制与第一目标对象匹配的受控模型完成任务。如此，可以激发用户使自己的动作尽量满足目标动作的要求，从而实现控制受控模型完成任务，进而增加交互过程的难度和趣味性，激发用户的好胜心。
104.在第一运动参数包括第一速度参数和/或第一方向参数的情况下，步骤s1034b“响应于所述第一目标对象的动作为目标动作，确定所述目标动作的第一速度参数和/或第一方向参数”之后，还包括：
105.步骤s1034c：基于所述匹配关系和每一所述第一目标对象的第一速度参数和/或第一方向参数，确定与每一所述第一目标对象匹配的受控模型的第二速度参数和/或第二方向参数。
106.这里，在一个第一目标对象匹配一个受控模型的情况下，第二方向参数可以与第一方向参数相同，也可以不同，例如第二方向参数可以与第一方向参数反向；第二速度参数可以与第一速度参数相同，也可以不同，例如第二速度参数可以与第一速度参数成正比例关系。
107.在至少两个第一目标对象匹配一个受控模型的情况下，第二方向参数可以为所述
至少两个第一目标对象第一方向参数的之和，第二速度参数可以为所述至少两个第一目标对象第一速度参数的之和；也可以针对不同第一目标对象设置不同的权重，将每一第一目标对象的第一速度参数或第一方向参数乘以权重后再相加，得到第二速度参数和第二方向参数。其中，为了方便计算，可以将第一方向参数转化成数字再进行计算，设置方法同上，此处不再赘述。本技术实施例对第二速度参数和第二方向参数和第一速度参数和第一方向参数之间的匹配关系不做限定。
108.在一些实施例中，为了使图像帧中第一目标对象始终是同一个人，步骤103的实施也可以先在前几帧中确定出第一目标对象，然后在后面的图像帧中采用目标跟踪算法对确定出的第一目标对象进行跟踪，得到第一目标对象的检测框，最后基于第一目标对象的检测框，确定出第一目标对象的第一运动参数。本技术实施例对与受控模型匹配的第一目标对象是同一个人或是不同的人不做限定。
109.s104：基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务。
110.这里，第二运动参数可以和第一运动参数相同，也可以和第一运动参数不同。例如，在第一运动参数包括第一速度参数的情况下，第二运动参数可以与第一速度参数成正比例关系，如第一速度参数为3m/s，则第二运动参数可以为6m/s；又例如在第一运动参数包括第一方向参数的情况下，第二运动参数可以与第一方向参数反向，如第一方向参数为顺时针方向，则第二运动参数可以为逆时针方向，本技术实施例对第二运动参数和第一运动参数之间的匹配关系不做限定。
111.在一些实施例中，步骤s104的实施可以基于步骤s103确定出的所有第一运动参数，控制受控模型完成任务；也可以为在确定第一目标对象为目标动作的情况下，基于目标动作的第一运动参数，控制受控模型完成任务，本技术实施例对此不做限定。
112.在一些实施例中，所述受控模型包括显示设备中的虚拟对象，步骤s104的实施可以包括：
113.s1041：基于所述匹配关系和每一所述第一目标对象的所述第一运动参数，确定与每一所述第一目标对象匹配的所述虚拟对象的第二运动参数；
114.这里，第一运动参数可以包括第一速度参数和/或第一方向参数，第二运动参数可以包括第二速度参数和/或第二方向参数。显示设备中虚拟对象的形式可以包括二维图像的形式和三维图像的形式。在虚拟对象的形式为三维图像形式的情况下，步骤s1041的实施可参见步骤s1034c；在虚拟对象的形式为二维图像形式的情况下，由于第一运动参数为第一目标对象的运动参数，如前所述，第一速度参数可以包括角速度、线速度、频率、转速(第一目标对象为机器时)等；第一方向参数可以包括东南西北、顺时针、逆时针等；而在虚拟对象为二维图像的情况下，虚拟对象的第二速度参数通常可以包括线速度，第二方向参数通常可以包括前后左右四个方向，即第一运动参数中参数的类型多于第二运动参数中参数的类型。
115.因此在第一运动参数中参数的类型与第二运动参数中参数的类型相同时(例如第一运动参数中的第一方向参数的类型为前后左右，第二运动参数中的第二方向参数的类型也为前后左右)，则步骤s1041的实施可参见步骤s1034c；在第一运动参数中参数的类型与第二运动参数中参数的类型不同时(例如第一运动参数中的第一速度参数的类型为角速
度，第二运动参数中的第二速度参数的类型为线速度)，则步骤s1041的实施可以将第一运动参数通过一定的规则转化成第二运动参数，例如第一运动参数中的第一速度参数为6度每秒，预先设置1度每秒相当于1米每秒，则第二运动参数中的第二速度参数为6米每秒；又例如第一运动参数中的第一方向参数为逆时针方向，预先设置逆时针方向相当于向后，则第二运动参数中的第二方向参数为向后，本技术实施例对将第一运动参数转化为第二运动参数的规则不做限定。
116.s1042：控制所述虚拟对象按照所述第二运动参数完成所述任务。
117.这样，在受控模型包括显示设备中的虚拟对象的情况下，实现了通过真实第一目标对象的第一运动参数，控制显示设备中的虚拟对象按照第二运动参数完成任务。
118.本技术实施例中，通过获取待处理的图像帧集合，其中，图像帧集合中的图像帧具有先后时序关系，且图像帧包括参与任务的至少一个第一目标对象；然后确定至少一个第一目标对象和执行任务的至少一个受控模型之间的匹配关系；之后识别待处理的图像帧集合的至少两帧图像帧，得到识别结果，识别结果中至少包括每一所述第一目标对象的第一运动参数；最后基于匹配关系，控制与每一第一目标对象匹配的受控模型，按照与第一运动参数匹配的第二运动参数完成任务。这样，可以使得受控模型基于第一目标对象的第一运动参数执行指定的任务，从而实现第一目标对象与受控模型之间的交互，增加交互过程中的趣味性。
119.在一些实施例中，所述检测结果包括候选对象的检测框的位置信息，如图3a所示，则步骤s1033“基于所述候选对象的检测结果，在所述候选对象中筛选出具有所述数量的所述第一目标对象”的实施可以包括：
120.步骤s1133a：确定所述候选对象的检测框的尺寸；
121.这里，步骤s1133a的实施可以包括以下两种情况：
122.第一种情况：检测框的位置信息由检测框的中心点坐标和检测框的宽度及高度组成，例如(x，y，w，h)，其中，(x，y)为中心点坐标，w是检测框的宽度，h是检测框的高度，则检测框的尺寸为w*h。
123.第二种情况：检测框的位置信息由检测框的左上角点坐标和右下角点坐标组成，例如(x1，y1，x2，y2)，其中，(x1，y1)为左上角点坐标，(x2，y2)为右下角点坐标，则检测框的尺寸为(x
2-x1)*(y
2-y1)。
124.本技术实施例对确定候选对象检测框的尺寸的方法不做限定。
125.步骤s1133b：基于所述候选对象的检测框的尺寸，在所述候选对象中筛选出具有所述数量的所述第一目标对象。
126.这里，步骤s1133b的实施可以将各候选对象的检测框的尺寸从大到小进行排序，筛选出排名靠前的具有所述数量的所述第一目标对象，例如，实际参与任务的对象的数量为2，经步骤s1031确定出的候选对象的数量为5，则将5个候选对象的检测框尺寸进行排序后，选择尺寸排名前两个候选对象作为第一目标对象。
127.由于通常情况下，检测框的尺寸越大，越有利于获取清晰的候选对象图像，用于后续的关键点检测，使得检测结果更加准确；此外，一般参与任务的对象会离摄像头近一些，而观众离摄像头远一些，如此，观众的图像会小一些，而参与任务的对象的图像会大一些，通过选择尺寸较大的候选对象，可以筛掉没有参与任务的观众。
128.本技术实施例中，通过获取候选对象的检测框的尺寸，然后基于候选对象的检测框的尺寸，在候选对象中筛选出第一目标对象，从而可以选择清晰度较高的对象作为第一目标对象，筛掉没有参与任务的观众或玩家。
129.在一些实施例中，所述检测结果包括候选对象的骨骼关键点的位置信息，如图3b所示，则步骤s1033“基于所述候选对象的检测结果，在所述候选对象中筛选出具有所述数量的所述第一目标对象”的实施可以包括：
130.步骤s1233a：确定所述候选对象的骨骼关键点的完整度；
131.这里，骨骼关键点的完整度指检测出的候选对象的骨骼关键点的个数占骨骼关键点的总个数的比例。例如，骨骼关键点的总个数为15个，检测出的候选对象的骨骼关键点的个数为12个，则候选对象的骨骼关键点的完整度为12/15＝4/5。
132.步骤s1233b：基于所述候选对象的骨骼关键点的完整度，在所述候选对象中筛选出具有所述数量的所述第一目标对象。
133.这里，步骤s1233b的实施可以将各候选对象的骨骼关键点的完整度从大到小进行排序，筛选出排名靠前的具有所述数量的所述第一目标对象，例如，实际参与任务的对象的数量为2，经步骤s1031确定出的候选对象的数量为5，则将5个候选对象的骨骼关键点的完整度进行排序后，选择骨骼关键点的完整度排名前两个候选对象作为第一目标对象。
134.由于通常情况下，候选对象的骨骼关键点的完整度越大，说明候选对象的整个身体在图像帧画面中的比例越大，从而可以筛掉部分身体不在图像帧画面中或被别人挡住的候选对象，降低后续步骤中用于判断对象的动作是否为目标动作的关键点不在图像帧画面中的概率，从而导致无法判断第一目标对象的动作是否为目标动作。
135.本技术实施例中，通过获取候选对象的骨骼关键点的完整度，然后基于候选对象的骨骼关键点的完整度，在候选对象中筛选出第一目标对象，从而可以筛掉候选对象中部分身体不再图像帧画面中的对象。
136.在一些实施例中，至少两个第一目标对象匹配一个受控模型，所述识别结果还包括所述至少两个第一目标对象的动作幅度，对应地，步骤s103“基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务”的实施包括：
137.s103a：确定所述至少两个第一目标对象的动作幅度是否一致；
138.这里，动作幅度指每一帧中第一目标对象的身体或某一部分的距离或角度的移动值。在一些实施例中，可以通过第一目标对象关键点的位置信息来表征动作幅度的大小。
139.在一些实施例中，步骤s103a的实施可以通过每一帧中每一第一目标对象关键点位置信息之间的偏差，来确定所述至少两个第一目标对象的动作幅度是否一致。实施时，可以预先设置每一帧中每一第一目标对象关键点位置信息之间的第一偏差(例如每一第一目标对象关键点位置信息中高度/宽度/距离的最大值与最小值之差)范围，然后确定每一帧中每一第一目标对象关键点位置信息之间的偏差，当所述偏差在所述第一偏差范围内时，判断每一第一目标对象的目标动作的幅度一致；当存在至少一个所述偏差不在所述第一偏差范围内时，判断所述至少两个第一目标对象的目标动作的幅度不一致。
140.在一些实施例中，步骤s103a的实施也可以通过每一第一目标对象的关键点位于最高处时的时间戳信息，来确定所述至少两个第一目标对象的动作幅度是否一致。实施时，
可以预先设置每一第一目标对象的关键点位于最高处时的时间戳信息之间的第二偏差范围，当所述偏差在所述第二偏差范围内时，判断每一第一目标对象的目标动作的幅度一致；当存在至少一个所述偏差不在所述第二偏差范围内时，判断所述至少两个第一目标对象的目标动作的幅度不一致。
141.s103b：响应于所述至少两个第一目标对象的动作幅度不一致，对与所述至少两个第一目标对象匹配的受控模型不输出控制指令。
142.这里，通过设置在至少两个第一目标对象的动作幅度不一致时，对与至少两个第一目标对象匹配的受控模型不输出控制指令，从而实现对团队合作能力的评价，激发用户在多人为一组的情况下，团结一致，共同完成任务，增加交互过程的趣味性和挑战性。
143.在一些实施例中，至少两个第一目标对象匹配一个受控模型，对应地，步骤s104“所述基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务”的实施包括：
144.步骤s1041：基于所述至少两个第一目标对象中的每一所述第一目标对象的第一运动参数，在所述至少两个第一目标对象中确定第二目标对象；
145.这里，步骤s1041的实施可以为在至少两个第一目标对象中选择第一运动参数最大的第一目标对象作为第二目标对象；也可以选择第一运动参数最小的第一目标对象作为第二目标对象，本技术实施例对基于第一运动参数确定第二目标对象的方法不做限定。
146.步骤s1042：基于所述匹配关系，控制与所述至少两个第一目标对象匹配的受控模型，按照与所述第二目标对象的第一运动参数匹配的第二运动参数完成所述任务。
147.这里，以第二目标对象为所述至少两个第一目标对象中第一运动参数最大的第一目标对象为例进行说明，步骤s1042的实施是以与第二目标对象的第一运动参数匹配的第二运动参数控制受控模型完成任务，即采用与较大的第一运动参数匹配的第二运动参数控制受控模型完成任务，从而可以减少完成任务的时间。
148.在一些实施例中，若比赛的评价标准为用时更接近目标时间的获胜，则可以选择更接近目标时间完成任务的第一目标对象作为第二目标对象，从而实现对完成任务的时间的控制。本技术实施例对选择第二目标对象的方法不做限定。
149.在一些实施例中，在步骤s1042之后，还可以统计每个第二目标对象控制受控模型的时长，基于每个第二目标对象控制受控模型的时长，确定第一目标对象的胜负，例如控制受控模型的时长最长/最短的第一目标对象获胜。
150.本技术实施例中，通过第一目标对象的第一运动参数，来确定第二目标对象，再基于第二目标对象的第二运动参数来控制受控模型，可以实现对受控模型完成任务的时长的控制。
151.在一些实施例中，如图4a所示，在步骤s104“基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务”之后，还包括步骤s105a至步骤s107a：
152.步骤s105a：获取所述受控模型完成所述任务的第一时长；
153.在一些实施例中，受控模型可以为实际存在的模型，则步骤s105a的实施可以获取包括受控模型的图像帧集合，通过识别包括受控模型的图像帧集合，获取受控模型的位置信息，然后分别确定受控模型的位置信息位于出发点所在区域和终点所在区域的时间戳信
息，基于位于出发点的时间戳信息和终点的时间戳信息，确定受控模型完成任务的第一时长。实施时，可以用终点的时间戳信息减去出发点的时间戳信息，得到完成任务的第一时长。例如终点的时间戳信息为第100帧，出发点的时间戳信息为第5帧，若一帧为33毫秒(ms)，则第一时长为95*33＝3135ms。
154.在一些实施例中，步骤s105a的实施还可以在出发点和终点位置安装传感器，在受控模型的位置发生变化的情况下，可以触发传感器的数据变化，传感器可根据变化后的数据确定受控模型的是否出发点和到达终点，进而将变化后的数据传输至电子设备，由电子设备确定受控模型完成任务的第一时长。
155.在一些实施例中，受控模型可以为显示设备中的虚拟对象，则步骤s105a的实施可以通过软件设置，确定受控模型的位置信息和通过计算机的计时器确定受控模型位于出发点和终点的时刻，并将位于终点的时刻减去位于出发点的时刻，得到完成任务的第一时长。
156.本技术实施例对确定第一时长的方法不做限定。
157.步骤s106a：基于所述匹配关系，从第一历史记录集合中确定所述受控模型的第二历史记录集合；
158.这里，第一历史记录集合为预设时间段内所有受控模型完成任务的时长记录集合，即包括所有的匹配关系(例如2对2，2对1，1对1等)下受控模型完成任务的时长记录集合。第二历史记录集合为预设时间段内对应匹配关系下受控模型完成任务的时长记录集合。例如匹配关系为2对1时，则第二历史记录集合为预设时间段内所有两个第一目标对象控制一个受控模型的情况下，受控模型完成任务的时长记录集合；又例如匹配关系为1对1时，则第二历史记录集合为预设时间段内所有一个第一目标对象控制一个受控模型的情况下，受控模型完成任务的时长记录集合。其中，在一次比赛中受控模型可以匹配相同的第一目标对象，即在一次比赛中，第一目标对象未发生变化，也可以匹配不同的第一目标对象，即在一次比赛中，第一目标对象发生了变化。
159.在一次比赛中受控模型匹配相同的第一目标对象的情况下，也可以从第一历史记录集合中确定所述第一目标对象的第二历史记录集合，即第二历史记录集合仅为该第一目标对象在预设时间段内相应匹配关系下控制受控模型完成任务的时长记录集合，可以用于对该第一目标对象自身在预设时间段内进行排名。例如，在匹配关系为1对1时，第一目标对象张三在一个月内共控制受控模型完成任务10次，则第二历史记录集合为这10次张三控制受控模型完成任务的时长集合，从而实现对张三个人的排名。
160.步骤s107a：基于所述第二历史记录集合和所述第一时长，对所述受控模型匹配进行排名。
161.这里，步骤s107a的实施可以将第二历史记录集合中的所有时长和第一时长从大到小进行排序，得到所述受控模型排名。
162.在一些实施例中，步骤s107a的实施可以设置最长时限，只对小于最长时限的用户进行排名，从而减少计算量。
163.本技术实施例中，通过获取相应匹配关系下，受控模型完成任务的第二历史记录集合和第一时长，实现对受控模型进行排名，从而可以让用户知道自己的水平，提高用户的竞技心理，激发用户的玩乐心态。
164.在一些实施例中，受控模型的数量为至少两个，如图4b所示，则步骤s104“基于所
述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务”之后，还包括步骤s105b至步骤s106b：
165.步骤s105b：获取每一所述受控模型完成所述任务的第二时长；
166.这里，步骤s105b可参见步骤s105a。
167.步骤s106b：基于每一所述第二时长，对所述至少两个受控模型进行排名。
168.这里，步骤s106b的实施可以将每一所述第二时长从大到小进行排序，得到所述至少两个受控模型的排名，用于组内排名，决出组内胜负，同时组内每个第一目标对象也可以在比赛的过程中，激发斗志，获取更好的成绩。
169.在一些实施例中，所述至少两个受控模型中用时较短的时长，也可以作为对应匹配关系下该组的最终时长，存入第一历史记录集合，用于更新受控模型在相应匹配关系下的排名。例如，在2对2匹配关系下，两个第一目标对象的用时分别为5分钟和4分钟，则可以将4分钟作为该组2对2匹配关系下的最终时长，用于后续的排名。
170.在一些实施例中，对于存在至少两个受控模型的情况，单个受控模型完成任务的时长也可以存入第一历史记录集合，用于更新受控模型在相应匹配关系下的排名。例如，在存在两个受控模型的情况下，其中，一个第一目标对象控制一个受控模型，两个第一目标对象控制另一个受控模型，则一个第一目标对象控制一个受控模型可以用于更新1对1匹配关系下的排名，两个第一目标对象控制一个受控模型可以用于更新2对1匹配关系下的排名。
171.本技术实施例中，在受控模型的数量为至少两个的情况下，通过获取每个受控模型完成任务的第二时长，实现对所述至少两个受控模型的排名，从而提高用户的竞技心理，激发用户的玩乐心态。
172.下面说明本技术实施例提供的模型控制方法在实际场景中的应用，以受控模型为龙舟，实施时，龙舟可以为实物的龙舟模型或龙舟虚拟对象，目标动作为划船动作为例进行说明，如图5a所示，该方法包括：
173.步骤s501：通过常规摄像头如一体机自带的摄像头，设备外接的独立摄像头等，实时输入视频流(即所述待处理的图像帧集合)；
174.步骤s502：经过软件对视频流编解码并做抽帧等逻辑处理；
175.这里，通过对视频流进行编解码及抽帧等逻辑处理，使得处理后的视频流的帧率可以满足后续对视频流进行处理所使用的算法需求。
176.步骤s503：基于单张图片做人体检测；
177.这里，步骤s503的实施可以采用人体骨骼关键点检测算法进行人体检测。
178.步骤s504：判断是否检测到有效人体关键点，在检测到有效人体关键点的情况下，判断是否存在有效人体(即所述第一目标对象)；
179.这里，步骤s504的实施在检测出的人体关键点的置信度大于预设值的情况下，判断该人体关键点为有效人体关键点。
180.有效人体的判定可以基于有效人体关键点的数量，例如在有效人体关键点的数量大于预设值的情况下，确定有效人体关键点对应的对象即为有效人体，经过人体连线后可得到人体图像。在检测到的有效人体关键点对应的对象数量多于需要的有效人体数量的情况下，可以基于一定的规则，例如有效人体关键点的完整度，在检测到的有效人体关键点对应的对象中筛选出有效人体。
181.步骤s505：存在有效人体的情况下，绘制人体连线，如果没有有效人体，则跳过继续处理下一帧图像。
182.步骤s506：对人体手腕关键点(即与第一目标对象关联的关键点)做椭圆拟合以判定是否符合划船动作轨迹(即所述目标动作)；
183.这里，在确定的有效人体中没有识别出人体手腕关键点的情况下，该有效人体的运动轨迹即不符合划船动作轨迹。
184.步骤s507：在确定人体手腕关键点拟合后的椭圆轨迹符合划船动作轨迹的情况下，控制龙舟前进并达到终点(即完成所述任务)；不符合划船动作轨迹的情况下，不输出控制指令，龙舟不动作。
185.在一些实施例中，上述模型控制方法包括单人模式和双人模式(即所述匹配关系)。单人模式指视频流的图像画面中仅有一个有效人体，而双人模式指视频流的画面中有2个或以上有效人体。在视频流的画面中有2个以上有效人体的情况下，需从2个以上有效人体中选出2个(即所述实际参与任务的对象的数量)有效人体。
186.在单人模式下，如图5b所述，所述模型控制方法包括：
187.s601：对包括单个人体的图像进行识别；
188.在龙舟为显示设备中的虚拟对象的情况下，在步骤s601之前，显示设备的显示界面中可以显示预先设置的站姿，如图5c所示为本技术实施例提供的一种显示设备的显示界面示意图，当显示界面中的“侧身向右边”按钮被选中时，引导参与者侧身向右边，当显示界面中的“侧身向左边”按钮被选中时，引导参与者侧身向左边，从而实现引导参与者进行划船动作。
189.s602：识别人体手腕关键点信息后，判定人体的动作是否符合划船动作；
190.s603：在符合划船动作的情况下，龙舟向前前进直至到达终点(即完成所述任务)。
191.在一些实施例中，识别人体手腕关键点信息后，可以根据手腕关键点位置信息进行椭圆拟合，根据椭圆拟合的椭圆参数确定人体动作是否符合划船动作，在符合划船动作的情况下，可以根据手腕关键点的轨迹信息确定人体动作的参数(第一运动参数)，进而确定匹配的第二运动参数。示例性的，显示界面中显示的预先设置的站姿还可以用于确定龙舟前进的方向，例如当显示界面中的“侧身向右边”按钮被选中时，在人体动作符合划船动作的情况下，第一运动参数包括指示人体手腕顺时针旋转的方向参数情况下，匹配的第二运动参数包括控制龙舟前进的方向参数；当显示界面中的“侧身向左边”按钮被选中时，在人体动作符合划船动作的情况下，第一运动参数包括指示人体手腕逆时针旋转的方向参数情况下，匹配的第二运动参数包括控制龙舟前进的方向参数，从而实现对龙舟运动方向的调整，本技术实施例对不同站姿与龙舟运动方向之间的关系不做限定。
192.在龙舟为显示设备中的虚拟对象的情况下，如图5d所示为单人模式下参与者控制龙舟501前进的显示界面示意图，其中，计时区503用于记录参与者达到终点的时间，根据参与者到达终点的时间可对龙舟比赛结果进行排名。
193.在一些实施例中，显示界面中可以同步显示参与者的实时动作图(或者骨骼连线图)，例如，图5d中的白色区域可用于显示参与者的实时动作图，以帮助参与者矫正自己的站姿。在一些实施例中，显示界面中可以包括显示龙舟速度的表盘，可实时显示龙舟的速度，使得速度的大小更加直观，便于引导参与者调整速度。在一些实施例中，显示界面中的
赛道边缘还包括啦啦队502，可以根据比赛进度变化啦啦队的动作和输出的声音，例如在参赛者到达终点时，啦啦队可以跳啦啦操并放出胜利的音乐；在参赛者赶上对方时，啦啦队可以鼓掌并喊出“真棒”的声音。
194.s604：依据到达终点的时长进行排名，自动跳转进入个人排行榜页面(即对所述受控模型进行排名)。
195.这里，排行榜展示一定时间内排名最高的用户得分情况，可以激发用户的玩乐心态，通过不断尝试刷高自己的排名。
196.在双人模式下，如果只有2个人，则选定该两人的人体图像作为比对的源数据；如果超过2人，则根据一定策略(如根据人体检测框的尺寸或骨骼关键点的完整度)选出两个人体图像(其中，每个人体控制一条龙舟)，对应地，如图5e所述，所述模型控制方法包括：
197.s701：对包括多个人体的图像进行识别；
198.s702：根据一定策略选出两个人体；
199.s703：绘制两个人体的连线；
200.s704：识别两个人体的人体关键点信息后，判定两个人体的动作是否符合划船动作；
201.s705：在符合划船动作的情况下，龙舟向前前进直至到达终点(即完成所述任务)；
202.在龙舟为显示设备中的虚拟对象的情况下，如图5f所示为双人模式下参与者控制龙舟501前进的显示界面示意图，其中，每个参与者控制一条龙舟，图中计时区503用于记录每个参与者达到终点的时间，根据每个参与者到达终点的时间，判断参与者的胜负，显示界面的其他设置情况可参见单人模式。
203.s706：率先到达终点的龙舟获胜，播放胜利音效并进入双人排行榜(以两个龙舟中用时较少的时长作为本组比赛的成绩进行排名)。排行榜展示一定时间内排名最高的用户成绩，鼓励多个人一起玩。
204.本技术实施例提供的方案在一些实施例中可以是教育或游戏场景下的龙舟比赛一体机，该一体机可以是实物机器人，也可以是内置有龙舟比赛软件的计算机设备，可以在显示界面显示龙舟虚拟对象。
205.龙舟比赛一体机作为一款深度集成了人工智能视觉技术的产品，给学生等青少年认识人工智能起到了很好的促进作用，青少年可以无年龄限制、无门槛的与机器之间进行互动。在潜移默化中，就能够理解人工智能的技术，例如：如何捕捉人脸、能识别出哪些人体的特征，进而激发出青少年学习人工智能知识的兴趣。
206.基于前述的实施例，本技术实施例提供一种模型控制装置，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(central processing unit，cpu)、微处理器(microprocessor unit，mpu)、数字信号处理器(digital signal processor，dsp)或现场可编程门阵列(field programmable gate array，fpga)等。
207.图6为本技术实施例提供的一种模型控制装置的组成结构示意图，如图6所示，模型控制装置600包括：第一获取模块610、第一确定模块620、识别模块630和控制模块640，其中：
208.第一获取模块610，用于获取待处理的图像帧集合，其中，所述图像帧集合中的图
像帧具有先后时序关系，且所述图像帧包括参与任务的至少一个第一目标对象；
209.第一确定模块620，用于确定所述至少一个第一目标对象和执行所述任务的至少一个受控模型之间的匹配关系；
210.识别模块630，用于识别所述待处理的图像帧集合的至少两帧图像帧，得到第一识别结果，所述第一识别结果中至少包括每一所述第一目标对象的第一运动参数；
211.控制模块640，用于基于所述匹配关系，控制与每一所述第一目标对象匹配的受控模型，按照与所述第一运动参数匹配的第二运动参数完成所述任务。
212.在一些实施例中，所述受控模型包括显示设备中的虚拟对象，所述控制模块640包括：第一确定子模块，用于基于所述匹配关系和每一所述第一目标对象的所述第一运动参数，确定与每一所述第一目标对象匹配的所述虚拟对象的第二运动参数；第一控制子模块，用于控制所述虚拟对象按照所述第二运动参数完成所述任务。
213.在一些实施例中，所述识别模块，包括：识别子模块，用于识别所述待处理的图像帧集合的至少两帧图像帧，得到第二识别结果，其中，所述第二识别结果包括候选对象的检测结果；获取子模块，用于获取实际参与任务的对象的数量；筛选子模块，用于基于所述候选对象的检测结果，在所述候选对象中筛选出具有所述数量的所述第一目标对象；第二确定子模块，用于基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定各第一目标对象的第一运动参数。
214.在一些实施例中，所述检测结果包括所述候选对象的检测框的位置信息，所述筛选子模块，包括：第一确定单元，用于确定所述候选对象的检测框的尺寸；第一筛选单元，用于基于所述候选对象的检测框的尺寸，在所述候选对象中筛选出具有所述数量的所述第一目标对象。
215.在一些实施例中，所述检测结果包括所述候选对象的骨骼关键点的位置信息，所述筛选子模块，包括：第二确定单元，用于确定所述候选对象的骨骼关键点的完整度；第二筛选单元，用于基于所述候选对象的骨骼关键点的完整度，在所述候选对象中筛选出具有所述数量的所述第一目标对象。
216.在一些实施例中，所述第一运动参数包括第一速度参数和/或第一方向参数，所述第一确定子模块，包括：第三确定单元，用于基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定至少一个所述第一目标对象的动作是否为目标动作；第四确定单元，用于响应于所述至少一个所述第一目标对象的动作为目标动作，确定所述目标动作的第一速度参数和/或第一方向参数；所述第二确定子模块：还用于基于所述匹配关系和每一所述第一目标对象的第一速度参数和/或第一方向参数，确定与每一所述第一目标对象匹配的受控模型的第二速度参数和/或第二方向参数。
217.在一些实施例中，所述第三确定单元，包括：第一确定子单元，用于基于所述筛选出的具有所述数量的第一目标对象的第二识别结果，确定与所述至少一个所述第一目标对象关联的关键点的位置信息；第二确定子单元，用于基于所述第二识别结果所在图像帧的先后时序关系和所述关键点的位置信息，确定所述关键点的轨迹信息；第三确定子单元，用于响应于所述关键点的轨迹信息满足预设条件，确定所述至少一个所述第一目标对象的动作为目标动作。
218.在一些实施例中，在至少两个第一目标对象匹配一个受控模型的情况下，所述识
别结果还包括所述至少两个第一目标对象的动作幅度，所述控制模块，包括：第三确定子模块，用于确定所述至少两个第一目标对象的动作幅度是否一致；第二控制子模块，用于响应于所述至少两个第一目标对象的动作幅度不一致，对与所述至少两个第一目标对象匹配的受控模型不输出控制指令。
219.在一些实施例中，在至少两个第一目标对象匹配一个受控模型的情况下，所述控制模块，包括：第四确定子模块，用于基于所述至少两个第一目标对象中的每一所述第一目标对象的第一运动参数，在所述至少两个第一目标对象中确定第二目标对象；第三控制子模块，用于基于所述匹配关系，控制与所述至少两个第一目标对象匹配的受控模型，按照与所述第二目标对象的第一运动参数匹配的第二运动参数完成所述任务。
220.在一些实施例中，所述装置还包括：第二获取模块，用于获取所述受控模型完成所述任务的第一时长；第二确定模块，用于基于所述匹配关系，从第一历史记录集合中确定所述受控模型的第二历史记录集合；第一排名模块，用于基于所述第二历史记录集合和所述第一时长，对所述受控模型进行排名。
221.在一些实施例中，在所述受控模型的数量为至少两个的情况下，所述装置还包括：第三获取模块，用于获取每一所述受控模型完成所述任务的第二时长；第二排名模块，用于基于每一所述第二时长，对所述至少两个受控模型进行排名。
222.以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
223.若本技术技术方案涉及个人信息，应用本技术技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本技术技术方案涉及敏感个人信息，应用本技术技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的个人信息种类等信息。
224.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的模型控制方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
225.本技术实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步
骤。
226.本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
227.本技术实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
228.本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
229.这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
230.需要说明的是，图7为本技术实施例中电子设备的一种硬件实体示意图，如图7所示，该电子设备700的硬件实体包括：处理器701、通信接口702和存储器703，其中：
231.处理器701通常控制电子设备700的总体操作。
232.通信接口702可以使电子设备通过网络与其他终端或服务器通信。
233.存储器703配置为存储由处理器701可执行的指令和应用，还可以缓存待处理器701以及电子设备700中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。处理器701、通信接口702和存储器703之间可以通过总线704进行数据传输。
234.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
235.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
236.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
237.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
238.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
239.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
240.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
241.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。