识别方法、训练方法、装置、设备及存储介质与流程

1.本公开涉及人工智能领域，尤其涉及计算机视觉、视频分析和深度学习技术。


背景技术：

2.高效视频识别，即要求视频识别准确率的同时限制视频识别所需要的计算资源。高效视频识别广泛用于自动驾驶、视频监控等场景，正在成为计算机视觉社区中越发重要的话题。


技术实现要素：

3.本公开提供了一种识别方法、训练方法、装置、设备以及存储介质。
4.根据本公开的一方面，提供了一种识别方法，包括：
5.基于待识别视频中的目标视频帧，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息；
6.从表征所述第一识别决策信息的决策值及表征所述第一区块特征信息的特征值中，选取出第一目标值；
7.在所述第一目标值表征区块的特征值的情况下，将所述第一目标值对应的区块作为第一目标区块。
8.根据本公开的另一方面，提供了一种模型训练方法，包括：
9.将样本视频中的目标样本帧输入至待训练区块模型，得到所述目标样本帧所包含区块的第二区块特征信息，以及针对所述目标样本帧的第二识别决策信息；
10.从表征所述第二识别决策信息的决策值及表征所述第二区块特征信息的特征值中，选取出第二目标值；
11.在所述第二目标值表征区块的特征值的情况下，将所述第二目标值对应的区块作为第二目标区块，并输入至预设分类模型进行分类，得到分类结果；
12.基于所述分类结果、所述目标样本帧对应的标签信息及识别决策信息的控制参数确定的损失函数，对所述待训练区块模型以及预设分类模型进行联合训练，得到所述目标区块模型和目标分类模型。
13.根据本公开的再一方面，提供了一种识别装置，包括：
14.视频帧处理单元，用于基于待识别视频中的目标视频帧，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息；
15.目标值确定单元，用于从表征所述第一识别决策信息的决策值及表征所述第一区块特征信息的特征值中，选取出第一目标值；
16.目标区块确定单元，用于在所述第一目标值表征区块的特征值的情况下，将所述第一目标值对应的区块作为第一目标区块。
17.根据本公开的再一方面，提供了一种模型训练装置，包括：
18.第一模型处理单元，用于将样本视频中的目标样本帧输入至待训练区块模型，得
到所述目标样本帧所包含区块的第二区块特征信息，以及针对所述目标样本帧的第二识别决策信息；
19.结果处理单元，用于从表征所述第二识别决策信息的决策值及表征所述第二区块特征信息的特征值中，选取出第二目标值；
20.第二模型处理单元，用于在所述第二目标值表征区块的特征值的情况下，将所述第二目标值对应的区块作为第二目标区块，并输入至预设分类模型进行分类，得到分类结果；
21.模型训练单元，用于基于所述分类结果、所述目标样本帧对应的标签信息及识别决策信息的控制参数确定的损失函数，对所述待训练区块模型以及预设分类模型进行联合训练，得到所述目标区块模型和目标分类模型。
22.根据本公开的再一方面，提供了一种电子设备，包括：
23.至少一个处理器；以及
24.与所述至少一个处理器通信连接的存储器；其中，
25.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的识别方法；或者，执行以上所述的训练方法。
26.根据本公开的再一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行以上所述的识别方法；或者，执行以上所述的训练方法。
27.根据本公开的再一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据以上所述的识别方法；或者，执行以上所述的训练方法。
28.这样，能够提高识别效率，降低识别成本。
29.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
30.附图用于更好地理解本方案，不构成对本公开的限定。其中：
31.图1是根据本公开实施例识别方法的实现流程示意图；
32.图2是根据本公开实施例在一具体示例中分块处理后的目标视频帧的示意图；
33.图3是根据本公开实施例模型训练方法的实现流程示意图；
34.图4是根据本公开实施例模型识别方法在一具体示例中的采样示意图；
35.图5(a)和图5(b)是根据本公开实施例模型识别方法在一具体示例中的识别流程示意图；
36.图6是根据本公开实施例识别装置的结构示意图；
37.图7是根据本公开实施例模型识别装置的结构示意图；
38.图8是用来实现本公开实施例的识别方法或模型训练方法的电子设备的框图。
具体实施方式
39.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种
细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
40.在实际应用场景中，准确率已不再是视频识别的主要问题，而如何在极少的计算资源条件下完成识别，已成为视频识别所需重点关注的问题。本发明要解决的问题是通过对待识别视频进行采样，并将采样得到目标视频帧(比如显著帧)的显著空间区块(也即第一目标区块)进行后续识别分类，从而使得计算量远少于现有识别完整帧的方式，如此，在不降低识别精度的同时，大幅度减少了计算成本。
41.具体地，本公开方案提供了一种识别方法，如图1所示，包括：
42.步骤s101：基于待识别视频中的目标视频帧，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息。
43.这里，如图2所示，所述目标视频帧可以包含有多个区块，比如9个区块，基于此，即可得到每个区块的第一区块特征信息，比如，所述第一区块特征信息可以具体为当前区块所在目标视频帧的位置，以及该当前区块的特征值，该特征值可以具体表征当前区块区别于其他区块的显著值。
44.举例来说，以图2所示的9个区块为例，以从上至下，从左至右的顺序编号，第5个区块即可为显著区块。
45.该示例中，所述第一识别决策信息用于表征对该目标视频帧继续识别，或停止识别的识别决策信息。
46.步骤s102：从表征所述第一识别决策信息的决策值及表征所述第一区块特征信息的特征值中，选取出第一目标值。
47.步骤s103：在所述第一目标值表征区块的特征值的情况下，将所述第一目标值对应的区块作为第一目标区块。
48.这里，在第一目标值表征区块的特征值的情况下，即说明需要继续识别。进而，将该第一目标值对应的区块作为第一目标区块。
49.这样，由于本公开方案能够得到目标视频帧所包含区块的特征值，以及针对所述目标视频帧的第一识别决策信息，进而在需要进行继续识别的情况下，也即在所述第一目标值表征区块的特征值的情况下，将所述第一目标值对应的区块作为第一目标区块，该第一目标区块即为识别得到的显著区块，如此，为完成高效识别提供了技术支持，同时，提高了识别效率，同时，降低了识别成本。
50.在本公开方案的一具体示例中，在得到第一目标区块后，还可以对所述第一目标区块进行分类，进而得到目标分类结果，也即得到该目标视频帧的目标分类结果。实际应用中，当该待识别视频的分类结果可基于所述待识别视频中多个目标视频帧的目标分类结果而确定的，换言之，基于目标视频帧的目标分类结果，即可得到该待识别视频的分类结果，如此，为快速视频分类提供了技术支持；
51.这样，由于本公开方案在进行识别(也可称为分类)的过程中，是对识别得到的第一目标区块进行分类，所以，相比于对整个视频帧来进行识别的方案，本公开能够有效提升识别准备率，同时，降低了计算成本，也即降低了识别成本。
52.在本公开方案的一具体示例中，为了进一步提升分类效率，还可以采用分类模型
来完成分类任务，具体地，以上所述的对所述第一目标区块进行分类，得到目标分类结果，具体包括：将所述第一目标区块输入至目标分类模型，得到目标分类结果。
53.实际应用中，可以采用高性能分类模型作为目标分类模型，如此，来进行细节提取并完成分类，以进一步提升分类结果的准确率。
54.这样，由于本公开方案在采用分类模型进行分类处理的过程中，使用的是区块，即第一目标区块，而非完整的视频帧，所以，能够进一步提升识别准备率，同时，降低计算成本。
55.在本公开方案的一具体示例中，在所述第一目标值表征决策值的情况下，停止针对所述待识别视频的识别流程。也就是说，在第一目标值表征决策值的情况下，说明需要停止识别，即停止对当前的目标视频帧进行识别，而且，当待识别视频中多个目标视频帧的情况下，也停止对待识别视频中尚未进行识别的目标视频帧进行识别，换言之，停止针对该待识别视频的识别流程，如此，通过设置的早退机制来有效避免重复识别，进一步提升了识别效率，同时，也进一步降低了识别成本。
56.举例来说，若从待识别视频中采集得到10个目标视频帧，已识别完成5个，且得到的识别结果均相同，此时，基于本公开方案的早退机制，在对第6个目标视频帧进行处理的过程中，该第一目标值即可表征决策值，即无需对第6个目标视频帧以及剩余的另外三个目标视频帧进行识别，即可直接停止本次识别任务，如此，有效避免了重复地无效识别，进一步提升了识别效率，以及进一步降低了识别成本。
57.在本公开方案的一具体示例中，为了进一步提升识别效率，以及识别准备率，还可以采用模型来得到区块特征信息及识别决策信息；具体地，以上所述的基于待识别视频中的目标视频帧，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息，具体包括：将待识别视频中的目标视频帧输入至目标区块模型，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息。
58.这样，充分利用了预先训练完成的模型(也即目标区块模型)来提取目标视频帧中各区块的显著特征，并通过可量化地特征值来表达，同时，也可量化地表达识别决策信息，即决策值，进而实现识别效率的提升，同时，确保识别准确率。
59.在本公开方案的一具体示例中，基于不同的提取功能，所述目标区块模型可以包含不同的子模型，比如，包含有三个子模型，分别为第一目标网络、第二目标网络以及第三目标网络，如此，通过三个子模型来完成不同的特征提取任务，进一步来提升识别效率。
60.具体地，以上所述的将待识别视频中的目标视频帧输入至目标区块模型，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息，具体包括：
61.将待识别视频中的目标视频帧输入至目标区块模型中的第一目标网络，得到所述目标视频帧的全局特征信息；将所述目标视频帧的全局特征信息以及所述目标视频帧的相关联帧的关键特征信息，输入至所述目标区块模型中的第二目标网络，得到所述目标视频帧的关键特征信息；将所述目标视频帧的关键特征信息，输入至所述目标区块模型中的第三目标网络，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息。
62.这样，由于充分利用了不同子模型，也即不同的目标网络来完成不同的特征提取任务，以发挥各目标网络的优势，如此，来提升可量化地特征值的精准度，以及提升可量化地决策值的精准度，进而来进一步提升识别效率，同时，进一步提升识别准确率。
63.在本公开方案的一具体示例中，所述目标视频帧的相关联帧为所述目标视频帧的上一视频帧。如此，通过利用历史信息，来进一步提升识别的准确率。
64.在本公开方案的一具体示例中，所述第一目标网络为轻量级网络；和/或，所述第三目标网络为全连接神经网络；其中，所述轻量级网络所提取的特征维度小于所述全连接神经网络所提取的特征维度。
65.这里，在一具体示例中，所述第一目标网络为轻量级网络；以及所述第三目标网络为全连接神经网络，而且，所述轻量级网络所提取的特征维度小于所述全连接神经网络所提取的特征维度。
66.这样，本公开方案在对整个视频帧(也即目标视频帧)进行特征提取的过程中，采用轻量级网络，以此来降低计算量；而对于需要做出决策的模型而言，选用特征维度较为丰富的网络，也即全连接神经网络，以确保识别准备率。如此，在确保不降低识别准确率的情况下，有效降低计算量。
67.举例来说，轻量级网络可以具体为mobilenetv2；进一步地，对于目标视频帧包含有n个区块的场景，该全连接神经网络可由一层n 1个神经元组成，此时，该全连接神经网络的输出值即为n 1维的向量，其中，所述n 1维中的n维表征目标视频帧中各区块的特征值，n维度中的每个维度对应一个区块；所述n 1维中的另外一维度即表征决策值(也即以上所述的第一识别决策信息的决策值)，如此，来为后续做出需要继续识别，或需要停止识别(也可称退出识别)的决策提供数据支持。
68.在本公开方案的一具体示例中，所述第二目标网络为门控循环网络，其中，所述门控循环网络是基于视频样本帧的关键特征信息及与视频样本帧的相关联视频帧的关键特征信息训练得到的。如此，基于门控循环网络中的循环结构，来充分利用历史信息(即上一帧的状态变量)，进而为更精准地特征值和决策值提供了网络支持。
69.举例来说，以待识别视频中包含有多个目标视频帧，当前处理的目标视频帧为第i个，也即第i个目标视频帧为例进行说明；具体地，为了更好地做出识别决策，本示例采用gumbel softmax技巧，基于全连接神经网络所输出的qi采样出具体动作决策(也即第一目标值)ai。为了便于后续表达，将该第i个目标视频帧的处理结果(也即第一区块特征信息及第一识别决策信息)qi表征为即如此，来表征出qi为n 1维的向量。
70.进一步地，对全连接神经网络的输出的qi取softmax，即取softmax，即这里，即对应的第i个目标视频帧的softmax，基于此，可以记为该πi即为第i个目标视频帧所对应的取softmax的结果。
71.基于下述公式即可得到动作决策，也即第一目标值ai，即：
[0072][0073]
其中，ai∈[0,n]，即ai为0，或为1至n的自然数。进一步地，若假设：表征qi的n 1维向量[q0,q1,
…
,q
l
,
…
,qn]中第0位q0表征需要继续识别或需要停止识别的决策值，第1位q1表征第一个区块的特征值，同理，第q
l
位表征第l个区块的特征值，第n位qn表征第n个区块的特征值。此时，若ai非零，即ai∈[1,n]，则说明需要继续识别，并从该第i个目标视频帧所包含的区块中确定出ai所指示的区块(也即第一目标区块)，比如，确定出第i个目标视频帧中的第ai个区块，进而将第ai个区块输入目标分类模型；若ai＝0，则说明提前退出当前目标视频帧的前馈过程，不再对后续其他帧继续输入时空采样策略模块进行识别，即停止识别流程。
[0074]
比如，以qi为5维向量为例进行说明：
[0075][0076]
此时，ai＝2，因为，第2位的0.3为最大值，所以，输出0.3所在位置，即2；进一步地，将第i个目标视频帧中的第2个区块输入至分类模型进行识别。
[0077]
或者，继续以qi为5维向量为例进行说明：
[0078][0079]
此时，ai＝0，因为，第0位的0.3为最大值，所以，输出ai＝0，说明需要停止识别，同时，也不再识别列表l中剩余的其他帧。
[0080]
因此，本公开方案在需要继续识别的情况下，将显著区块输入至分类模型进行识别，而不需要继续识别的情况下，直接退出识别流程，如此，在计算成本不变的情况下，有效提升了准确率；同时，还能够在准确率不变的情况下，有效降低计算成本。
[0081]
在本公开方案的一具体示例中，还可以采用如下方式进行采样，即对待识别视频进行分组处理，得到至少两组子视频；从至少一组所述子视频中选取出视频帧作为目标视频帧。如此，对从时间维度上采样得到的视频帧进行识别，而非待识别视频中的全部帧，所以，进一步提升了识别效率。
[0082]
在本公开方案的一具体示例中，在采样得到多个目标视频帧的情况下，将得到的所述多个目标视频帧组合成视频帧集合；进而，从所述视频帧集合中选取出针对所述待识别视频的目标视频帧。如此，先完成采样任务，并将采样过程所得到的目标视频帧形成视频帧集合，进而从该视频帧集合中选取出目标视频帧进行识别，比如，从该视频帧集合中的首个目标视频帧开始，逐个进行识别，直至退出识别为止。
[0083]
这样，本公开方案只需要对从时间维度上采样得到的视频帧集合中的目标视频帧进行识别，而非待识别视频中的全部帧，所以，进一步提升了识别效率。
[0084]
举例来说，在时间上，基于待识别视频生成时的层级化特性，可以将待识别视频分为多个粗粒度的章节，也即将待识别视频分成多个组，每个粗粒度的章节都有可能出现显著的帧，因此，可以由粗(即所需划分的章节的数量少)到细(所需划分的章节的数量多)地采样帧序列。对于待识别视频t为大于等于1的自然数，初始化一个帧索引的
列表l＝{}(初始为空)，首先将待识别视频最中间的帧作为目标视频帧，即然后，等间隔地将待识别视频划分出2个章节，从每个章节中取最中间的1帧作为目标视频帧，并放入列表l，此时的以此循环，等间隔划分出3个章节，从每个章节中取出最中间的帧作为目标视频帧，继续放入l；这里，若当前采样得到的帧与l中的帧重合，则舍弃当前采样的帧，以此类推，采样得到层级化帧索引列表即在时间上，从待识别视频中采用得到m个目标视频帧，m为大于等于1小于等于t的自然数。
[0085]
这样，由于本公开方案能够得到目标视频帧所包含区块的特征值，以及针对所述目标视频帧的第一识别决策信息，进而在需要进行继续识别的情况下，也即在所述第一目标值表征区块的特征值的情况下，将所述第一目标值对应的区块作为第一目标区块，该第一目标区块即为识别得到的显著区块，如此，为完成高效识别提供了技术支持，同时，提高了识别效率，同时，降低了识别成本。
[0086]
可以理解的是，本公开方案能够应用于大规模短视频分类和影视剧分类任务中，而且，能够在计算量不变的情况下，提高视频分类准确率；同时，在准确率不变的情况下，降低计算量。
[0087]
本公开方案还提供了一种模型训练方法，如图3所示，包括：
[0088]
步骤s301：将样本视频中的目标样本帧输入至待训练区块模型，得到所述目标样本帧所包含区块的第二区块特征信息，以及针对所述目标样本帧的第二识别决策信息。
[0089]
步骤s302：从表征所述第二识别决策信息的决策值及表征所述第二区块特征信息的特征值中，选取出第二目标值。
[0090]
步骤s303在所述第二目标值表征区块的特征值的情况下，将所述第二目标值对应的区块作为第二目标区块，并输入至预设分类模型进行分类，得到分类结果。
[0091]
步骤s304：基于所述分类结果、所述目标样本帧对应的标签信息及识别决策信息的控制参数确定的损失函数，对所述待训练区块模型以及预设分类模型进行联合训练，得到所述目标区块模型和目标分类模型。
[0092]
这样，为完成高效识别提供了模型支持，同时，也为提高识别效率，降低识别成本提供了模型支持。
[0093]
在本公开方案的一具体示例中，其中，
[0094]
所述识别决策信息的控制参数与以下至少之一信息有关：
[0095]
在所述第二目标值表征决策值的情况下的所述决策值；
[0096]
所述目标样本帧的数量；
[0097]
预设值。
[0098]
举例来说，本公开方案的损失函数可以具体为：
[0099]
l＝celoss(z,label) penalty；
[0100]
其中，celoss为分类损失，z为待训练分类模型输出的分类决策，label为类别标签。所述penalty表征识别决策信息的控制参数，具体地，
[0101]
[0102]
这里，所述πi[0]表征第i个目标视频帧中ai＝0的argmax结果。σ是预先设定的值。p为目标样本帧的数量，更具体地，p为早退前的所有目标样本帧的总数量。
[0103]
这样，有效避免了在模型训练阶段为了降低交叉熵损失，而不断地继续识别下去不触发停止(也即早退)流程的问题，为进一步实现高效识别提供了支持。
[0104]
在本公开方案的一具体示例中，所述将样本视频中的目标样本帧输入至待训练区块模型，得到所述目标样本帧所包含区块的第二区块特征信息，以及针对所述目标样本帧的第二识别决策信息，包括：
[0105]
将样本视频中的目标样本帧输入至待训练区块模型中的第一待训练网络，得到所述目标样本帧的全局特征信息；将所述目标样本帧的全局特征信息以及所述目标样本帧的相关联帧的关键特征信息，输入至所述待训练区块模型中的第二待训练网络，得到所述目标样本帧的关键特征信息；将所述目标样本帧的关键特征信息，输入至所述待训练区块模型中的第三待训练网络，得到所述目标样本帧所包含区块的第二关键特征信息，以及针对所述目标样本帧的第二识别决策信息。
[0106]
这样，通过对所述待训练区块模型(包括：轻量级主干网络、门控循环网络及全连接神经网络)以及预设分类模型进行联合训练，来进一步提升模型识别的准确率及识别效率。
[0107]
在本公开方案的一具体示例中，所述目标样本帧的相关联帧为所述目标样本帧的上一视频帧。如此，通过利用历史信息，来进一步提升识别的准确率。
[0108]
在本公开方案的一具体示例中，所述第一待训练网络为待训练轻量级网络；和/或，所述第三待训练网络为待训练全连接神经网络；其中，所述待训练轻量级网络所提取的特征维度小于所述待训练全连接神经网络所提取的特征维度。
[0109]
在一具体示例中，所述第一待训练网络为待训练轻量级网络；以及所述第三待训练网络为待训练全连接神经网络。
[0110]
这样，本公开方案在对整个视频帧(也即目标视频帧)进行特征提取的过程中，采用轻量级网络，以此来降低计算量；而对于需要做出决策的模型而言，选用特征维度较为丰富的网络，也即全连接神经网络，以确保识别准备率。如此，在确保不降低识别准确率的情况下，有效降低计算量。
[0111]
在本公开方案的一具体示例中，所述第二待训练网络为待训练门控循环网络。如此，基于门控循环网络中的循环结构，来充分利用历史信息(即上一帧的状态变量)，进而为更精准地特征值和决策值提供了网络支持。
[0112]
可以理解的是，为了区分模型训练阶段和模型使用阶段的各模型，可以将模型训练阶段所训练的模型分别称为：待训练区块模型以及待训练分类模型(也即预设分类模型)；其中，所述待训练区块模型包括：待训练轻量级网络、待训练门控循环网络及待训练全连接神经网络。
[0113]
相应地，训练完成后即可对应得到以上识别方法所使用的模型，分别为目标区块模型和目标分类模型；其中，训练完成后所得到的目标区块模型包括：轻量级主干网络、门控循环网络及全连接神经网络。
[0114]
举例来说，以样本视频中包含有多个目标样本帧，当前处理的目标样本帧为第i个，也即第i个目标样本帧为例进行说明；具体地，为了更好地做出识别决策，本示例采用
gumbel softmax技巧，基于待训练全连接神经网络所输出的qi采样出具体动作决策(也即第二目标值)ai。为了便于后续表达，将该第i个目标样本帧的处理结果(也即第二区块特征信息及第二识别决策信息)qi表征为即如此，来表征出qi为n 1维的向量。
[0115]
进一步地，对待训练全连接神经网络的输出的qi取softmax，即这里，即对应的第i个目标样本帧的softmax，基于此，可以记为该πi即为第i个目标样本帧所对应的取softmax的结果。
[0116]
基于下述公式即可得到动作决策，也即第二目标值ai，即：
[0117][0118]
其中，ai∈[0,n]，即ai为0，或为1至n的自然数；gk为噪声值，用于训练过程中的反向传播。
[0119]
进一步地，若假设：表征qi的n 1维向量[q0,q1,
…
,q
l
,
…
,qn]中第0位q0表征需要继续识别或需要停止识别的决策值，第1位q1表征第一个区块的特征值，同理，第q
l
位表征第l个区块的特征值，第n位qn表征第n个区块的特征值。此时，若ai非零，即ai∈[1,n]，则说明需要继续识别，并从该第i个目标样本帧所包含的区块中确定出ai所指示的区块(也即第二目标区块)，比如，确定出第i个目标视频帧中的第ai个区块，进而将第ai个区块输入目标分类模型；若ai＝0，则说明提前退出当前目标样本帧的前馈过程，不再对后续其他帧继续输入待训练区块模型进行识别，即停止识别流程。
[0120]
比如，以qi为5维向量为例进行说明：
[0121][0122]
此时，ai＝2，因为，第2位的0.3为最大值，所以，输出0.3所在位置，即2；进一步地，将第i个目标视频帧中的第2个区块输入至分类模型进行识别。
[0123]
或者，继续以qi为5维向量为例进行说明：
[0124][0125]
此时，ai＝0，因为，第0位的0.3为最大值，所以，输出ai＝0，说明需要停止识别，同时，也不再识别列表l中剩余的其他帧。
[0126]
因此，本公开方案在需要继续识别的情况下，将显著区块输入至待训练分类模型进行识别，而不需要继续识别的情况下，直接退出识别流程，如此，在计算成本不变的情况下，有效提升了模型的准确率；同时，还能够在准确率不变的情况下，有效降低计算成本。
[0127]
以下结合具体示例对本公开方案做进一步详细说明，具体地，本公开方案提出了一种时空层级化采样的高效视频识别方法。在一具体示例中，框架主要包括三部分，分别为：初始采样时空模块、时空采样策略模块以及分类模块。这里，所述初始采样时空模块主
要用于从待识别视频中进行层级化采样，并得到后续用于识别的目标视频帧；所述时空采样策略模块主要用于从目标视频帧中识别得到在空间和时间上均较为显著的部分，也可称为显著区块(也即本公开方案所述的第一目标区块)；所述分类模块主要用于对时空采样策略模所确定出的显著区块，输入至高性能分类模型，以进行细节提取并完成分类。
[0128]
以对各部分进行具体说明，具体包括：
[0129]
第一部分：初始采样时空模块，具体如下：
[0130]
首先，为了能完成时空显著采样，本示例预先采样得到一些具有显著特征的目标视频帧，以及该目标视频帧所包含的区块。具体地，从时间和空间两个维度分别介绍。在时间上，基于待识别视频生成时的层级化特性，可以将待识别视频分为多个粗粒度的章节，也即将待识别视频分成多个组，每个粗粒度的章节都有可能出现显著的帧，因此，可以由粗(即所需划分的章节的数量少)到细(所需划分的章节的数量多)地采样帧序列。如图4所示，对于待识别视频t为大于等于1的自然数，初始化一个帧索引的列表l＝{}(初始为空)，首先将待识别视频最中间的帧作为目标视频帧，即然后，等间隔地将待识别视频划分出2个章节，从每个章节中取最中间的1帧作为目标视频帧，并放入列表l，此时的的以此循环，等间隔划分出3个章节，从每个章节中取出最中间的帧作为目标视频帧，继续放入l；这里，若当前采样得到的帧与l中的帧重合，则舍弃当前采样的帧，以此类推，采样得到层级化帧索引列表以此类推，采样得到层级化帧索引列表即在时间上，从待识别视频中采用得到m个目标视频帧，m为大于等于1小于等于t的自然数。在空间上，对于每一帧ji，也即目标视频帧，类似于卷积操作，比如设置一个2维的滑动窗口，从左上角开始，按行优先的原则以从左向右、从上倒下的顺序采样空间区块，得到该目标视频帧所包含的区块，可记为区块集合n是采样出的空间的区块个数，为大于等于2的自然数。相应地，每帧均得到一个区块集合
[0131]
第二部分：时空采样策略模块(也即以上所述的目标区块模型)，能够输出在空间上采样出的具体区块(也第一目标区块)，以及在时间上是否需要继续识别，或者停止识别的时空采样策略(也即第一识别决策信息)；具体地，主要包括：轻量级主干网络(如mobilenetv2等)(也即本公开方案所述的轻量级网络)，门控循环单元(gru，gated recurrent unit)(也即本公开方案所述的门控循环网络)以及全连接神经网络；具体如下：
[0132]
首先，使用轻量级主干网络(如mobilenetv2等)作为粗粒度特征提取器，提取原图(也即第一部分采样得到的各目标视频帧)的全局特征信息v0；这里，以列表l里的第i个目标视频帧为例进行说明，得到该第i个目标视频帧的全局特征信息v0。
[0133]
其次，将该第i个目标视频帧的全局特征信息v0，以及该第i个目标视频帧的上一帧的状态变量(也即关键特征信息)输入至门控循环网络，得到该第i个目标视频帧的状态变量(也即关键特征信息)，这样，基于循环结构(也即门控循环网络)来利用历史信息(即上一帧的状态变量)即可做出更好的决策。
[0134]
最后，将第i个目标视频帧的状态变量输入至全连接神经网络，即可输出针对该第
i个目标视频帧的处理结果qi。这里，所述全连接神经网络主要由一层n 1个神经元组成，n即为第一部分确定的区块的数量，基于此，该qi即为一个n 1维的向量，其中，所述n 1维中的n维表征各区块的特征值，n维度中的每个维度对应一个区块；所述n 1维中的另外一维度即表征决策值(也即以上所述的第一识别决策信息的决策值)，如此，来为后续做出需要继续识别，或需要停止识别(也可称退出识别)的决策提供数据支持。
[0135]
这里，为了更好地做出识别决策，本示例采用gumbel softmax技巧，基于全连接神经网络所输出的qi采样出具体动作决策ai。为了便于后续表达，将该第i个目标视频帧的处理结果qi表征为即如此，来表征出qi为n 1维的向量。进一步地，对全连接神经网络的输出的qi取softmax，即这里，即对应的第i个目标视频帧的softmax，基于此，可以记为该πi即为第i个目标视频帧所对应的取softmax的结果。
[0136]
基于下述公式即可得到动作决策ai，即：
[0137][0138]
其中，ai∈[0,n]，即ai为0，或为1至n的自然数。进一步地，若假设：表征qi的n 1维向量[q0,q1,
…
,q
l
,
…
,qn]中第0位q0表征需要继续识别或需要停止识别的决策值，第1位q1表征第一个区块的特征值，同理，第q
l
位表征第l个区块的特征值，第n位qn表征第n个区块的特征值。此时，若ai非零，即ai∈[1,n]，则说明需要继续识别，并从该第i个目标视频帧所包含的区块中确定出ai所指示的区块(也即第一目标区块)，比如，确定出第i个目标视频帧中的第ai个区块，进而将第ai个区块输入分类模型；若ai＝0，则说明提前退出当前视频帧的前馈过程，不再将后续的l中的其他帧继续输入时空采样策略模块，即停止识别流程。
[0139]
如图5(a)所示，目标视频帧输入至时空采样策略模块后，即可得到9个区块的特征值，以及一个决策值，进而采用上述方式对该9个区块的特征值以及一个决策值进行处理后，输出区块5对应的特征值，进而将区块5输入至分类模型进行分类，得到预测结果，也即分类结果。
[0140]
可以理解的是，图5(a)中经由时空采样策略模块后并非会输出具体的区块图，而是具体的特征值，此处为了说明输出的9个特征值对应的是9个区块图，所以，此处示出了该9个区块的图。
[0141]
进一步地，如图5(b)所示，以采样得到15个目标视频帧为例，该15个目标视频帧可以具体编号为目标视频帧1至目标视频帧15；将目标视频帧1输入至时空采样策略模型中，得到区块1的特征值，进而将区块1输入至分类模型进行分类处理，得到分类结果；同理，对目标视频帧2至目标视频帧4进行处理，均得到分类结果；直至，对目标视频帧5进行处理后，输出决策值，即停止识别(也即早退)，此时，对目标视频帧5及其以后的帧不再进行识别；此时，可以将早退之前的识别结果，也即目标视频帧4的识别结果作为最终分类结果(也即最
终分类决策)。
[0142]
进一步地，举例说明，以qi为5维向量为例进行说明：
[0143][0144]
此时，ai＝2，因为，第2位的0.3为最大值，所以，输出0.3所在位置，即2；进一步地，将第i个目标视频帧中的第2个区块输入至分类模型进行识别。
[0145]
或者，继续以qi为5维向量为例进行说明：
[0146][0147]
此时，ai＝0，因为，第0位的0.3为最大值，所以，输出ai＝0，说明需要停止识别，同时，也不再识别列表l中剩余的其他帧。
[0148]
第三部分：分类模型(也即以上所述的目标分类模型)，具体如下：
[0149]
本示例将第二部分确定出的更有信息量的区块(也即第一目标区块)输入高性能网络(也即分类模型)来提取高质量特征。这里，所述分类模型中还可以设置一层门控循环单元(gru)，如此，便于在历史信息的基础上结合当前高质量特征，做出更优的分类决策。
[0150]
需要说明的是，本示例中只采用退出前的最后一帧的分类决策作为最终的分类决策。
[0151]
需要说明的是，本示例可以采用如下训练策略来对以上所使用的模型进行训练。这里，为了区分模型训练阶段和模型使用阶段的各模型，可以将模型训练阶段所训练的模型分别称为：待训练时空采样策略模块(也即待训练区块模型)以及待训练分类模型(也即以上所述的预设分类模型)；其中，所述待训练时空采样策略模块(也即待训练区块模型)包括：待训练轻量级主干网络(也即待训练轻量级网络)、待训练门控循环单元(也即待训练门控循环网络)、待训练全连接神经网络。
[0152]
相应地，训练完成后即可对应得到第二部分和第三部分所使用的模型，分别为时空采样策略模块(也即目标区块模型)和分类模型(也即目标分类模型)；其中，训练完成后所得到的时空采样策略模块(也即目标区块模型)包括：轻量级主干网络、门控循环单元(也即门控循环网络)、全连接神经网络。
[0153]
以下给出本示例的具体训练策略，从两个角度进行介绍，具体包括：
[0154]
第一、训练顺序：
[0155]
首先，预热训练，即对待训练分类模型和待训练轻量级主干网络(也即待训练轻量级网络)进行独立训练，也可称为预热训练，比如，将样本视频中随机采用出的区块输入至待训练分类模型进行模型训练；同理，将将样本视频中随机采用出的视频帧(或者也可以为区块)输入至待训练轻量级主干网络进行模型训练，以完成预热阶段的训练。这里，预热训练阶段可以使用时序上的全部帧作为样本数据进行训练，或者，还可以使用其他方式进行预热训练，本公开方案对此不作限制。如此，通过预热训练即可得到具有一定判别力的分类模块，以及具有一定特征提取能力的粗粒度特征提取器(即轻量级主干网络)。
[0156]
可以理解的是，由于预热训练阶段所得到的模型并非为训练完成的模型，所以，为了便于描述，将预热阶段训练完成的模型继续称为待训练模型，即待训练分类模型和待训练轻量级主干网络(也即待训练轻量级网络)。
[0157]
其次，联合训练；即将待训练轻量级主干网络、待训练门控循环单元(也即待训练门控循环网络)、待训练全连接神经网络以及待训练分类模型进行联合训练。
[0158]
具体地，从样本视频中抽样出多个用于训练的数据，即目标样本帧，。可以理解的是，模型训练阶段和模型使用阶段为各自独立的两个阶段，所使用的视频，以及从所使用的视频中抽样出的视频帧可以相同也可以不相同，本公开方案对此不作限制。这里，为了便于复用模型使用阶段的公式，也即以上第二部分的公式，该目标样本帧也可以理解为第i个目标样本帧。
[0159]
进一步地，类似于模型使用阶段，也即以上所述的第二部分，将样本视频中的第i个目标样本帧输入至待训练轻量级主干网络，得到第i个目标样本帧的全局特征信息；将第i个目标样本帧的全局特征信息以及所述第i个目标样本帧的相关联帧的关键特征信息(也即状态变量)，输入至待训练门控循环网络，得到所述第i个目标样本帧的关键特征信息(也即状态变量)；将所述第i个目标样本帧的关键特征信息，输入至待训练全连接神经网络，得到即所述第i个目标样本帧所包含区块的第二关键特征信息，以及针对所述第i个目标样本帧的第二识别决策信息，也即在训练阶段得到类似于以上第二部分的qi。
[0160]
进一步地，在训练阶段，对得到的类似于以上第二部分的qi进行处理，得到类似于以上第二部分的ai。
[0161]
这里，需要说明的是，训练阶段确定ai的公式不同于模型使用阶段的公式，也即不同于以上第二部分的ai的公式，具体地，训练阶段的ai具体为：
[0162][0163]
其中，gk为噪声值，用于训练过程中的反向传播。
[0164]
进一步地，在训练阶段，得到的类似于以上第二部分的ai为非0的情况下，将ai所指示的区块输入至待训练分类模型进行分类，得到分类结果；
[0165]
进一步地，基于分类结果、所述目标样本帧对应的标签信息及识别决策信息的控制参数确定的损失函数，对待训练轻量级主干网络、待训练门控循环单元(也即待训练门控循环网络)、待训练全连接神经网络以及待训练分类模型进行联合训练。
[0166]
第二、训练目标：
[0167]
需要明确的是，本公开方案的训练目标，除了正常的分类损失(与图像标签进行的交叉熵损失)之外，还需要对训练阶段所得到的πi做一些限制，因为，模型为了降低交叉熵损失，会尽可能少地触发ai＝0的动作，不断地继续识别下去；但是模型的这种自发行为违背了本示例高效识别的初衷。基于此，本示例在πi的ai＝0的分量上，即πi[0]，添加一个惩罚项(也即以上所述的控制参数)penalty，即：
[0168][0169]
这里，σ是预先设定的值，也即预设值，p为目标样本帧的数量，更具体地，p为早退前的所有目标样本帧的总数量。举例来说，对于列表l包含5个元素，即而言，可以要求在第3帧左右退出识别，此时，σ可以取值为0.6。实际应用中，模型在学习过程中会自适应地为不同难度的视频采用不同的帧数。比如，对于识别难度较大的视频而言，采
用的帧数则多，对于识别难度较小的视频而言，采样的帧数则少。
[0170]
基于此，联合训练的损失函数即为：
[0171]
l＝celoss(z,label) penalty；
[0172]
其中，celoss为分类损失，z为待训练分类模型输出的分类决策，label为类别标签。
[0173]
这里，可以理解的是，训练阶段所使用的采样方式，可以与以上所述的第一部分类似，也可以不同，本公开方案对此不作限制。
[0174]
这样，本公开方案充分考虑了视频生成过程中的章节性，实现在时间上由粗至细的采样；同时，充分考虑了空间上不同区块显著性的差异，在空间上完成了显著性挖掘，并挖掘得到显著区块；同时，设置了条件早退机制(也即以上所述的退出机制)；因此，本公开方案在需要继续识别的情况下，将显著区块输入至分类模型进行识别，从而在计算成本不变的情况下，有效提升了准确率；同时，在准确率不变的情况下，有效降低了计算成本。
[0175]
本公开方案还提供了一种识别装置，具体地，如图6所示，包括：
[0176]
视频帧处理单元601，用于基于待识别视频中的目标视频帧，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息；
[0177]
目标值确定单元602，用于从表征所述第一识别决策信息的决策值及表征所述第一区块特征信息的特征值中，选取出第一目标值；
[0178]
目标区块确定单元603，用于在所述第一目标值表征区块的特征值的情况下，将所述第一目标值对应的区块作为第一目标区块。
[0179]
在本公开方案的一具体示例中，还包括：
[0180]
目标分类单元，用于对所述第一目标区块进行分类，得到目标分类结果。
[0181]
在本公开方案的一具体示例中，所述目标分类单元，具体用于将所述第一目标区块输入至目标分类模型，得到目标分类结果。
[0182]
在本公开方案的一具体示例中，所述目标区块确定单元，还用于在所述第一目标值表征决策值的情况下，停止针对所述待识别视频的识别流程。
[0183]
在本公开方案的一具体示例中，所述视频帧处理单元，具体用于：
[0184]
将待识别视频中的目标视频帧输入至目标区块模型，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息。
[0185]
在本公开方案的一具体示例中，所述视频帧处理单元，具体用于：
[0186]
将待识别视频中的目标视频帧输入至目标区块模型中的第一目标网络，得到所述目标视频帧的全局特征信息；
[0187]
将所述目标视频帧的全局特征信息以及所述目标视频帧的相关联帧的关键特征信息，输入至所述目标区块模型中的第二目标网络，得到所述目标视频帧的关键特征信息；
[0188]
将所述目标视频帧的关键特征信息，输入至所述目标区块模型中的第三目标网络，得到所述目标视频帧所包含区块的第一区块特征信息，以及针对所述目标视频帧的第一识别决策信息。
[0189]
在本公开方案的一具体示例中，所述目标视频帧的相关联帧为所述目标视频帧的上一视频帧。
[0190]
在本公开方案的一具体示例中，所述第一目标网络为轻量级网络；和/或，所述第
三目标网络为全连接神经网络；
[0191]
所述轻量级网络所提取的特征维度小于所述全连接神经网络所提取的特征维度。
[0192]
在本公开方案的一具体示例中，所述第二目标网络为门控循环网络，其中，所述门控循环网络是基于视频样本帧的关键特征信息及与视频样本帧的相关联视频帧的关键特征信息训练得到的。
[0193]
在本公开方案的一具体示例中，所述视频帧处理单元，还用于对待识别视频进行分组处理，得到至少两组子视频；从至少一组所述子视频中选取出视频帧作为目标视频帧。
[0194]
在本公开方案的一具体示例中，所述视频帧处理单元，还用于在得到多个目标视频帧的情况下，将得到的所述多个目标视频帧组合成视频帧集合；从所述视频帧集合中选取出针对所述待识别视频的目标视频帧。
[0195]
上述识别装置中各单元具体功能可参照上述识别方法描述，这里不再赘述。
[0196]
本公开方案还提供了一种模型训练装置，具体地，如图7所示，包括：
[0197]
第一模型处理单元701，用于将样本视频中的目标样本帧输入至待训练区块模型，得到所述目标样本帧所包含区块的第二区块特征信息，以及针对所述目标样本帧的第二识别决策信息；
[0198]
结果处理单元702，用于从表征所述第二识别决策信息的决策值及表征所述第二区块特征信息的特征值中，选取出第二目标值；
[0199]
第二模型处理单元703，用于在所述第二目标值表征区块的特征值的情况下，将所述第二目标值对应的区块作为第二目标区块，并输入至预设分类模型进行分类，得到分类结果；
[0200]
模型训练单元704，用于基于所述分类结果、所述目标样本帧对应的标签信息及识别决策信息的控制参数确定的损失函数，对所述待训练区块模型以及预设分类模型进行联合训练，得到所述目标区块模型和目标分类模型。
[0201]
在本公开方案的一具体示例中，所述识别决策信息的控制参数与以下至少之一信息有关：
[0202]
在所述第二目标值表征决策值的情况下的所述决策值；
[0203]
所述目标样本帧的数量；
[0204]
预设值。
[0205]
在本公开方案的一具体示例中，第一模型处理单元，具体用于：
[0206]
将样本视频中的目标样本帧输入至待训练区块模型中的第一待训练网络，得到所述目标样本帧的全局特征信息；
[0207]
将所述目标样本帧的全局特征信息以及所述目标样本帧的相关联帧的关键特征信息，输入至所述待训练区块模型中的第二待训练网络，得到所述目标样本帧的关键特征信息；
[0208]
将所述目标样本帧的关键特征信息，输入至所述待训练区块模型中的第三待训练网络，得到所述目标样本帧所包含区块的第二关键特征信息，以及针对所述目标样本帧的第二识别决策信息。
[0209]
在本公开方案的一具体示例中，所述目标样本帧的相关联帧为所述目标样本帧的上一视频帧。
[0210]
在本公开方案的一具体示例中，所述第一待训练网络为待训练轻量级网络；和/或，所述第三待训练网络为待训练全连接神经网络；
[0211]
所述待训练轻量级网络所提取的特征维度小于所述待训练全连接神经网络所提取的特征维度。
[0212]
在本公开方案的一具体示例中，所述第二待训练网络为待训练门控循环网络。
[0213]
上述模型训练装置中各单元具体功能可参照上述模型训练方法描述，这里不再赘述。
[0214]
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0215]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0216]
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0217]
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0218]
设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0219]
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如识别方法或模型训练方法。例如，在一些实施例中，识别方法或模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的识别方法或模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行识别方法或模型训练方法。
[0220]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实
现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0221]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0222]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0223]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
[0224]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0225]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0226]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0227]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明
白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。