图像处理方法、识别模型及电子设备与流程

1.本技术涉及计算机技术领域，尤其涉及图像处理方法、识别模型及电子设备。


背景技术：

2.随着计算机技术及5g技术的发展，视频相关技术也得到了广泛应用。比如，社交视频应用、视频监控应用、人机交互应用等各种应用场景。
3.在一些应用场景中，需要对视频中某个目标对象进行特征识别。具体来说，从视频中获取到连续的多帧图像后，从多帧图像中对目标对象的行为进行识别。在基于现有技术进行识别过程中不仅要保证视频中各帧图像的亮度相对恒定，还需要确保多帧视频图像的帧间连续性比较好，才能准确识别出目标对象的行为特征。然而，在实际应用中，由于目标快速移动或者视频采集视角快速移动，导致视频帧间连续性不好，从而影响对视频帧中目标对象的行为特征的准确识别。因此，需要一种能够适用于各种视频条件下进行目标对象行为识别的方案。


技术实现要素：

4.为解决或改善现有技术中存在的问题，本技术各实施例提供了图像处理方法、识别模型及电子设备。
5.第一方面，在本技术的一个实施例中，提供了一种图像处理方法。该方法包括：
6.获取多帧图像；
7.确定所述多帧图像的第一时空特征以及所述多帧图像中相邻帧图像的第一帧间连续性特征；其中，第一帧间连续性特征反映相邻帧图像中目标对象运动连贯性方面的连贯程度；
8.根据所述第一帧间连续性特征，对所述第一时空特征进行调整；
9.利用调整后的所述第一时空特征，对所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为进行识别。
10.第二方面，在本技术的一个实施例中，提供了另一种图像处理方法。该方法包括：
11.获取多帧图像；
12.确定多帧图像中相邻帧图像的帧间连续性特征，其中，所述帧间连续性特征反映相邻帧图像在目标对象运动连贯性方面的连贯程度；
13.根据所述帧间连续性特征，确定所述多帧图像中各帧图像的图像特征在运动行为识别过程中的影响程度；
14.基于所述多帧图像的图像特征及所述多帧图像中各帧图像的图像特征对应的影响程度，识别所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为。
15.第三方面，在本技术的一个实施例中，提供了一种识别模型。该模型包括：
16.至少一层第一计算层，用于确定多帧图像的第一时空特征；所述第一时空特征包括第一时间特征及第一空间特征；
17.至少一层第二计算层，用于根据所述第一空间特征，确定所述多帧图像中相邻帧图像的第一帧间连续性特征，其中，第一帧间连续性特征反映相邻帧图像在目标对象运动连贯性方面的连贯程度；
18.第一调整层，用于根据所述至少一层第二计算层输出的第一帧间连续性特征，对所述第一时空特征进行调整；
19.下游组合层，其含有分类层，用于对调整后的所述第一时空特征进行处理，并通过所述分类层输出所述目标对象的运动行为识别结果；
20.其中，所述目标对象出现在所述多帧图像的至少部分帧图像中。
21.第四方面，在本技术的一个实施例中，提供了一种图像处理方法。该方法包括：
22.获取场地内机器人的监控视频；
23.确定所述监控视频中多帧图像的时空特征以及所述多帧图像中相邻帧图像的帧间连续性特征；其中，帧间连续性特征反映相邻帧图像中机器人动作连贯性方便的连贯程度；
24.根据所述帧间连续性特征，对所述时空特征进行调整；
25.利用调整后的所述时空特征，对所述监控视频中机器人的动作进行识别。
26.第五方面，在本技术的一个实施例中，提供了一种图像处理方法。该方法包括：
27.获取针对加工场所内产生操作动作的主体的视频；
28.确定所述视频中多帧图像的时空特征以及所述多帧图像中相邻帧图像的帧间连续性特征；其中，帧间连续性特征反映相邻帧图像中所述主体的操作动作连贯性方便的连贯程度；
29.根据所述帧间连续性特征，对所述时空特征进行调整；
30.利用调整后的所述时空特征，对所述视频中至少部分帧图像中出现的所述主体的操作动作进行识别。
31.第六方面，在本技术的一个实施例中，提供了一种图像处理方法。该方法包括：
32.获取安全检测场地内被安全检测对象的视频；
33.确定所述视频中多帧图像的时空特征以及所述多帧图像中相邻帧图像的帧间连续性特征；其中，帧间连续性特征反映相邻帧图像中所述被安全检测对象的行为连贯性方便的连贯程度；
34.根据所述帧间连续性特征，对所述时空特征进行调整；
35.利用调整后的所述时空特征，对所述视频中至少部分帧图像中出现的所述被安全检测对象的行为进行识别。
36.第七方面，在本技术的一个实施例中，提供了一种电子设备。该电子设备包括：存储器及处理器；其中，
37.所述存储器，用于存储程序；
38.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
39.获取多帧图像；
40.确定所述多帧图像的第一时空特征以及所述多帧图像中相邻帧图像的第一帧间连续性特征；其中，第一帧间连续性特征反映相邻帧图像中目标对象运动连贯性方面的连
贯程度；
41.根据所述第一帧间连续性特征，对所述第一时空特征进行调整；
42.利用调整后的所述第一时空特征，对所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为进行识别。
43.第八方面，在本技术的另一个实施例中，提供了一种电子设备。该电子设备包括：存储器及处理器；其中，
44.所述存储器，用于存储程序；
45.所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：
46.获取多帧图像；
47.确定多帧图像中相邻帧图像的帧间连续性特征，其中，所述帧间连续性特征反映相邻帧图像在目标对象运动连贯性方面的连贯程度；
48.根据所述帧间连续性特征，确定所述多帧图像中各帧图像的图像特征在运动行为识别过程中的影响程度；
49.基于所述多帧图像的图像特征及所述多帧图像中各帧图像的图像特征对应的影响程度，识别所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为。
50.本技术实施例提供的技术方案，从视频中获取多帧图像，这些多帧图像是连续获取到的。在对多帧图像进行处理的时候，一般是两帧为一组进行第一时空特征提取，以及确定相邻两帧之间的第一帧间连续性特征。进而，利用得到的第一帧间连续性特征对第一时空特征进行调整，并利用调整后的第一时空特征对目标对象的运动行为进行识别。采用本技术技术方案，可利用多帧图像中相邻帧图像的第一帧间连续性特征对多帧图像的第一时空特征进行调整，在对多帧图像进行特征处理的时候，能够有效避免不连续图像对特征处理结果的不利影响，即可削弱帧间连续性差帧图像的影响，加强帧间连续性强的帧图像间的关联性；利用相邻帧图像的帧间连续性特征调整后的时空特征，既能用于传统的视频中的行为识别，也能用于有相机快速移动或转场的视频中的行为识别。
51.另外，本技术实施例提供的方法还可应用到多种应用场景中，比如机器人(物流行业中的分拣机器人、打包机器人、转运机器人等)的运动识别、加工工厂内加工机器人、机械手臂或员工等的行为识别、安全检测(如机场安检、火车站安检、地铁安检)场所内旅客的行为识别等等，通过对机器人运动、加工时加工执行主体(如加工机器人、员工等)的操作动作、被安检人员的行为等进行识别；识别出来的结果可用来锁定违规运动(比如分拣动作错误、转运路线错误)、违规操作(比如加工工厂内存在危险的操作)、被安检对象的异常行为等，便于尽快采取相应的措施，以降低损失，提高安全性。
附图说明
52.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1为本技术一实施例提供的图像处理方法的流程示意图；
54.图2为本技术实施例提供的基于时空特征进行运动行为识别的方法流程示意图；
55.图3为本技术实施例提供的一种确定帧间连续性特征的方法流程示意图；
56.图4为本技术实施例提供的另一种确定帧间连续性特征的方法流程示意图；
57.图5为本技术实施例提供的再一种确定帧间连续性特征的方法流程示意图；
58.图6为本技术实施例提供的另一种图像处理方法的流程示意图；
59.图7为本技术实施例提供的识别模型的结构示意图；
60.图8为本技术实施例提供的举例说明行为识别过程的示意图；
61.图9a为本技术实施例提供的一种图像处理装置的结构示意图；
62.图9b为本技术实施例提供的另一种图像处理装置的结构示意图；
63.图10为本技术实施例提供的一种电子设备的结构示意图；
64.图11为本技术实施例提供的另一种电子设备的结构示意图。
具体实施方式
65.为了能够满足用户不同的视频应用需求，视频图像的采集、传输相关技术都得到了快速发展。在其中一些视频应用场景中，需要对视频图像中某一目标对象进行运动行为识别。现有技术中，在进行运动行为识别的时候，对视频图像的要求比较高。现有的时空特征主要是通过光流特征或一维或三维卷积从相邻帧之间学习获得。现有时空特征的基本假设有3个：
66.1、相邻帧之间的亮度恒定。
67.2、相邻帧的帧间连续性好，即，相邻帧之间物体的运动比较小，不会有大的跳变。
68.3、保持空间一致性，即连续帧图像中同一对象的像素点具有相同的运动。
69.然而，随着手持式相机的增长以及相机设备的进步，视频出现相机快速移动的现象也越来越多。随着短视频的发展以及视频处理软件和设备的进步，现在视频中转场的现象也越来越多。此时相邻采样帧之间的帧间连续性(即上述第2点)已经被破坏了，上述3个假设已经不能全部满足了，而现有的方案主要都是针对相邻采样帧之间具有很好的帧间连续性的前提而设计的。
70.为此，本技术欲提供一种既能用于符合上述3个假设视频中对象的行为识别，又能适于相机快速移动或转场的视频中对象的行为识别。为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
71.在本技术的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。此外，下文描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
72.如图1为本技术一实施例提供的图像处理方法的流程示意图。该方法的执行主体
可以是客户端设备，也可以是服务端设备。其中，客户端设备可包括但不限于：平板电脑、手机、台式计算机、笔记本电脑等。服务端设备包括但不限于：本地服务器、云服务器、服务器集群、虚拟服务器等。具体的，所述方法包括如下步骤：
73.101：获取多帧图像。
74.102：确定所述多帧图像的第一时空特征以及所述多帧图像中相邻帧图像的第一帧间连续性特征；其中，第一帧间连续性特征反映相邻帧图像中目标对象运动连贯性方面的连贯程度。
75.103：根据所述第一帧间连续性特征，对所述第一时空特征进行调整。
76.104：利用调整后的所述第一时空特征，对所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为进行识别。
77.需要说明的是，这里所说的图像，可以是由视频采集设备或者深度图像采集设备采集得到的图像。并且，从视频图像中获取多帧图像的方式可以是从视频当中连续获取截取到的多帧图像，也可以是根据预设采样规则获取多帧图像(比如，间隔采样，或者针对重点关注时间段连续采样)。
78.上述102中，第一时空特征是为了区别下文中出现的时空特征，添加了“第一”。本文中提及的时空特征可以包括时间特征和空间特征。其中，时间特征可以理解为基于多帧图像提取到的在时间上的连续性的相关特征。空间特征可以理解为基于多帧图像提取到的在空间上的连续性的相关特征。空间特征用于描述多帧图像中运动对象的外观(可理解为运动对象，即前景特征)，以及每一帧中的场景配置特征(可理解为背景特征)。时间特征用于捕捉嵌入在随时间推移不断变化帧中的运动信息。
79.在实际应用中，第一帧间连续性可以理解为表征相邻帧或者采样帧中包含的目标对象的运动连贯性的连贯程度。举一个简单的例子，体操运动赛事转播视频，镜头初期在运动员身上，然后很快切换到观众席，再从观众席切换到运动员身上。假设，前十帧中有运动员的连续动作，第十一帧开始至第十三帧是观众席图像，从第十四帧开始图像中又有运动员的运动图像。那么，前十帧中任意两相邻帧中目标对象的运动连贯性好；但第十帧与第十一帧，这两个相邻帧中目标对象的运动连贯性差；同样的，第十三帧与第十四帧，这两个相邻帧中目标对象的运动连贯性差。在进行图像处理过程中，这个第一帧间连续性特征(即连贯性程度)可以是通过概率或者分值表示，并利用概率或分值对第一时空特征进行调整。具体调整过程将在下述实施例中进行解释说明。
80.这里所说的第一帧间连续特征，可以是基于机器学习模型中比较靠前的计算层进行计算处理得到的。在机器学习模型中，比较靠前的计算层进行计算处理能够尽早发现帧间连续性不好的帧图像，并及时排除连续性不好的帧图像对机器人学习模型中后续计算层以及计算结果的不利影响。第一帧间连续性特征中包含有多帧图像中任意两相邻帧的帧间连续性特征项。假设，多帧图像有8帧，分别编号为1，2，3，4，5，6，7，8。第一帧间连续性特征中包含有：第1帧图像与第2帧图像间的帧间连续性特征项c
12
，第2帧图像与第3帧图像间的帧间连续性特征项c
23
，第3帧图像与第4帧图像间的帧间连续性特征项c
34
，第4帧图像与第5帧图像间的帧间连续性特征项c
45
，第5帧图像与第6帧图像间的帧间连续性特征项c
56
，第6帧图像与第7帧图像间的帧间连续性特征项c
67
，第7帧图像与第8帧图像间的帧间连续性特征项c
78
。例如，这8帧图像的第一帧间连续性特征可表征为如下的向量：
81.(c
12
、c
23
、c
34
、c
45
、c
56
、c
67
、c
78
)
82.上述各帧间连续性特征项可通过概率或者分值表示，并利用概率或分值对第一时空特征进行调整。还以上述8帧图像为例，8帧图像的第一时空特征中包含有：第1帧图像与第2帧图像之间的时空特征项t
12
，第2帧图像与第3帧图像之间的时空特征项t
23
，第3帧图像与第4帧图像之间的时空特征项t
34
，第4帧图像与第5帧图像之间的时空特征项t
45
，第5帧图像与第6帧图像之间的时空特征项t
56
，第6帧图像与第7帧图像之间的时空特征项t
67
，第7帧图像与第8帧图像之间的时空特征项t
78
。
83.例如，这8帧图像的第一时空特征可表征为如下的向量：
84.(t
12
、t
23
、t
34
、t
45
、t
56
、t
67
、t
78
)
85.这个第一帧间连续性特征项越好(或概率值或分值越高)，表示该相邻帧图像的连贯程度好(可以理解为从相邻两帧图像中均能够准确识别出目标对象及目标对象运动行为，而且目标对象及其运动行为具有连贯性)，反之，若第一帧间连续性特征项不好(或概率值或分值越低)，则表示该相邻帧图像的连贯程度不好，会影响运动行为识别的准确度。
86.上述103中，根据所述第一帧间连续性特征，对所述第一时空特征进行调整的过程可简单理解为如下过程：
87.再次以上述8帧图像为例，
88.利用c
12
对第1帧图像与第2帧图像之间的第一时空特征t
12
进行调整；
89.利用c
23
对第2帧图像与第3帧图像之间的第一时空特征t
23
进行调整；
90.利用c
34
对第3帧图像与第4帧图像之间的第一时空特征t
34
进行调整；
91.利用c
45
对第4帧图像与第5帧图像之间的第一时空特征t
45
进行调整；
92.利用c
56
对第5帧图像与第6帧图像之间的第一时空特征t
56
进行调整；
93.利用c
67
对第6帧图像与第7帧图像之间的第一时空特征t
67
进行调整；
94.利用c
78
对第7帧图像与第8帧图像之间的第一时空特征t
78
进行调整。
95.更具的，调整过程可以是将c
12
作为所述第一时空特征t
12
的系数，计算乘积结果，便可得到调整后的第一时空特征t
12
。其他t
23
、
……
t
78
的调整同t
12
。
96.基于上述方案，能够实现更加精准的对多帧图像中所包含的目标对象的运动行为进行识别，可避免视频帧中干扰因素的影响。换言之，可以利用第一帧间连续性特征对视频中多帧图像进行筛选，及时屏蔽掉不连续帧对行为识别结果影响，能够有效提高行为识别准确率。
97.在步骤102中，“确定所述多帧图像的第一时空特征以及所述多帧图像中相邻帧图像的第一帧间连续性特征”，可具体包括：
98.1021、将所述多帧图像作为第一识别模型中至少一层第一计算层的输入，执行所述至少一层第一计算层，得到所述多帧图像的第一时空特征；其中，所述第一时空特征包含第一时间特征及第一空间特征；
99.1022、将所述多帧图像的第一时空特征(具体的，可以仅将第一空间特征作为入参)作为所述第一识别模型至少一层第二计算层的输入，执行所述至少一层第二计算层输出所述多帧图像中相邻帧图像的所述第一帧间连续性特征。
100.在实际应用中，对多帧图像进行特征提取的时候可利用预先训练得到的第一识别模型实现。具体来说，在该第一识别模型当中包含至少一层第一计算层，利用该第一计算层
可以基于多帧图像提取得到第一时空特征。在对多帧图像提取第一帧间连续性特征的时候，基于第一计算层输出的第一时空特征进行提取。具体来说，将第一时空特征中第一空间特征输入到至少一层的第二计算层进行计算，得到第一帧间连续性特征。一般来说，在计算帧间连续性特征的时候，是对相邻两帧图像之间的连续性进行计算，得到的第一帧间连续性特征作为对连续两帧图像中后一帧图像的调整。
101.例如，假设当前第一识别模型中，第一计算层为第一卷积层(convolutional neural network，cnn)，第二计算层为第一全连接层(fully
‑
connected layer，fc)。在第一识别模型当中，可以有多层第一卷积层，每层卷积层可以连接有至少一层第一全连接层。第一卷积层输出的针对多帧图像的浅层特征为第一时空特征，该浅层特征(比如，颜色、纹理等)能体现出空间信息的变化及变化趋势。进而将第一时空特征中的第一空间特征输入到第一全连接层中，经过至少一层第一全连接层的处理得到第一帧间连续性特征。在实际应用中，每个第一识别模型中包含的卷积层的多少可以根据需要进行设定，而每个卷积层分别连接的全连接层的层数也可以根据实际需要进行设定。此外，在该第一识别模型中，还可以包含池化层、全连接层、分类层等等。
102.进一步的，所述第一识别模块还可包含调整层，调整层的输入为第一时空特征及第一帧间连续性特征；执行该调整层便可输出调整后的第一时空特征。参见图8所示的例子，所述第一识别模块中第一计算层(如con*层)之后，具有调整层。该调整层包含两个分支，分别为空间分支(space branch)及时间分支(temporal branch)。如图8所示，所述空间分支的输入为第一空间特征及所述第一帧间连续性特征，输出为调整后的第一空间特征。时间分支的输入为第一时间特征及所述第一帧间连续性特征，输出为调整后的第一时间特征。
103.如图2为本技术实施例提供的基于时空特征进行运动行为识别的方法流程示意图。如步骤102所述，进一步地，从图2中可以看到利用调整后的所述第一时空特征，对所述多帧图像中所述目标对象的运动行为进行识别，具体包括如下步骤：
104.201：将调整后的所述第一时空特征作为所述第一识别模型的至少一层第三计算层的输入，执行所述至少一层第三计算层输出所述多帧图像的第二时空特征；其中，所述第二时空特征包括所述多帧图像的第二时间特征及第二空间特征。
105.202：将所述第二空间特征及所述至少一层第二计算层输出的所述多帧图像中相邻帧图像的第一帧间连续性特征作为所述第一识别模型的至少一层第四计算层的输入，执行所述至少一层第四计算层输出所述多帧图像中相邻帧图像的第二帧间连续性特征。
106.203：根据所述至少一层第四计算层输出的所述多帧图像中相邻帧图像的第二帧间连续性特征，对所述第二时空特征进行调整。
107.204：利用调整后的所述第二时空特征，对所述多帧图像中所述目标对象的运动行为进行识别。
108.如前文所述可知，在第一识别模型中，还可以包含有多层时空特征计算层(即第三计算层，比如，可以是卷积层)，以及基于对时空特征计算层输出的空间特征的连续性特征处理的计算层(即第四计算层，比如，可以是全连接层)。经过第一计算层得到的第一时空特征，不仅输入给第二计算层，还将调整后的第一时空特征输入给第三计算层。具体来说，在如前文所述实施例得到第一帧间连续性特征之后，利用第一帧间连续性特征对第一时空特
征进行调整，同时还需要对即将得到的第二帧间连续性特征进行调整，也就是，将第一帧间连续性特征与第二时空特征同时输入到第四计算层从而可以得到第二帧间连续性特征。这里所说的对时空特征进行调整的方式，比如可以是将第一帧间连续性特征对应的特征值(比如，概率值)与第一时空特征进行乘积处理。这里所说对帧间连续性特征进行调整的方式，比如可以是将第一帧间连续性特征与第二空间特征进行乘积处理后利用第四计算层进行特征提取，得到第二帧间连续性特征。
109.容易理解的是，若识别模型中有多个卷积层，则可以采用如图1和图2所述的步骤进行迭代处理，也就是利用上一计算层得到的帧间连续性特征对下一计算层所要输入的时空特征以及对应的帧间连续性特征计算层分别进行调整。通过采用多轮次迭代处理，可以有效排除帧间连续性差的多帧图像对行为识别过程及结果的不利干扰。
110.在实际应用中，利用调整后的所述第二时空特征，对所述多帧图像中所述目标对象的运动行为进行识别，包括：将所述调整后的所述第二时空特征作为所述第一识别模型的分类层的输入，执行所述分类层输出所述多帧图像中目标对象的识别结果。当然，在第三计算层和第四计算层之后，分类层之前，还可有用于输出第三时空特征的第五计算层，以及用于输出第三帧间连续性特征的第六计算层，第三帧间连续性特征还能对第三时空特征进行调整；
……
等等。
111.具体来说，在经过多个计算层的时空特征提取以及多次利用帧间连续性对时空特征的调整之后，将调整后时空特征输入到分类层当中，利用分类层实现对多帧图像进行分类处理，进而对图像中目标对象进行行为识别。这里所说的分类层比如可以采用支持向量机(svm)、决策树、贝叶斯等算法。
112.上述是利用第一识别模型中的相应层(如第二计算层，全连接层)确定多帧图像中相邻帧图像的帧间连续性。图3示出本技术实施例提供的另一种确定帧间连续性特征的方法流程示意图。如图3所示，所述多帧图像中包含相邻的第一帧图像及第二帧图像；以及
113.确定所述多帧图像中相邻帧图像的第一帧间连续性特征，包括：
114.301：提取所述第一帧图像的图像特征及所述第二帧图像的图像特征。
115.302：基于所述第一帧图像的图像特征及所述第二帧图像的图像特征，确定图像特征差异。
116.303：根据所述图像特征差异，确定所述第一帧图像与所述第二帧图像间的第一帧间连续性特征。
117.在一些应用场景中，在计算相邻两帧图像之间的第一帧间连续性特征的时候，若相邻图像中有至少一个目标对象，则可以采用帧间差分算法，也就是，检测出了相邻两帧图像中发生变化的区域。该算法是用图像序列中的连续两帧图像进行差分，然后二值化该灰度差分图像来提取目标对象的运动信息。由帧间变化区域检测分割得到的图像，区分出背景区域和目标对象区域，进而提取要检测的目标对象。通过比较图像序列中前后两帧图像对应像素点灰度值的不同，通过两帧相减，确定第一帧间连续性特征。
118.这里所说的第一帧间连续性特征可以是概率值。在得到该第一帧间连续性特征之后，可以利用第一帧间连续性特征对第一时空特征进行调整。具体来说，将所述第一帧图像与第二帧图像的帧间连续性概率值作为所述第二帧图像的时间特征信息的调整系数，调整所述第一时空特征中所述第二帧图像的时间特征信息。将所述第一帧图像与所述第二帧图
像的帧间连续性概率值作为所述第二帧图像的空间特征信息的调整系数，调整所述第一时空特征中所述第二帧图像的空间特征信息。将调整后的时空特征作为后续计算层的输入，能够有效消除不连续帧图像对目标对象的行为识别结果的不利影响。
119.除了采用帧间差分算法之外，还可以采用其他算法。例如，如图4为本技术实施例提供的另一种确定帧间连续性特征的方法流程示意图。具体来说，确定所述多帧图像中相邻帧图像的第一帧间连续性特征，包括：
120.401：获取连续性预测模型；其中，所述连续性预测模型是第一机器学习模型经过训练后得到的。
121.402：将所述多帧图像作为所述连续性预测模型的输入，执行所述连续性预测模型输出所述多帧图像中任一帧图像相对于邻帧图像的帧间连续性概率值。其中，所述第一帧间连续性特征包含所述多帧图像中任一帧图像相对于邻帧图像的帧间连续性概率值。
122.在实际应用中，可以对第一机器学习模型进行训练，得到训练后的连续性预测模型，利用该模型，可以对输入的多帧图像进行连续性预测。例如，从一组视频当中截取部分需要处理的多帧图像，并将该多帧图像输入到连续性预测模型中，进而分别输出各帧图像相对于前一帧图像的连续性概率值，将该连续性概率值作为当前帧图像(第二帧图像)相对于前一帧图像(第一帧图像)的第一帧间连续性特征，一般来说，连续性概率值越大表示与前一帧之间的连续性越好。
123.例如，还可以在该连续性预测模型后添加分类模型。也就是，连续性预测模型输出的关于多帧图像的连续性概率值之后，将连续性概率值和多帧图像输入给分类模型，在分类模型中，连续性概率值起到对多帧图像的时空特征调整作用。需要说明的是，在经过连续性预测模型处理之后，得到的各帧图像的连续性概率值，可以有效区分各帧图像的连续性效果，也就是各帧图像中目标对象的运动行为连贯性。连贯性差的图像对应的概率值比较低，连贯性好的概率值比较高。一般来说，概率值取值范围为0到1之间，概率值越大表示连贯性越好。在利用连续性概率值对时空特征的调整过程如下：将所述第一帧图像与第二帧图像的帧间连续性概率值作为所述第二帧图像的时间特征信息的调整系数，调整所述第一时空特征中所述第二帧图像的时间特征信息。将所述第一帧图像与所述第二帧图像的帧间连续性概率值作为所述第二帧图像的空间特征信息的调整系数，调整所述第一时空特征中所述第二帧图像的空间特征信息。将各帧图像分别对应的第一时空特征及其概率值(第一帧间连续性特征)一起输入给分类模型，在进行运动行为识别的过程中，可以消除连贯性差的帧图像的影响，从而能够基于连贯性好的帧图像获得更加准确的识别出各帧图像中包含的目标对象的运动行为。
124.如图5为本技术实施例提供的一种时空特征确定方法流程示意图。时空特征确定过程，具体包括如下步骤：
125.501：获取第二识别模型；其中，所述第二识别模型是第二机器学习模型经过训练后得到的。
126.其中，此处的第二识别模型可以与上文中提及的分类模型为同一模型。第二机器学习模型可以是深度神经网络模型、卷积神经网络模型等等，本实施例对此不作具体限定。
127.502：将所述多帧图像作为所述第二识别模型的输入，经所述第二识别模型的至少一层第一计算层计算得到所述第一时空特征；其中，所述第二识别模型还包括用于基于时
空特征输出识别结果的分类层。
128.在本技术实施例中，第二识别模型中主要包含两部分，一部分是基于多帧图像输出第一时空特征，另一部分是基于第一时空特征实现对多帧图像的识别分类。这里所述的第二识别模型，包含有至少一层第一计算层，该第一计算层是用于对多帧图像进行处理并输出第一时空特征的。其中，第一时空特征中包含：多帧图像中各帧图像的时间特征项、多帧图像中各帧图像的空间特征项。进而，可以利用第一时空特征实现对多帧图像的目标对象运动行为识别结果。
129.进一步地，为了提高对目标对象的运动行为识别准确效果，可以将连续性预测模型与第二识别模型相结合。具体来说，在将同一组多帧图像分别输入到连续性预测模型和第二识别模型中之后，得到第一帧间连续性特征以及第一时空特征(可以是通过第二识别模型中任一计算层计算得到的时空特征)；进而，利用第一帧间连续性特征对第一时空特征进行调整，第二识别模型继续利用调整后的第一时空特征输出多帧图像中目标对象运动行为识别结果。
130.作为一可选实施例，若第二识别模型当中包含有多个计算层(比如，多个卷积层)，可以分别输出每个计算层对应的时空特征，并利用连续性预测模型对每一计算层将要输入的时空特征进行调整。经过多层调整可以提高对图像中目标对象运动行为识别准确率。
131.基于同样的思路，本技术实施例还提供一种图像处理方法。如图6为本技术实施例提供的另一种图像处理方法的流程示意图。如图6所示，包括：
132.601：获取多帧图像。
133.602：确定多帧图像中相邻帧图像的帧间连续性特征，其中，所述帧间连续性特征反映相邻帧图像在目标对象运动连贯性方面的连贯程度。
134.603：根据所述帧间连续性特征，确定所述多帧图像中各帧图像的图像特征在运动行为识别过程中的影响程度。
135.604：基于所述多帧图像的图像特征及所述多帧图像中各帧图像的图像特征对应的影响程度，识别所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为。
136.在实际应用中，进行运动行为识别的时候，不排除不连贯图像或者说图像中不连贯目标对象对识别结果的不利影响。在获取到多帧图像之后，可以先获取到用于表征相邻帧图像中目标对象运动连贯程度的帧间连续性特征，获取的方式可以参考如图3
‑
4所述各实施例，这里就不再重复赘述。进而，基于帧间连续性特征对图像特征在运动行为识别过程中的影响程度进行评估。目标是：帧间连续性越好，对图像特征在运动行为识别过程中的有利影响程度越高；帧间连续性越差，对图像特征在运动行为识别过程中的有利影响程度越低。因此，在进行运动行为识别过程中，要采用合适的方式(比如，尽早调整的方式或者多次调整的方式等等)消除不利影响，扩大有利影响。
137.在获取帧间连续性特征的时候，可以有多种方式，为了便于理解，下面具体举例说明。一种方式是，采用帧间差分法，假设多帧图像中包含相邻的第一帧图像及第二帧图像。确定多帧图像中相邻帧图像的帧间连续性特征，包括：提取所述第一帧图像的图像特征及所述第二帧图像的图像特征。基于所述第一帧图像的图像特征及所述第二帧图像的图像特征，确定图像特征差异。根据所述图像特征差异，确定所述第一帧图像与所述第二帧图像间的帧间连续性特征。
138.通过帧间差分法能够获取到相邻两帧之间用于表征目标对象运动连贯性方面的连贯程度的帧间连续性特征。具体可以参考上述图3对应的实施例，这里就不再重复赘述。
139.另一种获取帧间连续性特征的方式可以是利用机器学习模型实现的。举例来说，包括：获取连续性预测模型；其中，所述连续性预测模型是第一机器学习模型经过训练后得到的。将所述多帧图像作为所述连续性预测模型的输入，执行所述连续性预测模型输出所述多帧图像中任一帧图像相对于邻帧图像的帧间连续性概率值。其中，所述帧间连续性特征包含所述多帧图像中任一帧图像相对于邻帧图像的帧间连续性概率值。具体可以参考上述图4对应的实施例。
140.在实际应用中，评估影响程度的时候，可以将帧间连续性概率值作为相邻帧图像中后一帧图像相对于前一帧帧图像的影响程度，并利用帧间连续性概率值对多帧图像的时空特征进行调整。需要说明的是，多帧图像的图像特征包括时空特征。在对目标对象进行运动行为识别的时候，利用多帧图像中各帧图像的图像特征对应的影响程度，对所述多帧图像的时空特征进行调整。利用调整后的所述时空特征，识别所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为。具体调整过程可以参考图1
‑
5对应的实施例，这里就不再重复赘述。在本实施例中，对目标对象的行为特征进行识别的时候，基于影响程度对各帧图像的时空特征进行调整，通过利用影响程度消除连贯性差的图像对运动行为识别的不利影响，同时增强连贯性好的图像对运动行为识别的有利影响。
141.基于同样的思路，本技术实施例还提供一种识别模型。如图7为本技术实施例提供的识别模型的结构示意图。从图7中可以看到，在该识别模型当中包括：
142.至少一层第一计算层71，用于确定多帧图像的第一时空特征；所述第一时空特征包括第一时间特征及第一空间特征；
143.至少一层第二计算层72，用于根据所述第一空间特征，确定所述多帧图像中相邻帧图像的第一帧间连续性特征，其中，第一帧间连续性特征反映相邻帧图像在目标对象运动连贯性方面的连贯程度；
144.第一调整层73，用于根据所述至少一层第二计算层输出的第一帧间连续性特征，对所述第一时空特征进行调整；
145.下游组合层74，其含有分类层74a，用于对调整后的所述第一时空特征进行处理，并通过所述分类层输出所述目标对象的运动行为识别结果；
146.其中，所述目标对象出现在所述多帧图像的至少部分帧图像中。
147.在实际应用中，利用第一计算层对多帧图像进行计算处理，得到第一时空特征，这里所说的第一计算层可以是卷积层。将第一计算层输出的第一时空特征输入给第二计算层，这里所说的第二计算层可以是全连接层。利用第二计算层可以输出第一帧间连续性特征。从图7中可看到，在调整层中，利用第一帧间连续性特征对第一时空特征中的第一时间特征和第一空间特征都进行调整。需要说明的是，在图7中仅示意性展示出一个第一计算层和一个地儿计算层，在实际应用过程中用户可以根据实际需求设计第一计算层和第二计算层的数量。
148.这里所说的下游组合层中，包含有分类层。在该下游组合层中，将调整后的第一时空特征作为输入，利用分类层对相邻帧图像中包含的目标对象的运动行为进行识别，并输出识别结果。
149.在本识别模型中，横向添加了至少一个用于输出帧间连续性特征的计算层(可以是全连接层)。并利用帧间连续性对后续各层的输入的时空特征进行调整，从而消除连续性差的图像的影响，增强连续性好的图像的影响。需要说明的是，在本实施例中，第一计算层可以为识别模型中的第一个计算层，能够在多帧图像输入的时候就提前对时空特征进行调整，避免连续性差的图像对后续运动行为识别结果的不利影响。
150.作为一可选方案，下游组合层74中还可以包括：至少一层第三计算层74b，用于根据调整后的所述第一时空特征，输出所述多帧图像的第二时空特征，其中，所述第二时空特征包括所述多帧图像的第二时间特征及第二空间特征；至少一层第四计算层74c，用于根据所述第二空间特征及所述至少一层第二计算层输出的所述多帧图像中相邻帧图像的第一帧间连续性特征，输出所述多帧图像中相邻帧图像的第二帧间连续性特征。
151.在实际应用中，为了更加彻底的消除连续性差的图像对识别结果的不利影响，可以在多个计算层中分别设置对应的帧间连续性特征计算层以及调整层。容易理解的是，这里仅作为举例说明在下游组合层中包含有第三计算层和第四计算层，在实际应用过程中还可能包含很多层，同样可以采用上述实施例所介绍的计算层结构关系。
152.需要说明的是，在识别模型中，用于输出帧间连续性特征的计算层所在位置和数量，以及调整层所在位置和数量都是可以根据需要选择和调制的。
153.为了便于理解本技术技术方案，下面结合图8对整体方案进行举例说明。图8为本技术实施例提供的举例说明行为识别过程的示意图。从图8中可以看到，输入连续多帧图像到模型当中。在图8中展示出有两个卷积层conv*，在实际应用中，不同卷积层的卷积核大小、stride等可能会所有不同，采用的计算方式包括vgg，resnet，inception，dense net等等。经过卷积层可以输出空间特征分支space branch、时间特征分支temporal branch。此外，从图8中还可以看到，在卷积层横向连接关系中还包括一全连接层fc，经过全连接层处理输出帧间连续性特征。每个卷积层输出时空特征向下传递的同时，还横向输出对应的帧间连续性特征。进而，利用帧间连续性特征对下一层将要输入的时空特征进行调整，以及利用调整后的时空特征进行卷积处理和全连接层处理之后得到新的帧间连续性特征。采用上述方式进行多次迭代调整，最终输出行为识别结果。在对调整后的时空特征的后续处理过程中，可能还会有池化层、全连接层、分类层等等。
154.基于同样的思路，本技术实施例还提供一种图像处理装置。如图9a为本技术实施例提供的一种图像处理装置的结构示意图。该图像处理装置包括：
155.获取模块91，用于获取多帧图像。
156.确定模块92，用于确定所述多帧图像的第一时空特征以及所述多帧图像中相邻帧图像的第一帧间连续性特征；其中，第一帧间连续性特征反映相邻帧图像中目标对象运动连贯性方面的连贯程度。
157.调整模块93，用于根据所述第一帧间连续性特征，对所述第一时空特征进行调整。
158.识别模块94，用于利用调整后的所述第一时空特征，对所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为进行识别。
159.可选地，确定模块92，还用于将所述多帧图像作为第一识别模型中至少一层第一计算层的输入，执行所述至少一层第一计算层，得到所述多帧图像的第一时空特征；其中，所述第一时空特征包含第一时间特征及第一空间特征；
160.将所述多帧图像的第一空间特征作为所述第一识别模型至少一层第二计算层的输入，执行所述至少一层第二计算层输出所述多帧图像中相邻帧图像的所述第一帧间连续性特征。
161.可选地，识别模块94，还用于将调整后的所述第一时空特征作为所述第一识别模型的至少一层第三计算层的输入，执行所述至少一层第三计算层输出所述多帧图像的第二时空特征；其中，所述第二时空特征包括所述多帧图像的第二时间特征及第二空间特征；
162.将所述第二空间特征及所述至少一层第二计算层输出的所述多帧图像中相邻帧图像的所述第一帧间连续性特征作为所述第一识别模型的至少一层第四计算层的输入，执行所述至少一层第四计算层输出所述多帧图像中相邻帧图像的第二帧间连续性特征；
163.根据所述至少一层第四计算层输出的所述多帧图像中相邻帧图像的第二帧间连续性特征，对所述第二时空特征进行调整；
164.利用调整后的所述第二时空特征，对所述多帧图像中所述目标对象的运动行为进行识别。
165.可选地，识别模块94，还用于将所述调整后的所述第二时空特征作为所述第一识别模型的分类层的输入，执行所述分类层输出所述多帧图像中目标对象的识别结果。
166.可选地，所述多帧图像中包含相邻的第一帧图像及第二帧图像；以及
167.确定模块92用于提取所述第一帧图像的图像特征及所述第二帧图像的图像特征；基于所述第一帧图像的图像特征及所述第二帧图像的图像特征，确定图像特征差异；根据所述图像特征差异，确定所述第一帧图像与所述第二帧图像间的第一帧间连续性特征。
168.可选地，确定模块92用于获取连续性预测模型；其中，所述连续性预测模型是第一机器学习模型经过训练后得到的；
169.将所述多帧图像作为所述连续性预测模型的输入，执行所述连续性预测模型输出所述多帧图像中任一帧图像相对于邻帧图像的帧间连续性概率值；
170.其中，所述第一帧间连续性特征包含所述多帧图像中任一帧图像相对于邻帧图像的帧间连续性概率值。
171.可选地，确定模块92用于获取第二识别模型；其中，所述第二识别模型是第二机器学习模型经过训练后得到的；
172.将所述多帧图像作为所述第二识别模型的输入，经所述第二识别模型的至少一层第一计算层计算得到所述第一时空特征；
173.其中，所述第二识别模型还包括用于基于第一时空特征输出识别结果的分类层。
174.可选地，所述帧间连续性特征中包含第一帧图像与第二帧图像的帧间连续性概率值；所述第一时空特征中包含：第一帧图像的时间特征信息、第一帧图像的空间特征信息、第二帧图像的时间特征信息及第二帧图像的空间特征信息；
175.调整模块93，用于将所述第一帧图像与第二帧图像的帧间连续性概率值作为所述第二帧图像的时间特征信息的调整系数，调整所述第一时空特征中所述第二帧图像的时间特征信息；
176.将所述第一帧图像与所述第二帧图像的帧间连续性概率值作为所述第二帧图像的空间特征信息的调整系数，调整所述第一时空特征中所述第二帧图像的空间特征信息。
177.基于同样的思路，本技术实施例还提供另一种图像处理装置。如图9b为本技术实
施例提供的另一种图像处理装置的结构示意图。该图像处理装置包括：
178.获取模块95，用于获取多帧图像。
179.确定模块96，用于确定多帧图像中相邻帧图像的帧间连续性特征，其中，所述帧间连续性特征反映相邻帧图像在目标对象运动连贯性方面的连贯程度。
180.确定模块96还用于根据所述帧间连续性特征，确定所述多帧图像中各帧图像的图像特征在运动行为识别过程中的影响程度。
181.识别模块97，用于基于所述多帧图像的图像特征及所述多帧图像中各帧图像的图像特征对应的影响程度，识别所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为。
182.所述多帧图像中包含相邻的第一帧图像及第二帧图像；以及，确定模块96还用于提取所述第一帧图像的图像特征及所述第二帧图像的图像特征；基于所述第一帧图像的图像特征及所述第二帧图像的图像特征，确定图像特征差异；根据所述图像特征差异，确定所述第一帧图像与所述第二帧图像间的帧间连续性特征。
183.可选地，确定模块96还用于获取连续性预测模型；其中，所述连续性预测模型是第一机器学习模型经过训练后得到的；
184.将所述多帧图像作为所述连续性预测模型的输入，执行所述连续性预测模型输出所述多帧图像中任一帧图像相对于邻帧图像的帧间连续性概率值；
185.其中，所述帧间连续性特征包含所述多帧图像中任一帧图像相对于邻帧图像的帧间连续性概率值。
186.可选地，根据所述帧间连续性特征含有所述多帧图像中第二帧图像相对于第一帧图像的帧间连续性概率值；以及
187.可选地，确定模块96还用于将所述第二帧图像相对于第一帧图像的帧间连续概率值，作为所述第二帧图像对应的所述影响程度。
188.可选地，所述多帧图像的图像特征包括时空特征，以及
189.识别模块97，还用于所述多帧图像中各帧图像的图像特征对应的影响程度，对所述多帧图像的时空特征进行调整；利用调整后的所述时空特征，识别所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为。
190.本技术一个实施例还提供一种电子设备。如图10为本技术实施例提供的一种电子设备的结构示意图。该电子设备包括存储器1001、处理器1002及通信组件1003；其中，
191.所述存储器1001，用于存储程序；
192.所述处理器1002，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取多帧图像；
193.确定所述多帧图像的第一时空特征以及所述多帧图像中相邻帧图像的第一帧间连续性特征；其中，第一帧间连续性特征反映相邻帧图像中目标对象运动连贯性方面的连贯程度；
194.根据所述第一帧间连续性特征，对所述第一时空特征进行调整；
195.利用调整后的所述第一时空特征，对所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为进行识别。
196.上述存储器1001可被配置为存储其它各种数据以支持在电子设备上的操作。这些
数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
197.进一步地，本实施例中的所述处理器1002可以具体是：可编程交换处理芯片，该可编程交换处理芯片中配置有数据复制引擎，能对接收到的数据进行复制。
198.上述处理器1002在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。进一步，如图10所示，电子设备还包括：电源组件1004等其它组件。
199.基于同样的思路，本技术一个实施例还提供另一种电子设备。如图11为本技术实施例提供的另一种电子设备的结构示意图。该电子设备包括存储器1101、处理器1102及通信组件1103；其中，
200.所述存储器1101，用于存储程序；
201.所述处理器1102，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：获取多帧图像；
202.确定多帧图像中相邻帧图像的帧间连续性特征，其中，所述帧间连续性特征反映相邻帧图像在目标对象运动连贯性方面的连贯程度；
203.根据所述帧间连续性特征，确定所述多帧图像中各帧图像的图像特征在运动行为识别过程中的影响程度；
204.基于所述多帧图像的图像特征及所述多帧图像中各帧图像的图像特征对应的影响程度，识别所述多帧图像的至少部分帧图像中出现的所述目标对象的运动行为。
205.上述存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
206.进一步地，本实施例中的所述处理器1102可以具体是：可编程交换处理芯片，该可编程交换处理芯片中配置有数据复制引擎，能对接收到的数据进行复制。
207.上述处理器1102在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。进一步，如图11所示，电子设备还包括：电源组件1104等其它组件。
208.基于上述实施例相关技术方案，可以应用于超市、银行等安防监控场景中对进入监控范围内的活动人员进行行为识别，也可以用于体育赛事中进行对运动员进行行为识别。利用本技术技术方案，能够有效提高对视频中目标对象行为识别的准确率。
209.综上各实施例提供的技术方案，可适用于多种应用场景。比如，机器人(物流行业中的分拣机器人、打包机器人、转运机器人等)的运动识别、加工工厂内加工机器人、机械手臂或员工等的行为识别、安全检测(如机场安检、火车站安检、地铁安检)场所内旅客的行为识别等等，通过对机器人运动、加工时加工执行主体(如加工机器人、员工等)的操作动作、被安检人员的行为等进行识别；识别出来的结果可用来锁定违规运动(比如分拣动作错误、
转运路线错误)、违规操作(比如加工工厂内存在危险的操作)、被安检对象的异常行为等，便于尽快采取相应的措施，以降低损失，提高安全性。下面将分别针对各应用场景，对本技术各实施例的技术方案的应用进行说明。
210.一、机器人监控场景
211.具体的，本技术一实施例提供一种应用于机器人监控场景的图像处理方法。该方法包括如下步骤：
212.s11、获取场地内机器人的监控视频；
213.s12、确定所述监控视频中多帧图像的时空特征以及所述多帧图像中相邻帧图像的帧间连续性特征；其中，帧间连续性特征反映相邻帧图像中机器人动作连贯性方便的连贯程度；
214.s13、根据所述帧间连续性特征，对所述时空特征进行调整；
215.s14、利用调整后的所述时空特征，对所述监控视频中机器人的动作进行识别。
216.上述s11中的监控视频可以是部署在场地内的一个或多个摄像机采集到的。场地可以是货仓、分拣场地、餐厅、酒店、银行等。对应不同的场地，机器人的功能和职责会不同。在货仓，机器人的工作是运输货物；在分拣场地，机器人的工作是分拣物品。在餐厅、酒店和银行等场地，机器人的工作是为人提供相应的服务，如运送菜品、引导入住、指导操作等等。
217.有关上述s12～s14的内容，可参见上述各实施例中的相应内容。另外，需要说明的是：本实施例中的帧间连续性特征及时空特征，同上述各实施例中提及的第一帧间连续性特征及第一时空特征，进一步的也可以是第二帧间连续性特征或第二时空特征。
218.对机器人的动作进行识别后得到的识别结果，可用于锁定违规动作，并对出现违规动作的机器人发送相应的指令，或向管理人员的客户端设备发送出现违规动作机器人的提醒信息等等。
219.二、加工工厂场景
220.具体的，本技术一实施例提供一种应用于加工工厂场景的图像处理方法。该方法包括如下步骤：
221.s21、获取针对加工场所内产生操作动作的主体的视频；
222.s22、确定所述视频中多帧图像的时空特征以及所述多帧图像中相邻帧图像的帧间连续性特征；其中，帧间连续性特征反映相邻帧图像中所述主体的操作动作连贯性方便的连贯程度；
223.s23、根据所述帧间连续性特征，对所述时空特征进行调整；
224.s24、利用调整后的所述时空特征，对所述视频中至少部分帧图像中出现的所述主体的操作动作进行识别。
225.上述产生操作动作的主体可以机器，也可以是工作人员。机器可以是：参与加工的机械手臂、机器人等。
226.有关上述s22～s24的内容，可参见上述各实施例中的相应内容。另外，需要说明的是：本实施例中的帧间连续性特征及时空特征，同上述各实施例中提及的第一帧间连续性特征及第一时空特征，进一步的也可以是第二帧间连续性特征或第二时空特征。
227.对产生操作动作的主体的动作进行识别后得到的识别结果，可用于锁定违规动作，并对出现违规动作的机器发送相应的指令，或向管理人员的客户端设备发送出现违规
动作机器或工作人员的提醒信息等等，以尽快采取相应的措施，降低损失，提高加工安全性。
228.三、安全检测场景
229.具体的，本技术一实施例提供一种应用于安全检测场景的图像处理方法。该方法包括如下步骤：
230.s31、获取安全检测场地内被安全检测对象的视频；
231.s32、确定所述视频中多帧图像的时空特征以及所述多帧图像中相邻帧图像的帧间连续性特征；其中，帧间连续性特征反映相邻帧图像中所述被安全检测对象的行为连贯性方便的连贯程度；
232.s33、根据所述帧间连续性特征，对所述时空特征进行调整；
233.s34、利用调整后的所述时空特征，对所述视频中至少部分帧图像中出现的所述被安全检测对象的行为进行识别。
234.其中，安全检测场地可以是：地铁、火车站、机场、大厦、小区等等。
235.有关上述s32～s34的内容，可参见上述各实施例中的相应内容。另外，需要说明的是：本实施例中的帧间连续性特征及时空特征，同上述各实施例中提及的第一帧间连续性特征及第一时空特征，进一步的也可以是第二帧间连续性特征或第二时空特征。
236.对被安全检测对象的行为进行识别后得到的识别结果，可用于锁定可疑人员，并向管理人员的客户端设备发送并展示可疑人员的提示信息，以便尽快采取相应的措施，提高安全性。
237.上述仅示出了几种具体场景，本技术实施例还可适用于其他需要识别行为、运动、动作的场景，本文不一一例举。
238.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
239.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
240.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。