基于云边协同计算的姿态分析方法及装置与流程

1.本发明涉及行为分析识别技术领域，具体的说，涉及一种基于云边协同计算的姿态分析方法及装置。


背景技术：

2.在轨道交通运维工作中，机车司机、行车室值班人员、调车人员等关键岗位发挥着至关重要的作用，这些岗位人员的规范行为对轨道交通运行安全保障起着重要作用。
3.随着人工智能技术的广泛应用，利用深度学习对视频图像分析已成为目前的主流解决方案，通常轨道交通中对于人员规范行为的分析与识别采用方式如下：
4.首先对采集视频进行人体姿态检测，然后对检测出的姿态进行姿态分类，最后通过滑动窗口，融合一段时间的检测结果输出最后的判别结果，避免出现单次误报。
5.上述所有的计算均在一个设备上进行。上述方式中存在的主要问题是：(1)精度不够高。在轨道交通运维实际应用的场景中，人体姿态检测识别存在许多的挑战，例如：自我遮挡，过于复杂的人体姿态，同一帧图像里面不同人的服装相似，同一人的肢体相似，有的图片仅出现一半人体等情况均会影响姿态检测与识别的精度。(2)识别时间过长。因为单设备算力有限，所有的计算在一个设备上进行会使得识别时间过长。


技术实现要素：

6.本发明提供了一种基于云边协同计算的姿态分析方法及装置，以解决现有技术中存在的识别精度低，识别时间过长等问题。
7.本发明的具体技术方案如下：
8.根据本发明的第一技术方案，提供一种基于云边协同计算的姿态分析方法，所述方法包括：接收来自所述边缘端的第一姿态和原始数据，所述第一姿态通过所述边缘端对所述原始数据进行估计得到；估计所述原始数据中人体的第二姿态，并将所述第二姿态与所述第一姿态融合得到最终姿态。
9.根据本发明的第二技术方案，提供一种基于云边协同计算的姿态分析装置，所述装置包括云端和边缘端，所述云端与所述边缘端信号连接；所述边缘端，配置为基于原始数据，估计人体在当前时间的第一姿态，并将所述第一姿态和所述原始数据上传至云端；所述云端，配置为接收来自所述边缘端的第一姿态和所述原始数据，估计所述原始数据中人体的第二姿态，并将所述第二姿态与所述第一姿态融合得到最终姿态。
10.根据本发明各个实施例公开的一种基于云边协同计算的姿态分析方法及装置，基于云边协同，多阶段人体姿态估计，在边缘端较快的进行初步姿态估计，之后在云服务端完成精确姿态估计；最后对两次估计的结果进行数据融合，得到最终结果，可在保证识别精度的情况下，快速的进行轨道交通运维人员姿态识别。
附图说明
11.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
12.图1示出了根据本发明实施例的一种基于云边协同计算的姿态分析方法的流程图。
13.图2示出了根据本发明实施例的云边协同数据融合示意图。
14.图3示出了根据本发明实施例的一种基于云边协同计算的姿态分析方法的流程图。
15.图4示出了根据本发明实施例的一种构建预设数据库的流程图。
16.图5示出了asf人体骨架模型结构图。
17.图6示出了基于人体运动捕捉数据的动作识别框架图。
18.图7示出了云边协同动作捕捉及姿态分析原理构成图。
具体实施方式
19.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
21.现在结合说明书附图对本发明做进一步的说明。
22.图1示出了根据本发明实施例的一种基于云边协同计算的姿态分析方法的流程图。本发明实施例提供一种基于云边协同计算的姿态分析方法，如图1所示，该方法始于步骤s101，接收来自所述边缘端的第一姿态和原始数据，所述第一姿态通过所述边缘端对所述原始数据进行估计得到。需要说明的是，本文中所述的“原始数据”是基于数据采集装置实时采集到的图像数据或者影像数据。数据采集装置可以是目前轨道交通行业所使用的数字图像采集设备一般为传统的真彩色图像设备，并更多的强调高清设备。发明人考虑到传统真彩色图像设备并不能解决运维人员合规性检测问题，也不能进行实时运维风险评估，并且容易受光线天气等环境因素影响，进而出现在需要进行数据感知和事故分析时发生数据不可用的情况。为了解决这个痛点，本发明实施例设计一种多源异构数字图像采集设备。所述多源异构数字图像采集设备，其本质为真彩色图像采集设备，红外图像采集设备以及体感数字采集设备的有机融合体；其核心功能为：实时提供真彩数据，人体红外数据，以及人体关节关键点数据，在这三类信息的基础上可进一步在时间和空间两个维度感知运维人员实时操作，并结合人员操作标准数字资产库，进而实时判别运维人员操作的合规性，同时在原始数据的获取上能够针对性对于本发明实施例所述的方法，降低边缘端和云端的数据处理压力，提升边缘端和云端的计算效率。
23.在步骤s102，估计所述原始数据中人体的第二姿态，并将所述第二姿态与所述第
一姿态融合得到最终姿态。仅作为示例，将所述第二姿态与所述第一姿态融合得到最终姿态可以是将所述第二姿态与所述第一姿态进行叠加得到所述最终姿态。具体说来，第一姿态和第二姿态是边缘端基于原始数据的关节点连线所确定的一个姿态，例如，边缘端可以利用自顶向下的姿态估计检测方法对原始数据进行姿态估计得到第一姿态，云端可以利用自底向上的姿态估计检测方法对时间t s时的原始数据进行姿态估计得到第二姿态，基于人体骨架模型，将第一姿态和第二姿态的各个关节点进行匹配对应，例如，以第二姿态为基础，将第一姿态中存在的而第二姿态中没有的关节点补充进入第二姿态，最后基于第二姿态已有的关节点加上第一姿态补充的关节点根据人体骨架模型进行连线得到最终姿态。或者可以是以第一姿态为基础，同理进行融合得到最终姿态。如图2所示，通过上述方式确定的最终姿态具有极高的识别精度，基本与原始数据中的人体姿态吻合。
24.在将本发明实施例所述方法应用于关键岗位人员的规范行为的姿态分析中时，边缘端通常是设置在对应岗位的搭载处理功能的智能设备(例如计算机或者中控平台等等)，因此边缘端会优先获取来自数据采集装置所采集到的原始数据，提前对原始数据进行处理。一般来说，由于云端配备有更完善的服务器系统，因此边缘端的计算能力要弱于云端。边缘端主要用于对实时获取的原始数据进行快速的预处理，然后将预处理后得到的第一姿态实时显示以为工作人员提供支持，随后将第一姿态以及当前的实时原始数据传输至云端，云端进一步针对边缘端发出的原始数据进行深度处理得到第二姿态，并将第一姿态和第二姿态融合得到最终姿态。
25.在一些实施例中，所述边缘端通过如下方法计算所述第一姿态：基于在时间t时的原始数据，通过边缘端检测人体位置以及范围，并通过卷积神经网络估计至少两个人体关键点，根据各个人体关键点得到人体在当前时间t时的第一姿态。本文中所述的“人体关键点”具体指的是通过卷积神经网络估计得到的人体的关节点，将各个人体关键点依照人体骨架模型即可得到原始数据中人体在当前时间t时的第一姿态。仅作为示例，边缘端可以利用自顶向下的姿态估计检测方法对原始数据进行姿态估计得到第一姿态。姿态估计检测方法能够利用较少资源且较快的对姿态进行估计，使得在边缘端可以快速地对姿态进行识别，并根据识别到的姿态对当前人体的行为意识进行分析，判断工作人员的操作十分符合规范。
26.在一些实施例中，所述估计原始数据中人体的第二姿态具体包括：基于所述原始数据，通过云端检测出人体的各个关节点，再将各个关节点进行连接形成图，最后通过图优化的方法剔除错误的连接，得到第二姿态。云端由于具有更强的计算能力，因此在云端可以对原始数据中的各个关节点进行检测，以此获得一个更精确的姿态。仅作为示例，云端可以利用自底向上的姿态估计检测方法对原始数据进行姿态估计得到第二姿态，自底向上的姿态检测方法相对于自顶向下的姿态估计检测方法来说，不随检测人数增加运行时间，其速度和精度相对固定。如图2所示，云端可以进一步地将所述第二姿态与所述第一姿态融合得到最终姿态，最终姿态可以更精准地反应当前的人体姿态。
27.图3示出了根据本发明实施例的一种基于云边协同计算的姿态分析方法的流程图。如图3所示，在一些实施例中，在步骤s200，估计原始数据中人体的第二姿态，并将所述第二姿态与所述第一姿态融合得到最终姿态之后，还包括步骤s300，将所述最终姿态与预设数据库进行比对，确定所述最终姿态对应的动作行为。具体说来，所述预设数据库至少包
含多种运动序列以及与其对应的运动行为，而运动序列又由多帧组成，每一帧分解成由各个关节点的空间坐标组成。因此，在将所述最终姿态与预设数据库进行比对时，可以通过最终姿态的各个关节点去与每一帧的各个关节点匹配，找出对应的运动序列，根据对应的运动序列即可找到对应的运动行为，最终根据运动行为可以判断当前动作的意图。在具体应用时，可以基于识别出的运动行为，对工作人员进行报警提示，例如在操作不规范时通过声光方式对其发出警示，以提醒其规范操作行为。尤其在轨道交通运维工作中，机车司机、行车室值班人员、调车人员等关键岗位发挥着至关重要的作用。
28.图4示出了根据本发明实施例的一种构建预设数据库的流程图。在一些实施例中，如图4所示，通过如下步骤构建所述预设数据库：
29.步骤s201，将原始数据集中的各个原始人体运动捕捉数据进行行为分割，获得多个仅包含单一运动行为的运动序列。需要说明的是，所述原始数据集具体可以是通过以往在对应岗位中的监控系统所采集到的视频图像，也可以是利用多源异构数字图像采集设备在对应岗位中通过模拟测试的方式所采集到的视频图像。上述原始数据集的获取方式仅仅只是示例，本发明实施例对此不作具体限制。
30.步骤s202，根据预设的动作行为分类，将所述运动序列通过如下方法对应分配在所述动作行为分类中以构建所述预设数据库。
31.步骤s203，提取所述运动序列中的根节点，并基于人体骨架模型，通过计算根节点的平移与旋转向量，逐层求出各个子节点的旋转向量，进而求出所述运动序列每一帧中各个关节点的空间坐标.
32.图5示出了asf人体骨架模型结构图。如图5所示，人体骨架模型采用asf/amc格式(图3)。骨架由一系列的骨骼(bone)按照一定的层次结构连接起来，两个骨骼的连接处称为关节(joint)，根节点(root)可以视为一个特殊的骨骼，它的平移与旋转共同决定了骨架的整体朝向和平移，其他骨骼分别绕着根节点在不同自由度方向上旋转，从而产生虚拟人的运动。
33.从asf文件与amc文件中只能得到人体的骨架信息和运动信息，在处理具体问题时，需要用到各个关节的全局坐标。由人体骨架的层次结构可知，树形结构中的树根节点是root，树中的其它节点分别对应人体骨架模型中的各个关节。整个人体运动过程可以视为由平移与旋转组成，即root点的平移与各个关节点绕其父节点的旋转。根节点root的位移决定人体的运动方向，旋转决定人体的朝向，其它关节点的旋转是在以其父节点为坐标原点的相对坐标系下进行的，决定人体运动的姿态。各个关节点在全局坐标系下的坐标为：
34.pk(x,y,z)＝t
tootrtoot
t2r2…
t
krk
p0(x,y,z)
ꢀꢀ
公式(1)
35.式中：pk(x,y,z)表示关节点k在全局坐标系下的坐标，其中2≤k≤n，n为关节点数，p0(x,y,z)表示初始位置时关节点k在以其父节点为坐标原点的相对坐标系下的坐标，当k＝1时，t1＝t
toot
，表示从当前坐标系平移到其父节点坐标系下的平移常量，为固定值，通过实验确定；r1＝r
toot
，表示绕父节点的旋转时的误差矩阵，为固定值，通过实验确定；当2≤i≤k时，tk表示关节点k从当前坐标系平移到其父节点坐标系下的平移分量，rk为关节点k绕其父节点的旋转矩阵。
36.因此，己知人体的骨架模型，可以根据人体骨架层次结构计算根节点的平移与旋转向量，然后逐层求出各个子节点的旋转向量，从而求出运动序列每一帧中各个关节的空
间坐标。
37.最后在步骤s204，将所述运动序列与对应的预设运动模板通过动态时间规整进行时间轴匹配，计算相似度，并根据相似度的大小进行分类，以识别所述运动序列中的运动行为。
38.动态时间规整，具体来说，视频动作识别时，大都涉及长度不同的时间序列条件下如何判定动作相似度的问题。在计算它们的相似度之前，需要将其中一条序列在时间轴上进行适当的变形(拉伸或压缩)，从而实现更好的对齐效果。
39.给定两条长度不等的时间序x＝[x1，x2，
…
，xm]和y＝[y1，y2，
…
，yn]，首先构造一个矩阵d(m
′
n)，其中矩阵d中的元素d(m，n)表示xm与yn这两个点之间的欧氏距离。目标是：搜索从点(1,1)出发到达点(n,m)点时的总的积累距离，具有最小累积距离的即为最佳路径。计算过程如公式(2)所示：
[0040][0041]
因此，步骤s204中，其动作行为识别流程如图6所示。首先对待识别的序列进行预处理，根据其人体骨架模型中根节点的位置是否变化将其分为根节点运动与根节点静止两种不同的类别，然后将待识别的运动序列分别与该类别所包含的不同行为的运动模板通过动态时间规整进行时间轴匹配，计算相似度，根据相似度的大小进行分类，找出其对应的具体行为，从而实现对运动序列片段中运动行为的自动识别。
[0042]
本发明实施例还提供了一种基于云边协同计算的姿态分析装置，如图7所示，所述装置包括云端702和边缘端701，所述云端702与所述边缘端701信号连接；
[0043]
所述边缘端701，配置为基于原始数据，估计人体在当前时间的第一姿态，并将所述第一姿态和所述原始数据上传至云端；
[0044]
所述云端702，配置为接收来自所述边缘端的第一姿态和所述原始数据，估计所述原始数据中人体的第二姿态，并将所述第二姿态与所述第一姿态融合得到最终姿态。
[0045]
在一些实施例中，所述边缘端701进一步配置为将所述第一姿态与预设数据库进行比对，确定所述第一姿态对应的动作行为，所述云端进一步配置为将所述最终姿态与预设数据库进行比对，确定所述最终姿态对应的动作行为。
[0046]
在一些实施例中，所述装置还包括预设数据库构建模块，所述预设数据库构建模块配置为：将原始数据集中的各个原始人体运动捕捉数据进行行为分割，获得多个仅包含单一运动行为的运动序列；根据预设的动作行为分类，将所述运动序列通过如下方法对应分配在所述动作行为分类中以构建所述预设数据库：提取所述运动序列中的根节点，并基于人体骨架模型，通过计算根节点的平移与旋转向量，逐层求出各个子节点的旋转向量，进而求出所述运动序列每一帧中各个关节点的空间坐标；将所述运动序列与对应的预设运动模板通过动态时间规整进行时间轴匹配，计算相似度，并根据相似度的大小进行分类，以识别所述运动序列中的运动行为。
[0047]
在一些实施例中，所述运动序列每一帧中各个关节点的空间坐标如下公式(1)所示：
[0048]
pk(x,y,z)＝t
tootrtoot
t2r2…
t
krk
p0(x,y,z)
ꢀꢀ
公式(1)
[0049]
式中：pk(x,y,z)表示关节点k在全局坐标系下的坐标，其中2≤k≤n，n为关节点数，p0(x,y,z)表示初始位置时关节点k在以其父节点为坐标原点的相对坐标系下的坐标，当k＝1时，t1＝t
toot
，表示从当前坐标系平移到其父节点坐标系下的平移常量，为固定值，通过实验确定；r1＝r
toot
，表示绕父节点的旋转时的误差矩阵，为固定值，通过实验确定；当2≤i≤k时，tk表示关节点k从当前坐标系平移到其父节点坐标系下的平移分量，rk为关节点k绕其父节点的旋转矩阵。
[0050]
在一些实施例中，所述预设数据库构建模块进一步配置为基于人体骨架模型，判断所述运动序列中的根节点是否变化，若变化，则将所述运动序列与根节点运动模板匹配，若不变化，则将所述运动序列与根节点静止模板匹配。
[0051]
在一些实施例中，所述边缘端701进一步配置为基于所述原始数据，通过边缘端检测人体位置以及范围，并通过卷积神经网络估计至少两个人体关键点，根据各个人体关键点得到人体在当前时间t时的第一姿态。
[0052]
在一些实施例中，所述云端702进一步配置为基于所述原始数据，通过云端检测出人体的各个关节点，再将各个关节点进行连接形成图，最后通过图优化的方法剔除错误的连接，得到第二姿态。
[0053]
本发明实施例所提供的基于云边协同计算的姿态分析装置与在前阐述的方法的技术效果基本一致，在此不累述。
[0054]
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。