一种基于电力检修的手部运动恢复方法与流程

本发明涉及电力检修智能作业与计算机视觉三维运动重建，具体是一种基于电力检修的手部运动恢复方法。

背景技术：

1、在电力检修场景中，从单目相机中恢复手部运动旨在从单视角作业视频序列中重建检修人员手部随时间变化的三维构型。该技术可用于检修动作规范性评估、异常行为识别定位、危险姿态预警、远程运维指导和检修过程数字化复盘。

2、随着深度学习技术的发展，从单目图像或视频中恢复手部网格已取得显著进展。基于图像的方法通过大规模预训练基础模型持续提升逐帧精度，但在电力检修长视频场景中仍存在明显不足：其一，长视频处理对上下文建模和编码效率要求较高，现有方法易出现跨帧抖动与关键时刻漂移；其二，检修作业常伴随绝缘手套、工器具遮挡和复杂背景，模型对动力学特性的感知不足，易产生物理不合理结果。

3、为解决上述挑战，将物理约束引入三维手部重建是一个有前景的方向。面向电力检修应用，现有方法主要存在以下三方面不足：（1）、物理层面：现有主流物理融合方法普遍采用确定性方式，通过将动力学方程残差驱动至零来施加物理约束，而非对残差的分布进行建模，忽略了检修现场噪声、标注偏差和模型失配等固有不确定性，无法量化动作估计的物理可靠性；（2）、表征与定位层面：现有方法通常采用单一分辨率的特征提取架构，难以同时兼顾全局时序一致性和精细局部几何细节，导致关键动作起止时刻与工具接触区域的定位精度不足；（3）、鲁棒性与泛化层面：电力检修序列中存在自遮挡、手套反光、运动模糊、狭小空间作业等几何奇异与成像干扰，现有方法缺乏有效的特征层面噪声抑制机制，不可靠特征容易传播并降低下游识别和检索任务的稳定性。

技术实现思路

1、本发明要解决的技术问题是提供一种基于电力检修的手部运动恢复方法，实现从检修单目视频中恢复物理合理的三维手部运动轨迹，并同时估计运动恢复过程中的广义力方差，以量化检修动作估计的物理一致性与可靠性。

2、本发明的技术方案为：

3、一种基于电力检修的手部运动恢复方法，具体包括有以下步骤：

4、（1）、基于参数化手部模型的初始姿态估计构建手部网络，以动力学建模的物理规则对手部网络进行约束和校正，获取得到手部网络顶点坐标；

5、（2）、基于手部网络顶点坐标，提取高分辨率增强特征和低分辨率全局特征、并通过轻量级交叉注意力融合适配器生成适配特征；

6、（3）、双流编码器基于适配特征提取不同深度的特征，然后基于核化格拉姆矩阵统计量进行特征调制，并映射为多尺度条件特征序列，最后将其与初始姿态估计融合成条件向量；

7、（4）、骨干网络预测输出干净手部运动序列，条件扩散模型进行逆向去噪精修，生成手部运动恢复结果；

8、（5）、基于贝叶斯推断的动力学方差对手部运动恢复结果进行不确定性量化和物理可靠性评估。

9、所述基于参数化手部模型的初始姿态估计构建手部网络，以动力学建模的物理规则对手部网络进行约束和校正，获取得到手部网络顶点坐标，具体包括有以下步骤：

10、s11、一段包含帧的检修单目视频图像序列，将检修单目视频图像序列中的每帧图像输入手部姿态估计器，获取每帧的参数化手部模型参数，参数化手部模型参数包括腕部旋转向量、腕部平移向量、姿态参数和形状参数，，姿态参数中包括有十五个手部关节的三维旋转向量，形状参数中包括有参数化手部模型形状空间中的十个主成分系数，为十维向量；

11、由下式（1）计算平均形状参数：

12、    （1）；

13、s12、基于参数化手部模型，定义手部网络的广义坐标，具体见下式（2）：

14、    （2）；

15、式（2）中，手部网络的广义坐标是由腕部旋转向量、腕部平移向量和姿态参数组成；

16、手部网络的广义速度和广义加速度通过有限差分法获得，具体见下式（3）：

17、    （3）；

18、式（3）中，代表第t+1帧图像的广义坐标；代表第t-1帧图像的广义坐标；代表第t帧图像的广义坐标；代表相邻帧图像之间的时间间隔；

19、s13、建立手部的欧拉-拉格朗日方程，具体见下式（4）：

20、    （4）；

21、式（4）中，代表广义质量矩阵；代表科里奥利力与离心力项，描述关节旋转引起的非惯性力效应；代表重力项，表示各关节在重力场中的广义力；代表净广义力，即手部运动所需的外部力和关节力矩的总和；代表为十五个手部关节的质量参数集合；代表十五个手部关节的惯性张量集合；

22、通过参数化手部模型的线性混合蒙皮函数获取手部网格顶点坐标，具体见下式（5）：

23、    （5）；

24、式（5）中，代表第t帧图像的手部网格顶点坐标；代表线性混合蒙皮函数；中的778是参数化手部模型的顶点数量，3是每个顶点的三维坐标维度；

25、利用蒙皮权重将手部网格的每个顶点分配到对应的手部关节上，参数化手部模型定义第个顶点相对于各手部关节的蒙皮权重，则，且，在线性混合蒙皮过程中，第个顶点的变形位置，其中，为模板姿态下第个顶点的齐次坐标，为第个手部关节沿运动学链计算得到的全局变换矩阵；

26、为计算各手部关节的体积和惯性参数，采用最大权重原则进行确定性分配，即，代表第个顶点划分给的手部关节的索引，即对手部网络中的每个顶点，遍历十五个手部关节，找出最大权重对应的手部关节，将第个顶点归入第 个手部关节，由手部网络中每个面片所对应的三个顶点中的多数归属确定该面片所属的手部关节；若面片不存在多数归属，则将该面片分配给平均蒙皮权重最大的手部关节，由此获取得到每个手部关节对应的顶点集合和面片集合；

27、每个手部关节通过封闭曲面的四面体化计算体积，与手部组织等效密度相乘，获得每个手部关节对应的质量；

28、对于第个手部关节由对应顶点和面片组成的局部网格其边界进行封闭处理，得到封闭曲面，随后对封闭曲面进行四面体化，得到若干个四面体单元，其中的第j个四面体单元的体积为、质心为，则第个手部关节的总体积、质心，为第j个四面体单元的质心；在第个手部关节的质心坐标系下，局部惯性张量具体见下式（6）：

29、    （6）；

30、式（6）中，代表体积微元的坐标；代表3×3单位矩阵；代表转置；代表体积微元；

31、计算得到的和分别作为第个手部关节的质量和局部惯性张量，用于构建广义质量矩阵以及科里奥利力与离心力项；

32、s14、将手部的欧拉-拉格朗日方程改写为残差形式，具体见下式（7）：

33、    （7）；

34、式（7）中，为第t帧图像的动力学残差，该残差视为服从概率分布的虚拟观测量，而非强制其为零。

35、所述基于手部网络顶点坐标，生成适配特征具体包括有以下步骤：

36、s21、对于每帧图像的手部网格，通过网格卷积神经网络提取空间特征标记，生成原始分辨率特征，具体见下式（8）：

37、    （8）；

38、式（8）中，代表网格卷积神经网络，为特征标记数量，为特征通道维度；

39、同时，对于每帧图像的手部网格，先进行降采样处理后，通过网格卷积神经网络提取空间特征标记，生成低分辨率特征，具体见下式（9）：

40、    （9）；

41、式（9）中，代表降采样，代表降采样后的特征标记数量；

42、s22、通过全局transformer注意力模块提取低分辨率全局特征，具体见下式（10）：

43、    （10）；

44、式（10）中，代表全局transformer注意力模块；

45、s23、通过逐帧vision transformer模块提取高分辨率特征，具体见下式（11）：

46、    （11）；

47、式（11）中，代表逐帧vision transformer模块；

48、s24、基于低分辨率全局特征和高分辨率特征生成高分辨率增强特征，具体见下式（12）：

49、    （12）；

50、式（12）中，代表引导特征提取网络，为浅层卷积网络，用于从高分辨率特征中提取高频引导信号；代表双线性插值算子；代表插值细化网络，为浅层卷积网络，用于对低分辨率全局特征进行上采样并细化；代表拼接；代表融合网络，为浅层卷积网络，用于特征的拼接融合；

51、s25、通过轻量级交叉注意力融合适配器生成适配特征，轻量级交叉注意力融合适配器由交叉注意力层和自注意力层交替堆叠组成，交叉注意力层的处理过程见下式（13），自注意力层的处理过程见下式（14）：

52、    （13）；

53、    （14）；

54、式（13）和式（14）中，代表交叉注意力层，将高分辨率增强特征作为查询q、低分辨率全局特征作为键k和值v，将低分辨率流中编码的全局时序上下文注入高分辨率特征空间；代表交叉注意力融合特征；

55、代表自注意力层，将交叉注意力融合特征作为查询q、键k和值v，在高分辨率标记之间建立局部关联并完成特征重整；代表自注意力融合特征；

56、轻量级交叉注意力融合适配器最后一层自注意力层的输出作为适配特征。

57、所述全局transformer注意力模块包括有交替的帧级注意力层与全局注意力层，具体包括有以下步骤：

58、s221、帧级注意力层的处理过程见下式（15）：

59、    （15）；

60、式（15）中，代表全局transformer注意力模块第帧级注意力层输出的第t帧图像的帧级注意力特征；代表全局transformer注意力模块第帧级注意力层的输入特征，当时，；代表第帧级注意力层；、、分别代表第帧级注意力层的输入特征经线性变换后得到的查询矩阵、键矩阵和值矩阵，维度均为；代表缩放因子；代表softmax归一化函数；

61、s222、将所有帧的帧级注意力特征进行拼接，得到帧级注意力拼接特征，具体见下式（16）：

62、    （16）；

63、式（16）中，代表拼接操作；

64、s223、全局注意力层的处理过程见下式（17）：

65、    （17）；

66、式（17）中，代表第全局注意力层输出的所有帧的全局注意力特征，拆分后得到每帧的全局注意力特征，即作为第帧级注意力层的输入特征，最后一层全局注意力层输出的所有帧的全局注意力特征拆分后得到低分辨率全局特征；代表第全局注意力层；、、分别代表第帧级注意力层的输入特征经线性变换后得到的查询矩阵、键矩阵和值矩阵，维度均为；代表缩放因子；代表softmax归一化函数。

67、所述双流编码器基于适配特征提取不同深度的特征，然后基于核化格拉姆矩阵统计量进行特征调制，并映射为多尺度条件特征序列，最后将其与初始姿态估计融合成条件向量，具体包括有以下步骤：

68、s31、双流编码器的主干transformer包括有多层结构，将主干transformer前几层中选定的一层输出的特征作为浅层特征，将主干transformer中间几层中选定的一层输出的特征作为中层特征，将主干transformer后几层中选定的一层输出的特征作为深层特征，浅层特征、中层特征和深层特征即选定网络层集合的输出特征；

69、s32、将第t帧图像对应的浅层特征、中层特征和深层特征线性变换为对应的查询矩阵和键矩阵，然后依据下式（18）计算查询-查询格拉姆矩阵、键-键格拉姆矩阵和查询-键格拉姆矩阵；

70、    （18）；

71、式（18）中，代表特征维度；

72、然后将相邻帧窗口内的格拉姆矩阵序列建模为矩阵值随机过程，计算时序期望算子和时序方差算子，具体见下式（19）和式（20）：

73、    （19）；

74、    （20）；

75、式（19）和式（20）中，代表时间偏移索引，代表相邻帧窗口内、第i帧到第j帧之间的时序窗口，相邻帧窗口即是以第i帧为中心、前后截取的一段连续帧区间；为特征流形的稳态分量，代表期望几何结构；特征流形的波动性分量；表示不同的格拉姆矩阵类型；为时序期望算子，对相邻帧窗口内的格拉姆矩阵序列取时间维度的期望；为空间期望算子，将选定网络层集合内的格拉姆矩阵取层维度的期望；代表时序方差算子，对相邻帧窗口内的格拉姆矩阵序列取时间维度的方差；

76、基于分层贝叶斯推断框架，从不同深度导出多尺度的异常先验，构建后验的异常显著性图，具体见下式（21）：

77、    （21）；

78、式（21）中，代表输入浅层特征时，且时计算的特征流形的稳态分量；代表输入浅层特征时，且时计算的特征流形的波动性分量；代表输入中层特征时，且时计算的特征流形的稳态分量；代表输入深层特征时，且时计算的特征流形的波动性分量；代表输入深层特征时，且时计算的特征流形的稳态分量；代表浅层异常先验，代表中层异常先验，代表深层异常先验；代表异常显著性图，为三个先验融合后的后验结果；代表逐元素相乘；

79、基于异常显著性图，对适配特征进行特征调制，得到调制特征，具体见下式（22）：

80、    （22）；

81、最后将所有帧的调制特征组成调制特征序列；

82、通过设置异常显著性阈值，对异常显著性图超过异常显著性阈值的调制特征进行标记；

83、s33、将调制特征序列进行编码映射，得到多尺度条件特征序列，具体见下式（23）：

84、    （23）；

85、式（23）中，代表条件编码映射算子；

86、s34、将初始姿态估计和多尺度条件特征序列融合成条件向量，具体见下式（24）：

87、    （24）；

88、式（24）中，代表条件特征编码映射算子；代表平均形状参数；代表所有帧图像对应的姿态参数组成的姿态参数序列。

89、所述骨干网络预测输出干净手部运动序列，条件扩散模型进行逆向去噪精修，生成手部运动恢复结果，具体包括有以下步骤：

90、s41、定义全局手部运动偏差序列，具体见下式（25）：

91、    （25）；

92、式（25）中，代表从姿态参数序列和形状参数到广义坐标运动状态的映射；代表所有帧图像对应的初始运动估计序列；代表第t帧图像对应的初始运动估计，包括有腕部旋转向量、腕部平移向量和十五个姿态参数；代表转置；代表待恢复的干净手部运动序列；

93、s42、定义单步扩散偏移增量，具体下式（26）：

94、    （26）；

95、式（26）中，代表第k个扩散步相对于第k-1个扩散步的偏移增量；代表第k步的累计偏移调度系数；代表第k-1步的累计偏移调度系数；当k等于1时，等于；

96、s43、条件扩散模型前向扩散单步加噪过程，具体见下式（27）：

97、    （27）；

98、式（27）中，代表在给定第k-1个扩散步的手部运动序列、条件向量和初始运动估计序列前提下，生成第k个扩散步的手部运动序列的前向扩散转移分布；代表以为均值、为协方差矩阵的高斯分布；代表扩散噪声尺度，代表噪声方差尺度；代表单位矩阵；式（27）表示前向扩散单步加噪过程中，将上一个扩散步的手部运动序列沿沿偏差方向平移，并加入方差为的高斯噪声；

99、按式（27）的前向扩散单步加噪过程进行逐次单步加噪，做全程累计整合，具体见下式（28）：

100、    （28）；

101、式（28）表示经过k步扩散后，手部运动序列的均值从待恢复的干净手部运动序列逐步向初始运动估计序列移动；

102、s44、条件扩散模型逆向去噪还原，先搭建逆向扩散整体框架，具体见下式（29）：

103、    （29）；

104、式（29）中，代表在给定前提下，生成的逆向扩散分布；代表从第k个扩散步手部运动序列开始的初始逆向扩散分布；代表由参数控制的可学习逆向转移核；k为扩散总步数；表示从第1个扩散步到第k个扩散步的全部手部运动序列；积分用于对所有中间状态、即全部手部运动序列进行边缘化；

105、式（29）中的，每一个扩散步由参数控制的可学习逆向转移核具体见下式（30）进行更新：

106、    （30）；

107、式（30）中，代表逆向扩散的均值函数；代表第k个扩散步逆向扩散的噪声方差；代表单位矩阵；代表第k个扩散步；代表第k个扩散步手部运动序列的加权系数；代表骨干网络预测头预测出的干净手部运动序列的加权系数；代表第k步的累计偏移调度系数；代表k个扩散步相对于第k-1个扩散步的偏移增量；代表前向扩散过程确定的噪声方差尺度；

108、式（30）中，骨干网络的预测头预测输出干净手部运动序列，具体见下式（31）：

109、    （31）；

110、式（31）中，代表骨干网络预测出的干净手部运动序列；代表骨干网络预测头的线性映射函数；代表第k个扩散步的手部运动序列；

111、s45、构建双损失函数，训练从而迭代更新骨干网络和条件扩散模型的参数，双损失函数具体见下式（32）：

112、    （32）；

113、式（32）中，代表数据驱动损失，具体见下式（33）；代表物理感知损失，具体见下式（34）；、分别代表两个损失的训练权重；

114、    （33）；

115、式（33）中，代表对扩散步k在1到k的范围内随机采样并求期望；代表训练数据中的真实手部运动序列，即真实标签；代表骨干网络预测头预测出的干净手部运动序列，即预测结果；代表l2范数平方；

116、    （34）；

117、式（34）中，代表基于计算得到的欧拉-拉格朗日动力学残差序列，即手部动力学残差；代表服从某一概率分布；代表零均值高斯分布；代表动力学残差的虚拟观测方差，，代表训练集中的样本总数，代表缩放因子；代表单位矩阵；代表训练集中第i个样本的真实手部运动序列；代表基于计算得到的欧拉-拉格朗日动力学残差序列；

118、s46、推理阶段，条件扩散模型以初始运动估计序列对应的高噪声状态为起点，从第k步到第1步，逐步执行可学习逆向转移核，每一步用骨干网络预测的干净手部运动序列融合更新和，再基于更新后的均值函数和噪声方差，更新, 迭代至时，输出去噪精修的手部运动恢复结果。

119、所述基于贝叶斯推断的动力学方差对手部运动恢复结果进行不确定性量化和物理可靠性评估，具体包括有以下步骤：

120、s51、采用末层拉普拉斯近似作为后验推断步骤，仅将骨干网络预测头参数上的后验分布映射为高斯后验预测分布，同时输出预测的干净手部运动序列的点估计和预测不确定性，具体见下式（35）：

121、（35）；

122、式（35）中，代表在给定、和训练数据集时，对待恢复的干净手部运动序列的后验预测分布；代表骨干网络预测头的线性映射函数、即骨干网络预测出的干净手部运动序列的点估计，对应高斯后验预测分布的均值；代表由末层拉普拉斯近似得到的对角方差矩阵；为关节级方差预测函数、输出每个手部关节的方差、即对应的预测不确定性；

123、s52、逆向扩散采样中，通过手部运动状态的更新与其方差的传播，从而在逆向扩散中逐步传播手部运状态及其不确定性；

124、逆向扩散采样中，手部运动状态的更新，具体见下式（36）：

125、    （36）；

126、式（36）中，代表逆向扩散采样得到的第k-1个扩散步的手部运动序列；代表第k个扩散步逆向扩散的噪声方差；代表单位矩阵；代表第k个扩散步；代表第k个扩散步手部运动序列的加权系数；代表骨干网络预测头预测出的干净手部运动序列的加权系数；代表第k扩散步的逆向转移噪声标准差；代表标准高斯噪声，满足；

127、逆向扩散采样中，手部运动状态方差的传播，具体见下式（37）：

128、（37）；

129、式（37）中，代表方差的对角近似；代表第k-1步扩散步的手部运动状态方差；代表当前第k步扩散步下的手部运动状态方差；代表骨干网络预测头预测出的干净手部运动方差，由下式（38）计算得到；代表与之间的协方差，由下式（39）计算得到；

130、   （38）；

131、式（38）中，代表将关节级方差向量构造成对角方差矩阵；代表关节级方差预测函数，输入当前第k步扩散步下的手部运动状态、条件向量和当前扩散步，输出每个手部关节的方差；

132、   （39）；

133、式（39）中，代表的期望；代表的期望；代表的期望；代表蒙特卡洛采样的样本数量，⊙表示逐元素乘法运算；代表第i个样本在当前第k步扩散步下的手部运动状态；代表第i个样本经骨干网络预测后输出的干净手部运动序列；

134、s53、基于s52构建的内容，进行方差估计，具体为：

135、s531、贝叶斯先验初始化：基于贝叶斯先验分布设定规则，将起始点从高斯分布中单次采样后固定，视为确定性条件量；初始化期望，初始化手部运动状态方差，初始化协方差；

136、s532、贝叶斯后验迭代传播：对k=k,k-1,…,1，依次执行以下操作：基于当前手部运动状态，从高斯分布中采样骨干网络预测结果；根据式(39)更新下一步的期望和协方差；根据式(37)更新下一步的手部运动状态方差；根据公式(36)更新下一步的手部运动状态；

137、s533、经过k步贝叶斯后验迭代后，得到最终精化的手部运动状态序列及其方差；

138、s54、利用最终的手部运动状态方差，通过雅可比矩阵传播计算广义力方差，具体见下式（40）：

139、   （40）；

140、式（40）中，代表广义力相对于手部运动状态的雅可比矩阵；代表广义力对手部运动状态的偏导数；代表在最终精化的手部运动状态序列的期望处计算雅可比矩阵；代表转置。

141、所述手部运动恢复方法的最终输出包括有三部分，分别是：（a）、最终精化的手部运动状态序列；（b）、逐帧、逐关节的广义力方差图，即从广义力方差中提取对角元素，再按帧和手部关节的维度展开得到的可视化视图；（c）、特征层面的异常显著性图，用于标识几何奇异区域，并辅助关键异常时刻定位。

142、本发明的优点：

143、（1）、本发明基于参数化手部模型，定义手部网络的广义坐标，建立手部的欧拉-拉格朗日方程，通过参数化手部模型的线性混合蒙皮函数获取手部网格顶点坐标，并将手部的欧拉-拉格朗日方程的残差视为服从概率分布的虚拟观测量，为后续物理约束的概率化融入奠定基础。

144、（2）、本发明提取高分辨率增强特征和低分辨率全局特征，并通过轻量级交叉注意力融合适配器生成适配特征，低分辨率流通过交替帧级-全局注意力机制建立时序全局一致性表征，高分辨率流对每帧手部网格以原始分辨率独立处理以保留精细关节几何细节，通过轻轻量级交叉注意力融合适配器融合两流特征，使最终表征兼具全局一致性和精细细节，从而满足电力检修长视频场景下的上下文建模与关键动作定位需求。

145、（3）、本发明采用引导特征提取网络从高分辨率特征中提取高频引导信号，通过双线性插值算子和插值细化网络对低分辨率全局特征进行上采样并细化，最后采用融合网络实现特征融合，生成高分辨率增强特征，有效弥补降采样导致的高频信息损失。

146、（4）、本发明基于核化格拉姆矩阵统计量进行特征调制，通过分析特征空间的高阶统计量，检测手部运动序列中的不可靠特征标记，基于分层贝叶斯推断框架，从不同深度导出多尺度的异常先验，构建后验的异常显著性图，在特征层面消除几何奇异区域带来的噪声源，并为异常行为定位提供可解释的先验信息。

147、（5）、本发明构建物理感知的条件扩散模型，并构建由数据驱动损失和物理感知损失组成的双损失函数，训练从而迭代更新骨干网络和条件扩散模型的参数，物理感知损失不再强制欧拉-拉格朗日动力学残差严格为零，而是视为服从高斯分布的虚拟观测量，通过负对数似然融入条件扩散模型训练目标，实现物理约束的概率化融入。

148、（6）、本发明基于贝叶斯推断的动力学方差对手部运动恢复结果进行不确定性量化和物理可靠性评估， 采用末层拉普拉斯近似构建关节级方差预测函数，在逆向扩散采样过程中通过方差传播公式逐步传播预测的不确定性，结合蒙特卡洛采样估计协方差，最终通过雅可比矩阵传播获得逐帧、逐关节的广义力方差图，为手部运动估计的可靠性提供物理一致性的可解释指标，并可用于识别高风险动作片段。