电力作业现场的高精度空间定位方法、系统、设备及介质与流程

1.本发明涉及空间定位技术领域，具体涉及电力作业现场的高精度空间定位方法、系统、设备及介质。


背景技术：

2.基于视觉的目标检测、识别与跟踪算法的研究是人工智能领域的热点，近年来随着深度学习的广泛应用取得了巨大的进步。深度学习技术已逐步应用于电力生产环境中，实现绝缘子、架空弧线、变电站异物、设备温度等一些目标的识别，但变电站场景复杂，实现电力作业各个环节的关键目标识别还有待深入研究。
3.将真实场景视频信息融合到三维虚拟模型中是虚拟现实技术的一个分支，或者说是虚拟现实的一个发展阶段。三维视频融合技术是指把一个或多个由摄像机图像序列的视频和与之相关的三维虚拟场景加以匹配、融合，生成一个新的关于此场景的动态虚拟场景或模型，实现虚拟场景与实时视频的融合。三维视频融合技术，可依托于单独的三维引擎，实现小范围或局部的三维场景与视频等资源的融合应用，也可依托于三维地理信息系统，实现全球广域范围内的三维地理信息可视化融合应用。
4.在电力作业现场，对作业人员的位置进行准确有效的定位是预防意外发生、保障工作人员安全的重要依据。目前对电力作业现场的作业人员进行位置定位的手段多采用gps、北斗定位系统和uwb定位系统实现，但是仅仅依靠于gps、北斗定位系统和uwb定位系统无法提取精确的空间位置信息，同时在电力作业现场存在遮挡、目标姿态变化、光照等问题，也会影响在电力作业现场对于作业目标的定位。
5.综上所述，基于视觉的目标检测、识别和跟踪算法的研究取得了一定的研究进展,但如何处理遮挡、目标姿态变化、光照等问题的影响仍然是研究的重点。现有的视觉定位算法处理的视频图像数据是目标从三维空间到二维空间的投影，无法提取精确的空间位置信息。
6.现有技术存在的问题如下：现有用于电力作业现场的视觉定位算法处理的视频图像数据是目标从三维空间到二维空间的投影，无法提取三维空间精确的空间位置信息。


技术实现要素：

7.本技术所要解决的技术问题是现有用于电力作业现场的视觉定位算法处理的视频图像数据是目标从三维空间到二维空间的投影，无法提取三维空间精确的空间位置信息，目的在于提供电力作业现场的高精度空间定位方法、系统、设备及介质，通过在动态目标上配带uwb或北斗定位标签，在运动目标定位的基础上，对其进行图像处理，实现运动目标在三维场景中的精细化重构，从而获得动态目标的实时位置信息并在三维场景中实时更新动态目标模型位置状态，解决了现有的视觉定位算法无法提取三维空间精确的空间位置信息问题。
8.本技术通过下述技术方案实现：本技术第一方面提供电力作业现场的高精度空间定位方法，包括s1、基于视觉定位技术，获取电力作业运动目标的定位；其中，对室内的电力作业运动目标采用uwb辅助视觉定位技术，对室外的电力作业运动目标采用北斗辅助视觉定位技术；uwb辅助视觉定位技术包括uwb辅助的被动视频定位；s2、根据电力作业运动目标的定位，对电力作业运动目标进行图像分析，得到电力作业运动目标的特征信息并构建电力作业运动目标的三维模型；s3、根据特征信息细化电力作业运动目标的三维模型，得到高精度三维模型并实时更新所述高精度三维模型在三维场景中的定位。
9.在上述技术方案中，对室内的电力作业运动目标采用uwb辅助视觉定位技术，对室外的电力作业运动目标采用北斗辅助视觉定位技术，通过将单纯的uwb定位技术、北斗定位技术与视觉定位技术相结合，可以获取电力作业运动目标在三维空间中的定位，减小电力作业场景干扰、遮挡等问题，从而实现厘米级定位。通过在电力作业运动目标上佩戴uwb标签或北斗定位标签，在运动目标定位的基础上对运动目标进行图像分析，实现运动目标在三维场景中的精细化重构，从而获得运动目标的实时位置信息并在三维场景中实时更新运动目标模型位置状态，从而获得三维空间中电力作业运动目标的精确定位。
10.在一种可选实施例中，所述uwb辅助的被动视频定位的方法包括：通过两个相机形成的双目视觉系统对电力作业运动目标进行定位，获得电力作业运动目标在空间中的位置信息；基于uwb模型对电力作业运动目标进行定位，获得电力作业运动目标的uwb定位信息；综合电力作业运动目标在空间中的位置信息和电力作业运动目标的uwb定位信息，获得电力作业运动目标的定位。
11.在一种可选实施例中，综合电力作业运动目标在空间中的位置信息和电力作业运动目标的uwb定位信息的方法如下：将双目视觉系统测得的位置、航向和uwb模型测得的位置作为观测值，建立uwb/视觉融合观测方程；uwb/视觉融合观测方程如下：上式中，表示双目视觉系统vision测量的平面坐标，表示uwb测量的平面坐标，表示双目视觉系统的位置测量误差，表示 uwb 位置测量误差，表示双目视觉系统测量的平面坐标与uwb测量的平面坐标之间的偏转角，表示中间矩阵。
12.在一种可选实施例中，uwb模型的构建方法如下：
建立改进的抗差ekf模型，并采用改进的抗差ekf模型作为uwb模型的标准模型；采用统计方法判断改进的抗差ekf模型是否存在粗差；如果存在粗差，调用鲁棒ekf模型作为改进的抗差ekf模型；如果不存在粗差，调用ekf模型作为改进的抗差ekf模型。
13.在一种可选实施例中，北斗辅助视觉定位技术的定位方法包括：基于卡尔曼滤波模型和作业边界线预测位置，获取感兴趣区域；对感兴趣区域进行图像边缘检测，获取定位区域；通过多目视觉传感器构建多目视觉测量模型，通过多目视觉测量模型在定位区域中构建多目视觉坐标；基于加权lm算法，对通过多目视觉测量模型在定位区域中构建的多目视觉坐标进行优化，得到优化多目视觉坐标；基于北斗定位技术，将优化多目视觉坐标转化为全球定位系统的坐标。
14.在一种可选实施例中，基于卡尔曼滤波模型，通过多个视觉传感器动态获取感兴趣区域的方法如下：基于卡尔曼滤波预测当前直线位置，获得第一动态感兴趣区；基于投影法预测作业边界线在图像坐标中所在列号，以该列号为基准，结合当前摄像头调用情况，获得第二动态感兴趣区。
15.在一种可选实施例中，基于加权lm算法，对通过多目视觉测量模型在定位区域中构建的多目视觉坐标进行优化的方法如下：采用最小化重投影误差对物点变换至第i个多目视觉传感器后得到的图像坐标进行非线性优化；将多目视觉传感器到物体的距离进行归一化处理，并将归一化处理后的距离的倒数转化为加权因子；通过加权因子构建目标函数，将多目视觉坐标代入目标函数进行计算，得到优化多目视觉坐标。
16.本技术第二方面提供电力作业现场的高精度空间定位系统，包括uwb辅助视频定位模块，所述uwb辅助主动视频定位模块用于获取室内电力作业运动目标的定位，所述uwb辅助主动视频定位模块包括用于初始化环境图像和imu数据的初始化单元、用于获取视觉坐标的视觉/惯性组合单元和用于获取uwb坐标的超宽带单元；北斗辅助视觉定位模块，所述北斗辅助视觉定位模块用于获取室外电力作业运动目标的定位，所述北斗辅助视觉定位模块包括用于减少环境因素对作业边界线提取的动态感兴趣区域模块、用于构建多目视觉区域坐标的多目视觉模块和用于将多目视觉区域坐标转化为全球定位系统坐标的北斗定位模块。
17.本技术第三方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时用于实现电力作业现场的高精度空间定位方法。
18.本技术第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于实现电力作业现场的高精度空间定位方法。
19.本技术与现有技术相比，具有如下的优点和有益效果：
通过在动态目标上配带uwb或北斗定位标签，在运动目标定位的基础上，对其进行图像处理，实现运动目标在三维场景中的精细化重构，从而获得动态目标的实时位置信息并在三维场景中实时更新动态目标模型位置状态，通过验证实验证明重构的动态模型与实际尺寸的误差小于1%。
附图说明
20.为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：图1为本技术一实施例提供的电力作业现场的高精度空间定位方法的流程示意图；图2为本技术一实施例提供的多目视觉融合北斗定位的坐标变换示意图；图3为本技术一实施例提供的速度为0.4m/s时试验场地中的辅助导航追踪结果图；图4为本技术一实施例提供的速度为0.8m/s时试验场地中的辅助导航追踪结果图；图5为本技术一实施例提供的速度为1.2m/s时试验场地中的辅助导航追踪结果图。
具体实施方式
21.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
22.实施例1本实施例提供了一种电力作业现场的高精度空间定位方法，其方法的流程如图1所示，包括：步骤s1、基于视觉定位技术，获取电力作业运动目标的定位信息。
23.其中，对室内的电力作业运动目标采用uwb辅助视觉定位技术，对室外的电力作业运动目标采用北斗辅助视觉定位技术；uwb辅助视觉定位技术包括uwb辅助的主动视频定位和uwb辅助的被动视频定位。
24.其中，对于未配置视觉系统的穿戴设备，可通过变电站安装的摄像机结合uwb技术实现运动目标的定位。
25.其中，采用改进的抗差ekf模型作为uwb模型的标准模型。
26.在改进抗差ekf定位模型中，抗差ekf增益矩阵构造如下：
和是稳健参数，取2.5-3.5，取3.5-4.5，为ekf模型的增益矩阵，为抗差优化后的增益矩阵，为残差相关阈值。
[0027]27.表示观测向量维度。、和分别表示观测向量的预测残差、冗余观测分量和测量标准差。冗余观测分量可表示为：量和测量标准差。冗余观测分量可表示为：和分别是残差向量的协方差矩阵和观测值的权重矩阵。每次更新迭代给定迭代次数，状态预测值，如下：预测残差，如下：，如下：在t时刻迭代的状态预测值由t-1时刻的状态滤波值及其预测残差确定，表示某时刻迭代结束的计算赋值，表示初始时刻的预测值，为分布特性的矩阵，为测量值观测。根据上述公式计算等效增益矩阵，抗差滤波值为：计算等效增益矩阵，抗差滤波值为：为抗差ekf增益矩阵，为t时刻迭代结束的计算值，为由t-1时刻预测的t时刻预测值。如果与之差小于给定的极限差，则迭代结束。当t=1时，是k时刻标准ekf的赋值。后验协方差矩阵为：是k时刻标准ekf的赋值。后验协方差矩阵为：表示状态向量维度，是迭代结束时的最终等价卡尔曼滤波增益矩阵，为协方差矩阵。
[0028]
为了提高定位的角度，构建顾及视觉尺度因子和初始方向的视觉/uwb融合ekf定位模型，状态与量测方程分别表示为：上式中，和分别表示状态方程和量测方程，和分别是协方差阵和的独立、零均值、高斯噪声过程，为状态转移矩阵，h为分布特性的矩阵。
[0029]
上式中，，表示平面坐标，表示行人速度，表示移动方向角，表示比例尺模糊度，表示视觉计算的平面坐标与uwb计算的平面坐标之间的偏转角。
[0030]
根据视觉和uwb的误差方程，对应的状态模型为：如果将视觉测得的位置、航向和 uwb 测得的位置作为观测值，则 uwb/视觉融合观测方程可表示为：上式中，表示双目视觉系统vision测量的平面坐标，表示uwb测量的平面坐标，表示双目视觉系统的位置测量误差，表示 uwb 位置测量误差，表示双目视觉系统测量的平面坐标与uwb测量的平面坐标之间的偏转角。
[0031]
在一种可选实施例中，对于室外的电力作业运动目标，可以采用北斗辅助视觉定位技术。受制于北斗定位精度和现场作业施工设备运动、地理环境限制，目前单纯依靠北斗定位仅可实现米级精度定位，无法满足动态电力作业场景的厘米级高精度定位需求。故将北斗定位技术与多目视觉辅助定位技术相结合以提供定位精度。
[0032]
如图2所示，该图中的坐标系为建立在优化过的加权lm算法迭代后的坐标系，取坐标系中一点，已知行驶航线上的一点p在坐标系下的坐标为、g点在坐标系下的坐标为，以g点为原点建立坐标系，则p点在坐标系下的坐标为其中，中坐标的单位是像素，可由此得出单位为长度m的坐标(x
l
，y
l
)：以相机上固定点c为原点建立坐标系，可测得c点到地面g点得水平距离为l1为
2.5m，可知p点oc在坐标系下的坐标为：施工机械安装有北斗定位导航装置，通过解算可以得出车辆控制点m点在大地平面坐标系o中的单位为m的坐标及车辆的航向角。以m点为原点建立坐标系om，测得和相机上固定点oc的距离为l2，p点在om坐标系下的坐标为：通过定位系统可知m在大地坐标系o中的坐标为(xw，yw)，通过计算可得p点在大地坐标系下的坐标(xo，yo)，即：综上所述，已知航线路径上一点p的图像坐标(x
p
，y
p
)，可得其在全球定位系统中的坐标(xo，yo)，即：其中，为矩阵，为矩阵，为矩阵，为矩阵，为矩阵。
[0033]
在多目视觉测量系统中，通常采用最小化重投影误差的方式进行非线性优化，即上式中：表示调整前物点变换至第i个相机后得到的图像坐标，表示调整后的物点变换至第i个相机后得到的图像坐标。当各相机参数、测量环境等因素均相同时，相机到物点的距离对成像噪声影响较为明显，距离越远，噪声越大，反之噪声越小。在设计目标函数时，将相机到物点距离的倒数转化为加权因子，同时为了增加不同相机之间的可比性，对距离信息进行归一化处理。
[0034]
上式中，为加权因子，为物点o到相机i的距离，为oi物点的坐标，为ci相机的坐标。因此，最终的目标函数为将代入目标函数并转化为方程组形式，可得上式中xw、yw、zw表示三维空间的单位矢量；为参量系数，f
ui
、f
vi
为优化的子目标函数，ui，vi为迭代求解的中间变量。
[0035]
计算式关于的导数，可得雅可比矩阵为上式中，雅可比矩阵j里面的值分别为f
ui
、f
vi
关于xw、yw、zw方向的一阶偏导数。将上式代入下式中，可得增量为上式代入下式中，可得增量为上式中，μ为更新后的阻尼系数。因此，采用加权lm算法对通过多目视觉测量模型在定位区域中构建的坐标进行优化，具体计算步骤如下：（1）根据正交投影法计算物点坐标初值 ,设置迭代终止常量为e、实际下降效果阈值为ε、迭代次数为k，并初始化μ;（2）根据当前估算的物点世界坐标及相机参数，利用关于的导数求解雅可比矩阵j，并计算μ;（3）计算增量δp;（4）计算ρ，评估当前下降效果;（5）若ρ《ε，则μ=0.5μ，并返回步骤（3），否则 ，继续执行步骤（6）；（6）若或迭代次数大于等于k，停止迭代，输出优化后的结果;否则返回步骤（2）进入下一轮迭代。
[0036]
为了对作业边界线提取算法实时性进行分析，本实施例统计了100幅施工过程图片在算法改进前后的各图像处理步骤，以及整个图像处理过程的平均时间，其结果如下表所示：由上表中数据可知，平均每幅图像处理时间由算法改进前的0.176087s缩短至0.064547s，比原处理时间缩短了63.3%，算法改进后的图像处理时间能较好地满足导航系统对图像处理时间的需求。
[0037]
速度为0.4m/s时，场地中的辅助导航追踪结果图如图3所示，速度为0.4m/s时田间地块中的辅助导航结果如下表所示：由图3和上表可知，施工机械以0.4m/s的速度在试验场地中进行直线作业时，在初始偏差为30cm的情况下，首次作业至横向偏差至0后，最大横向偏差为6.5cm，平均值为0.49cm，标准差为3.05cm。其结果表明施工机械在试验场地可以在有较大初始偏差的情况下通过不断更新北斗定位数据和视觉图片信息，系统仿真轨迹与施工机械实际位置趋同。随着作业跟踪时间延长，仿真作业定位精度越发稳定，辅助导航效果可以很好满足要求。
[0038]
速度为0.8m/s时，场地中的辅助导航追踪结果图如图4所示，速度为0.8m/s时田间地块中的辅助导航结果如下表所示：由图4和上表可知，施工机械以0.8m/s的速度在试验场地中进行直线作业时，在初始偏差为30cm的情况下，首次作业至横向偏差至0后，最大横向偏差为13.7cm，平均值为0.82cm，标准差为5.98cm。在有较大初始偏差的情况下调节施工机械位姿，使得施工机械按照预计的轨迹行走。其结果表明施工机械在试验场地可以在有较大初始偏差的情况下通过
不断更新北斗定位数据和视觉图片信息，系统仿真轨迹与施工机械实际位置趋同。随着作业跟踪时间延长，仿真作业定位精度越发稳定，辅助导航效果可以很好满足设计要求。
[0039]
速度为1.2m/s时，场地中的辅助导航追踪结果图如图5所示，速度为0.8m/s时田间地块中的辅助导航结果如下表所示：由图5和上表可知，施工机械以1.2m/s的速度在试验场地中进行直线作业时，在初始偏差为30cm的情况下，首次作业至横向偏差至0后，最大横向偏差为19.2cm，平均值为1.40cm，标准差为7.06cm。其结果可基本满足辅助导航设计要求，但在辅助导航过程中出现小范围明显的波动，后续通过车轮印记分析，是施工机械在形式过程中刹车转向导致，该偏差不影响仿北斗辅助视觉定位技术在仿真系统中的应用效果。
[0040]
场地试验结果表明，施工机械分别以0.4m/s、0.8m/s、1.2m/s 的速度行进实验时，横向偏差的最大值分别为 6.5cm、13.7cm、19.2cm，偏差平均值分别为0.49cm，0.87cm，1.40cm，偏差标准差分别为3.05cm，5.98cm，7.06cm，定位精度高于单纯依靠北斗导航定位精度，可满足电力作业环境下，仿真系统辅助导航的定位精度要求。
[0041]
步骤s2、通过对该定位上的电力作业运动目标进行图像分析，获得电力作业运动目标的特征信息并构建电力作业运动目标的三维模型。
[0042]
采用实景三维模型扫描技术、点云融合技术、精细化建模技术对多种检修车、作业人员进行建模，还原其真实结构、纹理。检修车模型按型号命名，与作业人员模型形成动态目标精细化模型库。
[0043]
对于检修车，通过图像识别技术识别出其型号编码，将其型号编码作为特征信息。
[0044]
具体而言，步骤如下：a、采用动态采集的方式，从监控视频的实时视频流图像中采集车辆信息。
[0045]
b、对采集到检修车型号编码图像进行噪声过滤、对比度增强、图像缩放等预处理。
[0046]
c、依据牌照纹理特征、颜色特征和形状特征等信息，采用投影分析、连通域分析、机器学习等算法检测车牌。投影分析方法根据车牌字符与背景交替出现的次数相比于其他部分要多这个特征，通过图像在水平和垂直方向的投影分析来定位检修车型号编码。
[0047]
连通域分析根据检修车型号编码中的每个字符都是一个连通域且这些连通域的结构和颜色都一致的特征，通过检测并合并这些连通域来定位检修车型号编码。
[0048]
d、提取出检修车型号编码区域后，需要再对检修车型号编码区域以一个字符为单位进行分割。
[0049]
e、对分割后的字符的灰度图像进行归一化处理，特征提取，然后经过机器学习或与字符数据库模板进行匹配，最后选取匹配度最高的结果作为识别结果。
[0050]
对于作业人员，通过图像识别技术识别出具有个体代表性的外貌表观特征和几何特征作为特征信息。
[0051]
具体而言，步骤如下：a、建立人脸图像数据库。
[0052]
b、根据人脸特征信息，提取人脸图像数据库中的人脸图像特征。
[0053]
步骤s3、根据特征信息细化电力作业运动目标的三维模型，获取高精度三维模型以及该高精度三维模型在三维场景定位更新。
[0054]
动态目标精细化模型库中包含各种检修车模型、作业人员模型。对于检修车，通过识别到的型号编码在数据库中进行提取；对于作业人员，通过识别到的人员姓名进行提取，并根据作业人员信息中的身高，调整三维模型。
[0055]
通过在动态目标上配带uwb或北斗定位标签，在运动目标定位的基础上，采用括图像采集、预处理、型号编码定位、字符分割、字符识别、结果输出等一系列算法运算，实现运动目标在三维场景中的精细化重构，从而获得动态目标的实时位置信息并在三维场景中实时更新动态目标模型位置状态，通过验证实验证明重构的动态模型与实际尺寸的误差小于1%。
[0056]
实施例2本实施例在实施例1的基础上提供了一种电力作业现场的高精度空间定位系统，包括：uwb辅助视频定位模块，uwb辅助视频定位模块用于获取室内电力作业运动目标的定位，所述uwb辅助视频定位模块包括用于初始化环境图像和imu数据的初始化单元、用于获取视觉坐标的视觉/惯性组合单元和用于获取uwb坐标的超宽带单元；北斗辅助视觉定位模块，北斗辅助视觉定位模块用于获取室外电力作业运动目标的定位，所述北斗辅助视觉定位模块包括用于减少环境因素对作业边界线提取的动态感兴趣区域模块、用于构建多目视觉区域坐标的多目视觉模块和用于将多目视觉区域坐标转化为全球定位系统坐标的北斗定位模块。
[0057]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。