一种水电厂工业环境标准作业引导管控方法及装置与流程

本发明涉及增强现实工业辅助作业，具体涉及一种水电厂工业环境标准作业引导管控方法及装置。

背景技术：

1、在水电厂地下厂房、廊道及竖井等复杂工业场景中，增强现实技术已广泛应用于设备巡检与标准作业引导。技术方案包括基于视觉标记的定位方案、基于卫星与惯导的室外导航方案，以及基于视觉同步定位与建图的空间注册方法和电子化标准作业程序（standard operating procedure，sop）管理系统。这些方案通过实时构建环境地图估计位姿及清单呈现，在常规环境的基础虚实融合与作业指导上取得了一定的应用效果。

2、然而，现有的工业增强现实辅助作业方案普遍采用固定参数的空间注册与静态的电子化清单呈现模式，系统仅输出基础的定位坐标与步骤列表，而不具备对环境退化及作业风险的自适应感知能力。为提升定位稳定性与交互效率，部分方案引入了多传感器融合机制，例如结合深度相机与惯性测量单元进行位姿补偿，或采用降噪算法优化高噪声环境下的语音识别等。

3、现有工业增强现实辅助作业相关技术存在诸多技术缺陷：第一，仅对全局场景采用统一的视觉特征提取与匹配阈值，缺乏对空间异方差噪声的建模约束，生成的空间注册结果在光照昏暗、纹理重复的退化环境中容易发生特征丢失与位姿漂移，导致虚实锚定严重偏移；第二，空间定位与sop步骤管控各自独立运行，缺乏统一的空间语义框架进行协同绑定，且对步骤执行采用单次二元判定，当视觉比对在昏暗环境中出现误判时无法给出可靠的强制管控结论；除此之外，高噪声及佩戴防护用具约束下的交互确认机制未附带经过统计校准的可靠性量化，作业人员无法判断步骤验证的置信水平，在强制管控场景中缺乏动态自适应的可信度保障。

技术实现思路

1、本发明的目的在于克服现有技术的上述缺陷，提供一种水电厂工业环境标准作业引导管控方法及装置，用于解决现有技术中水电站复杂退化环境下视觉定位易漂移、作业步骤验证可靠性难以量化的技术问题。

2、本发明的技术方案如下：

3、本发明提供一种水电厂工业环境标准作业引导管控方法，包括:

4、采集增强现实头戴设备的多传感器数据流，通过视觉-惯导紧耦合融合定位与建图，构建语义三维稠密地图，并为所述语义三维稠密地图的各网格单元计算视觉噪声指数；基于所述语义三维稠密地图，在各巡检位点建立多模态空间指纹库；基于所述多模态空间指纹库对所述增强现实头戴设备进行粗定位，再对所述多传感器数据流进行视觉特征匹配精定位，并依据所述视觉噪声指数自适应设定锚定验证强度，得到锚定结果；依据所述锚定结果在增强现实视野中渲染标准作业引导信息，对作业步骤的历史验证结果进行统计，得到所述作业步骤的验证失败概率上界，依据所述验证失败概率上界自适应设定步骤验证强度并进行步骤级强制管控，得到步骤管控结果；融合多通道交互事件对所述步骤管控结果进行确认，并将作业过程数据封装推送至后方协同看板。

5、进一步地，所述基于所述多模态空间指纹库对所述增强现实头戴设备进行粗定位，再对所述多传感器数据流进行视觉特征匹配精定位，并依据所述视觉噪声指数自适应设定锚定验证强度，得到锚定结果，包括：当所述增强现实头戴设备进入巡检位点时，查询所述巡检位点所在网格单元的视觉噪声指数；将所述视觉特征匹配精定位的匹配阈值设定为基准阈值与所述视觉噪声指数经线性映射所得系数的乘积；将锚定所需的连续一致帧数设定为基准帧数与所述视觉噪声指数经线性映射所得增量之和；将时序验证窗口大小设定为所述连续一致帧数与预设窗口增量之和；按照所述匹配阈值对所述多传感器数据流进行视觉特征匹配精定位，并在所述时序验证窗口内对精定位所得位姿进行锚定验证，在连续通过验证的帧数达到所述连续一致帧数时，判定锚定成功，得到所述锚定结果；当所述视觉噪声指数超过预设噪声阈值时，触发多模态辅助验证，要求操作人员通过语音确认或实体按键确认所述锚定结果。

6、进一步地，所述视觉噪声指数通过如下方式得到并更新，包括：统计所述网格单元在历次定位与建图过程中的平均特征点提取数、视觉特征匹配置信度均值及匹配内点率均值；将所述平均特征点提取数、所述视觉特征匹配置信度均值及所述匹配内点率均值分别归一化后取补，得到归一化特征缺失度、归一化匹配置信缺失度及归一化内点缺失度；将所述归一化特征缺失度、所述归一化匹配置信缺失度及所述归一化内点缺失度按第一权重、第二权重及第三权重加权求和，得到所述网格单元的视觉噪声指数；其中，所述第一权重、所述第二权重及所述第三权重之和为一；将各网格单元的视觉噪声指数以热力图形式存储于所述语义三维稠密地图的元数据中；在完成锚定验证后，记录本次锚定验证过程中观测到的视觉特征匹配质量指标作为本次观测噪声指数；将本次锚定验证所在网格单元的视觉噪声指数更新为更新前视觉噪声指数与所述本次观测噪声指数的加权和，且所述更新前视觉噪声指数的权重大于所述本次观测噪声指数的权重。

7、进一步地，所述对作业步骤的历史验证结果进行统计，得到所述作业步骤的验证失败概率上界，包括：在每次执行作业步骤后，记录包含步骤标识、空间区域标识、环境光照与纹理条件、视觉比对得分、操作人员确认方式及后续异常标志的结构化验证日志元组；若所述作业步骤被判定为已完成，但在预设时长内所述作业步骤对应的待巡检设备出现与所述作业步骤相关的缺陷，则将所述后续异常标志置为假阴性；将各作业步骤的所述结构化验证日志元组归集，得到所述作业步骤的历史验证结果；基于所述历史验证结果，为每一作业步骤维护一个二项分布的贝叶斯后验模型，所述贝叶斯后验模型的先验为两个形状参数均为一的贝塔分布；针对所述历史验证结果中所述作业步骤的每一条结构化验证日志元组，若所述后续异常标志为假阴性则将所述贝塔分布的第一形状参数加一，否则将所述贝塔分布的第二形状参数加一，得到更新后的贝塔分布；将所述作业步骤的估计失败概率确定为所述第一形状参数与所述第一形状参数及所述第二形状参数之和的比值，所述估计失败概率为所述更新后的贝塔分布的期望值；将所述更新后的贝塔分布在预设置信水平下的分位数确定为所述作业步骤的验证失败概率上界，所述预设置信水平下的分位数为使所述更新后的贝塔分布的累积分布函数取值等于所述预设置信水平的失败概率取值，且所述验证失败概率上界大于所述更新后的贝塔分布的期望值。

8、进一步地，所述方法还包括：当所述验证失败概率上界小于第一安全阈值时，将步骤验证强度设定为基准验证强度，以所述基准验证强度对所述作业步骤进行管控；当所述验证失败概率上界不小于所述第一安全阈值且不大于第二安全阈值时，将步骤确认阈值设定为小于基准确认阈值的第一确认阈值，并将重验证次数设定为大于基准重验证次数的第一重验证次数，以所述第一确认阈值及所述第一重验证次数对所述作业步骤进行管控，所述第二安全阈值大于所述第一安全阈值；当所述验证失败概率上界大于所述第二安全阈值时，触发增强验证模式，要求所述作业步骤同时通过视觉比对、语音确认及实体按键确认三重验证方可通过；将各所述作业步骤的估计失败概率与一的差值进行连乘，得到巡检全程无漏判的联合安全度；将所述估计失败概率最大的前预设数目个作业步骤确定为安全瓶颈步骤，并在巡检计划中为所述安全瓶颈步骤预留额外的验证时间与验证资源。

9、进一步地，所述通过视觉-惯导紧耦合融合定位与建图，构建语义三维稠密地图，包括：在所述增强现实头戴设备上部署三路计算精度互不相同的定位与建图并行管线，三路并行管线共享所述多传感器数据流，所述三路并行管线包括第一管线、第二管线及第三管线；将所述第一管线以第一运算精度进行推理，在每间隔预设帧数的采样帧上运行，得到所述第一管线的位姿估计，所述第一管线的位姿估计作为位姿校准基准；将所述第二管线以第二运算精度进行推理，在全帧率下逐帧运行，得到所述第二管线的位姿估计，所述第二运算精度低于所述第一运算精度；将所述第三管线以第三运算精度对视觉特征描述子二值化后运行，得到所述第三管线的位姿估计，所述第三运算精度低于所述第二运算精度；对所述第二管线的位姿估计与所述第三管线的位姿估计进行融合，得到融合位姿，并在所述采样帧上以所述位姿校准基准对所述融合位姿进行校正，得到校正后位姿；基于所述校正后位姿，通过视觉-惯导紧耦合融合建图，构建所述语义三维稠密地图。

10、进一步地，所述方法还包括：对所述第一管线的位姿估计、所述第二管线的位姿估计及所述第三管线的位姿估计按与各自计算精度正相关的权重计算一阶矩，得到矩融合位姿，并将所述矩融合位姿作为定位与建图的位姿输出；对所述第一管线的位姿估计、所述第二管线的位姿估计及所述第三管线的位姿估计计算相对于所述矩融合位姿的二阶矩，得到位姿协方差矩阵，将所述位姿协方差矩阵的迹作为融合不确定性；对所述第一管线的位姿估计、所述第二管线的位姿估计及所述第三管线的位姿估计计算相对于所述矩融合位姿的四阶矩，得到各管线的四阶矩偏离量；将所述四阶矩偏离量超过预设偏离阈值的管线确定为离群管线；当检测到所述离群管线时，将所述离群管线的计算精度调整为大于所述离群管线当前计算精度的目标计算精度，或将所述离群管线的位姿估计对所述矩融合位姿的权重置零，暂停所述离群管线对所述矩融合位姿的贡献。

11、进一步地，所述方法还包括：监测所述增强现实头戴设备的电量与散热状态，得到电量监测值与散热温度监测值；当所述电量监测值大于第一电量阈值时，开启所述第一管线、所述第二管线及所述第三管线，得到当前运行管线集合；当所述电量监测值不大于所述第一电量阈值且不小于第二电量阈值时，将所述第三管线从所述当前运行管线集合中关闭，保留所述第一管线与所述第二管线，所述第一电量阈值大于所述第二电量阈值；当所述电量监测值小于所述第二电量阈值时，将所述第一管线与所述第三管线从所述当前运行管线集合中关闭，仅保留所述第二管线，并触发节能巡检模式，以引导操作人员前往光照满足预设条件的区域；当所述散热温度监测值超过预设温度阈值时，将所述当前运行管线集合中所述第一管线的运行帧率调整为小于所述第一管线当前运行帧率的目标运行帧率。

12、进一步地，提供一种水电厂工业环境标准作业引导管控装置，包括：建图模块，用于采集增强现实头戴设备的多传感器数据流，通过视觉-惯导紧耦合融合定位与建图，构建语义三维稠密地图，并为所述语义三维稠密地图的各网格单元计算视觉噪声指数；指纹建库模块，用于基于所述语义三维稠密地图，在各巡检位点建立多模态空间指纹库；虚实锚定模块，用于基于所述多模态空间指纹库对所述增强现实头戴设备进行粗定位，再对所述多传感器数据流进行视觉特征匹配精定位，并依据所述视觉噪声指数自适应设定锚定验证强度，得到锚定结果；作业管控模块，用于依据所述锚定结果在增强现实视野中渲染标准作业引导信息，对作业步骤的历史验证结果进行统计，得到所述作业步骤的验证失败概率上界，依据所述验证失败概率上界自适应设定步骤验证强度并进行步骤级强制管控，得到步骤管控结果；交互协同模块，用于融合多通道交互事件对所述步骤管控结果进行确认，并将作业过程数据封装推送至后方协同看板。

13、本发明的有益效果在于：

14、第一，通过为语义三维稠密地图的各网格单元计算视觉噪声指数并以热力图形式持久化存储，使增强现实头戴设备能够依据所在区域的视觉条件差异自适应设定锚定验证强度，高噪声区域采用低匹配阈值、多帧验证及多模态辅助验证，低噪声区域采用高匹配阈值、少帧快速确认，将锚定验证资源在空间上按需分配，克服了传统统一参数在水电站主厂房、廊道、竖井等差异极大区域中要么资源浪费要么能力不足的弊端，提升了退化环境下的虚实锚定鲁棒性；

15、第二，通过为每一作业步骤维护贝塔分布的贝叶斯后验模型并以预设时长内是否出现相关缺陷作为假阴性标志持续更新，将步骤验证机制本身的可靠性从二元判定升维为可量化的验证失败概率上界，并依据上界将步骤验证强度自适应划分为基准验证、增强重验证、三重验证三档，同时以全部作业步骤的估计失败概率与一的差值连乘得到巡检全程无漏判的联合安全度，将验证资源向安全瓶颈步骤倾斜，使作业步骤验证可靠性的量化与自适应调整成为可能；

16、第三，通过在增强现实头戴设备上部署全精度基准、第一量化精度实时与第二量化精度辅助三路并行管线，并按与计算精度正相关的权重对三路位姿估计计算一阶矩得到矩融合位姿、二阶矩得到融合不确定性、四阶矩检测离群管线，再依据电量三档与超温降帧率策略动态调整管线开关与运行帧率，在保证定位精度的同时显著降低功耗与散热压力，使增强现实巡检设备在六至八小时长任务周期内的续航得以保障。