一种用于巡检机器人的360度全景分析目标定位巡检方法和装置与流程
本发明涉及机器人巡检,尤其涉及一种用于巡检机器人的360度全景分析目标定位巡检方法、装置。
背景技术:
1、随着工业自动化和智能化水平的不断提升,巡检机器人已广泛应用于电力、石化、轨道交通、数据中心等场景,代替人工完成设备状态监测、环境安全巡检等任务。在巡检过程中,如何快速、准确地对环境中感兴趣的目标(如仪表、开关、阀门、异常热源等)进行定位和精细检查,是巡检机器人系统的核心技术问题之一。
2、现有技术中,已有若干方案尝试解决巡检机器人的目标定位问题。例如,中国专利cn110142785a公开了一种基于目标检测的巡检机器人视觉伺服方法,将深度学习算法部署在视觉模块中,在全景图像中实现目标设备定位,并计算角度偏差进行云台调用。然而,该方案仅针对单个目标进行伺服控制,缺乏对全景视野中多个目标的统筹分析和路径规划能力。
3、中国专利cn112270670b公开了一种电网巡检中的全景目标检测方法,将全景图像按虚拟焦距重新投影得到透视投影图像,再利用u-net网络进行目标分割。该方法虽然涉及全景图像处理,但主要聚焦于单一场景下的目标检测精度提升,未涉及多目标的方位角映射、空间聚类和巡检路径优化。
4、中国专利cn114905512a公开了一种智能巡检机器人全景追踪及避障方法,采用高分辨率网络(hrnet)架构识别移动目标。该方案侧重于对动态目标的追踪和避障,但对于静态巡检目标的系统性定位和有序检查缺乏有效解决方案。
5、中国专利cn109596121b公开了一种机动站自动目标检测与空间定位方法,在移动平台上集成全景相机和惯性测量单元(imu)进行目标空间定位。该方法虽然结合了全景视觉和惯性测量,但定位精度受限于传感器融合算法的复杂性,且未解决全景图像中多目标智能分配和高效巡检路径的生成问题。
6、中国专利cn120721099b公开了一种用于巡检机器人的路径规划方法及系统,将各巡检目标的拍摄配置作为路径节点构建代价函数,通过多目标优化算法生成巡检路径。该方法虽然考虑了多目标的路径优化,但未利用全景视觉进行目标发现和方位角映射,目标信息仍需预先配置,缺乏在线感知和动态更新能力。
7、中国专利cn111091117b公开了一种用于二维全景图像的目标检测方法,将全景图像转换为三维空间全方位图像进行目标检测。该方法涉及全景像素坐标到三维空间坐标的映射,但未涉及多目标的空间聚类、优先级排序和巡检路径的自动生成。
8、此外,在学术研究方面,多目标跟踪技术(如omnitrack++)已在全景视频领域取得进展,但其主要关注动态目标的跟踪关联,未涉及面向巡检场景的静态目标优先级排序和粗检-精检协同机制。
9、综上所述,现有技术存在以下不足:(1)大多针对单一目标检测定位,缺乏全景多目标统筹分析能力;(2)全景图像展开后0°/360°边界处目标可能被截断为两个独立检测结果,现有技术未提出有效的边界合并策略;(3)缺少基于目标重要性、距离、时间紧迫度和异常历史的综合优先级评估;(4)缺少置信度驱动的自适应重检机制;(5)全景粗检与高清精检的协同机制不够完善。因此,亟需一种能够实现360度全景多目标智能定位和高效巡检的技术方案。
技术实现思路
1、本发明的目的在于克服现有技术的不足,提供一种用于巡检机器人的360度全景分析目标定位巡检方法、装置,能够实现对全景视野中多个目标的智能检测、精确定位、优先级排序和有序巡检,并具备环绕边界目标合并和置信度驱动的自适应重检能力,显著提升巡检效率和准确性。
2、本发明提供的一种用于巡检机器人的360度全景分析目标定位巡检方法,所述方法包括:
3、s1、全景图像采集:通过安装在巡检机器人上的360度全景相机采集当前环境的全景图像,所述全景相机采用鱼眼镜头或多镜头拼接方案,获取覆盖机器人周围360度水平视场和180度垂直视场的球面全景图像;在每次采集时,连续采集n帧全景图像(n≥3),用于后续的多帧时序融合处理;
4、s2、球面展开预处理:对采集的球面全景图像进行等距柱状投影展开,生成二维平面全景图;对展开图像进行畸变校正、对比度增强和去噪处理,得到预处理后的全景展开图像;
5、s3、多帧时序融合目标检测:将预处理后的n帧全景展开图像分别输入预先训练好的目标检测模型进行检测,所述目标检测模型基于改进的yolo架构,针对全景图像的畸变特性进行了数据增强训练;对n帧检测结果进行时序融合:采用非极大值抑制(nms)结合帧间目标匹配,将多帧中匹配成功的同一目标的置信度取加权平均作为融合置信度,仅保留融合置信度高于阈值的目标,输出每个检测目标的边界框、类别标签和融合置信度分数;
6、s4、目标方位角计算:对于每个检测到的目标,根据其边界框中心在全景展开图像中的像素坐标(u_c, v_c),结合全景相机的内参和展开映射关系,计算该目标相对于机器人的方位角θ和俯仰角φ;所述方位角θ的计算公式为:θ = (u_c / w) × 360°,其中w为全景展开图像的水平像素宽度;所述俯仰角φ的计算公式为:φ = (0.5 - v_c / h) ×180°,其中h为全景展开图像的垂直像素高度;对于接近水平边界(u_c接近0或w)的目标,采用球面插值方法修正方位角;
7、s5、环绕边界目标合并:检测全景展开图像中跨越0°/360°水平边界的成对目标;具体地,对于检测到的两个目标ti和tj,若满足以下条件则判定为同一目标被边界截断的两部分,执行合并操作:(a)ti的水平边界框右边缘接近全景图右边界(u_right>w -margin),tj的左边缘接近左边界(u_left 8、s6、多目标聚类分析:基于各目标的方位角信息、俯仰角信息和类别标签,采用引入类别一致性约束的dbscan密度聚类算法对检测到的多个目标进行空间聚类;聚类特征向量为(θ, φ, class_id),其中class_id为类别编号;在聚类距离度量中,对方位角采用圆周距离(考虑0°/360°环绕),对类别差异引入惩罚系数,使得同类且空间相近的目标更倾向于归为同一簇;邻域半径ε根据目标在全景展开图像中的像素间距自适应设定;每个簇代表一个巡检区域; 9、s7、综合优先级排序:对每个检测目标或目标簇计算综合优先级评分p,所述优先级评分p综合考虑目标重要性权重w_type、距离权重w_dist、时间紧迫度w_time和异常历史权重w_hist,计算公式为:p = α·w_type + β·w_dist + γ·w_time + δ·w_hist,其中α、β、γ、δ为可调权重系数且α+β+γ+δ=1;根据综合优先级评分对所有目标或目标簇进行降序排列,生成有序巡检任务队列;其中异常历史权重w_hist根据目标的历史异常频次和最近异常时间计算,历史异常频次越高且最近异常时间越近则w_hist越大; 10、s8、机器人导航定位:根据巡检任务队列中目标的方位角信息,结合机器人当前位姿和预设的电子地图,规划机器人移动路径;路径规划采用考虑优先级权重和总移动距离联合优化的方法,控制机器人自主导航至距离目标最近的巡检停靠点; 11、s9、云台精准对准与高清复核:机器人到达停靠点后,根据目标相对于机器人的精确方位角和俯仰角,控制云台旋转至对应角度,使高清相机对准目标;通过高清相机采集目标的高分辨率图像,进行精细化的状态识别和异常检测; 12、s10、置信度-距离联合重检判定:对高清复核的识别结果进行置信度评估,若目标的识别置信度低于预设的第一置信度阈值,且机器人与目标的距离大于预设的距离阈值,则触发重检操作;重检时,增加检测帧数或缩短机器人与目标的距离后重新采集高清图像进行识别,直至识别置信度满足要求或达到最大重检次数; 13、s11、异常判定与告警:对高清图像(或重检后的图像)进行最终异常分析,判定目标是否存在异常;若检测到异常,则生成告警信息并通过通信模块上报至监控平台,同时记录异常位置、类型和图像证据;若正常,则标记该目标已完成巡检。 14、s12、自适应动态更新:在巡检过程中,每完成一个目标簇的巡检后,周期性重新执行s1-s7,动态更新巡检任务队列,将新出现的目标纳入巡检范围,并根据实时环境变化调整剩余目标的优先级,然后继续执行更新后的巡检任务队列。 15、进一步地,所述s3中,目标检测模型的训练过程包括: 16、(1)采集包含各类巡检目标的全景图像样本,对样本进行标注; 17、(2)对标注样本进行全景畸变风格的数据增强,包括径向畸变模拟、球面投影变换和环带裁剪; 18、(3)采用迁移学习方式,在预训练的yolo模型基础上进行微调训练,得到适配全景图像的目标检测模型; 19、(4)在模型neck部分增加全景特征融合层(pff层),专门提取和融合全景图像中的跨视野边界特征。 20、进一步地,所述s5中,环绕边界目标合并的具体方法为: 21、(1)遍历所有检测目标,筛选出水平边界框与全景展开图像左边界或右边界距离小于margin的目标,组成候选边界目标集合; 22、(2)对候选边界目标集合中的目标两两配对,检查是否满足类别相同、垂直坐标相近、置信度相近的条件; 23、(3)对满足条件的配对,在球面坐标系下计算合并后的边界框,合并后的中心方位角θ_merged = atan2(sinθ_i + sinθ_j, cosθ_i + cosθ_j),俯仰角取两者的加权平均; 24、(4)移除原始的两个目标记录,替换为合并后的目标记录。 25、进一步地,所述s6中,dbscan聚类算法的具体参数设置如下: 26、邻域半径ε根据目标在全景展开图像中的像素间距设定,取值为目标边界框平均宽度的1.5-3倍对应的角度范围;最小样本数minpts设为1,确保单个目标也能构成独立簇; 27、在距离度量中,方位角差值采用圆周距离:δθ_circular = min(|θ_i - θ_j|,360° - |θ_i - θ_j|);类别差异惩罚通过在距离中增加常数项λ·i(class_i ≠ class_j)实现,其中i为指示函数,λ为惩罚系数。 28、进一步地,所述s7中: 29、目标重要性权重w_type根据目标类别预设定,关键设备类别取高权重,辅助设备取低权重; 30、距离权重w_dist = 1 / (1 + d/d),其中d为机器人到目标的估计距离,d为参考距离常数; 31、时间紧迫度w_time根据目标的历史巡检间隔和预设巡检周期计算,超时越久紧迫度越高; 32、异常历史权重w_hist = η·(n_abnormal / n_total) + (1-η)·exp(-δt_abnormal / t_decay),其中n_abnormal为历史异常次数,n_total为历史巡检总次数,δt_abnormal为距最近一次异常的时间间隔,t_decay为衰减时间常数,η为混合系数。 33、本发明还提供一种用于巡检机器人的360度全景分析目标定位巡检装置,包括: 34、全景图像采集模块,用于通过安装在巡检机器人上的360度全景相机连续采集多帧全景图像; 35、球面展开预处理模块,用于对球面全景图像进行等距柱状投影展开和图像预处理; 36、多帧时序融合检测模块,用于对多帧全景展开图像分别进行目标检测并融合结果,提升检测鲁棒性; 37、方位角计算模块,用于根据目标像素坐标计算其相对于机器人的方位角和俯仰角; 38、环绕边界目标合并模块,用于检测并合并全景展开图像中跨越0°/360°边界的截断目标对; 39、dbscan聚类模块,用于基于方位角、俯仰角和类别标签对检测目标进行引入类别一致性约束的空间聚类; 40、优先级排序模块,用于对每个目标或目标簇计算包含异常历史权重的综合优先级评分并排序,生成巡检任务队列; 41、路径规划模块,用于根据巡检任务队列中目标的方位角信息规划机器人移动路径; 42、导航控制模块,用于控制机器人自主导航至巡检停靠点; 43、云台控制模块,用于根据目标方位角控制云台旋转至对应角度; 44、高清复核模块,用于通过高清相机采集目标的高分辨率图像进行精细状态识别; 45、置信度重检判定模块,用于根据识别置信度和目标距离联合判定是否触发重检; 46、异常判定与告警模块,用于对高清图像进行最终异常分析,判定异常并生成告警信息; 47、自适应动态更新模块,用于在巡检过程中周期性重新采集全景图像并更新巡检任务队列。 48、本发明还提供一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。 49、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法。 50、本发明的有益效果: 51、(1)本发明通过360度全景相机一次性获取环境全景图像,配合多帧时序融合检测,实现对全景视野中所有目标的快速、鲁棒检测和方位角映射,相比传统单方向相机的逐一扫描方式,大幅缩短了目标发现时间,多帧融合有效降低了误检率; 52、(2)创新性地提出了环绕边界目标合并策略,解决了全景展开图像中0°/360°边界处目标被截断为两个独立检测结果的固有技术问题,保证了目标方位角计算的完整性和准确性; 53、(3)采用引入类别一致性约束的dbscan密度聚类算法对全景中的多目标进行空间聚类,使用圆周距离度量,将方位角相近且类别相同的目标归为同一巡检区域,避免了机器人频繁移动和转向,提高了巡检效率; 54、(4)引入包含异常历史权重w_hist的四维综合优先级评分机制,综合考虑目标重要性、距离、时间紧迫度和历史异常情况,实现巡检任务的智能排序,确保关键目标和易异常目标优先检查; 55、(5)创新性地提出了置信度-距离联合重检机制,当高清复核结果置信度不足且目标距离较远时,自动触发增加帧数或缩短距离的重检操作,有效保障了巡检质量; 56、(6)采用全景粗检与高清精检的协同机制,先通过全景图像快速定位目标,再通过云台控制高清相机对准目标进行精细检查,兼顾了检测范围和检测精度; 57、(7)支持巡检过程中的自适应动态更新,能够将新出现的目标纳入巡检范围,适应环境变化。 58、有益效果 59、采用本发明技术方案,与现有技术相比,具有以下有益效果: 60、(1)本发明通过360度全景相机一次性获取环境全景图像,配合多帧时序融合检测,实现对全景视野中所有目标的快速、鲁棒检测和方位角映射,相比传统单方向相机的逐一扫描方式,大幅缩短了目标发现时间,多帧融合有效降低了误检率; 61、(2)创新性地提出了环绕边界目标合并策略,解决了全景展开图像中0°/360°边界处目标被截断为两个独立检测结果的固有技术问题,保证了目标方位角计算的完整性和准确性; 62、(3)采用引入类别一致性约束的dbscan密度聚类算法对全景中的多目标进行空间聚类,使用圆周距离度量,将方位角相近且类别相同的目标归为同一巡检区域,避免了机器人频繁移动和转向,提高了巡检效率; 63、(4)引入包含异常历史权重w_hist的四维综合优先级评分机制,综合考虑目标重要性、距离、时间紧迫度和历史异常情况,实现巡检任务的智能排序,确保关键目标和易异常目标优先检查; 64、(5)创新性地提出了置信度-距离联合重检机制,当高清复核结果置信度不足且目标距离较远时,自动触发增加帧数或缩短距离的重检操作,有效保障了巡检质量; 65、(6)采用全景粗检与高清精检的协同机制,先通过全景图像快速定位目标,再通过云台控制高清相机对准目标进行精细检查,兼顾了检测范围和检测精度; 66、(7)支持巡检过程中的自适应动态更新,能够将新出现的目标纳入巡检范围,适应环境变化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com