一种巡检机器人巡检图像目标检测方法与流程

摘要: 本发明涉及巡检机器人视觉目标检测,具体为一种巡检机器人巡检图像目标检测方法。背景技术:1、随着机器视觉和移动机器人技术的发展,巡检机器人已逐步应用于地铁站、铁路...
一种巡检机器人巡检图像目标检测方法与流程

本发明涉及巡检机器人视觉目标检测,具体为一种巡检机器人巡检图像目标检测方法。

背景技术:

1、随着机器视觉和移动机器人技术的发展,巡检机器人已逐步应用于地铁站、铁路客运站、变电站及其他设备密集场所,通过机载摄像装置在移动过程中采集连续图像,并利用目标检测、目标跟踪等方式识别设备、设施及环境中的目标对象。现有技术已经能够在机器人巡检过程中对连续视频帧进行目标检测,并利用跟踪器对检测目标进行连续跟踪。例如,cn113610819a《缺陷检测方法及装置、电子设备、存储介质》公开了巡检机器人对摄像装置采集的视频帧进行目标检测,并针对新发现的缺陷目标启动跟踪器进行连续跟踪,其中还可结合目标类别、位置信息以及目标之间的交并比、距离判断检测目标与已有跟踪目标是否对应。以及cn111985352a《一种ai前端化的变电站巡检视频实时识别方法及系统》公开了利用机器人相机采集巡检视频,对设备进行目标检测和定位,并在识别到设备后利用目标跟踪方式持续获得设备在视频中的位置,其中采用目标检测结果定期更新目标跟踪结果。

2、上述目标检测和连续跟踪方式能够实现移动巡检过程中目标的发现及图像层面的连续承接。但在地铁站、铁路客运站等公共交通场站中,闸机、自动售票机、显示设备等静态巡检对象常以相同类别、相近外观且相邻的位置连续布置。巡检机器人沿巡检路径持续移动经过相邻同类别静态巡检对象时,前一物理对象逐渐退出摄像装置视野,后一物理对象逐渐进入视野;受机器人自身位移、目标在图像中的位置变化以及前后对象外观相近等因素影响,后一对象的检测结果在二维图像中可能继续表现出与前一对象相近的位置变化和轨迹连续性。在采用目标类别、图像位置、交并关系、目标距离及连续跟踪结果进行前后检测结果关联时,这种图像层面的连续关系并不必然对应现场物理对象的连续关系。

3、因此,在机器人连续经过相邻同类别静态巡检对象的交接区域时,可能出现二维图像中的原目标承接关系仍满足继续关联条件,而实际对应的现场物理巡检对象已经发生切换的情况,从而使前一物理对象的检测状态继续承接至后一物理对象;相反,短时遮挡、检测区域变化等因素也可能使同一物理对象的连续检测结果发生暂时中断。由此可能造成不同实际巡检对象对应的巡检图像及目标检测结果发生错误合并、错误分离或者对象归属错位。因此,如何在保持连续图像目标检测和跟踪能力的同时,正确区分二维视觉连续关系与现场物理对象连续关系,并确定相邻同类别静态巡检对象之间的实际交接边界,是该类移动巡检图像目标检测场景中需要进一步解决的技术问题。

技术实现思路

1、针对现有技术的不足,本发明提供了一种巡检机器人巡检图像目标检测方法,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:一种巡检机器人巡检图像目标检测方法,包括:

3、s1、获取连续巡检图像中同类别静态巡检对象的检测结果、相对位姿及视觉连续关系,根据摄像装置成像关系形成统一局部坐标下的空间观测约束;

4、s2、对视觉连续的多个空间观测约束求交,形成非空有界区域并建立当前对象支持区;

5、s3、检测保持视觉连续但空间观测约束不支持该支持区时,冻结该支持区并自当前观测建立候选交接序列;

6、s4、按时间顺序检索候选交接序列,检索到各观测均不支持该支持区且形成非空有界区域的连续子序列时,以最先形成者独立建立后继对象支持区;

7、s5、后继对象支持区形成后,利用当前对象支持区及后继对象支持区校核候选交接前的确认支持观测及候选交接序列,形成前对象单支持、后对象单支持及不可唯一归属状态,确定物理对象交接范围;

8、s6、根据交接范围确认切换时终止前对象状态,将后继对象支持区作为下一周期当前对象支持区,后继对象支持区未形成且后续观测恢复支持当前对象支持区时,撤销候选切换并维持前对象状态。

9、进一步的,当前对象支持区建立后,将与当前对象支持区存在共同可行空间的空间观测约束确定为确认支持观测,并以空间观测约束与当前对象支持区的交集更新当前对象支持区;

10、候选交接启动后,冻结候选交接启动前最后更新的当前对象支持区,候选观测不参与当前对象支持区的更新。

11、进一步的,候选交接序列中新候选观测到达时,按起始位置顺序检查以该候选观测为结束位置的连续子序列;

12、首次出现共同可行区域非空有界、各空间观测约束均不支持当前对象支持区且共同可行区域与当前对象支持区无共同空间的结束位置时,取该结束位置下起始位置最早的连续子序列建立后继对象支持区,且建立后不再由更晚连续子序列替换。

13、进一步的,形成后继对象支持区后,从候选交接序列起点之前保存的当前对象确认支持观测中按时间逆序确定最后一个与当前对象支持区相交且与后继对象支持区不相交的前对象单支持观测;

14、将其后至候选交接序列起点之前同时与两支持区相交的观测改记为不可唯一归属,并以前对象单支持观测及候选交接序列中最早的后对象单支持观测确定物理对象交接范围。

15、进一步的,建立当前对象支持区时,对结束于当前观测的连续观测子序列按起点由早到晚计算空间观测约束的共同可行区域;

16、共同可行区域为空时顺延起点,非空但无界时保留当前起点并继续接收后续观测,首次形成非空有界共同区域时建立当前对象支持区,同一结束时刻多个连续观测子序列成立时采用起点最早者。

17、进一步的,根据机器人参考点的相对位姿、摄像装置相对于机器人参考点的固定安装平移量及固定水平安装角确定当前图像采集时刻的摄像装置位置和摄像装置朝向,将目标图像区域的左右边界横向像素坐标转换为左右水平观察方向,并以摄像装置位置为起点形成左右边界射线及两边界射线之间的空间观测约束。

18、进一步的,后继对象支持区形成后立即进行前对象单支持观测校核;

19、能够确定前对象单支持观测时形成物理对象交接范围并确认切换,候选交接序列起点之前保存的全部当前对象确认支持观测均与后继对象支持区相交时,终止本次候选交接,且不将后继对象支持区写入下一处理周期的当前对象支持区。

20、进一步的,将每一空间观测约束转换为由左右边界直线确定的有向半平面约束,通过多个有向半平面的公共集合确定共同可行区域;

21、当前对象支持区及后继对象支持区中的任一支持区形成有限区域后,利用新增空间观测约束对应的有向半平面对有限区域进行裁剪更新。

22、进一步的,当前对象状态记录保存当前对象确认支持观测对应的原始空间观测约束,候选交接记录保存各候选观测对应的原始空间观测约束;

23、后继对象支持区形成后,读取原始空间观测约束执行前对象单支持观测及候选观测的校核,并在不覆盖原始空间观测约束的情况下记录对应状态,对应状态包括前对象单支持、后对象单支持及不可唯一归属。

24、与现有技术相比,本发明具有以下有益效果:

25、1、通过将连续巡检图像中的目标检测结果结合机器人相对位姿及摄像装置成像关系形成空间观测约束,并在视觉连续但空间支持失配时冻结当前对象支持区、独立建立后继对象支持区,再利用前后对象支持区校核交接观测并确定物理对象交接范围,使二维视觉连续关系与现场物理对象连续关系得到区分,从而减少相邻同类别静态巡检对象之间的错误承接、错误合并及错误拆分。

26、2、通过仅利用确认支持当前对象支持区的空间观测约束更新当前对象支持区,并在候选交接期间保持该支持区不变,在后继对象支持区未形成且后续观测重新支持当前对象支持区时撤销候选切换,使短时遮挡、检测区域变化产生的暂时空间失配不会直接改变原物理对象状态,从而保持对象承接判断过程中前序空间基准和对象状态的一致性。

27、3、通过在后继对象支持区形成后确定前对象单支持、后对象单支持及不可唯一归属状态,并依据物理对象交接范围终止前对象状态、将后继对象支持区写入下一处理周期的当前对象支持区,使本次交接校核结果直接成为后续连续巡检图像的对象承接基础,从而实现相邻同类别静态巡检对象之间连续、可校核的状态承接。