一种基于视频识别技术的多智能机器人地下线缆维修装置的制作方法

1.本发明属于地下线缆维护技术领域，具体涉及一种基于视频识别技术的多智能机器人地下线缆维修装置。


背景技术：

2.地下线缆指埋于地下的线缆，根据其作用有地下电力线缆、地下通信线缆。敷设方式通常有：直埋敷设、电缆沟敷设、排管敷设、电缆隧道敷设
3.地下线缆敷设方式可见，由检修便捷程度而言，电缆隧道敷设最为便捷，但是电缆隧道敷设需求大量地下空间，需要挖掘大量土方，直埋敷设、电缆沟敷设、排管敷设都需要人工从外部挖掘出故障部分方可检修，较为不便。


技术实现要素：

4.本发明的目的在于提供一种基于视频识别技术的多智能机器人地下线缆维修装置，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于视频识别技术的多智能机器人地下线缆维修装置，其特征在于：所述多智能机器人小车编队主从联动控制分为以下步骤：
6.步骤一：上位机向机器人小车主车发送电子地图与故障点预计位置；
7.步骤二：根据是否具有预设路径进行分支；
8.步骤三：建立固定坐标系e
‑
ξηζ下水平面ζ＝0的运动跟踪控制；
9.步骤四：如果没有预设路径，根据电子地图，进行路径规划；
10.步骤五：上位机将预设路径发送给机器人小车主车；
11.步骤六：根据导航信息是否正确进行分支；
12.步骤七：设计多智能机器人小车的主从联动编队算法；
13.步骤八：基于视觉识别技术规划新的行驶路径；
14.步骤九：主车将路径信息发送给从车；
15.优选的，该维修装置由上位机、首尾两台主车，以及设置在两台主车之间多个相互串联的从车构成；
16.所述上位机与所述主车进行通信交互，所述上位机将该区域的电子地图与故障点预计位置发送给主车，主车将实际位置与维修情况发送给上位机；
17.所述主车内部设置有功能组件，该功能组件用于处理电子地图与实际位置的匹配、基于视觉识别技术的路径规划、将行驶方向、速度、运行时刻、转弯位置发送给从车，更换维修线缆。其中功能组件包括ov7725摄影机图像传感器、mpu9250九轴低成本mems陀螺仪、stm32h743vit6微处理器、无刷直流电机驱动逆变器、esp8266无线通信模块以及转轮式线缆更换装置。
18.所述从车内部设置有与所述上位机进行信号连接的esp8266无线通信模块，该无
线通信模块除了用于主车、从车之间的通信以外，还可以在上位机与主车距离较远时，通过从车进行信号中继进行信息传输，实现实时控制；所述从车内部设置有线缆夹具、无刷直流电机驱动逆变器、esp8266无线通信模块，这些模块用于实现拖拽线缆、跟随主车、无线中继的功能。
19.优选的，所述主车上具有线缆更换装置，该线缆更换装置可正向和反向旋转磁吸定位线缆接口，接近或分离线缆接口，转轮式旋转线缆，实现线缆的更换。
20.优选的，所述线缆接口包括外凸式线缆公口和内凹式线缆母口，线缆均为双层结构，线缆接口内层为圆形，线缆接口外层为正六棱柱形，内外两层之间设有弹子滚动轴承。
21.优选的，所述外凸式线缆公口插入内凹式线缆母口时，线缆接口内层的端面上安装有主吸合电磁铁以及辅助吸合永磁磁铁，内凹式线缆母口开设有供外凸式线缆公口卡入的凹口，所述外凸式线缆公口的外层表面开设有外螺纹，所述内凹式线缆母口的外层内表面开设有内螺纹。
22.与现有技术相比，本发明的有益效果是：
23.1.无需人工在外界挖掘维修土方使其露出故障点，可以极大的节省人力、物力；
24.2.可以缩小线缆槽尺寸，不再需要人工爬入进行维修，降低的维修风险，降低了敷设与维护成本；
25.3.具有多台机器人小车，并由其组成维修编队，可以根据具体维修需要动态配置维修小车的数量，具有极强的扩展性；
26.4.只有领头车具有运行视觉识别技术的硬件设备、高精度mems陀螺仪、无线通信模块与转轮式线缆更换装置，跟随车仅需要收信装置、高精度时钟计数器、无线通信模块与线缆夹具，极大节省了机器人小车维修编队的成本；
27.5.系统可以实现线缆槽或者线缆隧道的无人化值守与自动化检修功能，该装置科技含量高、适用面宽、在地下线缆维修领域具有极高的应用与推广价值。
附图说明
28.图1为本发明的多智能机器人地下线缆维修装置硬件拓扑图；
29.图2为本发明机器人小车主车硬件拓扑图；
30.图3为本发明机器人小车从车硬件拓扑图；
31.图4为本发明多智能机器人小车编队主从联动控制流程图；
32.图5为本发明预设路径运动跟踪示意图；
33.图6为本发明l
‑
ψ控制的主从联动示意图；
34.图7为本发明单辆小车运动物理模型图；
35.图8为本发明主车与从车的跟随运动模型图；
36.图9为本发明esp8266无线通信模块连接拓扑图；
37.图10为本发明esp8266无线通信模块的电路图；
38.图11为本发明线缆接头的正视图；
39.图12为本发明线缆接头的侧视图。
40.图中：1、线缆接口内层；2、线缆接口外层；3、弹子滚动轴承；4、辅助吸合永磁磁铁；5、主吸合电磁铁。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.请参阅图1至图12，本发明提供一种技术方案：一种基于视频识别技术的多智能机器人地下线缆维修装置，该维修装置由上位机、首尾两台主车，以及设置在两台主车之间多个相互串联的从车构成；
43.上位机可以与所述主车进行通信交互上位机将该区域的电子地图与故障点预计位置发送给主车，主车将实际位置与维修情况发送给上位机；
44.从车内部设置有与上位机进行信号连接的无线传输模块，该无线传输模块用于在上位机与主车距离较远时可以通过从车装备的无线传输模块进行信号中继传输信息，从而实现实时控制，如果当上位机与主车距离较远，缺少中继点而不能通信时，主车自身具有自主运行的能力；
45.主车内部设置有功能组件，该功能组件用于处理电子地图与实际位置的匹配、基于视觉识别技术的路径规划、将行驶方向、速度、运行时刻、转弯位置发送给从车，其中功能组件包括ov7725摄影机图像传感器，用于采集外置摄像头拍摄的图像。ov7725可以提供60帧、rgb、rgb(grb4:2：2、rgb565/5551444)和ycbcr(4:2：2)格式的视频输出，并且可以通过串行cameracontrol总线(sccb)接口进行控制，此外更换外置摄像头可以实现红外热成像、远景、超远景、校正图像的采集；
46.mpu9250内部集成3轴陀螺仪、3轴加速度计和3轴磁力计，mpu9250自带的数字运动处理器硬件加速引擎，可以整合九轴传感器数据，向应用端输出完整的9轴融合演算数据，该数据输入stm32h743vit6用于推算实时路径与当前位置；
47.stm32h743vit6是一款32位的高性能微控制器，其核心处理器为
‑
m7，运算频率为400mhz，其负责具体的视频识别、图像处理、电子地图匹配、路线规划及主车控制；
48.无刷直流电机驱动逆变器，驱动机器人小车两侧的传动电机，其控制信号由stm32h743vit6输入，生成传动电机工作需要的pwm脉冲信号，从而实现电机调速、正反转；
49.esp8266无线模块，使用wifi无线通信协议连接机器人小车主车、机器人小车从车与上位机。其均工作在sta ap模式，但是上位机与机器人小车主车主要工作在sta模式，在该模式下esp8266无线模块可以通过互联网接受与发送控制指令，实现对设备的远程控制；
50.转轮式线缆更换装置，同时搭载多根线缆，提高工作效率，通过接近/分离接口的机械装置可以实现更换线缆，线缆接口的磁吸外环有助于定位接口位置精确实现更换，由一台步进电机正转/反转实现螺栓式接口的放松/收紧，控制步进电机的步数可以调节接口的紧密程度，检测步进电机驱动电流的跳变可以测得螺栓式接口达到最紧程度的时刻，防止电机堵转时持续供电而烧毁电机线圈。
51.本实施例中，从车内部设置有无刷直流电机驱动逆变器、esp8266无线模块，机器人小车从车主要工作在ap模式，该模式下esp8266无线模块作为热点，上位机与主车可以通过热点实现数据通信，用于实现拖拽线缆、跟随主车、无线中继的功能。
52.优选的，多智能机器人小车编队主从联动控制分为以下步骤：
53.步骤一：上位机向机器人小车主车发送电子地图与故障点预计位置；
54.电子地图数据容量较大，传输时间较长，通常上位机向机器人小车主车传输电子地图时距离较近，信号极佳，传输速率较快。此外电子地图存储在微控制器stm32h743vit6的扩展tf卡中，一旦保存后不受掉电影响。电子地图也可由人工操作tf卡进行拷贝与更新，故障点预计位置由电力工程中的短路故障算法或故障检测系统计算得到，由于该处不涉及本专利，因此不予展开，在系统工作的开始，上位机将故障点预计位置在电子地图中标记并传输给机器人小车主车，希望主车自主向预计位置行驶；
55.步骤二：根据是否具有预设路径进行分支；
56.如果具有预设路径，则以预设路径参考，进入步骤3；如果没有预设路径，则进入步骤四；
57.步骤三：参照图5，建立固定坐标系e
‑
ξηζ下水平面ζ＝0的运动跟踪控制；
58.建立p点沿预设路径的运动速度up，ξsf与固定坐标系ξ轴的夹角ψp，航迹曲线角速度rp的值如式1；
[0059][0060]
描述路径跟踪误差。b点为机器人小车主车的实际坐标，实际坐标b与预设坐标p之间的误差为(τe，ne)。机器人小车主车在水平面(e
‑
ξη)的路径跟踪误差可以描述为式2：
[0061][0062]
由步骤3可见，当已有预设行驶路径的时候，具有路径跟踪功能的机器人小车主车在水平面(e
‑
ξη)的路径跟踪问题可以描述为：在预设路径ω和纵向运动速度ud，机器人小车主车从任意初始位置出发，寻找推进纵向力x，转向力矩n，航迹曲线参数s的变化率，使得其跟踪误差τe，ne收敛至零，纵向速度u收敛至期望速度ud；
[0063]
步骤四：如果没有预设路径，根据电子地图，进行路径规划；
[0064]
上位机在电子地图中标记出机器人小车主车的初始位置与故障点预计位置。处理地图信息，提取节点、适合行驶的道路将路径规划问题转化为图论问题，如此一来可以使用单源最短路径算法，如dijksta算法、bellman
‑
ford算法，或者全源最短路径算法，如floyd
‑
warshall算法、johnson算法计算最短路径问题，但是这种方法仅适用于具有准确的电子地图，且道路维护良好的情况，当缺少电子地图或者地下道路状况复杂(阻断、变窄等情况)时，需要本专利的后续处理。因此此时生成的路径仅是预期的理想路径；
[0065]
步骤五：上位机将预设路径发送给机器人小车主车；
[0066]
机器人小车主车具有最全的处理功能，为实现领头功能，上位机需要将预设路径发送给机器人小车主车；
[0067]
步骤六：根据导航信息是否正确进行分支；
[0068]
如果导航信息正确，进入步骤七，设计了一种主从联动算法实现多智能机器人小车的编队集群控制；如果导航信息有误，进入步骤八，基于视觉识别技术规划新的行驶路径
[0069]
步骤七：参照图6、图7、图8，设计多智能机器人小车的主从联动编队算法；
[0070]
本专利工作场景中，机器人小车主车与机器人小车从车均为串行排列，本专利针对这种工作场景设计了一种l
‑
ψ控制的主从联动算法。如图6所示，为节省装置成本，多智能机器人小车编队中只有一个主车作为领航者，小车1为主车，小车2为从车。定义小车两轮之间垂直连线的中点q为该车参考点(如果是四轮车，为四轮之间的正交中点q；如果是履带车，为四个传动轮之间的正交中点q)，点c为该车重心，位于车轴连线的中垂线上，机器人小车一般中点q与重心点c重合。θ1为主车的行驶方向角度，θ2为从车的行驶方向角度，l12为主车与从车之间的相对距离，即领航者车轴中点q与从车重心c的直线距离，ψ12为主车与从车之间的相对角度。基于l
‑
ψ控制的主从联动算法通过控制相对距离l12和相对角度ψ12这两个物理量，以达到编队多台小车分段拖拽维修线缆以一定队形前进的目的。其具体步骤如下：
[0071]
s1：建立xy坐标系，用状态向量来描述小车的姿态信息。c点(x,y)为小车重心的坐标，代表小车在二维坐标系下的位置，θ为小车的运动方向，(v,ω)分别为小车的运动速度和角速度；
[0072]
s2：在二维平面xy坐标系中表示小车的运动状态。如图7所示，以三辆小车组成的多智能机器人小车编队为例进行说明(实际应用中根据线缆的长度及其拖拽阻力进行配置机器人小车数量，机器人小车数量并不受限制)，即一辆主车和两辆从车，由此设计用状态向量来描述主车，用状态向量和来分别描述两辆从车的姿态信息；s3：将二维平面xy坐标系的姿势控制要求转化为对小车车轮的控制要求；对于机器人小车而言，其运动部分是小车车轮，以车轮为被控对象建立其微分方程如下：
[0073][0074]
式3中r为小车车轮的半径，为车轮的角速度。
[0075]
同时假设小车在运动中不发生滑动，即垂直于小车车轮平面方向上的速度为零，微分方程如下：
[0076][0077]
联立式3与式4，单辆小车的运动模型如式5所示：
[0078][0078]
s4：建立主车与从车的跟随运动模型；
[0079]
装置中主车将行驶方向、速度、运行时刻、转弯位置发送给从车，并且多个智能小车之间串行连接，这种编队就是链式结构，可以将这种链式结构简化为主车与从车的跟随运动，运动模型参照图8，从车的运动方程如式6所示。
[0080][0081]
式6中，
[0082]
根据跟随运动控制的动态响应要求，设计收敛公式7
[0083][0084]
式7中α与β为比例系数。
[0085]
联立式6与7可以得出从车的运动速度v和角速度ω
[0086][0087]
根据式8便可计算出从车的运动信息(v,ω)，控制从车的运动速度和运动角速度，即可以保持机器人小车编队的链式结构。主车与从车之间的相对角度ψ为定值π；
[0088]
步骤八：基于视觉识别技术规划新的行驶路径；
[0089]
地下线缆槽通常埋设在地底，线缆槽维护不易，如果线缆槽发生塌方、堵塞、变窄、电子地图不匹配的情况，这时需要重新规划新的行驶路线。
[0090]8‑
1、设计尺寸固定的apriltag标识；
[0091]
apriltag是一个视觉基准系统，可用于记录线缆通道入口的id值(id值包括入口的编码、电子地图位置、入口的形状)、方向信息。在地下电缆槽铺设的时候使用反光漆将apriltag标识印在每个通道入口、分叉口入口墙壁处。所有apriltag标识均设计为统一大小的正方形标识卡，有助于open mv估算距离与方位；
[0092]8‑
2、设计合适的反光漆颜色、探照灯亮度与色温，由此设计合适的阙值。
[0093]
地下线缆槽基本全部处于黑暗状态，全程需要机器人小车自身光源进行照明；经过实测选择合适的阙值，使得open mv可以通过自身光源辨识到apriltag标识中的色块编码信息，而不发生缺项的情况；
[0094]8‑
3、根据识别到的apriltag标识计算主车与apriltag标识的距离与方位；
[0095]
apriltag标识是经过设计后统一大小的正方形标识卡，识别apriltag标识的中点，计算摄像头中图像与矩形的偏差，可以得到xyz轴的旋转角度。apriltag标识均正向贴至入口处，因此由旋转角度可以得知机器人小车当前的姿势，主车硬件中包含有mpu9250，其集成3轴陀螺仪、3轴加速度计，也可以测出机器人小车实时姿势；当机器人小车通过apriltag标识测得当前姿势时，该数据需要与mpu9250当前姿势数据进行对比，均值化取舍数据，同时该数据用于校正mpu9250；此外通过计算摄像头中图像与实际矩形尺寸的偏差，
可以得到机器人小车与apriltag标识的距离信息。
[0096]8‑
4、通过open mv判断电缆槽通道形状与apriltag标识中的形状数据是否一致，如果一致，进入8
‑
5，如果不一致进入8
‑
6；
[0097]8‑
5、电缆槽通道形状与apriltag标识中的形状数据一致，多智能机器人小车链型编队由队首主车带路，行驶完通道，前进至下一个入口处；在入口处根据apriltag标识定位当前编队在电子地图中的位置，对比当前位置与预定故障点位置的差异，执行8
‑
7，根据电子地图，进行路径规划。
[0098]8‑
6、电缆槽通道形状与apriltag标识中的形状数据不一致，当遇到电缆槽通道塌方、堵塞变小等情况；这里设置一个形变参数，用于定义形状变化的程度；如果形变参数低于容许度阙值说明有一定堵塞，但是尚可以通行；如果形变参数高于容许度阙值说明有堵塞，或者上一步路径走错，多智能机器人小车链型编队使能队尾主车，退回至上一个入口，并记录回报；
[0099]8‑
7、根据电子地图，进行路径规划；路径规划类似于步骤四，但是此时执行路径规划的处理者为主车，而不是上位机；
[0100]
步骤九：主车将路径信息发送给从车；
[0101]
由于成本问题，主车具有最全的处理功能，主车记录转弯时刻、转弯角度、直线行驶时长，并将这些信息发送给从车，从而实现从车的跟随功能；
[0102]9‑
1、mpu9250陀螺仪模块通过iic总线与主控板openmv进行通信。其具体过程包括：初始化iic、初始化mpu9250陀螺仪模块、初始化dmp寄存器、读取xyz轴加速度与陀螺仪的值；
[0103]9‑
2、处理绕xyz轴陀螺仪的数据。定义ωx为围绕x轴的陀螺仪值、ωy为围绕y轴的陀螺仪值，ωz为围绕z轴的陀螺仪值。当小车正常行驶时，xy平面恒定ωx、ωy的值变化应在一定阙值之内，此时检测ωz值的变化，ωz值实际上就是小车的转向，主车记录ωz值变化的时刻与变化量，将其传给从车；当由于路面颠簸小车失去平衡时，除去ωz值变化外，ωx、ωy的值变化会超出阙值，去除此时ωz值变化的记录；
[0104]9‑
3、处理xyz轴加速度计的数据；定义fx为x轴的加速度值、fy为y轴的加速度值，fz为z轴的加速度值。当小车正常行驶时，fx、fy的值实际上记录了小车行驶的方向；
[0105]9‑
4、处理时钟计数器；使用时钟计数器k1记录ωz值变化的时刻，连续两个相邻的ωz值变化时刻之间的时间就是小车沿新方向行驶的时长。使用时钟计数器k2记录新方向行驶的时长，初始时刻，当fx、fy的值不等于零的时刻，启动时钟计数器k2开始计时，当有效ωz值变化时，停止时钟计数器k2计时，并将其数值存储在数据表中，之后将时钟计数器k2置零后继续开始计数；
[0106]
数据表数据格式如下表所示：
[0107]
表1数据表数据格式
[0108][0109]9‑
5、主车通过esp8266无线模块与从车建立无线连接，并将车队行驶信息(包括路线方向、转弯角度)与路线维持时间与转弯时刻发送给从车；。
[0110]
本实施例中，主车上具有线缆更换装置，该线缆更换装置可正向和反向旋转磁吸定位线缆接口，接近或分离线缆接口，转轮式旋转线缆，实现线缆的更换。
[0111]
本实施例中，线缆接口包括外凸式线缆公口和内凹式线缆母口，线缆均为双层结构，线缆接口内层1为圆形，线缆接口外层2为正六棱柱形，内外两层之间设有弹子滚动轴承3。
[0112]
本实施例中，外凸式线缆公口插入内凹式线缆母口时，线缆接口内层的端面上安装有主吸合电磁铁5以及辅助吸合永磁磁铁4，内凹式线缆母口开设有供外凸式线缆公口卡入的凹口，外凸式线缆公口的线缆接口外层2表面开设有外螺纹，内凹式线缆母口的线缆接口内层1开设有内螺纹。
[0113]
本发明中，如图5所示，ω(s)为固定坐标系水平面(e
‑
ξη)任意设置的一条预设路径，其曲线由参数s定义，p点为该预设路径中的任意一点，其坐标为p[ξ(s),η(s)]，以p点为原点建立由切矢量与法矢量构成的{sf}坐标系，其中ξsf为该点沿路径的切矢量，ηsf为该点沿路径的法矢量；建立p点沿预设路径的运动速度up，ξsf与固定坐标系ξ轴的夹角ψp，航迹曲线角速度rp的值如式1。
[0114]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。