一种基于视觉伺服的无人机末端精对接控制方法与流程

摘要: 本技术涉及无人机末端对接控制,具体涉及一种基于视觉伺服的无人机末端精对接控制方法。背景技术:1、风力发电机组叶片接闪器接地导通检测长期依赖人工高空作业,效率低且...
一种基于视觉伺服的无人机末端精对接控制方法与流程

本技术涉及无人机末端对接控制,具体涉及一种基于视觉伺服的无人机末端精对接控制方法。

背景技术:

1、风力发电机组叶片接闪器接地导通检测长期依赖人工高空作业,效率低且存在坠落与触电风险。为降低作业风险,业内尝试采用工业级无人机搭载可延伸末端机构,由无人机将末端执行器送至叶片附近完成表面处理与接线,其中末端执行器与接闪器之间的精确对接是该作业形态的关键环节,也是制约其工程化应用的瓶颈所在。

2、由于无人机在悬停状态下受风载及自身动力学特性限制,难以避免持续的位置与姿态漂移,该漂移在末端相机采集的图像中表现为目标相对于视场中心位置的持续偏移。现有基于图像特征的末端伺服控制方案通常只关注特征偏差本身的收敛,而未对漂移导致目标趋近甚至超出视场边界的情形作出应对;一旦目标超出视场范围,视觉反馈即告中断,伺服闭环随之失效,现有方案往往只能中止当前作业、重新进场悬停或依赖人工干预才能恢复,难以适应风力环境下持续存在的扰动,作业的连续性与可靠性不足。

3、此外,现有末端伺服方案在由对准状态转入接触或延伸作业阶段时,通常以接触力或类似的单一物理量作为判据,该判据一经满足即认为对接过程已进入接触阶段,且该判断不可逆。在机构沿预定方向延伸并接近目标的过程中,若平台因阵风等突发扰动而发生较大幅度位姿变化,现有方案缺乏对该过程进行动态复核并及时撤回的机制,仍按原有延伸指令继续执行,易造成末端执行器与目标之间发生碰撞性接触、损伤目标表面或导致对接失败,难以保证接触式作业过程的安全性与成功率。

4、与此同时,现有以图像特征为反馈的伺服控制方法大多将动平台运动视为需要单独辨识与补偿的扰动量,需要借助机体运动建模、预测滤波或特征丢失恢复等额外处理环节进行显式补偿,此类处理不仅增加了单个控制周期内的计算负担,而且在漂移幅值超出所建模型适用范围时仍会出现补偿不足、控制精度下降的情形,难以同时兼顾控制实时性与对动态扰动的鲁棒性。

技术实现思路

1、针对动平台条件下末端执行机构与目标物难以精确对接的技术问题,即悬停无人机受风扰影响存在持续的位置与姿态漂移、使得依赖相机内外参标定与运动学解算的位姿反解链路迅速失配,而厘米级的全局定位反馈又与对接所需精度相差两个数量级以上的问题,本发明提供一种基于视觉伺服的无人机末端精对接控制方法,其思路在于放弃先测位姿、再解算、后执行的开环链路,改为在图像平面上直接构造闭环,以对接目标在末端相机图像中的图像矩作为反馈量,以该反馈量与示教得到的期望特征量之间的偏差直接驱动自生长机构的各转向关节,使悬停漂移不再作为需要单独观测和前馈补偿的扰动,而是作为特征偏差的一个分量被同一闭环自动吸收;同时以末端接触力与视场余量两项判据分别约束延伸终止时机和视觉闭环的可持续性,在无相机高精度标定模型、无目标三维重建的前提下完成末端精对接。

2、所述方法包括:

3、步骤s1,由悬停无人机所挂载自生长机构的末端相机采集对接目标图像,获取由图像矩确定的当前特征量,所述当前特征量包括目标图像中心坐标与表征目标所占面积的分量。末端相机安装于自生长机构末端执行器上并随该末端执行器一同运动,其光轴方向与机构的延伸方向一致,所采集的对接目标图像为单帧二维图像,无须与其他传感器作时空配准,也无须由多帧图像重建目标的三维结构。所述当前特征量为可由单帧图像直接计算且与末端相对位姿单调相关的量,其中目标图像中心坐标反映末端光轴相对目标的横向偏离,表征目标所占面积的分量反映末端至目标的相对距离,二者共同构成图像平面上的反馈量,使横向对准与纵向趋近可由同一组特征量描述。

4、步骤s2,计算所述当前特征量与示教得到的期望特征量之间的特征偏差。所述期望特征量对应于末端执行器已对准对接目标且处于对接工作距离这一状态,该期望特征量一经示教获得即在整个对接过程中保持不变,特征偏差即为当前特征量各分量与期望特征量同序分量之差所构成的向量。由于当前特征量与期望特征量均在同一相机的同一图像平面内定义,其差值无须经过任何坐标系变换即可直接用于后续映射,从而省去了相机内外参标定与手眼标定工序。

5、步骤s3,将所述特征偏差经预置的常值图像雅可比矩阵的广义逆映射为所述自生长机构各转向关节的转角调整量并下发执行,循环执行直至所述特征偏差的模值连续多个周期小于收敛阈值。具体地,所述常值图像雅可比矩阵描述各转向关节的微小转动量与所述当前特征量各分量变化量之间的线性关系,由于特征量维数通常多于关节数,该映射取该矩阵的广义逆实现,使解算得到的转角调整量在最小二乘意义下使特征偏差下降。所述循环执行是指在每个控制周期内重复步骤s1至步骤s3,即重新采集图像、重新计算特征偏差、重新解算并下发转角调整量,由此形成以图像为反馈的闭环;连续多个周期小于收敛阈值的判定方式避免了单帧图像噪声或瞬时晃动造成的误判。

6、步骤s4,驱动所述自生长机构沿末端光轴延伸趋近对接目标,末端接触力进入设定力区间时停止延伸并判定对接完成,延伸中所述特征偏差重新超过所述收敛阈值时退出延伸并返回步骤s1。在特征偏差收敛之后机构的运动由关节转向切换为沿光轴的平动延伸,延伸过程中末端相机仍按控制周期采集图像并计算特征偏差,末端力反馈传感器同步采集接触力。以接触力而非以位移行程作为延伸终止判据,使终止时机不受机构延伸行程累积误差与目标表面位置不确定性的影响;以特征偏差超限作为退出延伸的判据,则使阵风引起的机体大幅漂移在造成硬性碰撞或对接偏移之前即被发现,机构退回至关节转向阶段重新对准后再次延伸,构成力与视觉两项判据下的伺服状态切换。

7、步骤s5,由所述图像矩导出表征目标图像中心至视场边界距离的视场余量指标,所述视场余量指标落入预警区间时,由自生长控制单元经现场总线向飞行控制单元请求悬停位置微调,并按所述视场余量指标的缺额下调所述自生长机构的延伸速度且使其延伸方向朝目标所在一侧偏转。具体地,视觉伺服闭环的成立以对接目标持续位于视场之内为前提,而关节转向的可达范围有限,当悬停漂移累积至较大值时目标会趋近视场边缘,此时仅靠关节转向已不足以把目标拉回视场中心。所述视场余量指标由步骤s1已经计算出的图像矩直接导出,不增加额外的传感器与独立的图像处理通道;所述缺额为预警区间上界与该指标当前值之差,在预警区间内恒为正值,缺额越大则延伸速度的下调幅度越大、延伸方向朝目标所在一侧的偏转量越大;所述目标所在一侧是指目标图像中心偏离视场中心的一侧,悬停位置微调亦朝该侧进行,使机构的延伸运动与飞行控制单元的悬停位置微调在同一方向上共同作用,由此在悬停漂移超出关节转向的补偿能力时维持视觉闭环。

8、进一步地,步骤s1中获取当前特征量包括:对所述对接目标图像依次进行灰度化与滤波,采用边缘检测算法提取目标轮廓,在轮廓内区域计算所述图像矩,由零阶矩与一阶矩确定所述目标图像中心坐标,由零阶矩确定表征目标所占面积的分量,由二阶中心矩确定目标的主轴方向;所述边缘检测与图像矩计算仅在以上一周期目标图像中心为中心的感兴趣区域内进行。其中灰度化与滤波用于抑制高空作业时光照不均与图像噪声对轮廓提取的干扰,零阶矩即轮廓内区域的像素总量,一阶矩与零阶矩之比即给出目标图像中心坐标,零阶矩同时即为目标在图像中所占面积的度量,二阶中心矩则给出目标主轴方向,主轴方向在对接目标为长条状接闪器一类非圆形对象时用于约束末端执行器绕光轴的姿态。限定计算区域的做法利用了相邻控制周期内目标在图像中位移有限这一事实,使单周期的图像处理耗时随感兴趣区域面积下降。

9、进一步地,所述视场余量指标以由所述图像矩中的零阶矩与一阶矩确定的目标图像中心至视场边界的归一化距离为基量,并以由所述零阶矩确定的目标所占面积加权,得到无量纲的视场余量指标;所述视场余量指标按取值由大到小划分为安全区间、所述预警区间与危险区间。其中,所述归一化距离为目标图像中心至最近视场边界的像素距离与该方向上视场半宽的比值,取值介于0与1之间。引入面积加权是因为同一归一化距离在目标所占面积不同时对应的视场风险并不相同:目标所占面积越大,其轮廓外缘距视场边界越近,越易发生轮廓被视场截断而导致图像矩失真,故以零阶矩确定的面积对归一化距离作加权,使该指标在目标趋近且占据较大视场时更早进入预警区间。该指标为无量纲量,其区间划分不随相机分辨率与镜头焦距改变。

10、进一步地,步骤s3中所述转角调整量经含积分项的控制律平滑后下发;所述视场余量指标落入所述安全区间时,仅执行步骤s3的关节转向而不向所述飞行控制单元发出悬停位置微调请求;所述视场余量指标落入所述危险区间时,冻结所述积分项,并在所述飞行控制单元完成悬停位置重定位后恢复关节转向。由此形成按视场风险分级的处置方式:安全区间内的漂移完全由机构侧的关节转向吸收,不干扰飞行控制单元的悬停保持,避免两个控制回路频繁交互引起的相互激励;危险区间内目标已接近丢失,此时关节转向的解算输入不再可靠,冻结积分项可防止在目标短暂丢失或轮廓被截断期间积分项持续累积,待悬停位置重定位完成、目标重新回到视场中部后再恢复关节转向,机构不致因积分累积而产生大幅超调。

11、进一步地,所述预警区间内设有死区与互斥时序,所述飞行控制单元执行悬停位置微调期间,步骤s3只解算并下发所述转角调整量而不进行所述特征偏差的模值的收敛判定,待所述飞行控制单元回报悬停位置微调完成后恢复收敛判定的周期计数。所述死区是指视场余量指标在预警区间边界附近小幅波动时不重复发出悬停位置微调请求,以避免指标在边界上往复穿越引起请求的频繁触发。所述互斥时序使机体平动与关节转向这两个同时改变图像特征的运动源在收敛判定上彼此分离:悬停位置微调期间图像特征的变化有一部分来自机体移动,此时若仍进行收敛判定,可能在机构并未真正对准的情况下因特征偏差瞬时落入阈值而误判收敛,故该期间只维持关节转向的解算与下发以保持跟踪,收敛判定的周期计数待微调完成后重新开始累积。

12、进一步地,所述特征偏差同时包含由所述悬停无人机的悬停漂移引起的分量与由所述自生长机构自身姿态引起的分量,两者在图像平面上不作区分,且所述悬停漂移不作单独观测与前馈补偿。多旋翼无人机的悬停精度受风载与机体动力学限制存在物理上限,以提高飞行控制精度换取末端对接精度的路线不可达;而在图像平面上,基座漂移与机构姿态偏差对目标成像位置的影响在形式上是一致的,二者之和即为需要被消除的特征偏差,故无须分辨偏差的来源即可由同一闭环将其消除。由此也不需要在飞行控制单元与自生长控制单元之间传递高带宽的漂移观测量,两者之间只在视场余量指标落入预警区间时传递低频的悬停位置微调请求。

13、进一步地,步骤s3中所述常值图像雅可比矩阵取为所述期望特征量对应的特征点处的近似矩阵,其元素由一次离线的关节小幅激励试验辨识获得,并在步骤s1至步骤s3的循环执行过程中不再更新。所述关节小幅激励试验为在期望位姿附近逐一给各转向关节施加小幅转角并记录当前特征量各分量的相应变化,由变化量与激励量之比确定矩阵的各元素。该矩阵在伺服过程中不更新,使每个控制周期内无须进行目标深度估计与矩阵重新计算,单周期计算量固定且不含迭代,这是单次循环周期得以保持短且固定的条件;由于闭环最终收敛于期望特征点附近,在该点处取近似矩阵可保证收敛方向正确。

14、进一步地,步骤s3中所述转角调整量经由比例项与积分项构成的控制律平滑后下发至关节伺服电机,所述积分项设有抗饱和限幅,且单周期下发的所述转角调整量设有上限。其中比例项决定闭环的响应快慢,积分项用于消除机构自重引起的静态下垂一类常值偏差,抗饱和限幅则在机构受限位阻挡或延伸受阻而特征偏差长时间不下降时截断积分累积,避免阻挡解除瞬间的超调;单周期转角调整量的上限则防止大偏差出现时机构末端甩动而使目标脱离视场。

15、进一步地,所述期望特征量由示教方式获得,即在所述自生长机构装机前将末端执行器摆放至对准所述对接目标且处于对接工作距离的位姿,采集一帧图像并计算其图像矩作为所述期望特征量;步骤s4的延伸过程中,所述各转向关节不再由步骤s3闭环驱动,而保持所述特征偏差收敛时刻的转角并叠加步骤s5给出的延伸方向偏转量。示教在地面进行,所得期望特征量为一组数值而非标定参数集,现场装拆机构后无须重新标定,作业准备时间由小时级降至分钟级。延伸过程中关节不再闭环转向而保持收敛时刻的转角,使关节转向与平动延伸两个运动不在同一时刻叠加,延伸中出现的特征偏差变化即直接反映机体漂移,从而可作为退出延伸的判据;叠加的延伸方向偏转量则由步骤s5按视场余量给出。

16、本发明以图像矩作为反馈量在图像平面上直接构造末端关节闭环,使悬停漂移作为特征偏差的一个分量被吸收,在悬停漂移0.2m至0.4m的阵风风况与平稳风况下共200次现场对接试验中,末端对接误差的统计平均值为0.5mm;常值图像雅可比矩阵免去了每周期的深度估计与矩阵重算,配合仅在感兴趣区域内进行的边缘检测与图像矩计算,使步骤s1至步骤s3的单次循环周期不大于200ms,足以跟上阵风引起的漂移变化;期望特征量由地面示教一帧图像获得,现场装拆机构后无须重新标定,单机作业准备时间由小时级降至分钟级;以接触力进入设定力区间作为延伸终止判据、以特征偏差超出收敛阈值作为退出延伸判据,使对接既在力的意义上稳定接触又不会在机体大幅漂移时带来硬性碰撞;由图像矩导出的视场余量指标及其安全、预警、危险三区间处置,使悬停漂移超出关节转向补偿能力时视觉闭环得以维持,降低了目标丢失导致伺服中断的概率。上述各项共同使高空接闪器接地导通检测可由动平台自动完成,取代人工高空攀爬接线,消除坠落与触电风险,减少因视场丢失与碰撞性接触导致的返工,提升检测作业的连续性。