一种基于视觉反馈的四旋翼飞行器自适应神经网络定位控制方法与流程

1.本发明涉及计算机技术领域，特别是一种基于视觉反馈的四旋翼飞行器自适应神经网络定位控制方法。


背景技术：

2.在过去的几十年里，随着计算机技术和摄像设备的发展，以通过视觉反馈信号控制机器人运动为目标的视觉伺服已逐渐发展为跨机器人、自动控制和图像处理等技术领域的一门独立技术。一般来说，视觉伺服可以分为两种类型，即基于位置的视觉伺服(pbvs)和基于图像的视觉伺服(ibvs)。ibvs方法通过直接控制图像规划中的位置误差来解决伺服问题，比pbvs方法对扰动和参数偏差更鲁棒。在经典的ibvs框架中，需要从视觉信号中估计每个特征点的深度信息，这在实际实现中通常是困难的或昂贵的。为了避免这个问题，已经有很多学者提出了各种解决方案。例如提出了一种在线估计机器人位置的自适应估计器，用来控制非完整移动机器人进行位置跟踪。也有假设摄像机参数未被校准，并使用与深度无关的交互作用矩阵的伪逆将图像误差映射到机械手的关节空间。
3.这些研究主要涉及全驱动系统的视觉伺服。然而，四旋翼空中机器人(qar)是一个典型的欠驱动系统，因此可能不能被这些以前的方法有效地处理。为了解决空中机器人的欠驱动特性，早期的研究集中在状态反馈策略上，这意味着需要精确地测量位置和方向信息，作为控制器开发的先验知识，尽管付出了巨大的努力，机器人的高精度定位仍然是机器人学中最具挑战性的问题之一。
4.视觉伺服技术为空中机器人的移动控制提供了一个有效的框架，进一步消除了对全球定位测量的要求，提高了定位精度。一些开创性的工作已有所报道，如hamel和mahony利用结构无源性提出了一类欠驱动刚体系统的ibvs算法，开发的闭环系统对摄像机和目标的标定误差具有鲁棒性。然而，值得注意的是，目前这些开发的视觉控制器通常需要显式的惯性信息，这通常是难以获得的。而目前提出了一些惯性识别方案大多建立在欠驱动空中机器人的简化模型上，没有一个考虑到视觉系统。


技术实现要素：

5.针对现有技术中存在的问题，本发明的目的在于提供一种基于视觉反馈的四旋翼飞行器自适应神经网络定位控制方法，解决了四旋翼空中机器人的高精度定位困难，且机器人欠驱动，在线计算量大，缺少显示的惯性矩阵的问题，实现了qar视觉位置跟踪控制。
6.为解决上述问题，本发明采用如下的技术方案。
7.一种基于视觉反馈的四旋翼飞行器自适应神经网络定位控制方法，包括以下步骤：
8.s1.根据空气动力学和刚体力学原理，确认出qar的动力学模型方程；
9.s2.依据所述的动力学模型方程，采用球面投影法建立位置误差和投影图像误差
之间的等效变换；
10.s3.依据所述球面投影方法以及动力学模型方程，确定所述qar的线速度误差微分方程；
11.s4.依据所述qar的线速度误差微分方程，构建反推虚拟姿态控制器；
12.s5.依据所述的反推控制器，确定出基于神经网络的自适应控制器的运算方程；
13.s6.依据所述的自适应控制器的运算方程，构建基于乔莱斯基分解的惯性矩阵估计器；
14.s7.依据所述自适应控制器的运算方程以及自适应律方程，计算出qar的位置。
15.作为本发明的进一步改进，在步骤s1中，根据空气动力学和刚体力学原理，确定出qar的动力学方程：
[0016][0017]
其中，
[0018][0019]
r(θ)∈so3是机体坐标系与惯性坐标系之间的旋转矩阵；m(θ)是相机坐标系(与qar机身坐标系一致)和右手惯性坐标系之间的旋转速度的变换矩阵，公式如下：
[0020][0021]
是qar的姿态向量，θ，ψ分别是滚转角、俯仰角和偏航角，表示坐标系中qar质心的位置；代表线速度，表示在坐标系下的角速度，m(θ)为无人直升机姿态角度与角速度之间的转换矩阵，sk(
·
)表示斜对称矩阵，如对于 sk(a)b＝a
×
b；m是qar的质量；c
z
＝(0，0，1)
t
；表示围绕其质心的qar常数惯性矩阵；是沿z方向的外生力；表示坐标系中的转动力矩，将qar电机提供的f和t作为自适应控制器的控制输入变量。
[0022]
作为本发明的进一步改进，在步骤s2中，依据所述的动力学模型方程，采用球面投影法建立位置误差和投影图像误差之间的等效变换；,
[0023]
球面投影法:
[0024]
用一个常量向量表示坐标系中第i个目标点的坐标，其中i＝1，
…
，n,n为目标特征个数，由qar的动力学方程可得
[0025]
[0026]
其中表示坐标系中第i个目标点对应的坐标；
[0027]
将目标特征投影到等效球面像面上，等效像平面的光学等效点s
i
满足如下公式：
[0028][0029]
其中可测量向量f为所使用的针孔相机的焦距，(u
i
,v
i
, f)
t
是一种使用基本的图像检测技术可以测量的透视投影，即为可测量向量。r
i
(s
i
)＝||s
i
||/f’是相对于单位焦距f’的相对深度；
[0030]
qar位置之间的关系如下公式
[0031][0032]
上述公式是根据变换后的目标特征计算出s
i
的时间微分，接着根据非归一化球面质心(usc)建立图像投影与qar位置之间的关系再对所有目标点相对于时间t的usc微分；
[0033]
其视觉误差δs的时间微分公式如下：
[0034][0035]
即位置跟踪控制问题已经转化为图像误差δs的稳定问题。
[0036]
作为本发明的进一步改进，在步骤s3中，依据所述球面投影方法以及动力学模型方程，确定所述qar的线速度误差微分方程；
[0037]
视觉误差δs的时间微分公式变为
[0038][0039]
上式是使用平移速度v来稳定图像误差δs，实际线速度v和虚拟线速度v
*
之间的误差表示为其中k1是一个标量因子，虚拟控制速度v
*
设为v
*
＝k1δs；
[0040]
随后需要稳定速度δv，使图像误差δs收敛到零，qar的动力学模型方程中的第4个子方程转换为如下公式：
[0041][0042]
其中c
z
是一个单位矢量，上述误差动力学是欠驱动的，这意味着仅使用推力在物理上是不可能直接稳定它的；这种误差系统可以看作是先前等研究的严格反馈非线性系统的扩展情况；为此，从这些理论工作中引入反推技术来解决一个工程问题，即欠驱动问题。
[0043]
作为本发明的进一步改进，在步骤s4中，依据所述qar的线速度误差微分方程，构建反推虚拟姿态控制器；
[0044]
基于lipschitz条件和反正切函数的自然饱和性质的反推虚拟姿态控制器：
[0045]
虚拟姿态控制器被定义为θ
*
＝θ
‑
δθ，不失一般性，控制设计中将期望的偏航角选择为中间控制器θ
*
的设计为
[0046]
θ
*
＝(φ
*
,θ
*
,ψ
*
)
t
，ψ
*
＝0，θ
*
＝arctan(k1k2δv1/g)，且φ
*
＝
‑
arctan(k1k2δv2/gcosθ
*
)，进而将期望推力构造为t＝m(
‑
gcosφ
*
cosθ
*
‑
k2δv3)
[0047]
可进一步转换为
[0048][0049]
其中k2是一个标量因子。由于正切函数的自然饱和约束，虚控制器θ
*
和φ
*
必须被约束在(
‑
π/2，π/2)中，由此推断k2是一个对称正定矩阵；
[0050]
速度误差系统δv的稳定性主要取决于姿态误差δθ的收敛性，一旦满足条件θ
→
θ
*
，可以推导出r
t
(θ)
→
r
t
(θ
*
)，从而进一步保证平移速度误差δv的收敛性，随后，主要工作集中于姿态误差系统的稳定δθ；
[0051]
根据qar的动力学模型方程中的第二子方程，得到如下公式：
[0052][0053]
其中，δω＝ω
‑
ω
*
表示实际角速度和虚角速度之间的差。描述为
[0054][0055]
需要注意的是，在中，由于无法实时测量相对深度r
i
(s
i
)，图像雅可比矩阵q(
·
)的准确值是未知的；组合非线性θ1(θ，δv，s1，
…
，s
n
)也是未知的，因此它不能被虚角速度抵消。
[0056]
作为本发明的进一步改进，在步骤s5中，依据所述的反推控制器，确定出基于神经网络的自适应控制器的运算方程；
[0057]
采用rbfnn对不确定组合项ξ1(θ，δv，s1，
…
，s
n
)，等于其中 z1＝(θ
t
，δ
t
v，s1，
…
，s
n
)
t
是神经网络的输入是一个理想化的权矩阵，是高斯径向基函数向量，其分量形式为指数形式。n1为隐藏的神经网络节点数，b1(z1)是可以充分减小到小于任何给定界的近似误差，即
[0058]
为了稳定姿态误差，中间控制器ω
*
可以构造为
[0059][0060]
其中a1和是两个可调参数，将已开发的中间控制器ω
*
代入可以得到
[0061][0062]
其中，a1和是两个正向设计参数，式中是对定义为的理想常数w1的在线估计
[0063]
[0064]
实际上，从上面的定义可以看出，w1与理想权矩阵φ1的最大奇异值的平方成正比；
[0065]
回顾传统的基于神经网络的自适应控制算法，通过对应的自适应矩阵直接估计理想的权值矩阵φ1，随着神经元数量的增加，将导致繁重的在线计算，给应用程序蒙上阴影，所述的优化自适应神经结构来消除这种计算负担，如上两式所示，代替权重矩阵本身，其最大奇异值的平方通过自适应调谐律来估计，使得仅剩下一个在线参数，这显著减轻了繁重的在线计算，姿态误差δθ的稳定性主要依赖于角速度误差δω为零，因此，接下来的任务是稳定角速度误差δω，首先，我们给出δω的变化率如下
[0066][0067]
其中ξ2(z2)＝ξ
21
θ
22
是组合非线性函数，类似类似使用rbfnn来逼近不确定函数ξ2(z2)，因此，我们有在这个近似器中，对于给定的常数此外，符号φ2和s2(z2)分别表示理想化的权重矩阵和高斯基函数向量，遵循w1的定义，与理想化权重矩阵φ2的最大奇异值的平方成比例的常数被定义为其中n2是神经网络节点的数量，此外，用表示其在线估计，转换为：
[0068][0069]
作为本发明的进一步改进，在步骤s6中，依据所述的自适应控制器的运算方程，构建基于乔莱斯基分解的惯性矩阵估计器，新的基于乔莱斯基分解的惯性矩阵估计器：
[0070]
是辅助控制器如下：
[0071][0072]
其中估计误差被定义为期望控制转矩随后被构造为a2和是两个设计参数，逆矩阵j
‑1可以分解为j
‑1＝υυ
t
，其中υ是所有对角元素都是严格正的下三角矩阵，其逆矩阵用υ
‑1表示。将自适应控制扭矩f代入得到
[0073][0074]
其中a2和是两个正标量。惯性矩阵估计器在技术上设计为
[0075][0076]
其中d和d0是两个正标量因子，γ是一个spd矩阵。
[0077]
作为本发明的进一步改进，在步骤s7中，所述自适应控制器的运算方程以及自适应律方程，其公式如下：
[0078][0079]
其中r
i
、k
0i
、h
i
和h
0i
(i＝1，2)是一些正标量，k
0i
，h
0i
是修正参数，r
i
，h
i
是设计参数；
[0080]
自适应律方程：
[0081]
v
*
＝k1δs
[0082]
θ
*
＝(φ
*
,θ
*
,ψ
*
)
t
[0083][0084][0085]
本发明的有益效果
[0086]
相比于现有技术，本发明的优点在于：
[0087]
采用球面投影法将位置跟踪控制问题很好地转化为图像跟踪控制问题，不需要四旋翼系统的精确位置信息；
[0088]
采用了一种基于反推的方法，克服qar动力学物理欠驱动的挑战；
[0089]
本发明设计了一种优化的自适应神经网络方法，用于处理四旋翼飞行器的模型不确定性，大大减少了控制器在线的计算量；
[0090]
引入了一个新的在线估计器，该估计器可以自适应地估计未知的惯性矩阵，从而不需要qar的惯性参数。
附图说明
[0091]
图1为本发明的流程图。
[0092]
图2为本发明地面工作站和qar之间的控制流程框图。
[0093]
图3为本发明针孔摄像机的等效球面图像几何图。
具体实施方式
[0094]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0095]
请参阅图1至图3，一种基于视觉反馈的四旋翼飞行器自适应神经网络定位控制方法，包括以下步骤：
[0096]
s1.根据空气动力学和刚体力学原理，确认出qar的动力学模型方程。
[0097]
s2.依据所述的动力学模型方程，采用球面投影法建立位置误差和投影图像误差之间的等效变换。
[0098]
s3.依据所述球面投影方法以及动力学模型方程，确定所述qar的线速度误差微分方程。
[0099]
s4.依据所述qar的线速度误差微分方程，构建反推虚拟姿态控制器。
[0100]
s5.依据所述的反推控制器，确定出基于神经网络的自适应控制器的运算方程。
[0101]
s6.依据所述的自适应控制器的运算方程，构建基于乔莱斯基分解的惯性矩阵估计器。
[0102]
s7.依据所述自适应控制器的运算方程以及自适应律方程，计算出qar的位置。
[0103]
a)根据空气动力学和刚体力学原理，确定出qar的动力学方程：
[0104][0105]
其中，
[0106][0107]
r(θ)∈so3是机体坐标系与惯性坐标系之间的旋转矩阵；m(θ)是相机坐标系(与qar机身坐标系一致)和右手惯性坐标系之间的旋转速度的变换矩阵，公式如下：
[0108][0109]
是qar的姿态向量，θ，ψ分别是滚转角、俯仰角和偏航角，表示坐标系中qar质心的位置；代表线速度，表示在坐标系下的角速度，m(θ)为无人直升机姿态角度与角速度之间的转换矩阵，sk(
·
)表示斜对称矩阵，如对于 sk(a)b＝a
×
b；m是qar的质量；c
z
＝(0，0，1)
t
；表示围绕其质心的qar常数惯性矩阵；是沿z方向的外生力；表示坐标系中的转动力矩，将qar电机提供的f和t作为自适应控制器的控制输入变量。
[0110]
b)依据所述的动力学模型方程，采用球面投影法建立位置误差和投影图像误差之间的等效变换。
[0111]
球面投影法:
[0112]
用一个常量向量表示坐标系中第i个目标点的坐标，其中i＝1，
…
，n,n为目标特征个数，由qar的动力学方程可得
[0113]
[0114]
其中表示坐标系中第i个目标点对应的坐标。
[0115]
如附件图二将目标特征投影到等效球面像面上，等效像平面的光学等效点s
i
满足如下公式：
[0116][0117]
其中可测量向量f为所使用的针孔相机的焦距，(u
i
,v
i
, f)
t
是一种使用基本的图像检测技术可以测量的透视投影，即为可测量向量。r
i
(s
i
)＝||s
i
||/f’是相对于单位焦距f’的相对深度。
[0118]
qar位置之间的关系如下公式
[0119][0120]
上述公式是根据变换后的目标特征计算出s
i
的时间微分，接着根据非归一化球面质心(usc)建立图像投影与qar位置之间的关系再对所有目标点相对于时间t的usc微分。
[0121]
其视觉误差δs的时间微分公式如下：
[0122][0123]
到目前为止，位置跟踪控制问题已经转化为图像误差δs的稳定问题。
[0124]
c)依据所述球面投影方法以及动力学模型方程，确定所述qar的线速度误差微分方程。
[0125]
视觉误差δs的时间微分公式变为
[0126][0127]
上式是使用平移速度v来稳定图像误差δs。实际线速度v和虚拟线速度v
*
之间的误差表示为其中k1是一个标量因子，虚拟控制速度v
*
设为v
*
＝k1δs。
[0128]
随后需要稳定速度δv，使图像误差δs收敛到零。qar的动力学模型方程中的第4个子方程转换为如下公式：
[0129][0130]
其中c
z
是一个单位矢量，上述误差动力学是欠驱动的，这意味着仅使用推力在物理上是不可能直接稳定它的。这种误差系统可以看作是先前等研究的严格反馈非线性系统的扩展情况。为此，从这些理论工作中引入反推技术来解决一个工程问题，即欠驱动问题。
[0131]
d)依据所述qar的线速度误差微分方程，构建反推虚拟姿态控制器。
[0132]
基于lipschitz条件和反正切函数的自然饱和性质的反推虚拟姿态控制器
[0133]
虚拟姿态控制器被定义为θ
*
＝θ
‑
δθ。不失一般性，控制设计中将期望的偏航
角选择为中间控制器θ
*
的设计为
[0134]
θ
*
＝(φ
*
,θ
*
,ψ
*
)
t
，ψ
*
＝0，θ
*
＝arctan(k1k2δv1/g)，且φ
*
＝
‑
arctan(k1k2δv2/gcosθ
*
)，进而将期望推力构造为t＝m(
‑
gcosφ
*
cosθ
*
‑
k2δv3)
[0135]
可进一步转换为
[0136][0137]
其中k2是一个标量因子。由于正切函数的自然饱和约束，虚控制器θ
*
和φ
*
必须被约束在(
‑
π/2，π/2)中，由此推断k2是一个对称正定矩阵。
[0138]
速度误差系统δv的稳定性主要取决于姿态误差δθ的收敛性。一旦满足条件θ
→
θ
*
，可以推导出r
t
(θ)
→
r
t
(θ
*
)，从而进一步保证平移速度误差δv的收敛性。随后，主要工作集中于姿态误差系统的稳定δθ。
[0139]
根据qar的动力学模型方程中的第二子方程，得到如下公式：
[0140][0141]
其中，δω＝ω
‑
ω
*
表示实际角速度和虚角速度之间的差。描述为
[0142][0143]
需要注意的是，在中，由于无法实时测量相对深度r
i
(s
i
)，图像雅可比矩阵q(
·
)的准确值是未知的。换句话说，组合非线性ξ1(θ，δv，s1，...，s
n
)也是未知的，因此它不能被虚角速度抵消。e)依据所述的反推控制器，确定出基于神经网络的自适应控制器的运算方程。
[0144]
为了解决这一问题，采用rbfnn对不确定组合项ξ1(θ，δv，s1，
…
，s
n
)，等于)，等于其中z1＝(θ
t
，δ
t
v，s1，
…
，s
n
)
t
是神经网络的输入是一个理想化的权矩阵，是高斯径向基函数向量，其分量形式为指数形式。n1为隐藏的神经网络节点数。b1(z1)是可以充分减小到小于任何给定界的近似误差，即
[0145]
为了稳定姿态误差，中间控制器ω
*
可以构造为
[0146][0147]
其中a1和是两个可调参数，将已开发的中间控制器ω
*
代入可以得到
[0148][0149]
其中，a1和是两个正向设计参数，式中是对定义为的理想常数w1的在线估计
[0150][0151]
实际上，从上面的定义可以看出，w1与理想权矩阵φ1的最大奇异值的平方成正比。
[0152]
回顾传统的基于神经网络的自适应控制算法等，通过对应的自适应矩阵直接估计理想的权值矩阵φ1。随着神经元数量的增加，将导致繁重的在线计算，给应用程序蒙上阴影。所述的优化自适应神经结构来消除这种计算负担。如上两式所示，代替权重矩阵本身，其最大奇异值的平方通过自适应调谐律来估计，使得仅剩下一个在线参数，这显著减轻了繁重的在线计算。姿态误差δθ的稳定性主要依赖于角速度误差δω为零。因此，接下来的任务是稳定角速度误差δω。首先，我们给出δω的变化率如下
[0153][0154]
其中ξ2(z2)＝ξ
21
ξ
22
是组合非线性函数，类似类似使用rbfnn来逼近不确定函数ξ2(z2)。因此，我们有在这个近似器中，对于给定的常数此外，符号φ2和s2(z2)分别表示理想化的权重矩阵和高斯基函数向量。遵循w1的定义，与理想化权重矩阵φ2的最大奇异值的平方成比例的常数被定义为其中n2是神经网络节点的数量。此外，用表示其在线估计。转换为：
[0155][0156]
从实际角度来看，通常很难明确测量惯性矩阵j。此外，控制设计无法获得其逆j
‑1。因此，一个具有挑战性的问题，即未知的控制增益矩阵，出现在稳定上述误差系统δω。
[0157]
f)依据所述的自适应控制器的运算方程，构建基于乔莱斯基分解的惯性矩阵估计器。
[0158]
新的基于乔莱斯基分解的惯性矩阵估计器
[0159]
是辅助控制器如下：
[0160][0161]
其中估计误差被定义为期望控制转矩f∈r3随后被构造为a2和是两个设计参数。逆矩阵j
‑1可以分解为j
‑1＝υυ
t
，其中υ是所有对角元素都是严格正的下三角矩阵，其逆矩阵用υ
‑1表示。将自适应控制扭矩f代入得到
[0162][0163]
其中a2和是两个正标量。惯性矩阵估计器在技术上设计为
[0164]
[0165]
其中d和d0是两个正标量因子，γ是一个spd矩阵。
[0166]
g)所述自适应控制器的运算方程以及自适应律方程，其公式如下：
[0167][0168]
其中r
i
、k
0i
、h
i
和h
0i
(i＝1，2)是一些正标量，k
0i
，h
0i
是修正参数，r
i
，h
i
是设计参数。
[0169]
自适应律方程：
[0170]
v
*
＝k1δs
[0171]
θ
*
＝(φ
*
,θ
*
,ψ
*
)
t
[0172][0173][0174]
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。