基于权重分配的机器人视觉伺服与人机交互混合操控方法与流程

1.本发明属于机器人控制领域，涉及一种基于权重分配的机器人视觉伺服与人机交互混合操控方法，更具体地涉及一种基于模糊控制器分配控制权重，融合视觉伺服和人机交互控制的机器人混合控制方法。


背景技术：

2.得益于相机硬件技术和计算机水平的发展，计算机视觉领域的迅速发展，使得机器视觉能够为机器人提供控制。视觉伺服在医疗手术、灾难救援、工业车间、空间遥操作等领域广泛使用。传统的视觉伺服主要使用基于位置的视觉伺服系统、基于图像的视觉伺服系统或者图像与位置混合的视觉伺服系统。
3.传统的视觉伺服方案大多为直接闭环伺服，由机器自主性完成伺服作业，或者使用切换控制，将视觉伺服与人机交互控制两种模式进行切换执行。这样的方法更多地适用与工业场景、精细化作业或者固定任务场景，当应用于开放场景的视觉观察活动时，该类方法不能满足更高灵活性的需求。


技术实现要素：

4.要解决的技术问题
5.为了避免现有技术的不足之处，本发明提出一种基于权重分配的机器人视觉伺服与人机交互混合操控方法，采用基于动态权重分配的混合控制策略，使用手眼协调的控制输入和视觉伺服的控制输入按照加权进行融合作为期望输入，使得机器人末端能够对输入指令进行跟踪，引入动态系数的偏差力反馈进行人机交互感知，由本文设计的动态权重方法实现操作者能够通过人机交互实现对物体的跟踪观察和视线游走任务。
6.技术方案
7.一种基于权重分配的机器人视觉伺服与人机交互混合操控方法，其特征在于步骤如下：
8.步骤1、对视觉控制模型建模，计算视觉控制器输出的控制量υ
p
：
9.建立视觉控制器模型
10.模型使用三个特征点，对每一个特征点i计算图像雅各比矩阵和控制输入u
pi
；
11.以下用图像雅各比矩阵j
p
和控制输入u
p
表示：
12.计算控制输入u
p
＝k
pp
e
p
13.其中：比例控制器的比例系数为k
pp
；
14.e
p
＝p
t
‑
p，p＝[u v]
t
为特征点当前像素坐标，p
t
＝[u
t v
t
]
t
；为给定的特征点期望像素坐标：
[0038]
将输出进行反模糊，得到满足需求的控制权重中k
α
和k
τ
；
[0039]
步骤4：以步骤3合成加权的笛卡尔空间控制量，作为机器人输入的期望末端笛卡尔空间位姿变化量进行关节伺服跟踪，控制机器人末端位置和姿态产生变化，使得图像伺服系统能够辅助人的控制操作和对目标物体观察。
[0040]
关节伺服控制量
[0041]
j
r
为机器人笛卡尔空间位置速度变化和关节空间角度变化间的雅各比矩阵。
[0042]
所述s1如下表所示：
[0043] vsδpsδppsδppbδpbδpvbδpvsδθvbk
α
bk
α
bk
α
pbk
α
pbk
α
psk
α
sδθbk
α
bk
α
pbk
α
pbk
α
pbk
α
psk
α
psδθbk
α
pbk
α
pbk
α
psk
α
psk
α
psk
α
pbδθpbk
α
psk
α
psk
α
psk
α
psk
α
sk
α
bδθpbk
α
psk
α
psk
α
psk
α
sk
α
sk
α
vbδθpsk
α
psk
α
psk
α
sk
α
sk
α
vsk
α
[0044]
所述s2如下表所示：
[0045] vsδpsδppsδppbδpbδpvbδpvsδθvsk
τ
sk
τ
sk
τ
psk
τ
psk
τ
psk
τ
sδθsk
τ
sk
τ
psk
τ
psk
τ
psk
τ
pbk
τ
psδθsk
τ
psk
τ
psk
τ
psk
τ
pbk
τ
pbk
τ
pbδθpsk
τ
psk
τ
pbk
τ
pbk
τ
pbk
τ
bk
τ
bδθpsk
τ
pbk
τ
pbk
τ
pbk
τ
bk
τ
bk
τ
vbδθpbk
τ
pbk
τ
pbk
τ
bk
τ
bk
τ
vbk
τ
[0046]
有益效果
[0047]
本发明提出的一种基于权重分配的机器人视觉伺服与人机交互混合操控方法，首先，分别建立视觉控制与人机交互控制的模型，计算出二者的控制输出，再由模糊控制器计算权重分配，将融合后的控制量输入到机器人关节伺服控制系统中，控制机器人运动。本发明的关键在于，基于单目视觉利用反光流深度恢复构建了机器人的视觉伺服框架，利用力反馈引导机制构建了人机交互控制框架，设立了两个评估参数，通过模糊控制方法，利用先验经验建立规则，使用评估参数进行决策，获得控制权重分配系数和力反馈引导系数，最终能够实现两种控制模式的融合。
[0048]
本发明的有益效果在于，通过动态的控制权重分配，将机器人视觉伺服控制和人机交互控制两种不同自主性的控制模式进行了融合，使得人的控制输入能够参与到机器人控制回路中，增加了系统控制输入的多样性和系统控制目标的开放性，本发明适合于应用到开放场景的视觉观察任务上。
附图说明
[0049]
图1为本发明使用的控制系统结构图
具体实施方式
[0050]
现结合实施例、附图对本发明作进一步描述：
[0051]
如图1所示。本发明所采用的技术方案是，首先，分别建立视觉控制与人机交互控制的模型，计算出二者的控制输出，再由模糊控制器计算权重分配，将融合后的控制量输入到机器人关节伺服控制系统中，控制机器人运动。
[0052]
步骤1:对视觉控制模型建模，计算视觉控制器输出的控制量；
[0053]
步骤2：对人机交互控制模型建模，计算人机交互控制器输出的控制量；
[0054]
步骤3：根据视觉控制器和人机交互控制器的参数，计算模糊控制器的输入参数，通过模糊控制方法分配控制权重，合成加权控制量；
[0055]
步骤4：将步骤3中合成的加权的机器人控制量，作为机器人输入的期望末端笛卡尔空间位姿变化量，进行关节伺服跟踪，控制机器人末端位置和姿态产生变化，使得图像伺服系统能够辅助人的控制操作和对目标物体观察。
[0056]
本发明具体实施步骤如下：
[0057]
步骤1主要是完成视觉控制器的设计，获得对机器人末端位姿的控制量。
[0058]
定义末端固定相机的六自由度机器人，其末端坐标系和相机坐标系重合，末端相对于基座坐标系的初始位置和姿态为ξ＝[x y z θ
x θ
y θ
z
]
t
，本发明中都使用2
‑3‑
1旋转顺序，设相机模型的参数为[f ρ
u ρ
v u
0 v0]。
[0059]
本发明适用于具有三个及以上特征点目标的伺服跟踪，本发明中讨论的问题限定下面以目标为矩形为例，选取矩形的四个顶点为特征点进行说明。对于每个特征点，都可测得其初始的像素坐标p＝[u v]
t
，单个图像特征变化率和末端位姿变化率具有线性关系
[0060][0061]
即
[0062][0063]
其中υ
p
＝[v
x v
y v
z ω
x ω
y ω
z
]
t
＝[v
p ω
p
]
t
为末端相对于基座坐标系的位移和旋转速度，j
p
即为图像雅可比矩阵，根据透视投影方程和相机模型参数，假设该点在真实空间相对于相机的坐标为[x y z]
t
,则可以得到图像雅可比矩阵的计算表达式：
[0064][0065]
对于任意点，假设其期望的像素坐标位置p
t
＝[u
t v
t
]
t
,设计特征点像素的跟踪误差e
p
[0066]
e
p
＝p
t
‑
p
ꢀꢀꢀ
(3)
[0067]
设计比例控制器，比例系数为k
pp
[0068]
u
p
＝k
pp
e
p
ꢀꢀꢀ
(4)
[0069]
选取四个特征点中的三组点特征，堆叠其雅可比矩阵，求解机器人基座坐标系下，为了使得图像特征在像素平面内到达期望位置，末端位姿所需运动的速度和角速度量
[0070][0071]
其中j
pi
和u
pi
表示为第i个特诊点的图像雅可比矩阵和控制输入。
[0072]
在本发明中，使用反光流法恢复特征点相对于相机坐标系的深度信息，即求解坐标中的z值。此处的深度估计器设计如下：使用υ
r
＝[v
r ω
r
]
t
表示机器人末端相对于基座坐标系的真实位移和旋转速度，代入(2)中，整理可得到
[0073][0074]
使用最小二乘法进行在线辨识参数估计，在任意设定初值的情况下，该深度估计值都可以在系统初始阶段较快地跟踪上真值，且该方法在实际应用上对z值的误差不敏感，初始偏差的存在对系统的性能影响不大。
[0075]
步骤2主要是完成人机交互控制器的设计，计算人机交互控制对机器人末端位姿的控制量。人机互控制器采用三自由度或者六自由度手控器等具有相应位置速度传感器的人机交互设备采集控制输入。以六自由度并联手控器为例，假设采集的输入为手控器末端点，在手控器基座坐标系下的三维空间位置和变化速度：
[0076]
e＝[v
hx v
hz v
hz ω
hx ω
hy ω
hz
]
t
，
[0077]
设计比例控制律
[0078][0079]
给定速度和角速度从手控器基座坐标系转换到机器人基座坐标系的变换矩阵t
v
和t
ω
，通过计算
[0080][0081]
则可以将控制量从手控器基座坐标空间转换到机器人基座坐标空间。
[0082]
同时利用视觉伺服控制量的三个速度分量作为反馈，在手控器内设计力反馈进行交互，使得操作者能够感受到视觉伺服控制的方向。交互力的设计为
[0083]
f＝k
τ
t
v
‑1v
p
ꢀꢀꢀ
(9)
[0084]
其中权重k
τ
由根据下一步骤进行计算。
[0085]
步骤3利用模糊控制方法，得到控制输入的权重分配。本发明采用线性加权和将两个控制量进行合成，设视觉控制的权重设置为k
α
，合成的控制量为
[0086]
υ＝k
α
υ
p
(1
‑
k
α
)υ
h
ꢀꢀꢀ
(10)
[0087]
其中k
α
和上一步骤中的k
τ
使用模糊控制器进行求解。
[0088]
设计模糊控制器为双输入控制器，两个模糊控制输入分别定义为：n个特征点的像素特征偏量的归一化参数δp和控制量速度矢量夹角的归一化参数δθ，按照如下公式进行
计算
[0089][0090][0091]
根据先验知识，将两个归一化参数输入和两个输出权重进行模糊化，分别设计模糊集为很小(vs)、小(s)、偏小(ps)、偏大(pb)、大(b)、很大(vb)，并确定相应的隶属度函数。根据“像素偏差大的时候，视觉控制权值应当小，力反馈参数应当大”；和“速度夹角偏差大的时候，视觉控制权值应当小，力反馈参数应当大”两个先验模糊准则，建立模糊关系s1和s2。其中
[0092]
s1＝(δp
×
δθ)
→
k
α
ꢀꢀꢀ
(13)
[0093]
s1具体如下表所示
[0094] vsδpsδppsδppbδpbδpvbδpvsδθvbk
α
bk
α
bk
α
pbk
α
pbk
α
psk
α
sδθbk
α
bk
α
pbk
α
pbk
α
pbk
α
psk
α
psδθbk
α
pbk
α
pbk
α
psk
α
psk
α
psk
α
pbδθpbk
α
psk
α
psk
α
psk
α
psk
α
sk
α
bδθpbk
α
psk
α
psk
α
psk
α
sk
α
sk
α
vbδθpsk
α
psk
α
psk
α
sk
α
sk
α
vsk
α
[0095]
s2＝(δp
×
δθ)
→
k
τ
ꢀꢀꢀ
(14)
[0096]
s2具体如下表所示
[0097] vsδpsδppsδppbδpbδpvbδpvsδθvsk
τ
sk
τ
sk
τ
psk
τ
psk
τ
psk
τ
sδθsk
τ
sk
τ
psk
τ
psk
τ
psk
τ
pbk
τ
psδθsk
τ
psk
τ
psk
τ
psk
τ
pbk
τ
pbk
τ
pbδθpsk
τ
psk
τ
pbk
τ
pbk
τ
pbk
τ
bk
τ
bδθpsk
τ
pbk
τ
pbk
τ
pbk
τ
bk
τ
bk
τ
vbδθpbk
τ
pbk
τ
pbk
τ
bk
τ
bk
τ
vbk
τ
[0098]
则根据模糊规则，由一次输入计算量的模糊化δp
*
和δθ
*
，可以分别计算出
[0099]
k
α*
＝(δp
*
×
δθ
*
)οs1ꢀꢀꢀ
(15)
[0100]
k
τ*
＝(δp
*
×
δθ
*
)οs2ꢀꢀꢀ
(16)
[0101]
将输出进行反模糊，得到满足需求的控制权重中k
α
和k
τ
。
[0102]
步骤4.将步骤3中合成的加权的机器人控制量，作为机器人输入的期望末端笛卡尔空间位姿变化量，进行关节伺服跟踪，控制机器人末端位置和姿态产生变化，使得图像伺
服系统能够辅助人的控制操作和对目标物体观察。
[0103]
选用六自由度旋转机器人模型，dh参数已知，设其当前关节角q＝[q
1 q
2 q
3 q
4 q
5 q6]，根据其参数和旋转角，可以获得任意两相邻关节坐标系的齐次变换矩阵a
i
，和机器人总变换矩阵
[0104]
a＝a1a2a3a4a5a6ꢀꢀꢀ
(17)
[0105]
根据机器人笛卡尔空间位置速度变化和关节空间角度变化间的映射关系满足
[0106][0107]
j
r
为机器人笛卡尔空间位置速度变化和关节空间角度变化间的雅各比矩阵，可以求解出关节角控制量
[0108][0109]
对各个关节角进行伺服控制，并能根据变化后的关节角值计算出被控后的末端位置旋转矩阵
[0110]
t＝a(q)
ꢀꢀꢀ
(20)
[0111]
从而获得被控后的末端位置和姿态坐标。
[0112]
本发明的关键在于，基于单目视觉利用反光流深度恢复构建了机器人的视觉伺服框架，利用力反馈引导机制构建了人机交互控制框架，设立了两个评估参数，通过模糊控制方法，利用先验经验建立规则，使用评估参数进行决策，获得控制权重分配系数和力反馈引导系数，最终能够实现两种控制模式的融合。