一种柔性机构控制方法、计算机装置及探测装置

1.本发明属于机器视觉与柔性机械装置相关领域，更具体地，涉及一种柔性机构控制方法、计算机装置及探测装置。


背景技术：

2.张拉整体机构是一种由若干离散刚性杆与柔性索构成的柔性自平衡机构。在张拉整体机构中，刚性杆仅承受压力，柔性索仅承受拉力，机构中的各节点与各个构件必须满足内部预应力自平衡条件。当张紧或者放松拉索时，机构内部预应力发生改变，张拉整体机构的形状也会相应改变，因此控制柔性拉索成为控制张拉整体机构运动的主要方式。
3.现有技术中，张拉整体的展开控制多采用传统的动力学控制或者监督学习、强化学习等机器学习控制，前者的计算量且计算复杂，后者需要大量仿真与实验数据，同样具有计算量大且复杂的问题；并且均没有考虑外载荷的影响，计算精度不能保证，因而，展开的稳定性也有一定的限制。
4.另外，现有技术中都是采用刚性杆连接的结构搭载在无人机上进行侦察探测，这种纯刚性连接的机械结构存在力矩长、产生弯矩大、质量大的缺陷，在复杂环境下，变形受限。而张拉整体具有可折叠、质量轻的优势，并且使柔性结构，环境适应度更高，将其搭载在移动装置上，能够解决现有的刚性连接的缺陷。但是，需要解决张拉整体展开后的自由旋转控制问题，而现有技术中还没有针对张拉整体展开后的旋转控制方法。


技术实现要素：

5.针对现有技术的缺陷和改进需求，本发明提供了一种柔性机构控制方法、计算机装置及探测装置，其目的在于降低张拉整体控制的计算量，并提升控制精度。
6.为实现上述目的，按照本发明的一个方面，提供了一种柔性机构控制方法，所述柔性机构包括1型二阶张拉整体，所述张拉整体包括6根刚性杆、6根刚性索及与18根弹性索，所述6根刚性杆包括3根上层刚性杆和3根下层刚性杆，所述控制方法包括：
7.根据所述刚性杆与刚性索之间的偏转角度，建立广义坐标系，在所述广义坐标系下，分别求解所述弹性索的长度；
8.将外荷载施加在所述张拉整体的节点上，对所述弹性索的长度在广义坐标下求偏导，得到所述弹性索长度变化在广义坐标下的位移分量，根据所述位移分量计算所述弹性索内部张力所做的虚功；
9.以所述弹性索内部张力所做虚功与外载荷所做虚功之和为零，建立所述张拉整体的平衡方程；
10.将所述平衡方程转化为存在冗余方程的非线性方程组，以展开的期望路径为约束，采用优化算法，求解所述非线性方程组，得到所述弹性索内部张力以及上层刚性杆和下层刚性杆的重叠高度；
11.以所述张力、重叠高度及弹性索的静息长度之间满足胡克定律，建立等式关系，求
解所述弹性索的静息长度，用所述弹性索的静息长度控制所述张拉整体的展开。
12.进一步地，将所述平衡方程转化为存在冗余方程的非线性方程组包括：
13.以所述张拉整体的总高度大于0及所述重叠高度大于0为约束条件，固定所述6根对角索的张力取值，将所述平衡方程转换为存在冗余方程的非线性方程组。
14.进一步地，所述优化算法为l-m算法。
15.进一步地，所述平衡方程为：
16.a(q)t w(q)f＝0，其中
17.其中，a为平衡矩阵，w为外荷载矩阵，t为弹性索内部张力向量，f为外荷载向量，lj是第j根弹性索长度，xj是第j个节点自由度，qi是第i个广义坐标，i＝1,2,3，
……
，18，s、v、d分别表示6根腰部索、6根垂直索及6根对角索的长度。
18.进一步地，还包括：
19.以力密度法写出展开后的张拉整体每个节点的力平衡方程；
20.在外载荷的作用下，以所述每个节点的内力平衡为目标函数，以所述张拉整体顶部重心轨迹的期望路径及节点位置的形状约束为几何约束，采用优化算法，求解所述每个节点的力密度和坐标；
21.将所述力密度带入力密度与张力之间的比例关系式中，得到所述弹性索旋转过程中的张力，根据所述坐标求得弹性索旋转过程中的长度；
22.将所述张力、长度代入胡克定律，得到所述弹性索的静息长度，用所述弹性索的静息长度控制所述张拉整体的旋转。
23.进一步地，所述平衡方程与目标函数之间满足：
[0024][0025]
其中，m表示张拉整体中位置向量与单元向量之间的映射矩阵，p表示位置向量，为力密度矩阵，λi表示每个节点处的力密度，ne表示任意一根刚性杆、刚性索或弹性索，且||λ||＞0，f为外荷载向量，表示节点位置的形状约束。
[0026]
进一步地，所述优化算法为迭代非线性优化算法。
[0027]
按照本发明的第二个方面，提供了一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序，以第一方面之一所述方法的步骤。
[0028]
按照本发明的第三个方面，提供了一种探测装置，包括视觉模块和柔性机构，所述视觉模块设置在所述柔性机构上，所述柔性机构通过第一方面之一所述方法进行控制。
[0029]
进一步地，所述视觉模块为双目相机，所述双目相机的探测过程包括：
[0030]
所述双目相机收集含有待检测目标的图片数据，将所述数据分为训练集及验证集；
[0031]
用所述训练集及验证集对ssd-mobilenet网络模型进行训练，得到训练好的网络模型；
[0032]
用预先标定的双目相机参数矫正左目与右目图像，得到矫正后的图像，将所述矫
正后的图像输入所述训练好的网络模型中，进行识别；
[0033]
采用立体匹配算法生成视差图，根据所述视差图计算矫正后的图像中每个像素点对应的坐标，得到目标至双目相机的距离，实现探测。
[0034]
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
[0035]
(1)本发明提供的柔性机构控制方法，通过将外荷载施加在张拉整体的结构节点上，建立张拉整体的平衡方程，基于展开控制的期望路径采用优化算法，求解平衡方程，得到弹性索的静息长度，用弹性索的静息长度完成展开控制过程；相比现有技术的动力学控制方式或者机器学习方式，本发明的这种准静态控制方式实现张拉整体的展开，并考虑了系统存在外荷载的情况，不需要数据基础，原理简单明确，计算量大大降低且精度更高；同时，可保证张拉整体系统始终处于平衡构型周围，稳定性更优，更适合实际工程应用。
[0036]
(2)进一步地，在张拉整体的展开控制基础上，采用形状约束下力密度找型方式，建立节点处的力平衡方程，在期望路径附近寻找张拉整体的可行解，通过得到的可行解求得弹性索的静息长度实现张拉整体形态转变控制，优化算法原理简单、可靠性高，且求解速度快，更重要的是，本发明的这种控制方法可设计任何所需的期望路径，实现张拉整体复杂的运动控制，适用性强。
[0037]
(3)进一步地，本发明提出的探测装置，将视觉模块搭载在柔性机构上，基于本发明提供的柔性机构控制方法，结合张拉整体自身可折叠、质量轻、不存在弯矩，只存在内部拉力和压力等优势，使张拉整体按照精细化的设计路径进行旋转，完成探测，相比现有的刚性结构，更适合将其应用在无人机载探测上。
[0038]
总而言之，本发明的方式实现了张拉整体的展开控制和旋转控制，解决了现有技术方法计算量大、精度低的技术缺陷，同时还实现了将张拉整体应用在无人机载探测领域，并能够根据规划的路径，实现复杂环境的探测，环境适应度更高。
附图说明
[0039]
图1为本发明的柔性机构展开控制方法示意图；
[0040]
图2为本发明的柔性机构示意图；
[0041]
图3是本发明的柔性机构坐标系示意图；
[0042]
图4是本发明的张拉整体机构展开过程示意图，其中，图4中的(a)-(d)分别表示张拉整体的展开过程阶段；
[0043]
图5本发明的张拉整体展开过程弹性索静息长度变化示意图；
[0044]
图6本发明的张拉整体旋转过程示意图，其中，图6中的(a)-(f)分别表示张拉整体的旋转过程阶段；
[0045]
图7本发明的张拉整体旋转过程弹性索静息长度变化示意图；
[0046]
图8本发明搭载的视觉模块搭建流程图；
[0047]
图9是识别与测距功能的视觉系统算法流程图。
[0048]
在所有附图中，相同的附图标记用来表示相同的元件或者结构，其中：
[0049]
1-双目相机，2-隔板，3-顶部刚性索，4-刚性杆，5-上层垂直索，6-上层对角索，7-腰部索，8-下层垂直索，9-下层对角索，10-底部刚性索
具体实施方式
[0050]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0051]
如图1所示，本发明提供了一种柔性机构控制方法，该柔性机构包括1型二阶张拉整体，该1型二阶张拉整体包括二阶的六杆二十四索，如图2和图3所示，具体包括6根刚性杆4、6根刚性索与18根弹性索，18根弹性索，包括3根上层垂直索5、3根下层垂直索8、3根上层对角索6、3根下层对角索9、6根腰部索7；6根刚性杆包括3根上层刚性杆和3根下层刚性杆；
[0052]
其中，6根刚性索分别构成底部和顶部的等边三角形，6根腰部索构成正六边形，3根上层刚性杆的第一端分别以一定的偏转角度与顶部等边三角形的三个顶点连接，第二端分别同时与正六边形的三个顶点、3根上层垂直索的第一端、3根上层对角索的第一端连接；3根下层刚性杆的第一端分别以相同的偏转角度与底部等边三角形的三个顶点连接，第二端同时与正六边形的另外三个顶点、3根下层垂直索的第一端、3根下层对角索的第一端连接；3根上层垂直索、3根上层对角索的第二端分别与顶部等边三角形的三个顶点连接，3根下层垂直索、3根下层对角索的第二端分别与底部等边三角形的三个顶点连接，其中，上层刚性杆和下层刚性杆之间有重叠。
[0053]
其中，6根刚性索为3根顶部刚性索3和3根底部刚性索10，6根刚性杆为a
11b11
、a
21b21
、a
31b31
、b
12a12
、b
22a22
、b
32a32
，6根刚性索分别为a
11a21
、a
21a31
、a
31a11
、b
12b22
、b
22b32
、b
32b12
，6根垂直索为a
11b31
、a
21b11
、a
31b21
、a
12b22
、a
22b32
、a
32b12
，6根对角索为a
11a32
、a
21a12
、a
31a22
、b
11b12
、b
21b22
、b
31b32
，6根腰部索为a
12b21
、b
21a22
、a
22b31
、b
31a32
、a
32b11
、b
11a12
。
[0054]
该1型二阶张拉整体的展开基于对称形态平衡流形的解完成，为了对该1型二阶张拉整体建立理论模型，现给出如下假定：
[0055]
1)假定6根刚性杆长度相等且轴对称，忽略绕其纵向对称轴的自由度，忽略磁场与重力；
[0056]
2)假定6根刚性索长度相等，忽略索的质量；
[0057]
3)假定18根弹性索为线弹性的，忽略质量与阻尼作用，6根腰部索长度相等，6根垂直索长度相等，6根对角索长度相等；
[0058]
4)6根刚性杆分别与顶部、底部连接处的摩擦力矩与角速度成正比，简写为mi＝dωi，其中，mi表示6根刚性杆分别与顶部、底部连接处的摩擦力矩，ωi表示刚性杆对底部或顶部节点i处的角速度，d表摩擦系数。
[0059]
本发明中的柔性机构控制方法包括展开控制和旋转控制，其中展开控制包括：
[0060]
步骤s1、根据6根刚性杆与6根刚性索之间的偏转角度建立广义坐标系；
[0061]
步骤s2、在上述建立的广义坐标系下，分别求解弹性索的长度，即6根垂直索、6根对角索及6根腰部索的长度；
[0062]
步骤s3、将外荷载施加在张拉整体的结构节点上，对弹性索的长度在广义坐标下求偏导，得到弹性索长度变化在广义坐标下的位移分量，即弹性索内部张力的位移，基于该位移与张力所做虚功之间的关系式，计算弹性索内部张力所做的虚功，根据弹性索内部张力所做的虚功与外载荷所做的虚功之和为零，建立该1型二阶张拉整体的平衡方程；其中，
外载荷的施加可以在求解弹性索的长度之前。
[0063]
步骤s4、求解上述平衡方程，得到所有弹性索的静息长度，用所有弹性索的静息长度完成展开控制过程。
[0064]
具体的，步骤s1中，对称型张拉整体6根刚性杆长度取为l，顶部、底部的3根刚性索长度为b，规定底部直角坐标系ob(b1,b2,b3)原点与底部3根刚性索围成的等边三角形的重心重合，坐标轴obb1与底部刚性索a
11a31
(也即刚性索a
31a11
)平行，坐标轴obb3与底面a
11a21a31
垂直，顶部直角坐标系o
t
(t1,t2,t3)原点与顶部3根刚性索围成的等边三角形的重心重合，坐标轴o
t
t1与b
12b32
(也即刚性索b
32b12
)平行，坐标轴o
t
t3与顶面b
12b22b32
垂直。根据下层刚性杆之间的角度关系、底部等边三角形和顶部等边三角形的位置关系定义对称型张拉整体广义坐标q的18个分量如下：
[0065][0066]
其中，δ、α分别表示刚性杆与底部三根刚性索中的任意两根之间的偏转角度，本实施例中，广义坐标q的第1、3、5、7、9、11项为δ，表示所有刚性杆关于轴obb3的偏转角度，第2、4、6、8、10、12项是刚性杆a
j1bj1
、a
j2bj2
(j＝1,2,3)关于轴obb1的偏转角度，第13、14、15项是顶部坐标关于底部坐标的欧拉旋转角，第16、17、18项是顶部坐标原点在底部坐标下的坐标值。
[0067]
具体的，步骤s2中，根据张拉整体的几何关系，如上所规定的广义坐标均可转换为以底部直角坐标系为基准的惯性坐标。根据对称型张拉整体几何条件，18根弹性索长度可写为：
[0068][0069][0070][0071]
其中，s、v、d分别表示6根腰部索、6根垂直索及6根对角索的长度；l为6根刚性杆长度，h表示1型二阶张拉整体上层刚性杆和下层刚性杆的重叠高度，b表示6根刚性索的长度，α表示任意一根设定的刚性杆与轴obb1的偏转角度，δ表示6根刚性杆关于轴obb3的偏转角度。
[0072]
具体的，步骤s3中，将外荷载简化于张拉整体结构的节点上，当系统处于平衡状态时，所有的摩擦、阻尼力的和力矩为零，仅有弹性索内部张力与外荷载做功。根据虚功原理，建立的1型二阶张拉整体的平衡方程为：
[0073]
a(q)t w(q)f＝0，其中
[0074]
式中，a为平衡矩阵，w为荷载矩阵，t为弹性索内部张力向量，f为外荷载向量，lj是
第j根弹性索长度，xj是第j个节点自由度，qi是第i个广义坐标，i表示广义坐标中第i个自由度，i＝1,2,3，
……
，18。
[0075]
本实施例中，考虑张拉整体顶部三节点存在荷载为f时，结合广义坐标可将上式改写为：
[0076][0077]
其中，ts、tv、td分别表示6根腰部索、6根对角索及6根对角索的内部张力。
[0078]
具体的，步骤s4中，由于考虑了外载荷，在步骤s3中建立的平衡方程不在是线性方程，同时考虑相应的约束关系，包括子步骤：
[0079]
s4.1、确定展开的期望路径，将该期望路径表示为任意一根刚性杆分别关于轴obb1及于轴obb3的偏转角度，分别记为α(t)、δ(t)(0≤t≤1)，其中，t表示归一化的时间，α(t)≠30
°
，0
°
＜δ(t)＜90
°
；
[0080]
具体的，确定任意一根刚性杆关于轴obb3的偏转角度的取值范围及任意一根刚性杆关于轴obb1的偏转角度的取值范围，并将其分别写成关于时间的函数δ(t)与α(t)(0≤t≤1)，α(t)≠30
°
，因为当α(t)＝30
°
时，刚性杆会交叉，0
°
＜δ(t)＜90
°
；具体的，根据平衡曲面规划所有刚性杆关于轴obb3的偏转角度及所有刚性杆关于轴obb1的偏转角度的取值范围；
[0081]
s4.2、以张拉整体的总高度大于0及上层刚性杆和下层刚性杆的重叠高度大于0为约束条件，固定6根对角索的张力td(t)取值，将上述方程转换为存在冗余方程的非线性方程组；具体的，张力td(t)取值任意，并不影响整个结构的平衡；增加的几何约束关系为：
[0082]
min(lcos(δ)-h,0)＝0与min(h,0)＝0
[0083]
s4.3、以展开的期望路径α(t)、δ(t)为约束条件，采用优化算法，求解上述非线性方程组，得到腰部索的张力ts(t)、垂直索的张力tv(t)及上层刚性杆和下层刚性杆的重叠高度h(t)；本实施例中，采用l-m算法求解上述非线性方程组；
[0084]
s4.4、依据腰部索的张力ts(t)、垂直索的张力tv(t)、对角索的张力td(t)及上层刚性杆和下层刚性杆的重叠高度h(t)之间满足胡克定律，求解所有弹性索的静息长度；用所有弹性索的静息长度完成展开控制过程。
[0085]
在步骤s4中，采用开环控制的方式控制对称型张拉整体的18根弹性索的剩余长度(即静息长度)来实现整个张拉整体机构的展开。
[0086]
基于上述对1型二阶张拉整体的展开控制方法，对展开后的1型二阶张拉整体进行旋转控制，旋转控制方法包括：
[0087]
步骤s1、以力密度法写出展开后的张拉整体每个节点的力平衡方程；
[0088]
步骤s2、在外载荷的作用下，以每个节点的内力平衡为目标函数，以所有的弹性索和刚性索在变形过程中都处于受张拉状态、所有的刚性杆都处于受压状态、该1型二阶张拉
整体顶部重心的轨迹的期望路径为几何约束，采用优化算法，求解张拉整体每个节点处的力密度和节点坐标；
[0089]
具体的，本实施例中，采用迭代非线性优化程序(snopt)使得顶部重心沿着期望路径变化，整个张拉整体机构按规定约束发生重构。
[0090]
步骤s3、根据力密度与张力之间的比例关系，得到弹性索在旋转过程中的张力，根据节点坐标求得弹性索在旋转过程中的长度；
[0091]
步骤s4、将旋转过程中的长度和张力代入胡克定律，求解所有弹性索的静息长度，根据所有弹性索的静息长度完成旋转控制过程。
[0092]
本实施例中，以张拉整体顶部重心的轨迹的期望路径为圆形为例，进行说明具体的旋转控制方法。
[0093]
定义张拉整体中所有杆和索的位置向量与单元向量之间的映射矩阵张拉整体中单元向量可表示为位置向量可表示为映射矩阵m与单元向量g及位置向量p有如下对应关系：
[0094][0095]
式中gs表示所有弹性索单元向量，gb表示所有刚性杆单元向量。
[0096]
每个节点处的平衡方程可以写为：
[0097]
||λ||＞0，λi≥0,ei∈es[0098]
其中为力密度矩阵，λi表示每个节点处的力密度，
ne
表示张拉整体中任意单元，即任意一根刚性杆、刚性索或弹性索，es表示弹性索和刚性索单元，ei表示张拉整体中任意单元，λi≥0,ei∈es表示所有的弹性索和刚性索在变形过程中都处于受张拉状态。
[0099]
考虑形状约束与外荷载作用，将张拉整体的形态控制转化为参数优化问题，即在外载荷的作用下，以每个节点的内力平衡为目标函数：
[0100][0101]
式中fi,i＝1,2,...,nn表示节点外荷载向量，表示与节点位置相关的形状约束。
[0102]
张拉整体的旋转即可通过如下非线性问题求解得到控制索的静息长度：
[0103][0104]
subject to
[0105]
||λ||＞0,λi≥0,ei∈es[0106]
其中，λi表示每个节点处的力密度，pi表示节点坐标；
[0107]
旋转过程中，张拉整体满足的形状约束为：
[0108][0109]
其中，p
base
＝p
specified coordinates
表示底部等边三角形的三个点的固定坐标，l
top tendons
(p)＝b表示将顶部刚性索长写为关于节点位置p的函数，并要求其等于b，l
bars
(p)＝l表示所有的刚性杆长度为l；
[0110]
由于张拉整体结构中的弹性索过多，增加相应的约束以减小计算量，并不影响本方法的实现，具体的，将腰部索、垂直索、对角索表示为节点位置p的函数：sk(p)、vk(p)、dk(p)，相应的约束关系为：
[0111]
6根腰部索的长度sk(p)始终都相等，记为s(p)；
[0112]
6根垂直索的长度vk(p)始终都相等，记为v(p)；
[0113]
指定三组对角索的长度dk(p)始终等相等，记为d
k 1
(p)，本实施例中，选择d1(p)＝d2(p)、d3(p)＝d4(p)、d5(p)＝d6(p)，即对角索a11a32与b11b12长度相等，a21a12与b21b22长度相等，a31a22与b31b32长度相等。
[0114]
旋转过程中的期望路径为：
[0115][0116]
其中，表示第i次优化计算对顶部重心的坐标要求，r
des
表示期望旋转半径，θ表示旋转角度，n
x
表示顶部重心从初始位置υ0至圆周所设计的优化计算次数，nc表示从初始位置至旋转一周所设计的优化计算次数，j＝n
c-n
x
表示旋转一周所设计的优化计算次数。
[0117]
使用大型非线性优化程序对上述非线性问题进行求解，控制索的静息长度可由每一次优化求解得到的λi、pi计算得出，将该长度即可应用于控制张拉整体完成绕圆心的旋转；在其它实施例中，按需求更改末端执行器与期望路径可将该方法推广至更复杂的运动控制。
[0118]
本发明的旋转控制方法，基于特定约束下力密度法找型完成的，这种开环控制的准静态方法使结构重构的过程都处于平衡状态。本发明中，将张拉整体顶部重心作为末端执行器，以张拉整体顶部重心的轨迹的期望路径为几何约束，力密度法写出的平衡方程作为优化目标，力密度与张拉整体节点坐标作为待优化参数，通过迭代非线性优化程序(snopt)使得顶部重心沿着期望路径变化，整个结构按规定约束发生重构，最后再由力密度反解出每根索的张力与静息长度，控制每根索的静息长度即可控制整个张拉整体结构完成规定重构。
[0119]
本实施例中，取刚性杆长l为0.4m,底部与顶部刚性索长b＝0.27m,r
des
＝0.1m，n
x
＝8，nc＝40，弹性索为铝丝，其刚度取2
×
105，预张系数p＝100，考虑旋转控制时，设定约束条件为6根腰部索长度恒为0.16m,6根垂直索长度相等，6根对角索长度两两相等，α＝60
°
，δ(t)＝90
°‑
63
°
t，则张拉整体展开过程如图4中的(a)-(d)所示，图中的t＝0表示张拉整体还处于平面未展开阶段，t＝1/3表示张拉整体张开1/3，展开过程中弹性索的静息长度变化，如图5所示，由于α＝60
°
且张拉整体的对称性，对角索和腰部索的静息长度变化一致，张拉整体的旋转过程如图6中的(a)-(f)所示，图中展示了在张拉整体旋转控制的每个阶段，张拉整体顶部重心的轨迹按照圆形期望路径的变化过程。旋转过程中弹性索的静息长度变化如图7所示。
[0120]
基于上述提供的展开控制和旋转控制方法，本发明还提供了一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序，以实现上述控制方法中的步骤。
[0121]
如图8和图9所示，基于上述的1型二阶张拉整体的展开控制和旋转控制，本发明还提供了一种探测装置，该探测装置包括视觉模块和柔性机构，视觉模块设置在柔性机构上，该柔性机构包括1型二阶张拉整体，且该1型二阶张拉整体通过上述的展开控制方法进行展开，通过上述的旋转控制方法进行旋转，该视觉模块用于实现收集含有待检测目标的图片，并进行相应的数据处理。
[0122]
作为优选，视觉模块设置在柔性机构的顶部，视觉模块为双目相机1，柔性机构的顶部放置隔板2以及负责识别测距的双目相机。
[0123]
本实施例中，视觉模块为双目相机，其识别与测距功能，通过下述步骤实现：
[0124]
步骤s1、根据实际的应用场景，如无人机空中探测，双目相机广泛收集含有待检测目标的图片数据，为图片中待识别目标赋予标签后将所有数据分为训练集与验证集两部分，用于后续目标检测网络的训练；
[0125]
步骤s2、下载基于tensorflow平台的object detection框架，选择轻量级网络ssd-mobilenet作为待训练网络，采用步骤s1中的训练集与验证集，配置模型参数，并生成tensorflow的pb模型文件，得到练好的网络模型；
[0126]
步骤s3、利用预先标定得到的双目相机参数矫正左目与右目图像，得到矫正后的图像，将矫正后的图像输入训练好的网络模型中，进行识别；同时，采用opencv中sgbm立体匹配算法生成视差图，并由视差图计算矫正后的图像中每个像素点对应的真实坐标，得到目标至双目相机的距离，实现探测。预先标定得到的相机参数包括左目、右目相机内参矩阵、畸变系数、双目相机的平移向量与旋转向量。本发明采用准静态的方法对张拉整体的形状变化进行控制，通过改变弹性索的静息长度，使张拉整体可以从平面状态至展开状态，再完成绕一点旋转的动作。搭载的视觉模块可传回识别到的目标类别与距离信息，达到无人机对周边环境探测目的。
[0127]
本发明将机器视觉模块与柔性机械装置创新地结合起来，可以在空中折叠展开，360度旋转拍摄，识别特定目标并且测量目标距离，这种新型的智能装置质量轻、便于携带、可操控性强，未来可以应于无人机空中探测等特定探测监控领域。
[0128]
本发明搭载的视觉模块采用基于tensorflow平台的object detection框架，在该框架内可以根据实际需要，选用不同的神经网络作为预训练网络，调整不同的训练配置参
数，易于操作，灵活性强。本发明选择的ssd-mobilenet网络属于轻量级网络，体积小、计算量少，但又不失准确性。
[0129]
本发明搭载的视觉模块采用的半全局匹配(sgbm)算法生成的视差图效果好，处理速度快，对于图像深度计算也更加精准。
[0130]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。