一种基于单目视觉的无人机低功耗自主避障方法及系统与流程

技术特征：
1.一种基于单目视觉的无人机低功耗自主避障方法，其特征在于，步骤如下：步骤1：收集数据集：采用深度相机收集数据集，深度相机收集到的是整个场景的距离；同步收集单目rgb图像和深度图像，单目rgb图像数据集作为训练轻量化自主避障模型的数据集，深度图像用于制作距离标签；步骤2：数据集处理：将收集到的深度图像进行裁剪后，按宽度等分为左中右三部分，并求出左中右三部分的平均深度值，深度值表示距离值，将平均深度值作为左中右三个方向的距离，将三个方向的距离与所述单目rgb图像数据集进行对应，作为单目rgb图像左中右三个方向的距离标签；步骤3：基于轻量化卷积神经网络构建轻量化自主避障模型；步骤4：训练和测试所述轻量化自主避障模型，将所述数据集划分为训练集，验证集和测试集，确定模型训练参数，采用模型训练参数进行轻量化自主避障模型的训练，将模型训练参数代入轻量化自主避障模型，最终从单目图像中预测到左中右三个方向的距离dl，dc，dr；步骤5：设计控制算法将所预测的左中右三个方向的距离dl，dc，dr转化为无人机控制指令，以控制无人机的避障飞行。2.根据权利要求1所述的基于单目视觉的无人机低功耗自主避障方法，其特征在于：所述步骤3中，轻量化自主避障模型采用轻量化卷积神经网络实现，所述轻量化卷积神经网络的输入层是单目rgb图像，经过预先特征提取层提取特征，预先特征提取层由池化层max pooling 卷积层conv 池化层max pooling构成；然后经过两个轻量化模块提取特征；最后经过一个3*3卷积运算提取特征后将特征图按宽度划分为左中右三块，分别送入三个分支中，每个分支层由一个3*3卷积加一个全连接层组成，各分支最后输出左中右三个方向的距离；所述两个轻量化模块均采用轻量级卷积神经网络sufflenet中的模块，损失函数采用三分支mse(mean squard error，均方误差)损失函数。3.根据权利要求1所述的基于单目视觉的无人机低功耗自主避障方法，其特征在于：所述步骤2中，在归一化前选一个安全阈值d
safe
和危险阈值d
danger
，比d
danger
小的距离视为危险距离，比d
safe
大的距离视为安全距离，则归一化公式为：4.根据权利要求1所述的基于单目视觉的无人机低功耗自主避障方法，其特征在于：所述步骤5中，控制算法实现如下：(1)无人机控制指令包括线速度v和角速度w，线速度v由中间方向距离dc控制，能够判断无人机正对空间是否有障碍物，为了更好的调节线速度再设置两个阈值dmin和dmax，dc小于dmin表示当前正对空间存在障碍物，线速度调整为0，dc大于dmax表示当前正对空间不存在障碍物，调整为最大线速度vmax，dc位于两者之间则根据dc距离大小调整线速度，线速度公式为：
(2)角速度w由所述左中右三个方向的距离dl，dc，dr共同决定，角速度w大小范围为[
‑
1,1]，小于0表示向左转，大于0表示向右转；将左边方向设置为
‑
45
°
，中间方向设置为0
°
，右边方向设置为45
°
，则dl，dc，dr均成为向量dl，dc，dr，当左中右三个方向距离都大于dmin时，角速度由三个方向的距离向量共同决定，θ等于dl，dc，dr合力方向的度数，角速度等于θ除以dr度数；否则，当左方向距离大于右方向距离时，角速度由左中距离向量共同决定，θ等于dl，dc合力方向的度数，角速度等于θ除以dr度数；反之由右中距离向量共同决定，θ等于dc，dr合力方向的度数，角速度等于θ除以dr度数，当左中右三个方向距离都小于dmin时，说明此时左中右三个方向都存在障碍物，则掉头寻找其他路径。5.一种基于单目视觉的无人机低功耗自主避障系统，其特征在于，包括：视频解析模块、避障系统模块和控制系统模块；视频解析模块，为整个系统提供图像输入，首先利用无人机收集视频，通过socket协议传输到控制平台，然后进行视频解析，将视频解析为帧图像，接下来对图像进行预处理，即将图像调整为规定大小，图像处理好后被输入到避障系统模块中；避障系统模块，用于从图像中预测左中右三个方向的距离；视频解析模块已经得到了经过预处理的图像，接下来将训练好的轻量化自主避障模型部署到控制平台上，具体部署方式为：在控制平台上安装轻量化自主避障模型运行所需环境，并将轻量化自主避障模型进行模型压缩，使其在控制平台上运行；部署完成后，将视频解析模块得到的图像作为轻量化自主避障模型的输入，运行模型得到该图像对应的左中右三个方向的距离dl，dc，dr；控制系统模块，用于将左中右三个方向的距离转换为控制无人机的指令，无人机控制指令包括无人机线速度v和角速度w；(1)线速度v由中间方向距离dc控制，能够判断无人机正对空间是否有障碍物，为了更好的调节线速度再设置两个阈值dmin和dmax，dc小于dmin表示当前正对空间存在障碍物，线速度调整为0，dc大于dmax表示当前正对空间不存在障碍物，调整为最大线速度vmax，dc位于两者之间则根据dc距离大小调整线速度，线速度公式为：(2)无人机角速度由w所述左中右三个方向的距离dl，dc，dr共同决定，角速度大小范围为[
‑
1,1]，小于0表示向左转，大于0表示向右转；将左边方向设置为
‑
45
°
，中间方向设置为0
°
，右边方向设置为45
°
，则dl，dc，dr均成为向量dl，dc，dr，当左中右三个方向距离都大于dmin时，角速度由三个方向的距离向量共同决定，θ等于dl，dc，dr合力方向的度数，角速度等于θ除以dr度数；否则，当左方向距离大于右方向距离时，角速度由左中距离向量共同决定，θ等于dl，dc合力方向的度数，角速度等于θ除以dr度数；反之由右中距离向量共同决定，θ等于dc，dr合力方向的度数，角速度等于θ除以dr度数，当左中右三个方向距离都小于dmin时，说明此时左中右三个方向都存在障碍物，则掉头寻找其他路径；
(3)求得无人机线速度v和角速度w后，控制平台通过socket协议发送给无人机控制其避障飞行。

技术总结
本发明涉及一种基于单目视觉的无人机低功耗自主避障方法及系统，提出一个低功耗自主避障算法，先设计一个轻量化的卷积神经网络用于从单目图像中预测障碍物距离，并设计控制算法将距离转化为无人机控制指令用来控制无人机的避障飞行。为了将避障算法和控制算法用于实际系统中，搭建了特洛无人机和嵌入式平台Jetson Nano的避障系统。特洛无人机负责收集视频流并传输到Jetson Nano上，Jetson Nano负责解析视频并运行避障模型和控制算法，得到无人机控制指令后回传到特洛无人机控制其飞行。人机控制指令后回传到特洛无人机控制其飞行。人机控制指令后回传到特洛无人机控制其飞行。


技术研发人员：钱德沛 郭好雨 王锐
受保护的技术使用者：北京航空航天大学
技术研发日：2021.05.20
技术公布日：2021/9/21