一种高效轻量级光流估计方法与流程

技术特征：
1.一种高效轻量级光流估计方法，其特征在于，包括下列步骤：步骤s1：无人导航系统将采集的图像对作为输入发送至已训练的金字塔网络模型中，其中无人导航系统通过采集的图像对得到硬件设备的控制指令；步骤s2：金字塔网络模型中包含有六层神经网络结构，六层金字塔同时进行两次卷积后，得到六个参数互不干涉的特征图，已训练的金字塔网络模型高速输出高精度的图像光流估计结果；步骤s3中：根据图像光流估计结果确定图像中被遮挡的感知对象，无人机导航系统的硬件设备执行接收新的控制指令避让或靠近感知对象。2.根据权利要求1所述的一种高效轻量级光流估计方法，其特征在于，所述步骤s1中，金字塔网络模型的训练方法包括下列步骤：步骤s21：对输入的图像对分别进行下采样形成六层金字塔结构，六层金字塔结构中包含有特征输入层、扭曲层、成本代价计算层、解耦光流估计层、金字塔结构改进的光流估计层和大位移估计层；步骤s22：将图像对进行普通卷积操作发送至特征输入层中，前一张图片通过特征输入层输出至成本代价计算层，后一张图片通过特征输入层输出至扭曲层，扭曲层的输出端与成本代价计算层连接；步骤s23：成本代价计算层的输出与解耦光流估计层连接，解耦光流估计层的输出端与大位移估计层连接，得到大位移变化后的光流预测；步骤s24：特征输入层的输出还直接与解耦光流估计层连接，得到初步光流预测；步骤s25：将s24中和s25中产生的光流预测进行叠加产生一个批次的训练结果，更新模型中各参数的权重，并将训练结果中上采样光流作为上级神经网络中的上采样光流输入至扭曲层中。3.根据权利要求2所述的一种高效轻量级光流估计方法，其特征在于，所述特征输入层中，将输入图像进行五次下采样，每次采样的像素为上一层的一半，将六层金字塔同时进行两次卷积，构成六个参数互不干涉的特征图，第一次卷积步长为2，第二次卷积步长为1。4.根据权利要求2所述的一种高效轻量级光流估计方法，其特征在于，所述步骤s22中，扭曲层中将金字塔中l 1层预测的光流flow
l 1
进行2倍上采样后与l层的第二张输入特征图进行一次光流扭曲得到使其与第一张特征图更接近，而最下面一层l6的光流估计设置为0，匹配成本代价计算层将处理后的两个特征图做相关联像素的匹配，将第一幅图与扭曲过后的第二幅图的相关性定义为匹配代价，特征图对做类卷积运算匹配代价计算公式为式中，t是转置操作，n是列向量的数量，设定限制参数d，使得|x1
‑
x2|
∞
≤d。由于顶层金字塔一个像素的移动对应了全分辨率图像2
l
‑1像素的移动，每层金字塔的d将按比例缩小，其中，图像扭曲层和匹配成本代价计算层均为计算层。5.根据权利要求4中所述的一种高效轻量级光流估计方法，其特征在于，光流估计层的输入是匹配成本代价，第一幅图像x1和上一层的光流预测图上采样结果flow
l
，输出是当前层的光流预测图以及上一层的光流预测的部分权重。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被一个或多个处理器执行时实现如权利要求1～5任一项所述的高效轻量级光流估计方法。7.一种高效轻量级光流估计装置，其特征在于，包括：一个或多个处理器；计算机可读存储介质，其存储有一个或多个计算机程序；所述一个或多个所述计算机程序被所述一个或多个处理器执行时实现如权利要求1～5任一项所述的高效轻量级光流估计方法。8.一种高效轻量级光流估计系统，其特征在于，包括：通过金字塔网络模型计算图像中光流估计值，其中，金字塔网络模型包含有特征输入层、扭曲层、成本代价计算层、解耦光流估计层、金字塔结构改进的光流估计层和大位移估计层，金字塔网络模型基于pwc
‑
net建立。9.根据权利要求8中所述的一种高效轻量级光流估计系统，其特征在于，金字塔网络模型在训练时，应用随机擦除增强策略在训练集中随机选择图像的矩形区域，使用0～255中的随机值擦除其像素。10.根据权利要求1～5中所述一种高效轻量级光流估计方法应用于无人车、无人机的自主导航和跟踪的用途。

技术总结
本发明涉及图像处理技术领域，目的是提供一种高效轻量级光流估计方法，本发明共采用六层金字塔网络结构，对输入的图像对分别进行下采样形成六层金字塔结构，具体包含有特征输入层、扭曲层、成本代价计算层、解耦光流估计层、金字塔结构改进的光流估计层和大位移估计层，成本代价计算层的输出与解耦光流估计层连接，解耦光流估计层的输出端与大位移估计层连接，得到大位移变化后的光流预测，特征输入层的输出还直接与解耦光流估计层连接，得到初步光流预测，更新模型中各参数的权重后在保持相同估计精准度的同时大幅提升了光流估计运算性能，同时改进了物体有遮挡物时精确度下降的情况。同时改进了物体有遮挡物时精确度下降的情况。同时改进了物体有遮挡物时精确度下降的情况。


技术研发人员：吴飞 胡毅轩 熊玉洁 朱海 张玉金
受保护的技术使用者：上海工程技术大学
技术研发日：2021.07.08
技术公布日：2021/10/23