一种端到端视觉里程计方法及装置与流程

技术特征：
1.一种端到端视觉里程计方法，用于获取车辆上的摄像装置的位姿估计信息，其特征在于，所述端到端视觉里程计方法包括：获取摄像装置所提供的当前帧图像信息以及当前帧的前一帧的图像信息；分别对当前帧图像信息以及当前帧的前一帧的图像信息进行灰度变换处理，从而获取当前帧的亮度图像信息以及当前帧的前一帧的亮度图像信息；对所述当前帧图像信息以及当前帧的亮度图像信息进行融合，从而获取当前帧融合图像信息；对所述当前帧的前一帧的图像信息以及当前帧的前一帧的亮度图像信息进行融合，从而获取当前帧的前一帧的融合图像信息；通过跳跃-融合-fcnn方法对所述当前帧融合图像信息以及所述当前帧的前一帧的融合图像信息进行特征提取从而获取融合图像特征；根据所述融合图像特征获取摄像装置的位姿估计信息。2.如权利要求1所述的端到端视觉里程计方法，其特征在于，所述对当前帧图像信息进行灰度变换处理，从而获取当前帧的亮度图像信息包括：获取当前帧图像信息中的当前帧源图像序列；将当前帧源图像序列变换到灰度空间，对当前帧图像信息的各个像素进行集合划分，从而将各个像素分成三组集合，所述三组集合包括当前帧暗类像素集合，当前帧中类像素集合，当前帧亮类像素集合；计算各组集合中的各个像素点的曝光度；根据所述曝光度对当前帧源图像序列进行灰度变换，扩大欠曝光像素的灰度值，从而获取当前帧的亮度图像信息；所述对当前帧的前一帧的图像信息进行灰度变换处理，从而获取当前帧的前一帧的亮度图像信息包括：获取当前帧的前一帧的图像信息中的当前帧的前一帧的图像序列；将当前帧的前一帧的图像序列变换到灰度空间，对当前帧的前一帧的图像信息的各个像素进行集合划分，从而将各个像素分成三组集合，所述三组集合包括当前帧的前一帧的暗类像素集合，当前帧的前一帧的中类像素集合，当前帧的前一帧的亮类像素集合；计算各组集合中的各个像素点的曝光度；根据所述曝光度对当前帧的前一帧的图像信息进行灰度变换，扩大欠曝光像素的灰度值，从而获取当前帧的前一帧的亮度图像信息。3.如权利要求2所述的端到端视觉里程计方法，其特征在于，对所述当前帧图像信息以及当前帧的亮度图像信息进行融合，从而获取当前帧融合图像信息包括：采用如下公式对所述当前帧图像信息以及当前帧的亮度图像信息进行融合：；其中，表示当前帧图像信息中像素p位置处的权重，；i为当前帧源图像序列； 为当前帧亮度图像信息；表示当前帧融合图像信息；；
其中，表示高斯滤波器，和分别表示傅里叶变换及其逆变换，表示n
×
n矩阵，矩阵中的每个元素均为1/n2；和分别表示复数矩阵的实数部分和虚数部分； 为显著性图谱。4.如权利要求3所述的端到端视觉里程计方法，其特征在于，所述通过跳跃-融合-fcnn方法对所述当前帧融合图像信息以及所述当前帧的前一帧的融合图像信息进行特征提取从而获取融合图像特征包括：获取fcnn神经网络模型，所述fcnn神经网络模型包括五个池化层以及七个卷积层，其中，所述五个池化层分别称为第一池化层、第二池化层、第三池化层、第四池化层以及第五池化层；所述七个卷积层分别称为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层以及第七卷积层；将所述当前帧融合图像信息以及所述当前帧的前一帧的融合图像信息进行叠加从而形成最终输入图像信息；将所述最终输入图像信息输入至所述fcnn神经网络模型，以使所述最终输入图像信息依次经过第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、第五池化层、第六卷积层以及第七卷积层处理；根据经过所述第三池化层处理后的数据、经过所述第四池化层处理后的数据以及经过所述第七卷积层处理后的数据生成第一路径特征；根据经过所述第二池化层处理后的数据、经过所述第三池化层处理后的数据、经过所述第四池化层处理后的数据以及经过所述第七卷积层处理后的数据生成第二路径特征；根据经过所述第一池化层处理后的数据、所述第二池化层处理后的数据、经过所述第三池化层处理后的数据、经过所述第四池化层处理后的数据以及经过所述第七卷积层处理后的数据生成第三路径特征；将所述第一路径特征、第二路径特征以及第三路径特征进行融合，从而获取所述融合图像特征。5.如权利要求4所述的端到端视觉里程计方法，其特征在于，所述第一池化层、第二池化层、第三池化层、第四池化层以及第五池化层分别具有不同的参数；所述根据经过所述第三池化层处理后的数据、经过所述第四池化层处理后的数据以及经过所述第七卷积层处理后的数据生成第一路径特征包括：对经过所述第三池化层处理后的数据进行4倍下采样，对经过所述第四池化层处理后的数据进行2倍下采样；将经过所述4倍下采样的数据以及经过所述2倍下采样的数据与第七卷积层处理后的数据进行求和运算，逐数据相加，将三个不同深度的预测结果进行合并从而获取第一路径特征。6.如权利要求5所述的端到端视觉里程计方法，其特征在于，所述根据经过所述第二池化层处理后的数据、经过所述第三池化层处理后的数据、经过所述第四池化层处理后的数据以及经过所述第七卷积层处理后的数据生成第二路径特征包括：对经过所述第二池化层处理后的数据进行8倍下采样、对经过所述第三池化层处理后的数据进行4倍下采样，对经过所述第四池化层处理后的数据进行2倍下采样；将经过所述8倍下采样的数据、所述4倍下采样的数据以及经过所述2倍下采样的数据
与第七卷积层处理后的数据进行求和运算，逐数据相加，将四个不同深度的预测结果进行合并从而获取第二路径特征。7.如权利要求6所述的端到端视觉里程计方法，其特征在于，所述根据经过所述第一池化层处理后的数据、所述第二池化层处理后的数据、经过所述第三池化层处理后的数据、经过所述第四池化层处理后的数据以及经过所述第七卷积层处理后的数据生成第三路径特征包括：对经过所述第一池化层处理后的数据进行16倍下采样、经过所述第二池化层处理后的数据进行8倍下采样、对经过所述第三池化层处理后的数据进行4倍下采样，对经过所述第四池化层处理后的数据进行2倍下采样；将经过所述16倍下采样的数据、所述8倍下采样的数据、所述4倍下采样的数据以及经过所述2倍下采样的数据与第七卷积层处理后的数据进行求和运算，逐数据相加，将五个不同深度的预测结果进行合并从而获取第三路径特征。8.如权利要求7所述的端到端视觉里程计方法，其特征在于，所述池化层的参数包括图像尺寸参数以及通道数；所述卷积层的参数包括图像尺寸参数以及通道数；所述第一池化层的图像尺寸参数为(m/2)
×
(n/2)；所述第一池化层的通道数为64；所述第二池化层的图像尺寸参数为(m/4)
×
(n/4)；所述第二池化层的通道数为128；所述第三池化层的图像尺寸参数为(m/8)
×
(n/8)；所述第三池化层的通道数为256；所述第四池化层的图像尺寸参数为(m/16)
×
(n/16)；所述第四池化层的通道数为256；所述第五池化层的图像尺寸参数为(m/32)
×
(n/32)；所述第五池化层的通道数为512；所述第六卷积层的图像尺寸参数为4096
×
(m/32)
×
(n/32)；所述第六卷积层的通道数为512；所述第七卷积层的图像尺寸参数为4096
×
(m/32)
×
(n/32)；所述第七卷积层的通道数为512。9.如权利要求8所述的端到端视觉里程计方法，其特征在于，所述根据所述融合图像特征获取位姿估计信息包括：将所述融合图像特征输入至长短期记忆神经网络中，从而获取摄像装置的位姿估计信息。10.一种端到端视觉里程计装置，用于实现如权利要求1至9中任意一项所述的端到端视觉里程计方法，其特征在于，所述端到端视觉里程计装置包括：图像获取模块，所述图像获取模块用于获取摄像装置所提供的当前帧图像信息以及当前帧的前一帧的图像信息；灰度变换处理模块，所述灰度变换处理模块用于分别对当前帧图像信息以及当前帧的前一帧的图像信息进行灰度变换处理，从而获取当前帧的亮度图像信息以及当前帧的前一帧的亮度图像信息；融合模块，所述融合模块用于对所述当前帧图像信息以及当前帧的亮度图像信息进行融合，从而获取当前帧融合图像信息以及对所述当前帧的前一帧的图像信息以及当前帧的前一帧的亮度图像信息进行融合，从而获取当前帧的前一帧的融合图像信息；特征提取模块，所述特征提取模块用于通过跳跃-融合-fcnn方法对所述当前帧融合图像信息以及所述当前帧的前一帧的融合图像信息进行特征提取从而获取融合图像特征；
位姿估计模块，所述位姿估计模块用于根据所述融合图像特征获取摄像装置的位姿估计信息。

技术总结
本申请公开了一种端到端视觉里程计方法及装置，属于自动驾驶技术领域。所述端到端视觉里程计方法包括：获取当前帧图像信息及前一帧图像信息；获取当前帧的亮度图像信息及前一帧的亮度图像信息；获取当前帧融合图像信息；获取当前帧的前一帧的融合图像信息；通过跳跃-融合-FCNN方法对当前帧融合图像信息以及当前帧的前一帧的融合图像信息进行特征提取从而获取融合图像特征；根据融合图像特征获取摄像装置的位姿估计信息。通过本申请的方法能够增强图像的对比度，提供更多的细节信息，从而提高图像特征提取的精度，降低位姿估计过程中的误差。中的误差。中的误差。


技术研发人员：王祎男 梁贵友 关瀛洲 曹礼军 翟诺 王迪 曹容川 张天奇
受保护的技术使用者：中国第一汽车股份有限公司
技术研发日：2022.10.18
技术公布日：2022/11/18