一种基于水滴态感知视场融合的单车环视图像实时拼接方法

技术特征：
1.一种基于水滴态感知视场融合的单车环视图像实时动态拼接方法，其特征在于，包括以下步骤：步骤s1、设置车辆环视视觉系统，并对车辆环视视觉系统参数进行标定；步骤s2、令车辆环视视觉系统采用水滴态感知视场模型，其符合一般二次曲面约束，即：式中，f(p)为与感知深度p有关的视场高度函数；p
vf
为在高度为0时的感知深度，p
v
为在高度为车辆高度h
v
时对应的车辆水平感知深度；建立相机的二维图像坐标系及三维的3d投影坐标系，将相机图像中的像素点一一投影到水滴态三维感知视场模型所在的3d投影坐标系中，则：当高度为0时，像素点在二维图像坐标系和3d投影坐标系中的对应关系如下：其中，(x
′
,y
′
)表示像素点在二维图像坐标系中坐标，(x,y,z)表示像素在3d投影坐标系中对应的坐标；α,β均为常数，α为抬升系数，β为曲率系数，m表示图像宽度，即像素数；当高度不为0时，像素点在二维图像坐标系和3d投影坐标系中的对应关系如下：其中，γ为分辨率调节系数；根据方程(1)和(2)求解出各个像素点映射至水滴态感知视场的坐标(x,y,z)，以及相应的感知深度p；步骤s3、基于步骤s1标定的车辆环视视觉系统参数以及步骤s2得到的像素点在二维图像坐标系和3d投影坐标系中的对应关系，求解图像坐标系中二维像素点到3d模型所在的d投影坐标系中对应像素的相对运动，建立车辆环视视觉系统的初始参数表；步骤s4、同步获取车辆环视视觉系统中各个相机的视频数据，并行提取特征点，进行特征匹配，进而更新所述参数表；步骤s5、基于更新后的所述参数表，将车辆各个相机图像投影在水滴态感知模型上，进而对图像进行拼接。2.如权利要求1所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方法，其特征在于，所述步骤s4中，对各个相机的视频数据进行防抖处理，然后再更新所述参数表。3.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼
接方法，其特征在于，所述水滴态感知视场模型为碗状模型，碗壁为设定类型曲线绕中心轴旋转构成的曲面，碗底为碗壁所包围的圆形，碗底中心为车辆投影在水平面的长方形。4.如权利要求3所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方法，其特征在于，所述设定类型曲线为抛物线、圆弧或其他二次曲线。5.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方法，其特征在于，采用superpoint架构进行特征点提取。6.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方法，其特征在于，采用superglue架构实现特征匹配。7.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方法，其特征在于，所述车辆环视视觉系统包括4个相机，分别置于车头车牌上部、左后车门骨架中部、车尾车牌上部与右后车门骨架中部。8.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方法，其特征在于，所述车辆环视视觉系统的载体采用阿克曼运动模型车辆。9.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方法，其特征在于，所述相机成像模型采用scaramuzza提出的泰勒展开式相机成像模型。10.如权利要求1或2所述的一种基于水滴态感知视场融合的多车环视图像实时动态拼接方法，其特征在于，车辆环视视觉系统的重叠视场朝向载体两侧。

技术总结
本发明提出一种水滴态感知视场融合的单车环视图像实时动态拼接方法，该方法使用汽车环视视觉系统提供的全景图像信息，能够感知大范围环境信息，为卡车等可转动的非刚体特种车辆提供汽车实时环视动态拼接图像，并可为车辆提供同一尺度下的水滴态三维感知视场融合图像，实现无盲区、大范围的实时环境显示；通过基于Superpoint架构的特征点提取算法与基于SuperGlue架构的特征匹配算法可以有效改进特征匹配结果，剔除无法用于位姿估计的匹配点对，提升相机之间相对位置参数的精度和可靠性；通过在统一框架下将视频防抖与拼接相结合，可以获得稳定的动态全景拼接图像；结合构建的水滴模型与相关投影矩阵，可为车辆提供实时3D全景环视图像。时3D全景环视图像。时3D全景环视图像。


技术研发人员：杨毅 梁浩 朱春晖 董志鹏 孙润东 付梦印
受保护的技术使用者：北京理工大学
技术研发日：2022.09.05
技术公布日：2022/12/5