自动驾驶RGBIR图像重采样方法、系统、终端及介质与流程

技术特征：
1.一种自动驾驶rgbir图像重采样方法，其特征在于，包括：对rgbir图像中的g通道进行插值，得到完整的g通道图像；在得到所述g通道图像后，以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的完整的r通道图像、完整的b通道图像和ir通道图像；其中，所述ir通道图像为与输入图像具有相同分辨率的ir图像；根据给定的bayer格式，分别对所述g通道图像、所述r通道图像和所述b通道图像进行下采样，即得到相应的bayer图像，完成对rgbir图像的重采样。2.根据权利要求1所述的自动驾驶rgbir图像重采样方法，其特征在于，所述对rgbir图像中的g通道进行插值，得到g通道图像，包括：基于rgbir图像中r、g、b和ir各通道的光谱相关性，构建自适应光谱相关核函数；根据所述自适应光谱相关核函数，对所述g通道中的r、b和ir点所在的位置进行高斯上采样，完成在rgbir图像的g通道中对r、b和ir点位的g像素进行插值，得到完整的g通道图像。3.根据权利要求2所述的自动驾驶rgbir图像重采样方法，其特征在于，还包括如下任意一项或任意多项：-所述基于rgbir图像中r、g、b和ir各通道的光谱相关性，构建自适应光谱相关核函数，包括：设rgbir图像中各通道光谱的导数近似相等，则导数通过对角像素相减计算得到；利用计算得到的对角方向的导数，构建位置x
p
的自适应光谱相关核函数为：其中，x为像素点的空间，为高斯核的协方差矩阵，h为用来控制核函数作用区域以及控制平滑程度的参数，h为旋转矩阵，用来对齐导数的方向；所述高斯核的协方差矩阵通过在位置x
p
附近的对角方向的导数进行计算，则：其中，z
u
和z
v
为对角方向的导数，表示x
p
位置邻域的像素点，表示的是邻域中像素点的个数；-所述根据所述自适应光谱相关核函数，对所述g通道中的r、b和ir点所在的位置进行高斯上采样，包括：根据所述自适应光谱相关核函数，对g通道中的r、b和ir点位进行高斯上采样，设需要上采样的点为x
p
，其上采样的计算公式为：
其中，表示需要上采样的点x
p
位置邻域的像素点，为x
i
点重采样之后的值，为x
i
点二进制掩码矩阵，为权重归一化因子，通过自适应光谱相关核函数掩码点乘求和得到，为自适应光谱相关核函数；对g通道中的r、b和ir点位进行高斯上采样后即实现对g通道中的r、b和ir点位的g像素插值。4.根据权利要求1所述的自动驾驶rgbir图像重采样方法，其特征在于，所述以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的完整的r通道图像、完整的b通道图像和ir通道图像，包括：设x为：r、b或ir；以g通道作为指导图像，对x通道进行预插值，得到x通道预插值图像在rgbir图像的x通道中，选取x采样点，计算所述x通道预插值图像与x采样点图像之间的误差，得到误差图像δx；对所述误差图像δx进行插值，得到完整的误差平面图像δx
full
；采用所述误差平面图像δx
full
对x通道预插值图像进行点对点修正，得到最终的x通道插值图像x
final
，即为对应的完整的r通道图像、完整的b通道图像或ir通道图像。5.根据权利要求4所述的自动驾驶rgbir图像重采样方法，其特征在于，还包括如下任意一项或任意多项：-所述以g通道作为指导图像，对x通道进行预插值，得到x通道预插值图像包括：采用导向滤波方法，将g通道作为指导图像，将x通道作为待处理图像，进行导向滤波，得到x通道预插值图像-所述在rgbir图像的x通道中，选取x采样点，计算所述x通道预插值图像与x采样点图像之间的误差，得到误差图像δx，包括：其中，mask为采样点选取二值矩阵，在x采样点取1，其他点取0，.*为矩阵点对点元素相乘；-所述对所述误差图像进行插值，得到完整的误差平面图像δx
full
，包括：采用bicubic插值算法对所述误差图像δx平面进行插值，得到完整的误差平面图像δx
full
；-采用所述误差平面图像δx
full
对所述对x通道预插值图像进行点对点修正，得到最终的x通道插值图像x
final
，包括：在获得完整的误差图像平面δx
full
之后，采用如下方式对x通道预插值图像进行点对点修正：得到最终的x通道插值图像x
final
。
6.根据权利要求1所述的自动驾驶rgbir图像重采样方法，其特征在于，所述根据给定的bayer格式，分别对所述g通道图像、r通道图像和b通道图像进行下采样，即得到相应的bayer图像，包括：在每一个通道图像中，以2x2块区域为单位，在每个2x2块区域中，根据给定的bayer格式，按照左上角点、右上角点、左下角点和右下角点的顺序，分别对bayer格式中相应顺序所对应的通道予以保留，其他通道置零；将4个点中非零点按照其位置合并成单个通道的图像，得到给定格式的bayer图像。7.一种自动驾驶rgbir图像重采样系统，其特征在于，包括：g通道插值模块，该模块对rgbir图像中的g通道进行插值，得到完整的g通道图像；r/b/ir通道插值模块，该模块在得到所述g通道图像后，以g通道为指引，分别对rgbir图像中的r、b和ir通道进行插值，得到相应的完整的r通道图像、b通道图像和ir通道图像；ir图像重构模块，该模块获取所述ir通道图像，该ir通道图像即为与输入图像具有相同分辨率的ir图像；bayer图像重构模块，该模块根据给定的bayer格式，分别对所述g通道图像、r通道图像和b通道图像进行下采样，即得到相应的bayer图像。8.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-6中任一项所述的方法，或，运行权利要求7所述的系统。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-6中任一项所述的方法，或，运行权利要求7所述的系统。

技术总结
本发明提供了一种自动驾驶RGBIR图像重采样方法、系统，其中方法包括：对RGBIR图像中的G通道进行插值，得到完整的G通道图像；以G通道为指引，分别对RGBIR图像中的R、B和IR通道进行插值，得到完整的R通道图像、完整的B通道图像和IR通道图像；其中，IR通道图像即为IR图像；根据Bayer格式，分别对G通道图像、R通道图像和B通道图像进行下采样，即得到Bayer图像，完成对RGBIR图像的重采样。本发明能够高质量地将RGBIR图像重建为传统的Bayer图像和IR图像，然后充分利用ISP对Bayer图像处理，得到高质量地RGB图像，利用得到高质量的IR图像，辅助低亮场景的自动驾驶。景的自动驾驶。景的自动驾驶。


技术研发人员：黄腾 张浩 王宏伟
受保护的技术使用者：辉羲智能科技（上海）有限公司
技术研发日：2022.10.28
技术公布日：2023/2/3