双传感器摄像系统及其摄像方法与流程

技术特征：
1.一种双传感器摄像系统，包括：至少一色彩传感器；至少一红外线传感器；存储装置，存储计算机程序；以及处理器，耦接所述至少一色彩传感器、所述至少一红外光传感器及所述存储装置，经配置以加载并执行所述计算机程序以：识别所述双传感器摄像系统的一摄像场景；控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于所述摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；适应性选择能显露出所述摄像场景的细节的所述色彩图像及所述红外线图像的组合；以及融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的场景图像。2.如权利要求1所述的双传感器摄像系统，其中所述处理器包括：控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准曝光条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述场景。3.如权利要求1所述的双传感器摄像系统，其中所述处理器包括：根据各所述色彩图像的颜色细节，选择所述色彩图像其中之一作为基准图像；识别所述基准图像中缺乏纹理细节的至少一缺陷区域；以及根据各所述红外线图像中对应于所述至少一缺陷区域的图像的纹理细节，选择所述红外线图像其中之一，并用以与所述基准图像进行融合。4.如权利要求3所述的双传感器摄像系统，其中所述处理器包括：选择所述颜色细节最多的所述色彩图像作为所述基准图像；以及选择对应于所述至少一缺陷区域的图像的所述纹理细节最多的所述红外线图像，并用以与所述基准图像进行融合。5.如权利要求3所述的双传感器摄像系统，其中所述处理器包括：将所述基准图像中的所述至少一缺陷区域的图像的亮度分量以所述红外线图像中对应于所述至少一缺陷区域的图像取代，以生成补足所述至少一缺陷区域的所述纹理细节的所述场景图像。6.如权利要求3所述的双传感器摄像系统，其中所述处理器包括：对所选择的所述红外线图像与所述基准图像进行图像融合，以生成补足所述缺陷区域的所述纹理细节的所述场景图像。7.如权利要求3所述的双传感器摄像系统，其中所述处理器还包括：判断各所述红外线图像是否包括所述至少一缺陷区域的所述纹理细节；以及在所述红外线图像均未包括所述纹理细节时，控制所述至少一色彩传感器采用较所述基准图像的曝光时间长或短的多个曝光时获取多张色彩图像并执行高动态范围处理，以生成具备所述至少一缺陷区域的所述纹理细节的所述场景图像。8.如权利要求3所述的双传感器摄像系统，其中所述处理器包括：将所选择的所述色彩图像的色彩空间由rgb色彩空间转换至yuv色彩空间；
将转换后所述色彩图像的所述至少一缺陷区域的图像的亮度分量以所选择的所述红外线图像的对应于所述至少一缺陷区域的图像取代；以及将取代后的所述色彩图像的色彩空间转换回所述rgb色彩空间，以生成所述场景图像。9.如权利要求1所述的双传感器摄像系统，其中所述处理器包括：将所选择的所述色彩图像的色彩空间由rgb色彩空间转换至yuv色彩空间；将转换后所述色彩图像的亮度分量以所选择的所述红外线图像的亮度分量取代；以及将取代后的所述色彩图像的色彩空间转换回所述rgb色彩空间，以生成所述场景图像。10.如权利要求1所述的双传感器摄像系统，其中所述处理器包括：获取所选择的所述色彩图像及所述红外线图像中的多个特征，并根据所获取的所述特征之间的对应关系对齐所述色彩图像及所述红外线图像。11.一种双传感器摄像系统的摄像方法，所述双传感器摄像系统包括至少一色彩传感器、至少一红外线传感器及处理器，所述方法包括下列步骤：识别所述双传感器摄像系统的一摄像场景；控制所述至少一色彩传感器及所述至少一红外线传感器采用适用于所述摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；适应性选择能显露出所述摄像场景的细节的所述色彩图像及所述红外线图像的组合；以及融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的场景图像。12.如权利要求11所述的方法，其中识别所述双传感器摄像系统的所述摄像场景的步骤包括：控制所述至少一色彩传感器及所述至少一红外线传感器中的至少一者采用标准曝光条件获取所述摄像场景的至少一标准图像，并使用所述至少一标准图像识别所述场景。13.如权利要求11所述的方法，其中适应性选择能显露出所述摄像场景的细节的所述色彩图像及所述红外线图像的组合的步骤包括：根据各所述色彩图像的颜色细节，选择所述色彩图像其中之一作为基准图像；识别所述基准图像中缺乏纹理细节的至少一缺陷区域；以及根据各所述红外线图像中对应于所述至少一缺陷区域的图像的纹理细节，选择所述红外线图像其中之一。14.如权利要求13所述的方法，其中适应性选择能显露出所述摄像场景的细节的所述色彩图像及所述红外线图像的组合的步骤包括：选择所述颜色细节最多的所述色彩图像作为所述基准图像；以及选择对应于所述至少一缺陷区域的图像的所述纹理细节最多的所述红外线图像，并用以与所述基准图像进行融合。15.如权利要求13所述的方法，其中融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的所述场景图像的步骤包括：将所述基准图像中的所述至少一缺陷区域的图像的亮度分量以所述红外线图像中对应于所述至少一缺陷区域的图像取代，以生成补足所述至少一缺陷区域的所述纹理细节的所述场景图像。
16.如权利要求13所述的方法，其中融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的所述场景图像的步骤包括：对所选择的所述红外线图像与所述基准图像进行图像融合，以生成补足所述缺陷区域的所述纹理细节的所述场景图像。17.如权利要求13所述的方法，其中在融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的场景图像的步骤之前，所述方法还包括：判断各所述红外线图像是否包括所述至少一缺陷区域的所述纹理细节；以及在所述红外线图像均未包括所述纹理细节时，控制所述至少一色彩传感器采用较所述基准图像的曝光时间长或短的多个曝光时获取多张色彩图像并执行高动态范围处理，以生成具备所述至少一缺陷区域的所述纹理细节的所述场景图像。18.如权利要求13所述的方法，其中融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的所述场景图像的步骤包括：将所选择的所述色彩图像的色彩空间由rgb色彩空间转换至yuv色彩空间；将转换后所述色彩图像的所述至少一缺陷区域的图像的亮度分量以所选择的所述红外线图像的对应于所述至少一缺陷区域的图像取代；以及将取代后的所述色彩图像的色彩空间转换回所述rgb色彩空间，以生成所述场景图像。19.如权利要求11所述的方法，其中融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的所述场景图像的步骤包括：将所选择的所述色彩图像的色彩空间由rgb色彩空间转换至yuv色彩空间；将转换后所述色彩图像的亮度分量以所选择的所述红外线图像的亮度分量取代；以及将取代后的所述色彩图像的色彩空间转换回所述rgb色彩空间，以生成所述场景图像。20.如权利要求11所述的方法，其中在融合所选择的所述色彩图像及所述红外线图像，以生成具备所述摄像场景的所述细节的场景图像的步骤之前，所述方法还包括：获取所选择的所述色彩图像及所述红外线图像中的多个特征，并根据所获取的所述特征之间的对应关系对齐所述色彩图像及所述红外线图像。

技术总结
本发明提供一种双传感器摄像系统及其摄像方法。双传感器摄像系统包括至少一个色彩传感器、至少一个红外线传感器、存储装置及处理器。处理器经配置以加载并执行存储在存储装置中的计算机程序以：识别双传感器摄像系统的摄像场景；控制色彩传感器及红外线传感器采用适用于摄像场景下的多个曝光条件分别获取多张色彩图像及多张红外线图像；适应性选择能显露出摄像场景的细节的色彩图像及红外线图像的组合；以及融合所选择的色彩图像及红外线图像，以生成具备摄像场景的细节的场景图像。以生成具备摄像场景的细节的场景图像。以生成具备摄像场景的细节的场景图像。


技术研发人员：彭诗渊 郑书峻 黄旭鍊 李运锦 赖国铭
受保护的技术使用者：聚晶半导体股份有限公司
技术研发日：2020.12.23
技术公布日：2022/3/3