图像后处理方法、图像传感器、应用处理器和电子设备与流程
本发明涉及图像处理,特别涉及一种图像后处理方法、图像传感器、应用处理器和电子设备。
背景技术:
1、随着技术发展,目前的图像传感器普遍采用q×q的色彩滤波阵列(cfa)图案(如图1至图3所示,其中,图1为2×2的色彩滤波阵列图案,图2为3×3的色彩滤波阵列图案,图3为4×4的色彩滤波阵列图案)。这类q×q的色彩滤波阵列图案通常需要经过重排马赛克(remosaic)处理,先转换为拜耳图像,再经由应用处理器(ap)中的图像信号处理器完成从bayer(拜耳)图像到rgb图像的生成。然而在重排马赛克过程中,由于q×q的色彩滤波阵列图案的空间采样率较为稀疏,容易产生伪影和伪色。
2、为了解决该技术问题,现有技术采用端到端的深度神经网络模型直接将q×q的色彩滤波阵列图像重建为高质量的拜耳图像或rgb图像。然而由于端到端的深度神经网络模型的模型参数量大、计算复杂度极高,若将该端到端的深度神经网络模型部署在图像传感器端,将面临严苛的芯片面积和功耗限制的问题;若将该端到端的深度神经网络模型部署在应用处理器端则存在处理速度瓶颈,难以满足实时预览或高帧率视频的需求。
3、需要说明的是,公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
技术实现思路
1、本发明的目的在于提供一种图像后处理方法、图像传感器、应用处理器和电子设备,能够在不显著增加计算成本和功耗的情况下,有效解决硬件重排马赛克处理后遗留的伪影和伪色问题。
2、为达到上述目的,本发明提供一种图像后处理方法,包括:获取经硬件重排马赛克处理后的初始拜耳图像;确定所述初始拜耳图像中的关键区域和非关键区域,并提取出关键区域图像和非关键区域图像;采用预先训练好的轻量级深度学习模型对所述关键区域图像进行后处理,以修复硬件重排马赛克处理后产生的伪色和伪影,从而得到处理后关键区域图像;采用预设平滑融合算法对所述处理后关键区域图像和所述非关键区域图像进行融合,以得到修复后拜耳图像。
3、可选的,所述轻量级深度学习模型包括依次连接的像素重排层、多个级联的残差模块、像素逆重排层和全局跳跃连接层;所述像素重排层用于对所述关键区域图像进行像素重排操作,以得到四通道的第一特征图,所述第一特征图的四个通道与所述关键区域图像的四个颜色分量一一对应;所述多个级联的残差模块用于提取高频残差信息,以生成第二特征图;所述像素逆重排层用于对最后一级所述残差模块输出的所述第二特征图进行像素逆重排操作,以得到具有与所述关键区域图像相同尺寸的高频残差图像;所述全局跳跃连接层用于将所述关键区域图像与所述高频残差图逐像素相加,以得到处理后关键区域图像。
4、可选的,所述多个级联的残差模块中的至少两个残差模块的卷积核尺寸彼此不同。
5、可选的,每个所述残差模块均包括依次连接的第一卷积层、第一激活层、第二卷积层和第二激活层,所述第一激活层的输出和所述第一卷积层的输入相加后作为所述第二卷积层的输入,所述第二激活层的输出和所述第一卷积层的输入相加后作为所述残差模块的输出。
6、可选的,所述确定所述初始拜耳图像中的关键区域和非关键区域,包括:将所述初始拜耳图像的中间预设比例的矩形区域作为所述关键区域,或者采用部署于应用处理器上的目标检测模型对所述初始拜耳图像进行检测,以识别出所述初始拜耳图像中的关键区域;将所述初始拜耳图像的位于所述关键区域以外的其它区域作为所述非关键区域。
7、可选的,所述关键区域包括自动对焦区域、人脸区域和显著性目标区域中的至少一种。
8、可选的,所述采用预设平滑融合算法对所述处理后关键区域图像和所述非关键区域图像进行融合,包括:针对位于所述关键区域内的像素点,将该像素点在所述处理后关键区域图像中的像素值的融合权重设置为1,并将该像素点在所述非关键区域图像中的像素值的融合权重设置为0;针对位于所述非关键区域内的像素点,将该像素点在所述处理后关键区域图像中的像素值的融合权重设置为0,并将该像素点在所述非关键区域图像中的像素值的融合权重设置为1;针对位于所述关键区域和所述非关键区域之间的过渡带内的像素点,将该像素点在所述处理后关键区域图像中的像素值的融合权重设置为0~1之间,且若该像素点越靠近所述关键区域,则该像素点在所述处理后关键区域图像中的像素值的融合权重越大。
9、为达到上述目的,本发明还提供一种图像传感器,所述图像传感器包括图像信号处理器,所述图像信号处理器配置为实现上文所述的图像后处理方法。
10、为达到上述目的,本发明还提供一种应用处理器,所述应用处理器内存储有计算机程序,所述计算机程序被处理器执行时,实现上文所述的图像后处理方法。
11、为达到上述目的,本发明还提供一种电子设备,所述电子设备包括上文所述的图像传感器或者上文所述的应用处理器。
12、与现有技术相比,本发明提供的图像后处理方法、图像传感器、应用处理器和电子设备具有以下有益效果:
13、由于本发明提供的图像后处理方法中,轻量级深度学习模型仅承担硬件重排马赛克处理后遗留的伪影、伪色等高频缺陷的修复任务,而不改变图像的低频基本信息,由此不仅可以有效消除伪影和伪色,显著提升图像质量,而且还保留了硬件重排马赛克处理的高效性。此外,由于本发明提供的图像后处理方法仅针对经硬件重排马赛克处理后的初始拜耳图像中的关键区域采用轻量级深度学习模型进行伪色和伪影的修复,由此可以在提升关键区域的画质的同时,有效降低计算开销和内存带宽占用,从而可以实现处理速度、功耗和画质的最优平衡。另外,本发明通过采用预设平滑融合算法对处理后关键区域图像和非关键区域图像进行融合,可以消除关键区域和非关键区域边界处的突变或伪影,使得关键区域和非关键区域在边界处像素级自然过渡,从而可以确保融合得到的图像的整体视觉的一致性。同时,由于本发明采用的轻量级深度学习模型的网络结构较浅,因此计算量和参数量极小,推理速度极快,甚至可以满足视频流帧率的实时处理需求,且由于轻量级深度学习模型对硬件资源要求较低,因此本发明提供的图像后处理方法不仅可以部署在应用处理器的神经网络处理器中,而且还可以集成于图像传感器内部的图像信号处理器中,从而可以适配不同硬件平台。
14、由于本发明提供的图像传感器、应用处理器和电子设备与本发明提供的图像后处理方法属于同一发明构思,因此本发明提供的图像传感器、应用处理器和电子设备至少具有本发明提供的图像后处理方法的所有有益效果,具体可以参考上文中的相关描述,在此不再一一进行赘述。
1.一种图像后处理方法,其特征在于,包括:
2.根据权利要求1所述的图像后处理方法,其特征在于,所述轻量级深度学习模型包括依次连接的像素重排层、多个级联的残差模块、像素逆重排层和全局跳跃连接层;
3.根据权利要求2所述的图像后处理方法,其特征在于,所述多个级联的残差模块中的至少两个残差模块的卷积核尺寸彼此不同。
4.根据权利要求2所述的图像后处理方法,其特征在于,每个所述残差模块均包括依次连接的第一卷积层、第一激活层、第二卷积层和第二激活层,所述第一激活层的输出和所述第一卷积层的输入相加后作为所述第二卷积层的输入,所述第二激活层的输出和所述第一卷积层的输入相加后作为所述残差模块的输出。
5.根据权利要求1所述的图像后处理方法,其特征在于,所述确定所述初始拜耳图像中的关键区域和非关键区域,包括:
6.根据权利要求1所述的图像后处理方法,其特征在于,所述关键区域包括自动对焦区域、人脸区域和显著性目标区域中的至少一种。
7.根据权利要求1所述的图像后处理方法,其特征在于,所述采用预设平滑融合算法对所述处理后关键区域图像和所述非关键区域图像进行融合,包括:
8.一种图像传感器,其特征在于,包括图像信号处理器,所述图像信号处理器配置为实现如权利要求1至7中任一项所述的图像后处理方法。
9.一种应用处理器,其特征在于,包括神经网络处理器,所述神经网络处理器配置为实现如权利要求1至7中任一项所述的图像后处理方法。
10.一种电子设备,其特征在于,包括如权利要求8所述的图像传感器或者如权利要求9所述的应用处理器。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com