基于自适应可编程模数转换优化图像传感器性能的方法与流程

1.本发明涉及一种基于自适应可编程模数转换优化图像传感器性能的方法。


背景技术：

2.自然界光强变化范围巨大，从刺目的阳光到微弱星光之间光亮度整整相差了108数量级，实际上再加上反射体和发光体的区别，真正的动态范围远超过这个值，现实生活中大多数场景的动态范围在100db以上。
3.人眼对这些高动态的场景适应能力较强，因为人眼对于亮度响应不是线性关系，而是对数关系（主观亮度s与环境亮度b的关系如下：s=klgb k0，k与k0都是常数）。人眼的视网膜上集中了大量的视细胞，主要分为两类：锥状细胞，主要分布在视网膜的中央，每个眼内约有600w~700w个，每个锥状细胞连到一个神经末梢，有较高的分辨率，可以分辨光的强弱，对颜色敏感，所以又称为明视觉；杆状细胞，分布在整个视网膜表面上，约有7500w~15000w个，几个柱状细胞连到同一个神经末梢，使得分辨率较低，对低照度较为敏感，形成高灵敏度、无色觉功能的暗视觉。正是通过这种对光的对数响应性质，人眼可以接收宽度达108倍的亮度范围，动态范围可高达100 db ~120db。
4.但是现在主流的cmos图像传感器中，模数转换的方式有线性和分段线性两种：图1所示的线性转换在dn值为0~200的整个亮度区间内，无论亮处与暗处使用相同的转换精度，然而，如果转换精度低，虽然转换速度较高，但是细节分辨率不够，如果转换精度高，尽管细节效果好，但是转换速度影响较大，于是只能对这个高动态的世界做取舍，要么损失转换精度，要么损失转换速度；图2所示的分段线性转换虽然在提高转换速度的同时，可以在低亮度场景（例如0~90的低亮度区间）下具有更高的转换精度，保证了暗光细节的分辨率，但是牺牲了高亮度场景下（例如180~200的高亮度区间）的转换精度，因此无法兼顾不同的场景，并且由于不同的用户喜好需求不同，可能用户感兴趣的并非0~90的低亮度区间，而是90~180或者180~200的高亮度区间，甚至用户感兴趣的亮度区间会随着环境信息或者用户选择的自定义模式变化，而现有的固定形状的分段线性转换无法满足这些特定的或者变化的用户喜好需求。也就是说，现有的图像传感器无法兼顾转换精度与转换速度，无法同时满足不同场景及用户的喜好需求。


技术实现要素：

5.本发明的目的在于提供一种基于自适应可编程模数转换优化图像传感器性能的方法，兼顾转换精度与转换速度，满足不同场景及用户的喜好需求，改善图像传感器的整体性能。
6.基于以上考虑，本发明提供一种基于自适应可编程模数转换优化图像传感器性能的方法，包括：获取环境信息或自定义模式；根据所述环境信息或自定义模式，从原图像信息中获取用户感兴趣的一个或多个亮度区间，提高所述感兴趣的亮度区间的模数转换精度，以提高图像质量。
7.优选的，根据所述环境信息或自定义模式产生具有不同模数转换精度的模数转换曲线，对所述具有不同模数转换精度的模数转换曲线进行归一化处理后传输给外部平台。
8.优选的，所述具有不同模数转换精度的模数转换曲线包括非线性部分，对所述非线性部分先进行线性校准再进行归一化处理。
9.优选的，所述具有不同模数转换精度的模数转换曲线为连续可导的曲线。
10.优选的，根据所述环境信息或自定义模式产生对应的模数转换曲线，所述模数转换曲线包括线性部分和/或非线性部分，将所述模数转换曲线的非线性部分经过线性校准处理后的数据传输给外部平台。
11.优选的，所述环境信息包括直方图信息、环境亮度、图像亮度、光圈数、曝光时间、感光度中的任意一种或其组合。
12.优选的，所述自定义模式包括车牌模式、人像模式、夜晚模式、天空模式。
13.本发明的基于自适应可编程模数转换优化图像传感器性能的方法，根据环境信息或自定义模式，从原图像信息中获取用户感兴趣的一个或多个亮度区间，提高所述感兴趣的亮度区间的模数转换精度，而对其他亮度区间则降低模数转换精度以提高模数转换速度，从而兼顾整个模数转换过程的转换精度与转换速度，使得模数转换关系灵活多变，可以更好地还原自然界的高动态环境，更加接近人眼的响应机制，或者基于某些机器视觉的要求，满足不同场景及用户的喜好需求，改善图像传感器的整体性能。
附图说明
14.通过参照附图阅读以下所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显。
15.图1为现有技术图像传感器的线性模数转换曲线图；图2为现有技术图像传感器的分段线性模数转换曲线图；图3为本发明基于自适应可编程模数转换优化图像传感器性能的方法的流程图；图4为根据本发明一个实施例的图像传感器的模数转换曲线图；图5为根据本发明另一实施例的图像传感器的模数转换曲线图。
16.在图中，贯穿不同的示图，相同或类似的附图标记表示相同或相似的装置（模块）或步骤。
具体实施方式
17.为解决上述现有技术中的问题，本发明提供一种基于自适应可编程模数转换优化图像传感器性能的方法，根据环境信息或自定义模式，从原图像信息中获取用户感兴趣的一个或多个亮度区间，提高所述感兴趣的亮度区间的模数转换精度，而对其他亮度区间则降低模数转换精度以提高模数转换速度，从而兼顾整个模数转换过程的转换精度与转换速度，使得模数转换关系灵活多变，可以更好地还原自然界的高动态环境，更加接近人眼的响应机制，或者基于某些机器视觉的要求，满足不同场景及用户的喜好需求，改善图像传感器的整体性能。
18.在以下优选的实施例的具体描述中，将参考构成本发明一部分的所附的附图。所附的附图通过示例的方式示出了能够实现本发明的特定的实施例。示例的实施例并不旨在
穷尽根据本发明的所有实施例。可以理解，在不偏离本发明的范围的前提下，可以利用其他实施例，也可以进行结构性或者逻辑性的修改。因此，以下的具体描述并非限制性的，且本发明的范围由所附的权利要求所限定。
19.下面结合具体实施例对本发明进行详细阐述。
20.图3示出本发明基于自适应可编程模数转换优化图像传感器性能的方法的主要流程：首先，获取环境信息或自定义模式，其中，环境信息可以包括直方图信息、环境亮度、图像亮度、光圈数、曝光时间、感光度中的任意一种或其组合，自定义模式可以包括车牌模式、人像模式、夜晚模式、天空模式等；然后，根据环境信息或自定义模式，从原图像信息中获取用户感兴趣的一个或多个亮度区间；接下来，提高所述感兴趣的亮度区间的模数转换精度，以提高图像质量，在此需要说明的是，所述提高所述感兴趣的亮度区间的模数转换精度是指，通过设置所述感兴趣的亮度区间具有相对其他亮度区间更高的模数转换精度，更好地展现用户关注的重点区域的图像细节，而其他亮度区间则具有相对所述感兴趣的亮度区间更高的模数转换速度，以满足对于拍摄速度的需求，具体来说，即根据所述环境信息或自定义模式产生具有不同模数转换精度的模数转换曲线；最后，对所述具有不同模数转换精度的模数转换曲线进行归一化处理后传输给外部平台，如果所述具有不同模数转换精度的模数转换曲线包括非线性部分，需要对所述非线性部分先进行线性校准再进行归一化处理。
21.本发明通过对感兴趣的亮度区间提高模数转换精度，对其他亮度区间则降低模数转换精度以提高模数转换速度，从而兼顾整个模数转换过程的转换精度与转换速度，使得模数转换关系灵活多变，可以更好地还原自然界的高动态环境，更加接近人眼的响应机制，或者基于某些机器视觉的要求，满足不同场景及用户的喜好需求，改善图像传感器的整体性能。
22.实施例一 图4示出根据本发明一个实施例的图像传感器的模数转换曲线图。
23.在本实施例的图像传感器应用中，首先通过图像传感器或外部平台获取环境信息或自定义模式，然后根据环境信息或自定义模式从原图像信息中获取用户感兴趣的一个或多个亮度区间，例如根据直方图信息、环境亮度、图像亮度、光圈数、曝光时间、感光度中的任意一种或其组合，或者根据自定义模式确定用户感兴趣的区域集中在车牌和人脸，通过平台算法统计得出车牌和人脸对应的亮度区间的数字量化值（digital number，dn）大约在8bit数据的40~80，100~140之间，于是通过数字信号控制模数转换模块产生分段的斜坡信号，使得这些用户感兴趣的车牌和人脸区域对应的亮度区间的模数转换精度高于其他亮度区间，得到具有不同模数转换精度的模数转换曲线如图4所示，其中，该曲线在40~80，100~140亮度区间的斜率小于其他亮度区间的斜率，即40~80，100~140亮度区间具有高于其他亮度区间的模数转换精度。因此，通过提高用户感兴趣的亮度区间的模数转换精度，可以有效提高图像质量，更好地展现用户关注的重点区域的图像细节，而对其他亮度区间则可降低模数转换精度以提高模数转换速度，以满足对于拍摄速度的需求。最后，将图4中的具有不同模数转换精度的模数转换曲线进行归一化处理后传输给外部平台，其中，归一化处理即将图4所示曲线的具有不同斜率的线性部分转化成为具有同一斜率的一条直线。
24.实施例二图5示出根据本发明另一实施例的图像传感器的模数转换曲线图。
25.在本实施例的图像传感器应用中，首先通过图像传感器或外部平台获取环境信息或自定义模式，然后根据环境信息或自定义模式从原图像信息中获取用户感兴趣的一个或多个亮度区间，例如根据直方图信息、环境亮度、图像亮度、光圈数、曝光时间、感光度中的任意一种或其组合，或者根据自定义模式确定是高动态的室外景物拍摄场景，这种情况下用户感兴趣的区域通常是亮度较低的景物部分，对应的亮度区间的dn值大约在20~100之间，针对这种需求，可以通过数字信号控制模数转换模块产生非线性的斜坡信号，提高dn值在20~100之间的模数转换精度，更好地展现用户关注的景物区域的图像细节，在dn值100以上的高亮区间则降低模数转换精度以提高模数转换速度，以达到在相同的数据位宽下，图像传感器的帧率提升，拍摄速度提高的目的，得到具有不同模数转换精度的模数转换曲线如图5所示，其中，该曲线在20~100亮度区间的斜率小于100以上高亮区间的斜率，即20~100亮度区间具有高于100以上高亮区间的模数转换精度。优选的，图3所示的具有不同模数转换精度的模数转换曲线为连续可导的曲线，具体来说，由于图5所示的模数转换曲线包括20~100亮度区间的线性部分和100以上高亮区间的非线性部分（非线性部分是指100以上高亮区间的量化步长是渐变的），因此，20~100亮度区间与100以上高亮区间临界处的量化步长也是渐变而非突变的，也即具有不同模数转换精度的亮度区间之间的过渡是平滑的而非尖锐的，以便进一步提高成像效果。此外，对于100以上的高亮区间的该非线性部分，需要先进行线性校准再进行归一化处理，然后传输给外部平台。
26.综上所述，本发明的基于自适应可编程模数转换优化图像传感器性能的方法，根据环境信息或自定义模式，从原图像信息中获取用户感兴趣的一个或多个亮度区间，提高所述感兴趣的亮度区间的模数转换精度，而对其他亮度区间则降低模数转换精度以提高模数转换速度，从而兼顾整个模数转换过程的转换精度与转换速度，使得模数转换关系灵活多变，可以更好地还原自然界的高动态环境，更加接近人眼的响应机制，或者基于某些机器视觉的要求，满足不同场景及用户的喜好需求，改善图像传感器的整体性能。本发明的基于自适应可编程模数转换优化图像传感器性能的方法应用范围广，适应性强，高、低端图像传感器均可适用。
27.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论如何来看，均应将实施例看作是示范性的，而且是非限制性的。此外，明显的，“包括”一词不排除其他元素和步骤，并且措辞“一个”不排除复数。装置权利要求中陈述的多个元件也可以由一个元件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。