图像传感器及其控制方法、电子设备与流程

本技术涉及图像传感器领域，具体地，涉及一种量子图像传感器及其控制方法、电子设备。

背景技术：

1、图像传感器通常用于涉及捕捉图像的应用中的电子设备，如数码相机、摄像机、网络摄像机、手机和计算机。随着各类应用要求的不断提高，图像传感器不仅需要具有高分辨率，同时还需具备更高的帧率，这就使得图像传感器的信号处理周期需要进一步缩短。

技术实现思路

1、本技术提供一种图像传感器及其控制方法、电子设备，能够提高帧率，抑制闪烁问题，提高图像成像质量。

2、第一方面，提供了一种图像传感器，所述图像传感器包括控制器和像素阵列，所述像素阵列包括溢流晶体管、光电二极管、第一传输晶体管、感知节点、第二传输晶体管和浮动扩散区；所述溢流晶体管连接在所述光电二极管和电源之间，用于控制所述光电二极管与所述电源之间的导通或关断；所述第一传输晶体管连接在所述光电二极管和所述感知节点之间，用于控制所述光电二极管与所述感知节点之间的导通或关断；所述第二传输晶体管连接在所述感知节点和所述浮动扩散区之间，用于控制所述感知节点与所述浮动扩散区之间的导通或关断；其中，所述控制器用于：在第一复位时刻，控制所述像素阵列中的溢流晶体管同时导通，所述像素阵列中的第一传输晶体管在所述第一复位时刻处于关断状态；在第一曝光时刻，控制所述像素阵列中的溢流晶体管同时关断；间隔第一曝光时间，控制所述像素阵列中的第一传输晶体管同时导通，所述第一复位时刻位于所述第一曝光时刻之前。

3、示例性的，像素阵列可以包括多个像素单元，多个像素单元中的每个像素单元都可以包括溢流晶体管、光电二极管、第一传输晶体管和感知节点，四个像素单元可以共享一个第二传输晶体管和浮动扩散区，可以实现四共有像素(即四个像素共享一个浮动扩散区fd)。

4、示例性的，第一曝光时间可以根据算法逻辑策略确定，比如自动曝光控制等，本技术对此不作具体限定。应理解，本技术实施例提供的图像传感器可以采用全局曝光gs的曝光方式进行工作，在gs下，图像传感器中的所有像素点在同一时间开始曝光，并在同一时间结束曝光，所有像素的曝光时间完全同步。例如，在所有行的第一传输晶体管和所有行的溢流晶体管关断的情况下，光电二极管pd才真正开始曝光积累电荷。通过控制溢流晶体管的通断，可以控制pd的曝光时间，也就是说，在本技术实施例中，pd的曝光时间灵活可调。

5、在本技术实施例中，图像传感器可以包括溢流晶体管、光电二极管、第一传输晶体管、感知节点、第二传输晶体管和浮动扩散区，通过溢流晶体管可以实现光电二极管的复位；在光电二极管完成复位后，进入曝光阶段，光电二极管进行光电转换，积累电荷；在光电二极管的曝光阶段，可以同步实现感知节点和浮动扩散区的复位以及复位信号的读出。也就是说，图像传感器可以通过单独的一路控制光电二极管pd的复位，即控制器可以控制溢流晶体管导通和第一传输晶体管关断对光电二极管pd进行复位，然后，可以通过溢流晶体管灵活控制光电二极管pd的曝光时间，使得全局曝光gs的曝光时间和读出时间可以重叠，从而可以提高gs的曝光帧率，还可以避免出现闪烁问题，提高图像成像质量。

6、结合第一方面，在第一方面的某些实现方式中，所述像素阵列包括第一像素单元和第二像素单元，所述第一像素单元和所述第二像素单元为不同行或不同列的像素单元；所述控制器还用于：在第二复位时刻，控制所述第一像素单元中的溢流晶体管导通，所述第一像素单元中的第一传输晶体管在所述第二复位时刻处于关断状态；在第二曝光时刻，控制所述第一像素单元中的溢流晶体管关断；间隔第二曝光时间，控制所述第一像素单元中的第一传输晶体管导通，所述第二曝光时刻晚于所述第二复位时刻；在第三复位时刻，控制所述第二像素单元中的溢流晶体管导通，所述第二像素单元中的第一传输晶体管在所述第三复位时刻处于关断状态，所述第三复位时刻晚于所述第二曝光时刻；在第三曝光时刻，控制所述第二像素单元中的溢流晶体管关断；间隔所述第二曝光时间，控制所述第二像素单元中的第一传输晶体管导通，所述第三曝光时刻晚于所述第三复位时刻；其中，所述第二复位时刻晚于所述第一曝光时刻，或者，所述第三曝光时刻早于所述第一复位时刻。

7、在一些实施例中，本技术实施例提供的图像传感器还可以采用卷帘曝光rs的曝光方式进行工作。在rs的曝光方式下，图像传感器中的像素点按行(或列)顺序逐行曝光，即前一行像素开始曝光后，下一行像素随后开始曝光，曝光时间存在时间差。

8、在本技术实施例中，图像传感器可以采用rs和gs结合的曝光输出方式，在该方式下可以输出两张或多张不同曝光的rs图像和gs图像，通过gs和rs的组合优化去模糊效果。也就是说，通过rs和gs结合的曝光输出方式，可以结合gs和rs的优势，得到更好地融合图，从而能够提高图像成像质量。

9、结合第一方面，在第一方面的某些实现方式中，在所述光电二极管积累的电荷超过满阱容量的情况下，所述控制器还用于：控制所述溢流晶体管导通，以使所述光电二极管积累的电荷经过所述溢流晶体管溢出至所述电源。

10、在本技术实施例中，溢流晶体管不仅可以用于对光电二极管进行复位，还可以起到溢流的作用，例如，针对高光场景下的电荷溢出问题，本技术实施例通过增加溢流晶体管，使得溢流的电荷流向电源，避免溢出的电荷流向感知节点和浮动扩散区，从而能够减少行噪声，提高图像成像质量。

11、结合第一方面，在第一方面的某些实现方式中，所述像素阵列还包括转移电极，所述转移电极与所述感知节点电连接，所述转移电极用于控制所述感知节点的电势。

12、在本技术实施例中，通过控制转移电极的电压可以很好的控制从光电二极管到感知节点的电荷传输以及从感知节点到浮动扩散区的电荷传输，这两次都能实现电荷的完全转移，使得光电二极管累计的电荷能完全传输到浮动扩散区中。从而能够消除或减轻由于电荷不完整转移而产生的问题，例如由于电荷不完全转移而产生的噪声或图像延迟。

13、结合第一方面，在第一方面的某些实现方式中，所述像素阵列还包括复位晶体管、源极跟随晶体管和行选择晶体管，所述复位晶体管的第一端连接所述感知节点、所述第一传输晶体管和所述第二传输晶体管，所述复位晶体管的第二端连接所述电源；所述源极跟随晶体管的第一端连接所述电源，所述源极跟随晶体管的第二端连接所述行选择晶体管的第一端，所述源极跟随晶体管的控制端连接所述浮动扩散区；所述行选择晶体管的第二端连接至输出节点。

14、应理解，在传统的互补金属氧化物半导体cmos像素中，复位晶体管的栅极通常靠近浮动扩散区，即复位晶体管与浮动扩散区连接，以确保复位信号的快速响应。复位晶体管的栅极与浮动扩散区之间的寄生电容会直接叠加到浮动扩散区的总电容中，导致浮动扩散区电容增大。

15、而在本技术实施例中，浮动扩散区不与复位晶体管直接连接，在浮动扩散区与复位晶体管之间还设置了感知节点、转移电极以及第二传输晶体管，复位晶体管的栅极远离浮动扩散区，从而使得复位晶体管的寄生电容很小甚至可以忽视，浮动扩散区的电容得以减小，这导致更高的电荷-电压转换效率，能够实现量子图像传感器qis功能。也就是说，本技术实施例提供的图像传感器可以为量子图像传感器qis，而非传统的互补金属氧化物半导体图像传感器cis。qis具有诸多显著优点与重要作用，其能够捕捉到单个光子，灵敏度极高，即使在极低光照环境下也能清晰成像，大大拓展了成像范围。qis的高动态范围可精准呈现明暗细节，提升图像质量。此外，它还具备高分辨率和快速响应能力，可广泛应用于天文观测、生物医学成像、安防监控等领域，为科学研究和实际应用带来巨大价值。

16、结合第一方面，在第一方面的某些实现方式中，所述控制器还用于：控制所述复位晶体管、所述转移电极和所述第二传输晶体管导通以及所述第一传输晶体管关断，以复位感知节点和浮动扩散区。

17、在本技术实施例中，图像传感器控制光电二极管复位的晶体管(即溢流晶体管)与控制感知节点和浮动扩散区复位的晶体管(即复位晶体管)为不同的晶体管，从而可以分别控制光电二极管与浮动扩散区的复位。通过增加溢流晶体管，使得光电二极管可以单独进行复位以及可以灵活控制光电二极管的曝光时间，光电二极管的曝光时间无需等到所有行读出后再进行全局复位，而是可以通过全局打开溢流晶体管来同步曝光开始时间，可以在行读出时间内开始全局曝光，能够节省整个帧时间，从而提升帧率。此外，读出阶段和曝光阶段可以重叠，从而可以减少闪烁的发生。

18、结合第一方面，在第一方面的某些实现方式中，在第一读出阶段，所述控制器还用于：控制所述复位晶体管关断和所述行选择晶体管导通，读出第一复位信号；控制所述第一传输晶体管导通，使得所述光电二极管积累的电荷转移至所述感知节点和所述浮动扩散区共同构成的组合电容中；控制所述第一传输晶体管关断，读出第一电荷信号。

19、示例性的，该第一读出阶段可以为采用低转换增益lcg读出方式读出的阶段。

20、示例性的，读出的第一电荷信号和第一复位信号后续通过相关双采样cds电路和模拟数字转换器adc量化得到光强信息。也就是说，读出第一电荷信号和第一复位信号，二者进行作差，确定差值信号，adc量化差值信号，输出数字光强值。通过两次采样的差值运算可以抵消复位噪声和固定模式噪声，保留真实的光信号。读取lcg下的复位信号和电荷信号，lcg信号可以用于捕捉场景中的亮部细节而不至于过曝，有助于保持图像的细节，适用于高光照场景。

21、结合第一方面，在第一方面的某些实现方式中，在第二读出阶段，所述控制器还用于：控制所述行选择晶体管导通以及所述复位晶体管、所述转移电极和所述第二传输晶体管关断，读出第二复位信号；控制所述第一传输晶体管和所述转移电极导通，使得所述光电二极管积累的电荷被转移到所述感知节点；控制所述第一传输晶体管关断以及所述转移电极和所述第二传输晶体管导通，使得所述感知节点的电荷被转移到所述浮动扩散区；控制所述第二传输晶体管和所述转移电极关断，读出第二电荷信号。

22、示例性的，该第二读出阶段可以为采用高转换增益hcg读出方式读出的阶段。

23、示例性的，读出的第二电荷信号和第二复位信号后续通过相关双采样cds电路和模拟数字转换器adc量化得到光强信息。也就是说，读出第二电荷信号和第二复位信号，二者进行作差，确定差值信号，adc量化差值信号，输出数字光强值。通过两次采样的差值运算可以抵消复位噪声和固定模式噪声，保留真实的光信号。读取hcg下的第一复位信号和第一电荷信号，可以增强暗部细节并提升信噪比，适用于低光照场景。

24、在一些示例中，图像传感器可以采用hcg和lcg结合的读出方式(即双转换增益dcg)进行信号的读出。

25、示例性的，读出的第一电荷信号、第一复位信号、第二电荷信号以及第二复位信号后续通过相关双采样cds电路和模拟数字转换器adc量化得到光强信息。分别读出电荷信号和复位信号，二者进行作差，例如，将hcg下的电荷信号和复位信号进行作差，将lcg下的电荷信号和复位信号进行作差，从而能够获得更加准确的信号值，降低随机噪声例如复位噪声的影响，以便于获得高质量的图像。并且，分别读取hcg下的复位信号和电荷信号以及lcg下的复位信号和电荷信号，lcg信号可以用于捕捉场景中的亮部细节而不至于过曝，hcg信号可以用于增强暗部细节并提升信噪比，从而能够实现宽动态范围，提升图像质量。

26、第二方面，提供了一种固态成像装置，包括如第一方面或者第一方面中任意一种可能的实现方式所述的图像传感器。

27、第三方面，提供了一种电子设备，包括如第一方面或者第一方面中任意一种可能的实现方式所述的图像传感器；或者，包括第二方面所述的固态成像装置。

28、第四方面，提供了一种图像传感器的控制方法，该控制方法可应用于图像传感器，所述图像传感器包括像素阵列，所述像素阵列包括溢流晶体管、光电二极管、第一传输晶体管、感知节点、第二传输晶体管和浮动扩散区；所述溢流晶体管连接在所述光电二极管和电源之间，用于控制所述光电二极管与所述电源之间的导通或关断；所述第一传输晶体管连接在所述光电二极管和所述感知节点之间，用于控制所述光电二极管与所述感知节点之间的导通或关断；所述第二传输晶体管连接在所述感知节点和所述浮动扩散区之间，用于控制所述感知节点与所述浮动扩散区之间的导通或关断；所述控制方法包括：在第一复位时刻，同时导通所述像素阵列中的溢流晶体管，所述像素阵列中的第一传输晶体管在所述第一复位时刻处于关断状态；在第一曝光时刻，同时关断所述像素阵列中的溢流晶体管；间隔第一曝光时间，同时导通控制所述像素阵列中的第一传输晶体管，所述第一复位时刻位于所述第一曝光时刻之前。

29、在本技术实施例中，图像传感器可以包括溢流晶体管、光电二极管、第一传输晶体管、感知节点、第二传输晶体管和浮动扩散区，通过溢流晶体管可以实现光电二极管的复位；在光电二极管完成复位后，进入曝光阶段，光电二极管进行光电转换，积累电荷；在光电二极管的曝光阶段，可以同步实现感知节点和浮动扩散区的复位以及复位信号的读出。也就是说，图像传感器可以通过单独的一路控制光电二极管pd的复位，即可以导通溢流晶体管和关断第一传输晶体管对光电二极管pd进行复位，然后，可以通过溢流晶体管灵活控制光电二极管pd的曝光时间，使得全局曝光gs的曝光时间和读出时间可以重叠，从而可以提高gs的曝光帧率，还可以避免出现闪烁问题，提高图像成像质量。

30、结合第四方面，在第四方面的某些实现方式中，所述像素阵列包括第一像素单元和第二像素单元，所述第一像素单元和所述第二像素单元为不同行或不同列的像素单元；所述控制方法还包括：在第二复位时刻，导通所述第一像素单元中的溢流晶体管，所述第一像素单元中的第一传输晶体管在所述第二复位时刻处于关断状态；在第二曝光时刻，关断所述第一像素单元中的溢流晶体管；间隔第二曝光时间，导通所述第一像素单元中的第一传输晶体管，所述第二曝光时刻晚于所述第二复位时刻；在第三复位时刻，导通所述第二像素单元中的溢流晶体管，所述第二像素单元中的第一传输晶体管在所述第三复位时刻处于关断状态，所述第三复位时刻晚于所述第二曝光时刻；在第三曝光时刻，关断所述第二像素单元中的溢流晶体管；间隔所述第二曝光时间，导通所述第二像素单元中的第一传输晶体管，所述第三曝光时刻晚于所述第三复位时刻；其中，所述第二复位时刻晚于所述第一曝光时刻，或者，所述第三曝光时刻早于所述第一复位时刻。

31、在本技术实施例中，图像传感器可以采用全局曝光rs和卷帘曝光gs结合的曝光输出方式，在该方式下可以输出两张或多张不同曝光的rs图像和gs图像，通过gs和rs的组合优化去模糊效果。也就是说，通过rs和gs结合的曝光输出方式，可以结合gs和rs的优势，得到更好地融合图，从而能够提高图像成像质量。

32、结合第四方面，在第四方面的某些实现方式中，在所述光电二极管积累的电荷超过满阱容量的情况下，所述控制方法还包括：导通所述溢流晶体管，以使所述光电二极管积累的电荷经过所述溢流晶体管溢出至所述电源。

33、在本技术实施例中，溢流晶体管不仅可以用于对光电二极管进行复位，还可以起到溢流的作用，例如，针对高光场景下的电荷溢出问题，本技术实施例通过增加溢流晶体管，使得溢流的电荷流向电源，避免溢出的电荷流向感知节点和浮动扩散区，从而能够减少行噪声，提高图像成像质量。

34、结合第四方面，在第四方面的某些实现方式中，所述像素阵列还包括转移电极，所述转移电极与所述感知节点电连接，所述转移电极用于控制所述感知节点的电势。

35、在本技术实施例中，通过控制转移电极的电压可以很好的控制从光电二极管到感知节点的电荷传输以及从感知节点到浮动扩散区的电荷传输，这两次都能实现电荷的完全转移，使得光电二极管累计的电荷能完全传输到浮动扩散区中。从而能够消除或减轻由于电荷不完整转移而产生的问题，例如由于电荷不完全转移而产生的噪声或图像延迟。

36、结合第四方面，在第四方面的某些实现方式中，所述像素阵列还包括复位晶体管、源极跟随晶体管和行选择晶体管，所述复位晶体管的第一端连接所述感知节点、所述第一传输晶体管和所述第二传输晶体管，所述复位晶体管的第二端连接所述电源；所述源极跟随晶体管的第一端连接所述电源，所述源极跟随晶体管的第二端连接所述行选择晶体管的第一端，所述源极跟随晶体管的控制端连接所述浮动扩散区；所述行选择晶体管的第二端连接至输出节点。

37、在本技术实施例中，浮动扩散区不与复位晶体管直接连接，在浮动扩散区与复位晶体管之间还设置了感知节点、转移电极以及第二传输晶体管，复位晶体管的栅极远离浮动扩散区，从而使得复位晶体管的寄生电容很小甚至可以忽视，浮动扩散区的电容得以减小，这导致更高的电荷-电压转换效率，能够实现量子图像传感器qis功能。也就是说，本技术实施例提供的图像传感器可以为量子图像传感器qis，而非传统的互补金属氧化物半导体图像传感器cis。qis具有诸多显著优点与重要作用，其能够捕捉到单个光子，灵敏度极高，即使在极低光照环境下也能清晰成像，大大拓展了成像范围。qis的高动态范围可精准呈现明暗细节，提升图像质量。

38、结合第四方面，在第四方面的某些实现方式中，所述控制方法还包括：导通所述复位晶体管、所述转移电极和所述第二传输晶体管，关断所述第一传输晶体管，以复位所述感知节点和所述浮动扩散区。

39、在本技术实施例中，图像传感器控制光电二极管复位的晶体管(即溢流晶体管)与控制感知节点和浮动扩散区复位的晶体管(即复位晶体管)为不同的晶体管，从而可以分别控制光电二极管与浮动扩散区的复位。通过增加溢流晶体管，使得光电二极管可以单独进行复位以及可以灵活控制光电二极管的曝光时间，光电二极管的曝光时间无需等到所有行读出后再进行全局复位，而是可以通过全局打开溢流晶体管来同步曝光开始时间，可以在行读出时间内开始全局曝光，能够节省整个帧时间，从而提升帧率。此外，读出阶段和曝光阶段可以重叠，从而可以减少闪烁的发生。

40、结合第四方面，在第四方面的某些实现方式中，所述控制方法还包括：关断所述复位晶体管、导通所述行选择晶体管，读出第一复位信号；导通所述第一传输晶体管，使得所述光电二极管积累的电荷转移至所述感知节点和所述浮动扩散区共同构成的组合电容中；关断所述第一传输晶体管，读出第一电荷信号。

41、示例性的，该第一读出阶段可以为采用低转换增益lcg读出方式读出的阶段。

42、在本技术实施例中，通过读取lcg下的复位信号和电荷信号，lcg信号可以用于捕捉场景中的亮部细节而不至于过曝，有助于保持图像的细节，适用于高光照场景。

43、结合第四方面，在第四方面的某些实现方式中，所述控制方法还包括：导通所述行选择晶体管，关断所述复位晶体管、所述转移电极和所述第二传输晶体管，读出第二复位信号；导通所述第一传输晶体管和所述转移电极，使得所述光电二极管积累的电荷被转移到所述感知节点；关断所述第一传输晶体管，导通所述转移电极和所述第二传输晶体管，使得所述感知节点的电荷被转移到所述浮动扩散区；关断所述第二传输晶体管和所述转移电极，读出第二电荷信号。

44、示例性的，该第二读出阶段可以为采用高转换增益hcg读出方式读出的阶段。

45、在本技术实施例中，读取hcg下的第一复位信号和第一电荷信号，可以增强暗部细节并提升信噪比，适用于低光照场景。

46、在一些示例中，图像传感器可以采用hcg和lcg结合的读出方式(即双转换增益dcg)进行信号的读出。

47、示例性的，读出的第一电荷信号、第一复位信号、第二电荷信号以及第二复位信号后续通过相关双采样cds电路和模拟数字转换器adc量化得到光强信息。分别读出电荷信号和复位信号，二者进行作差，例如，将hcg下的电荷信号和复位信号进行作差，将lcg下的电荷信号和复位信号进行作差，从而能够获得更加准确的信号值，降低随机噪声例如复位噪声的影响，以便于获得高质量的图像。并且，分别读取hcg下的复位信号和电荷信号以及lcg下的复位信号和电荷信号，lcg信号可以用于捕捉场景中的亮部细节而不至于过曝，hcg信号可以用于增强暗部细节并提升信噪比，从而能够实现宽动态范围，提升图像质量。

48、第五方面，提供了一种图像传感器的控制装置，包括用于执行如第四方面或者第四方面中任意一种可能的实现方式所述方法的模块或单元。

49、第六方面，提供了一种电子设备，包括处理器和存储器，所述存储器用于存储程序代码，所述处理器用于执行所述程序代码，以使所述电子设备执行如第四方面或者第四方面中任意一种可能的实现方式所述的方法。

50、第七方面，提供了一种计算机程序产品，包括程序代码，所述程序代码在计算机上运行时，所述计算机执行如第四方面或者第四方面中任意一种可能的实现方式所述的方法。

51、第八方面，提供了一种可读存储介质，包括程序代码，所述程序代码在计算机上运行时，所述计算机执行如第四方面或者第四方面中任意一种可能的实现方式所述的方法。