被动式图像采集设备及其数据读取方法、存储介质、终端与流程

1.本发明涉及图像采集技术领域，具体地涉及一种被动式图像采集设备及其数据读取方法、存储介质、终端。


背景技术：

2.传统的图像采集设备可以大致分类为主动式图像采集设备和被动式图像采集设备。其中，被动式图像采集设备是由外部控制对像素阵列的数据读取，即由主机触发数据读取和输出。
3.由于数据的读取速度依赖于外部主机的传输环境，所以被动式图像采集设备内部通常设置有缓冲先入先出队列(first input first output，简称fifo)。像素阵列的数据采样处理后存在缓冲fifo，主机从缓冲fifo中读取数据。但是，现有的数据读取方式存在数据读取延迟较大的缺陷，导致外部主机对被动式图像采集设备的控制读写时间长。
4.另一方面，由于实际应用需求，外部主机常常需要多次获得相同或不同配置下的多帧图像数据。而现有的数据读取方式无法快速响应不同配置之间的切换，同样导致较大的数据读取延迟。


技术实现要素：

5.本发明解决的技术问题是如何减少数据读取延迟。
6.为解决上述技术问题，本发明实施例提供一种被动式图像采集设备的数据读取方法，包括：响应于上一帧图像的数据采样操作已经完毕，继续对所述被动式图像采集设备的像素阵列进行下一帧图像的数据采样操作；检测缓存单元的数据缓存状态；根据所述数据缓存状态丢弃或向所述缓存单元输出所述下一帧图像的数据，丢弃的所述下一帧图像的数据为模拟信号或者数字信号。
7.可选的，相邻两帧图像的数据采样间隔不依赖于所述缓存单元的数据缓存状态，其中，所述数据缓存状态用于表征所述缓存单元的空余容量是否足够完成下一帧图像的数据的传输。
8.可选的，所述根据所述数据缓存状态丢弃或向所述缓存单元输出所述下一帧图像的数据包括：若所述下一帧图像的数据采样开始时所述数据缓存状态仍为空余容量不足，则丢弃所述下一帧图像的数据；若所述下一帧图像的数据采样开始时所述数据缓存状态为空余容量足够，则向所述缓存单元输出所述下一帧图像的数据。
9.可选的，所述继续对所述被动式图像采集设备的像素阵列进行下一帧图像的数据采样操作之后，所述数据读取方法还包括：对采样得到的所述下一帧图像的数据进行处理。
10.可选的，相邻两帧图像的图像配置相同或不相同，其中，所述图像配置至少包括曝光、增益和尺寸。
11.为解决上述技术问题，本发明实施例还提供一种被动式图像采集设备，包括：像素阵列；采样单元，用于对所述像素阵列的数据进行采样操作；缓存单元，用于缓存采样自所
述像素阵列的数据；控制单元，所述控制单元与所述采样单元、缓存单元相通信，所述控制单元执行上述方法，以控制丢弃或向所述缓存单元输出所述下一帧图像的数据。
12.可选的，所述缓存单元包括：存储控制器，用于记录所述缓存单元的数据缓存状态，所述控制单元检测所述存储控制器以获取所述数据缓存状态。
13.可选的，所述被动式图像采集设备还包括：处理单元，所述控制单元与所述处理单元相通信，所述控制单元控制所述处理单元对采样自所述像素阵列的数据进行处理。
14.为解决上述技术问题，本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。
15.为解决上述技术问题，本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。
16.与现有技术相比，本发明实施例的技术方案具有以下有益效果：
17.本发明实施例提供一种被动式图像采集设备的数据读取方法，包括：响应于上一帧图像的数据采样操作已经完毕，继续对所述被动式图像采集设备的像素阵列进行下一帧图像的数据采样操作；检测缓存单元的数据缓存状态；根据所述数据缓存状态丢弃或向所述缓存单元输出所述下一帧图像的数据，丢弃的所述下一帧图像的数据为模拟信号或者数字信号。
18.较之现有在缓存单元缓存的数据被主机读取后才开始下一帧图像的数据采样操作的技术方案，本实施例方案能够极大地降低数据读取延迟，减少外部对被动式图像采集设备的控制读写时间，缩短多帧图像的获取用时。具体而言，在上一帧图像的数据采样操作执行完毕后，无论缓存单元中的数据是否被读取，均立即开始下一帧图像的数据采样操作。进一步，根据缓存单元的数据缓存状态决定丢弃还是输出所述下一帧图像的数据。基于本实施方案，由于对像素阵列的数据采样操作与缓存单元的数据缓存状态无关，因此缓存单元能够“随时”接收到像素阵列的数据，使得现有技术中从缓存单元的数据被读取到存入下一帧图像的数据这段时间的时间间隔被极大地缩短。由此，从缓存单元读取数据的数据读取延迟得到极大降低。
19.进一步，相邻两帧图像的数据采样间隔不依赖于缓存单元的数据缓存状态，其中，数据缓存状态用于表征所述缓存单元的空余容量是否足够完成下一帧图像的数据的传输。对内，类似于主动式图像采集设备的运行逻辑，本实施例所述被动式图像采集设备主动执行数据采样操作，而不以缓存单元的数据缓存状态为数据采样操作触发条件。对外，仍按照被动式图像采集设备的运行逻辑，存储到缓存单元的数据基于存储读取指令被读取。
附图说明
20.图1是本发明实施例一种被动式图像采集设备的数据读取方法的流程图；
21.图2是本发明实施例一个典型应用场景的时序图；
22.图3是本发明实施例一种被动式图像采集设备的原理示意图。
具体实施方式
23.如背景技术所言，现有被动式图像采集设备的数据读取方法存在数据读取延迟较
大的缺陷。
24.本技术发明人经过分析发现，造成上述缺陷的主要原因在于，根据现有被动式图像采集设备的数据读取流程，像素阵列的数据采样后缓存在缓冲fifo，当缓冲fifo缓存的数据被外部主机读取后，才会开始下一帧图像的像素阵列数据采样。
25.换言之，根据现有技术，每次采样完一帧数据并存到缓存单元之后，要等到缓存单元的数据被外部主机读取掉后才启动下一次像素阵列的采样，然后再等待将采样得到的下一帧数据最终存入缓存单元。这期间显然存在相对比较长的无效延迟，且导致图像的主体需要保持较长的时间。
26.为解决上述技术问题，本发明实施例提供一种被动式图像采集设备的数据读取方法，包括：响应于上一帧图像的数据采样操作已经完毕，继续对所述被动式图像采集设备的像素阵列进行下一帧图像的数据采样操作；检测缓存单元的数据缓存状态；根据所述数据缓存状态丢弃或向所述缓存单元输出所述下一帧图像的数据，丢弃的所述下一帧图像的数据为模拟信号或者数字信号。
27.本实施例方案能够极大地降低数据读取延迟，减少外部对被动式图像采集设备的控制读写时间，缩短多帧图像的获取用时。具体而言，在上一帧图像的数据采样操作执行完毕后，无论缓存单元中的数据是否被读取，均立即开始下一帧图像的数据采样操作。进一步，根据缓存单元的数据缓存状态决定丢弃还是输出所述下一帧图像的数据。基于本实施方案，由于对像素阵列的数据采样操作与缓存单元的数据缓存状态无关，因此缓存单元能够“随时”接收到像素阵列的数据，使得现有技术中从缓存单元的数据被读取到存入下一帧图像的数据这段时间的时间间隔被极大地缩短。由此，从缓存单元读取数据的数据读取延迟得到极大降低。
28.为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
29.图1是本发明实施例一种被动式图像采集设备的数据读取方法的流程图。
30.本实施例所述被动式图像采集设备可以为被动系统中的图像采集设备。具体而言，所述被动系统可以包括作为主控端(master)的主机和作为被控端(slave)的所述被动式图像采集设备。所述主机和被动式图像采集设备之间通过串行外设接口(serial peripheral interface，简称spi)耦接以通信。
31.进一步，所述主机可以发送存储读取指令以触发所述被动式图像采集设备的缓存单元输出缓存的数据。输出的数据可以通过spi传输至所述主机。进一步，所述被动式图像采集设备可以为互补金属氧化物半导体(complementary metal oxide semiconductor，简称cmos)图像传感器(cmos image sensor，简称cis)。例如，前照式(front-side illumination，简称fsi)cmos图像传感器或后照式(back-side illumination，简称bsi)cmos图像传感器(也可称为背照式cmos图像传感器)。
32.在一个具体实施中，参考图1，本实施例所述被动式图像采集设备的数据读取方法可以包括如下步骤：
33.步骤s101，响应于上一帧图像的数据采样操作已经完毕，继续对所述被动式图像采集设备的像素阵列进行下一帧图像的数据采样操作；
34.步骤s102，检测缓存单元的数据缓存状态；
35.步骤s103，根据所述数据缓存状态丢弃或向所述缓存单元输出所述下一帧图像的数据，丢弃的所述下一帧图像的数据为模拟信号或者数字信号。
36.具体地，所述数据采样操作可以包括，逐行采集像素阵列自上一帧图像的数据采样操作执行完毕至今存储的电信号。
37.进一步，所述数据采样操作可以包括曝光操作以得到模拟信号，以及通过模数转化操作将模拟信号转化为数字信号的过程。
38.在一个具体实施中，所述步骤s103中丢弃的可以是模数转化操作得到的数字信号。相应的，当缓存单元的数据缓存状态为空余容量不足时，舍弃的是模数转化后的下一帧图像。也即，舍弃的是数字信号表征的下一帧图像的数据。
39.在一个变化例中，当缓存单元的空余容量不足时，在所述步骤s101中还可以进一步将所述数据采样操作中的模数转化过程也省略以节省功耗。此时在步骤s103中舍弃的是未经模数转化的下一帧图像。也即，舍弃的是曝光操作得到的模拟信号。
40.具体地，在本变化例中，所述采样单元可以进入低功耗模式以减少功耗。例如，模数转换器(analog-to-digital converter，简称adc)及相关电路可以不工作。
41.进一步地，所述缓存单元(buffer)可以为fifo。
42.在一个具体实施中，所述缓存单元可以包括存储控制器(如fifo控制器)，用于记录所述缓存单元的数据缓存状态。
43.相应的，在所述步骤s102中，通过检测所述存储控制器以获取所述缓存单元的数据缓存状态。
44.在一个具体实施中，根据所述缓存单元的数据缓存状态可以确定所述缓存单元的空余容量是否足够完成下一帧图像的数据的传输。
45.相应的，所述步骤s103可以包括步骤：若所述下一帧图像的数据采样开始时所述数据缓存状态仍为空余容量不足，则丢弃所述下一帧图像的数据。
46.例如，丢弃所述下一帧图像的数据可以包括，删除所述下一帧图像的数据。
47.相应的，所述步骤s103可以包括步骤：若所述下一帧图像的数据采样开始时所述数据缓存状态为空余容量足够，则向所述缓存单元输出所述下一帧图像的数据。
48.例如，参考图2，其中第一行“内部帧结构”为所述被动式图像采集设备内部的帧时序，每一帧即为对所述像素阵列的数据进行采样操作得到的帧图像；其中第二行“外部spi帧输出”为所述主机读取所述缓存单元的帧时序。每一帧即为所述缓存单元实际输出的帧图像。
49.继续参考图2，假设被动式图像采集设备内部对像素阵列的第一帧图像(图中以“1”标示)的数据采样操作开始时，缓存单元的数据缓存状态为空余容量足够，则所述第一帧图像输出至所述缓存单元，并最终被主机读取。
50.在此期间，被动式图像采集设备内部继续对像素阵列的第二帧图像进行数据采样操作，得到第二帧图像(图中以“2”标示)的数据。由于第二帧图像的数据采样操作开始时缓存单元中尚存有第一帧图像且未被主机读取完毕，因此缓存单元的数据缓存状态为容量不足，则丢弃所述第二帧图像(图中用虚线表示第二帧图像被丢弃)。
51.被动式图像采集设备内部继续对像素阵列的第三帧图像进行数据采样操作，得到第三帧图像(图中以“3”标示)的数据。由于第三帧图像的数据采样操作开始时缓存单元的
数据缓存状态为空余容量足够，所述第三帧图像输出至所述缓存单元，并最终被主机读取。
52.在此期间，被动式图像采集设备内部继续对像素阵列的第四帧图像进行数据采样操作，得到第四帧图像(图中以“4”标示)的数据。由于第四帧图像的数据采样操作开始时缓存单元中尚存有第三帧图像且未被主机读取完毕，因此缓存单元的数据缓存状态为容量不足，则丢弃所述第四帧图像(图中用虚线表示第四帧图像被丢弃)。
53.由此，如图2所示，被动式图像采集设备内部产生四帧图像，而实际存储至缓存单元的为其中的两帧图像。并且，外部spi输出的相邻帧图像之间的间隔能够极大地缩小。
54.进一步，内部帧结构的相邻帧图像之间的数据采样间隔与外部spi帧输出的相邻帧图像之间的数据读取间隔不相同。
55.进一步，内部帧结构的相邻帧图像之间的数据采样间隔与缓存单元的数据缓存状态无关。也即，即使缓存单元的数据缓存状态为容量不足，被动式图像采集设备仍继续进行下一帧图像的数据采样操作。
56.又例如，当缓存单元的容量较大，如可以存储多帧图像时，图2所示外部spi输出的可以是内部帧结构的第一帧图像、第二帧图像和第四帧图像，第三帧图像则被舍弃。
57.由此，在上一帧图像的数据采样操作执行完毕后，无论缓存单元中的数据是否被读取，均立即开始下一帧图像的数据采样操作。进一步，根据缓存单元的数据缓存状态决定丢弃还是输出所述下一帧图像的数据。
58.基于本实施方案，由于对像素阵列的数据采样操作与缓存单元的数据缓存状态无关，因此缓存单元能够“随时”接收到像素阵列的数据，使得现有技术中从缓存单元的数据被读取到存入下一帧图像的数据这段时间的时间间隔被极大地缩短。由此，从缓存单元读取数据的数据读取延迟得到极大降低。
59.在一个具体实施中，相邻两帧图像的数据采样间隔不依赖于缓存单元的数据缓存状态，其中，数据缓存状态代表所述缓存单元的空余容量是否足够完成下一帧图像的数据传输。
60.对内，类似于主动式图像采集设备的运行逻辑，本实施例所述被动式图像采集设备主动执行数据采样操作，而不以缓存单元的数据缓存状态为数据采样操作触发条件。对外，仍按照被动式图像采集设备的运行逻辑，存储到缓存单元的数据基于存储读取指令被读取。
61.在一个具体实施中，在所述步骤s101之后，本实施例所述数据读取方法还可以包括步骤：对采样得到的所述下一帧图像的数据进行处理。
62.具体地，对所述下一帧图像的数据进行处理可以包括，对所述下一帧图像的数据进行黑电平校准、数字噪声滤波、数据打包等数字信号处理操作。
63.进一步，所述步骤s103中的舍弃操作可以是在数字信号处理阶段执行的。也即，在得到下一帧图像的数据后，对所述下一帧图像的数据进行处理期间或处理完毕后，若确定所述下一帧图像的数据需要被舍弃，则舍弃处理后的下一帧图像的数据。
64.在一个具体实施中，相邻两帧图像的图像配置可以是相同的，其中，所述图像配置至少可以包括曝光、增益和尺寸。
65.在一个变化例中，相邻两帧图像的图像配置可以是不相同的。较之现有技术在切换图像配置时在前后不同图像配置的帧图像之间必须输出清空帧，本变化例能够实现图像
配置切换的立即响应。
66.由上，采用本实施例方案，能够极大地降低数据读取延迟，减少外部对被动式图像采集设备的控制读写时间，缩短多帧图像的获取用时。
67.图3是本发明实施例一种被动式图像采集设备的原理示意图。
68.具体地，参考图3，本实施例所述被动式图像采集设备5可以包括：像素阵列51。其中，所述像素阵列51可以包括阵列排布的多个像素行和多个像素列(图未示)。所述像素阵列51可以包括多个像素区，对于每一像素区，该像素区包含的至少一个光电二极管形成该像素区的感光区域。像素阵列51中的感光区域感光并生成电荷，电荷被读取以获得帧图像的数据。
69.在一个具体实施中，所述被动式图像采集设备5可以包括：采样单元52，用于对所述像素阵列51的数据进行采样操作。
70.在一个具体实施中，所述被动式图像采集设备5可以包括：缓存单元54，用于缓存采样自所述像素阵列51的数据。
71.例如，采样自所述像素阵列51的数据经由处理单元53处理后存储至所述缓存单元54。
72.在一个具体实施中，所述被动式图像采集设备5可以包括：控制单元55，所述控制单元55与所述采样单元52、缓存单元54相通信，所述控制单元55执行上述图1至图2所示方法，以控制丢弃或向所述缓存单元54输出所述下一帧图像的数据。
73.在一个具体实施中，所述缓存单元54可以包括：存储控制器(图未示)，用于记录所述缓存单元54的数据缓存状态，所述控制单元55检测所述存储控制器以获取所述数据缓存状态。
74.在一个具体实施中，所述被动式图像采集设备5可以包括：处理单元53，所述控制单元55与所述处理单元53相通信，所述控制单元55可以控制所述处理单元53对采样自所述像素阵列51的数据进行处理。
75.例如，在控制所述处理单元53对采样自所述像素阵列51的数据进行处理后，所述控制单元55通过所述存储控制器检测所述缓存单元54的数据缓存状态，进而确定丢弃或向所述缓存单元54输出处理后的所述下一帧图像的数据。
76.进一步地，本发明实施例还公开一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1和图2所示实施例中所述的方法技术方案。优选地，所述存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。所述存储介质可以包括rom、ram、磁盘或光盘等。
77.进一步地，本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图1和图2所示实施例中所述的方法技术方案。
78.虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。