一种基于压缩感知对场景信息片上压缩编码采集的方法

1.本发明涉及计算摄像学领域，尤其涉及一种基于压缩感知对场景信息片上压缩编码采集的方法。


背景技术：

2.对场景信息进行高速成像是计算摄像学领域一个具有挑战性的问题，从捕捉子弹到捕捉光在场景的传播过程，时间维度成像能力的不断提升和突破，使得以往不可能实现的成像任务变为可能，高速成像技术受到了越来越广泛的关注。
3.单光子可以通过具有固有高增益的光电探测器来检测。这些光电探测器中的有光电倍增管、微通道平板光电倍增管，还有单光子雪崩光电二极管等。其中，单光子雪崩二极管结合时间关联成像技术可以实现皮秒级别时间分辨率的高速成像，这种成像技术读出噪声为零、灵敏度高、成本低廉。但是单光子雪崩二极管在实际使用中需要淬火电路配合使用，其填充因子不足，探测效率受到限制，在实际应用中有一定的局限性。
4.因此，如何设计有效的场景信息采集方案，解决单光子雪崩二极管填充因子不足的问题，并对采集后的场景信息进行高质量的重建，是当今研究的一个热点。


技术实现要素：

5.针对以上现有单光子雪崩二极管在实际场景信息采集中存在的缺陷，本发明的目的在于提出一种基于压缩感知对场景信息片上压缩编码采集的方法。
6.为达上述目的，本发明采用的技术方案如下：
7.一种基于压缩感知对场景信息片上压缩编码采集的方法，包括如下步骤：
8.步骤1，对原始图像数据x进行光子化处理，构建图像在光子瞬态分布下的模型x
′
；
9.步骤2，根据寄存器与传感器感光元件的连接分布，对步骤1所得的光子瞬态分布模型x
′
进行压缩采集，得到压缩采集后的数据y
′
；
10.步骤3，根据传感器的死时间效应和寄存器位数，剔除步骤2压缩采样后的数据y
′
中因死时间效应和寄存器位数饱和失效的光子，得到符合真实场景中压缩采样的光子化模型，光子化模型中光子的数量即为压缩采样后的数据y，构建原始图像数据x与数据y一一对应的训练数据对；
11.步骤4，将步骤3得到的训练数据对输入到卷积神经网络中，对该网络模型进行训练；
12.步骤5，通过损失函数计算重建图像与真实图像的误差，对误差的反向传递更新网络的权重参数和偏置参数；
13.步骤6，重复步骤4～5，对所述卷积神经网络进行训练，直至重建图像与真实图像的误差较小时，完成神经网络的训练，输出压缩采样的重建图像。
14.进一步地，所述步骤1中，对原始图像数据x进行光子化处理的具体步骤为：
15.步骤11，对原始图像数据x的一个像素值为x
11
像素点，生成一个0到1的随机数，重
复这个操作，直到生成的随机数t0小于率参数为x
11
的负指数分布在随机数t0的值，t0即为光子产生的时间间隔；将时间计数t加上光子产生的时间间隔t0，并将此时的时间计数t t0的值由0置为1，表示此时刻存在一个光子；
16.步骤12，重复步骤11的操作，直至时间位置达到传感器的曝光时间长度，即可获得在像素值为x
11
的像素点的光子瞬态分布模型；
17.步骤13，对原始图像数据x的每个像素点重复步骤11和步骤12的操作，则得到整个原始图像在光子瞬态分布下的模型x
′
。
18.进一步地，所述步骤2中，对光子瞬态分布模型x
′
进行压缩采集的具体步骤为：
19.步骤21，对原始图像的光子瞬态分布模型x
′
按传感器阵列的大小分块，根据压缩感知理论，采用4种不同的寄存器与传感器的连接方式，连接方式要求：(1)每个像素点在4种连接方式中至少与寄存器连接一次，(2)每种连接方式中只有一半的传感器像素点与寄存器连接，连接点随机分布；对属于同一个传感器阵列的像素点进行采样；
20.步骤22，传感器阵列上与寄存器连接的8个像素点其对应的光子瞬态分布模型x
′
按照每个光子达到传感器的时间顺序进行排列，即获得其中一种连接方式下的压缩采集数据，4种寄存器与传感器的连接方式得到的4个数据为一组压缩采集数据，也就是该阵列的压缩采集数据；
21.步骤23，对原始图像光子瞬态分布模型x
′
的每一个块像素阵列重复步骤22的操作，即可获得压缩采样后的数据y
′
。
22.进一步地，所述步骤3中，剔除压缩采样后的数据y
′
中相邻时间间隔小于死时间的光子，并剔除超过寄存器位数的光子。
23.本发明在基于单光子雪崩二极管进行场景信息采集的基础上，利用压缩感知的理论，对场景信息压缩采样，解决了单光子雪崩二极管填充因子不足带来的负面影响。同时在压缩采集信息重建阶段，仿照实际信息采集中的数学模型，制作训练集，训练出单光子雪崩二极管在此方法中相对应的网络模型，可以通过压缩采样的数据重建出质量较高的原始场景图像。相比于现有技术，利用本方法无论是在场景信息采集效率上还是获得场景图像的质量上均能取得比较好的效果，可以有效应对由于单光子雪崩二极管填充因子不足带来的挑战。
附图说明
24.图1为本发明方法的流程图；
25.图2为实施例中单光子雪崩二极管寄存器与传感器的连接示意图，(a)、(b)、(c)、(d)表示四种不同的连接方式；
26.图3为实施例中的图像重建网络示意图；
27.图4为实施例中卷积残差网络示意图。
具体实施方式
28.下面将结合附图及具体实施例对本发明进行详细描述，描述的实施例是实例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
29.参照图1，本实施例的一种基于压缩感知对场景信息片上压缩编码采集的方法，具
体步骤如下：
30.步骤1，对原始图像数据x(32
×
32)每个像素点进行光子化处理，以x的其中一个像素值为x
11
的像素点为例：
31.步骤11，生成一个0到1的随机数，重复这个操作，直到生成的随机数t0小于率参数为x
11
的负指数分布在随机数t0的值，t0即为光子产生的时间间隔。时间计数t加上光子产生的时间间隔t0，并将此时的时间计数t t0的值由0置为1，表示此时刻存在一个光子；
32.步骤12，重复步骤11，直至满足时间计数大于等于传感器曝光时间。本例中传感器曝光时间为0.001s；
33.步骤13，对原始图像x的每个像素点重复步骤11和步骤12，得到原始图像的光子瞬态分布模型x
′
。
34.步骤2，对原始图像的光子化瞬态分布模型x
′
，按传感器阵列的大小进行分块。图2为本实施例中寄存器与传感器感光元件以压缩感知理论设计的4种连接分布，连接分布要求：(1)每个像素点在4种连接方式中至少与寄存器连接一次，(2)每种连接方式中只有一半的传感器像素点与寄存器连接，连接点随机分布。对属于同一个传感器阵列的像素点进行采样，其中图中标“1”的点代表像素点与寄存器相连接的点即采集的点，未作标记的点表示不进行采集。将与寄存器连接的像素点的光子化模型按时间序列进行排序，一个4
×
4的感光阵列中通过4种连接方式可得到4个压缩采集数据，对图像分块后的每一块重复步骤2的操作，即可得到原始图像的光子化瞬态分布模型压缩采集后的数据y
′
(1
×
256)，实现了25％的压缩采样。
35.步骤3，根据传感器的死时间效应t
dead
和考虑寄存器位数的限制，剔除压缩采集过程中因死时间效应和寄存器位数饱和失效的光子，得到符合真实场景中采样的数据y，并构建真实图像x与瞬态模型压缩采样后的数据y一一对应的训练数据对。本实例中传感器的死时间t
dead
＝2
×
10-9
s，寄存器位数为12bit。
36.步骤4，将步骤3得到的训练数据对输入到卷积神经网络中，对网络模型进行训练，本实例中，所采用的神经网络如图3和图4所示，具体结构如下：
37.首先对输入数据进行批标准化操作，之后输入到神经网络的第一层：线性全连接层，输入层结点数为压缩采样后的信号维度256，输出结点数为原始图像的维数1024，实现了图像的上采样；之后经过3组(conv2d bn relu)-(conv2d bn relu)-(conv2d bn relu)的残差模块，对图像进行进一步的细节重建，所采用的卷积核大小均为3
×
3，并且每层卷积都进行了zero padding的操作，此外残差块中张量通道数的变化为64,32,1，最终输出重建图像x
out
。
38.步骤5，通过损失函数mse计算重建图像与真实图像的误差，对误差的反向传递更新网络的权重参数w和偏置参数b，误差反向传递更新网络参数的优化器为adam。
39.步骤6，重复步骤4～5，对神经网络进行训练，直至重建图像与真实图像的误差较小时，完成神经网络的训练，输出重建图像。