基于神经网络的图像重建方法、装置、电子设备及介质与流程

1.本技术中涉及数据处理技术，尤其是一种基于神经网络的图像重建方法、装置、电子设备及介质。


背景技术：

2.传统数字相机通常以固定的帧率进行拍摄成像，每一帧图像按照以下方式生成：在一定的曝光时间窗内，图像传感器的每个像素对入射光进行光电转换和累计，曝光结束后经过模数转换得到该像素的光照总量。由于曝光时间窗内的信息叠加在一起进行记录，这种方式无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。
3.因此，近年来，随着深度学习技术的飞速发展，将深度神经网络运用并解决在高速运动场景下脉冲相机的成像问题成为了本领域技术人员需要解决的问题。


技术实现要素：

4.本技术实施例提供一种基于神经网络的图像重建方法、装置、电子设备及介质，其中，根据本技术实施例的一个方面，提供的一种基于神经网络的图像重建方法，其特征在于，包括基本重建子网络，特征提取子网络以及图像重建子网络，其中：
5.利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；
6.将多个初步重建图像进行图像融合，得到调制后的重建图像；
7.利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征；
8.利用所述图像重建子网络，对所述多个待融合特征进行特征融合，得到目标重建图像。
9.可选地，在基于本技术上述方法的另一个实施例中，所述利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，包括：
10.利用所述基本重建子网络的多个基于卷积层的平行分支，确定所述脉冲阵列在不同尺度下的短时时域信息，所述短时时域信息用于表征所述脉冲阵列的瞬时光强值。
11.可选地，在基于本技术上述方法的另一个实施例中，所述将多个初步重建图像进行图像融合，得到调制后的重建图像，包括：
12.利用注意力模块引导所述多个初步重建图像进行图像自适应融合，得到所述调制后的重建图像，其中所述注意力模块由卷积函和激活函数交替串联的结构组成；其中，最后一层的激活函数采用sigmoid函数，其它层激活函数采用relu函数。
13.可选地，在基于本技术上述方法的另一个实施例中，所述将所述多个深层特征进行特征对齐，得到对应的多个待融合特征，包括：
14.利用所述特征提取子网络中的可变形卷积对所述多个深层特征进行运动特征对齐。
15.可选地，在基于本技术上述方法的另一个实施例中，利用以下公式对所述多个深层特征进行运动特征对齐：
[0016][0017]
其中，p＝(x，y)表示中心坐标，n表示采样位置数，w
i
和p
i
分别表示第i个采样位置所对应的权重和固定的偏移量。和表示第i个采样位置所对应的调制尺度和可学的偏移量。和由第(l
‑
1)层的偏移量δp
(l
‑
1)
和第l层的参考帧特征和关键帧特征
[0018]
可选地，在基于本技术上述方法的另一个实施例中，所述利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，包括：
[0019]
所述特征提取子网络采用多个串联的残差模块来提取所述调制后的重建图像中不同时刻点的深层特征。
[0020]
可选地，在基于本技术上述方法的另一个实施例中，所述并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征，包括：
[0021]
将所述多个深层特征进行特征对齐后，将对齐后的特征和关键帧特征同时输入到所述图像重建子网络中的对齐可靠性评估模块，其中所述对齐可靠性评估模块由串联的卷积层和激活层所构成；
[0022]
基于所述对齐可靠性评估模块生成的对其可靠性结果，得到对应的多个待融合特征。
[0023]
可选地，在基于本技术上述方法的另一个实施例中，在所述基于所述对齐可靠性评估模块生成的对其可靠性结果，得到对应的多个待融合特征之后，还包括：
[0024]
将所有对齐可靠性结果与对齐后的特征相乘，得到合并特征；
[0025]
将所述合并特征与关键帧特征输入到所述图像重建子网络中基于卷积的特征融合模块，得到所述目标重建图像。
[0026]
其中，根据本技术实施例的又一个方面，提供的一种基于神经网络的图像重建装置，其特征在于，包括基本重建子网络，特征提取子网络以及图像重建子网络，其中：
[0027]
获取模块，被配置为利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；
[0028]
融合模块，被配置为将多个初步重建图像进行图像融合，得到调制后的重建图像；
[0029]
提取模块，被配置为利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征；
[0030]
生成模块，被配置为利用所述图像重建子网络，对所述多个待融合特征进行特征融合，得到目标重建图像。
[0031]
根据本技术实施例的又一个方面，提供的一种电子设备，包括：
[0032]
存储器，用于存储可执行指令；以及
[0033]
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述基
于神经网络的图像重建方法的操作。
[0034]
根据本技术实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述基于神经网络的图像重建方法的操作。
[0035]
本技术中，可以利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；将多个初步重建图像进行图像融合，得到调制后的重建图像；利用特征提取子网络，提取调制后的重建图像中不同时刻点的深层特征，并将多个深层特征进行特征对齐，得到对应的多个待融合特征；利用图像重建子网络，对多个待融合特征进行特征融合，得到目标重建图像。通过应用本技术的技术方案，可以根据基本重建子网络，自适应地利用脉冲阵列的短时相关性粗略地估计不同时刻点的瞬时光强；并利用残差学习结构的特征提取子网络进一步提取不同时刻点的深层特征；以使后续根据运动对齐的图像重建子网络，在不产生运动模糊的前提下，利用脉冲阵列的长时相关性进一步提升重建图像的质量。
[0036]
下面通过附图和实施例，对本技术的技术方案做进一步的详细描述。
附图说明
[0037]
构成说明书的一部分的附图描述了本技术的实施例，并且连同描述一起用于解释本技术的原理。
[0038]
参照附图，根据下面的详细描述，可以更加清楚地理解本技术，其中：
[0039]
图1为本技术提出的一种基于神经网络的图像重建方法示意图；
[0040]
图2
‑
图6为本技术提出的一种基于神经网络的图像子网络的示意图；
[0041]
图7为本技术提出的基于神经网络的图像重建电子装置的结构示意图；
[0042]
图8为本技术提出的基于神经网络的图像重建电子设备结构示意图。
具体实施方式
[0043]
现在将参照附图来详细描述本技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。
[0044]
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0045]
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本技术及其应用或使用的任何限制。
[0046]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
[0047]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0048]
另外，本技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
[0049]
需要说明的是，本技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0050]
下面结合图1
‑
图6来描述根据本技术示例性实施方式的用于进行基于神经网络的图像重建方法。需要注意的是，下述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。相反，本技术的实施方式可以应用于适用的任何场景。
[0051]
本技术还提出一种基于神经网络的图像重建方法、装置、目标终端及介质。
[0052]
图1示意性地示出了根据本技术实施方式的一种基于神经网络的图像重建方法的流程示意图。如图1所示，该方法包括基本重建子网络，特征提取子网络以及图像重建子网络，其中：
[0053]
s101，利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像。
[0054]
相关技术中，传统数字相机通常以固定的帧率进行拍摄成像，每一帧图像按照以下方式生成：
[0055]
在一定的曝光时间窗内，图像传感器的每个像素对入射光进行光电转换和累计，曝光结束后经过模数转换得到该像素的光照总量。由于曝光时间窗内的信息叠加在一起进行记录，这种方式无法对高速物体进行有效成像，往往导致高速运动物体的成像模糊。近年来，生物视网膜中央凹的神经元连接结构和神经节细胞的积分发放模型为视觉采样提供了新的思路。通过对视网膜中央凹的模拟和抽象，一种新型的仿生脉冲相机被提出。仿生脉冲相机由一组“h*w”的像素组成,各像素独立的进行工作，每个像素由光感受器、积分器和阈值比较器三个主要模块组成。其中，光感受器负责将光信号转换为电信号，积分器对转换后的光生电荷进行累积，阈值比较器以超高的频率(40000hz)反复地对累积的电荷进行比较，当累积的电荷达到预设阈值时，该像素进行脉冲发放，并清空积分器。如图1所示，脉冲相机以“h*w*t”脉冲阵列的形式表示视觉信息，“h*w”为脉冲相机的空间分辨率，“t”为采样次数。本技术称作单个像素输出的信号序列为“脉冲序列”，脉冲阵列在某个时刻的截面为“脉冲矩阵”或“脉冲图像”。脉冲阵列由“0”和“1”两种符号组成，其中“1”(实心点)表示在该时空位置处有脉冲发放；“0”表示该时空位置无脉冲发放。脉冲相机能够持续记录光强的变化，不存在曝光时间窗口的概念，突破了传统相机的局限性，既可以实现对高速运动的捕捉和记录，又可能重构出场景中纹理细节。
[0056]
更进一步的，目前脉冲相机的成像算法主要有两种：基于脉冲间隔的成像算法和基于时间窗平均的成像重建算法。其中，基于脉冲间隔的重建算法利用脉冲间隔随着光强的增加而减小这一特性，借助前后两个脉冲重构出一小段时间内的光强。该算法虽然能刻画出高速运动的轮廓，但重建信号通常不够稳定，在时间方向看像素值有明显的波动。基于时间窗平均的重建算法利用脉冲发放频率随着光强的增加而增加这一特性来估计时间窗内的平均光强，该算法虽然在一定程度上提高了重建图像的信噪比，但是当物体存在运动时，时间窗内的平均会导致重建图像存在运动模糊。
[0057]
具体而言，本技术所提出的神经网络由三个子网络组成，分别是基本重建子网络，特征提取子网络和基于运动对齐的图像重建子网络。
[0058]
其中，基本重建子网络自适应地利用脉冲阵列的短时相关性来进行基础光强推断；
[0059]
然后，特征提取子网络采用多层卷积结构来提取不同时刻点的深层特征；
[0060]
最后，基于运动对齐的重建子网络首先采用可变形卷积对不同时刻的特征进行运动对齐，考虑到遮挡、亮度变化等因素可能会影响运动对齐的准确性，本发明进一步引入可靠性评估模块来评估运动对齐的准确性，最后采用基于可靠性的特征融合来进行高质量地图像重建。
[0061]
如图3所示，对于基本重建子网络而言，本技术可以首先采用多个平行分支提取脉冲阵列的多尺度短时时域信息。每个分支都将形成一个粗糙的重建图像h
t
(i)(即初步重建图像)。该过程可由下式表示：
[0062][0063]
其中m
i
表示第i个分支的时域模板，b
i
表示t时刻点及周围一段时间内的脉冲矩阵构成的脉冲块，h
i
(
·
)表示由卷积及激活函数构成的时域滤波操作,ο表示像素级的乘法操作。
[0064]
s102，将多个初步重建图像进行图像融合，得到调制后的重建图像。
[0065]
进一步的，在生成多个初步重建图像之后，还可以进一步的自适应地对基于不同尺度时域信息的重建图像进行融合。为了实现这一目的，本技术引入注意力机制来引导融合过程，从而使得网络可以更加聚焦于合适尺度的重建图像，输出一组调制后的基本图像：
[0066][0067]
其中w
t
(i)表示由注意力模块得到的调制权重图，m表示初步重建图像的数量。
[0068]
s103，利用特征提取子网络，提取调制后的重建图像中不同时刻点的深层特征，并将多个深层特征进行特征对齐，得到对应的多个待融合特征。
[0069]
进一步的，本技术还可以利用特征提取子网络提取不同时刻点的深层特征。采用如图4所示的残差结构f
t
(
·
)，提取每个时间点重建图像的深层特征：
[0070][0071]
需要说明的是，本技术为了降低整个网络的复杂度，可以将不同时刻点的特征提取子网络共享权重信息。
[0072]
更进一步的，为了利用更大范围内的时域信息且不引起运动模糊，本技术利用可变形卷积对不同时刻点的特征进行运动对齐。考虑到场景中可能出现相对剧烈的运动，本技术采用如图5所示的金字塔结构渐进式地进行特征运动对齐。其中，第i层对齐后的参考帧特征可表示为：
[0073][0074]
其中，p＝(x，y)表示中心坐标，n表示采样位置数，w
i
和p
i
分别表示第i个采样位置所对应的权重和固定的偏移量。和
[0075]
表示第i个采样位置所对应的调制尺度和可学的偏移量。和由第(l
‑
1)层的偏移量δp
(l
‑
1)
和第l层的参考帧特征
[0076]
和关键帧特征
[0077]
s104，利用图像重建子网络，对多个待融合特征进行特征融合，得到目标重建图像。
[0078]
进一步的，考虑到受物体遮挡及光照变化等因素的影响，特征对齐的结果有时可能并不可靠。为了实现有效地特征融合，本技术引入特征评估模块来评估不同像素点估计的可靠性。如图6所示，本技术将对齐后的参考帧特征和关键帧特征一同输入可靠性评估模块，得到可靠性结果图：
[0079][0080]
基于可靠性结果图，本技术可以进行更加鲁棒地特征融合，从而产生最终高质量的重建图像：
[0081][0082]
其中g(
·
)表示基于卷积层和激活层的重建结果。
[0083]
本技术中，可以利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；将多个初步重建图像进行图像融合，得到调制后的重建图像；利用特征提取子网络，提取调制后的重建图像中不同时刻点的深层特征，并将多个深层特征进行特征对齐，得到对应的多个待融合特征；利用图像重建子网络，对多个待融合特征进行特征融合，得到目标重建图像。通过应用本技术的技术方案，可以根据基本重建子网络，自适应地利用脉冲阵列的短时相关性粗略地估计不同时刻点的瞬时光强；并利用残差学习结构的特征提取子网络进一步提取不同时刻点的深层特征；以使后续根据运动对齐的图像重建子网络，在不产生运动模糊的前提下，利用脉冲阵列的长时相关性进一步提升重建图像的质量。
[0084]
可选的，在本技术一种可能的实施方式中，利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，包括：
[0085]
利用基本重建子网络的多个基于卷积层的平行分支，确定脉冲阵列在不同尺度下的短时时域信息，短时时域信息用于表征脉冲阵列的瞬时光强值。
[0086]
可以理解的，本技术可以利用重建子网络来作为瞬时光强推断子网络，并采用多个基于卷积层的平行分支，来根据不同尺度的时域相关性来推断瞬时光强值，然后引入注意力模块来将多个瞬时光强估计结果自适应地融合。
[0087]
可选的，在本技术一种可能的实施方式中，将多个初步重建图像进行图像融合，得到调制后的重建图像，包括：
[0088]
利用注意力模块引导多个初步重建图像进行图像自适应融合，得到调制后的重建图像，其中注意力模块由卷积函和激活函数交替串联的结构组成；其中，最后一层的激活函数采用sigmoid函数，其它层激活函数采用relu函数。
[0089]
可选的，在本技术一种可能的实施方式中，将多个深层特征进行特征对齐，得到对
应的多个待融合特征，包括：
[0090]
利用特征提取子网络中的可变形卷积对多个深层特征进行运动特征对齐。
[0091]
需要说明的是，本技术中的特征提取子网络可以采用多个串联的残差模块(residual block)来提取不同时刻点的深层特征。
[0092]
可选的，在本技术一种可能的实施方式中，利用以下公式对多个深层特征进行运动特征对齐：
[0093][0094]
其中，p＝(x，y)表示中心坐标，n表示采样位置数，w
i
和p
i
分别表示第i个采样位置所对应的权重和固定的偏移量。和表示第i个采样位置所对应的调制尺度和可学的偏移量。和由第
[0095]
(l
‑
1)层的偏移量δp
(l
‑
1)
和第l层的参考帧特征和关键帧特征
[0096]
需要说明的是，本技术为了处理场景中的大运动，可以将特征进行下采样，采用金字塔结构，利用可变形卷积对特征进行由粗到细地对齐。
[0097]
另外，基于运动对齐的图像重建子网络，需要以在不引起运动模糊的前提下，利用脉冲阵列的长时相关性进一步提升重建图像质量。基于运动对齐的图像重建子网络由运动对齐模块和基于对齐可靠性的特征融合模块两部分组成。
[0098]
可选的，在本技术一种可能的实施方式中，利用特征提取子网络，提取调制后的重建图像中不同时刻点的深层特征，包括：
[0099]
特征提取子网络采用多个串联的残差模块来提取调制后的重建图像中不同时刻点的深层特征。
[0100]
可选的，在本技术一种可能的实施方式中，并将多个深层特征进行特征对齐，得到对应的多个待融合特征，包括：
[0101]
将多个深层特征进行特征对齐后，将对齐后的特征和关键帧特征同时输入到图像重建子网络中的对齐可靠性评估模块，其中对齐可靠性评估模块由串联的卷积层和激活层所构成；
[0102]
基于对齐可靠性评估模块生成的对其可靠性结果，得到对应的多个待融合特征。
[0103]
可选的，在本技术一种可能的实施方式中，在基于对齐可靠性评估模块生成的对其可靠性结果，得到对应的多个待融合特征之后，还包括：
[0104]
将所有对齐可靠性结果与对齐后的特征相乘，得到合并特征；
[0105]
将合并特征与关键帧特征输入到图像重建子网络中基于卷积的特征融合模块，得到目标重建图像。
[0106]
通过应用本技术的技术方案，可以根据基本重建子网络，自适应地利用脉冲阵列的短时相关性粗略地估计不同时刻点的瞬时光强；并利用残差学习结构的特征提取子网络进一步提取不同时刻点的深层特征；以使后续根据运动对齐的图像重建子网络，在不产生运动模糊的前提下，利用脉冲阵列的长时相关性进一步提升重建图像的质量。
[0107]
可选的，在本技术的另外一种实施方式中，如图7所示，本技术还提供一种基于神经网络的图像重建装置。其中，包括获取模块201，融合模块202，提取模块203，生成模块204，包括：
[0108]
获取模块201，被配置为利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；
[0109]
融合模块202，被配置为将多个初步重建图像进行图像融合，得到调制后的重建图像；
[0110]
提取模块203，被配置为利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征；
[0111]
生成模块204，被配置为利用所述图像重建子网络，对所述多个待融合特征进行特征融合，得到目标重建图像。
[0112]
本技术中，可以利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；将多个初步重建图像进行图像融合，得到调制后的重建图像；利用特征提取子网络，提取调制后的重建图像中不同时刻点的深层特征，并将多个深层特征进行特征对齐，得到对应的多个待融合特征；利用图像重建子网络，对多个待融合特征进行特征融合，得到目标重建图像。通过应用本技术的技术方案，可以根据基本重建子网络，自适应地利用脉冲阵列的短时相关性粗略地估计不同时刻点的瞬时光强；并利用残差学习结构的特征提取子网络进一步提取不同时刻点的深层特征；以使后续根据运动对齐的图像重建子网络，在不产生运动模糊的前提下，利用脉冲阵列的长时相关性进一步提升重建图像的质量。
[0113]
在本技术的另外一种实施方式中，获取模块201，还包括：
[0114]
获取模块201，被配置为利用所述基本重建子网络的多个基于卷积层的平行分支，确定所述脉冲阵列在不同尺度下的短时时域信息，所述短时时域信息用于表征所述脉冲阵列的瞬时光强值。
[0115]
在本技术的另外一种实施方式中，获取模块201，还包括：
[0116]
获取模块201，被配置为利用注意力模块引导所述多个初步重建图像进行图像自适应融合，得到所述调制后的重建图像，其中所述注意力模块由卷积函和激活函数交替串联的结构组成；其中，最后一层的激活函数采用sigmoid函数，其它层激活函数采用relu函数。
[0117]
在本技术的另外一种实施方式中，获取模块201，还包括：
[0118]
获取模块201，被配置为利用所述特征提取子网络中的可变形卷积对所述多个深层特征进行运动特征对齐。
[0119]
在本技术的另外一种实施方式中，还包括：利用以下公式对所述多个深层特征进行运动特征对齐：
[0120][0121]
其中，p＝(x，y)表示中心坐标，n表示采样位置数，w
i
和p
i
分别表示第i个采样位置
所对应的权重和固定的偏移量。和表示第i个采样位置所对应的调制尺度和可学的偏移量。和由第(l
‑
1)层的偏移量δp
(l
‑
1)
和第l层的参考帧特征和关键帧特征
[0122]
在本技术的另外一种实施方式中，获取模块201，还包括：
[0123]
获取模块201，被配置为所述特征提取子网络采用多个串联的残差模块来提取所述调制后的重建图像中不同时刻点的深层特征。
[0124]
在本技术的另外一种实施方式中，获取模块201，还包括：
[0125]
获取模块201，被配置为将所述多个深层特征进行特征对齐后，将对齐后的特征和关键帧特征同时输入到所述图像重建子网络中的对齐可靠性评估模块，其中所述对齐可靠性评估模块由串联的卷积层和激活层所构成；
[0126]
获取模块201，被配置为基于所述对齐可靠性评估模块生成的对其可靠性结果，得到对应的多个待融合特征。
[0127]
在本技术的另外一种实施方式中，获取模块201，还包括：
[0128]
获取模块201，被配置为将所有对齐可靠性结果与对齐后的特征相乘，得到合并特征；
[0129]
获取模块201，被配置为将所述合并特征与关键帧特征输入到所述图像重建子网络中基于卷积的特征融合模块，得到所述目标重建图像。
[0130]
图8是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0131]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述基于神经网络的图像重建方法，该方法包括：利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；将多个初步重建图像进行图像融合，得到调制后的重建图像；利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征；利用所述图像重建子网络，对所述多个待融合特征进行特征融合，得到目标重建图像。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0132]
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述基于神经网络的图像重建方法，该方法包括：利用基本重建子网络，提取脉冲阵列的多尺度短时时域信息，并基于每个短时时域信息，分别生成对应的初步重建图像；将多个初步重建图像进行图像融合，得到调制后的重建图像；利用特征提取子网络，提取所述调制后的重建图像中不同时刻点的深层特征，并将所述多个深层特征进行特征对齐，得到对应的多个待融合特征；利用所述图像重建子网络，对所述多个待融合特征进行特征融合，得到目标重建图像。可选地，上述指
令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
[0133]
图8为计算机设备30的示例图。本领域技术人员可以理解，示意图8仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
[0134]
所称处理器302可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
[0135]
存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现计算机设备30的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)或其他非易失性/易失性存储器件。
[0136]
计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
[0137]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
[0138]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。