图像生成方法、电子设备及存储介质与流程

本公开涉及计算机视觉与数字图像处理，特别涉及一种图像生成方法、一种电子设备、一种计算机可读存储介质。

背景技术：

1、高动态范围（hdr，high dynamic range）成像旨在捕获并再现真实场景中的宽广亮度范围，但是，普通相机传感器的动态范围有限，单次拍摄通常只能获取低动态范围（ldr，low dynamic range）图像，但ldr图像会因过曝导致亮部细节丢失、或欠曝导致暗部细节丢失。

2、为了实现hdr成像，通常采用多曝光融合（mef，multi-exposure fusion）方案，即针对同一场景连续拍摄多张不同曝光度的ldr图像，并通过图像对齐、hdr重建及色调映射等处理生成hdr图像。图像对齐旨在消除多张ldr图像的拍摄间隔中可能存在物体或相机微小移动而产生的影响；hdr重建旨在将对齐后的ldr图像变换到线性辐射空间，生成线性hdr图像；色调映射旨在将线性hdr图像的宽广亮度范围压缩到ldr显示设备能够呈现的范围，并尽可能保留细节和视觉观感。

3、但是，传统mef方案在对齐、伪影控制等方面存在诸多固有缺陷，导致生成的hdr图像质量不佳，鲁棒性也较差。

技术实现思路

1、本公开实施例提供一种图像生成方法、一种电子设备、一种计算机可读存储介质。

2、第一方面，本公开实施例提供一种图像生成方法，包括：获取同一场景下多帧不同曝光时间的低动态范围图像的复合特征张量，其中，所述复合特征张量包含非线性辐射特征通道和线性辐射特征通道；根据各帧所述低动态范围图像中位置对应的图像块的复合特征子张量，提取关联特征表示，所述关联特征表示表征各帧所述图像块的质量特征、运动特征以及帧间关系特征；根据所述关联特征表示确定位置对应的各帧所述图像块的参考帧图像块；以所述参考帧图像块为基准，根据各帧所述低动态范围图像的复合特征张量进行特征对齐与融合处理，生成高动态范围图像。

3、在一些实施例中，所述根据各帧所述低动态范围图像中位置对应的图像块的复合特征子张量，提取关联特征表示，包括：对各所述复合特征子张量的非线性辐射特征通道进行卷积特征提取，得到各帧所述图像块的全局特征向量；将所述全局特征向量输入多头注意力模块，得到融合质量特征和帧间关系特征的注意力加权特征向量；根据各所述复合特征子张量的非线性辐射特征通道分析确定相邻帧的所述图像块之间的差异，提取运动特征，得到运动特征向量；其中，所述关联特征表示包括所述注意力加权特征向量和所述运动特征向量。

4、在一些实施例中，所述将所述全局特征向量输入多头注意力模块，得到融合质量特征和帧间关系特征的注意力加权特征向量，包括：将各帧所述图像块的全局特征向量进行堆叠，得到堆叠特征张量；将所述堆叠特征张量输入所述多头注意力模块，根据预设的注意力头数进行自注意力计算，得到所述注意力加权特征向量。

5、在一些实施例中，所述根据各帧所述图像块的非线性辐射特征通道进行运动特征估计，提取运动特征，得到运动特征向量，包括：将任意两个相邻帧图像块的非线性辐射特征通道拼接后输入运动估计网络，提取相邻帧的所述图像块之间的差异特征，得到差异特征向量，其中，所述差异特征向量表征两个相邻帧之间的运动差异信息；将多个所述差异特征向量进行拼接，得到所述运动特征向量。

6、在一些实施例中，所述根据所述关联特征表示确定位置对应的各帧所述图像块的参考帧图像块，包括：将所述注意力加权特征向量和所述运动特征向量拼接后进行置信度决策，得到置信度向量，其中，所述置信度向量由与多帧所述图像块一一对应的权重值组成，所述权重值表征对应的所述图像块作为参考帧图像块的置信度；根据所述置信度向量确定所述参考帧图像块。

7、在一些实施例中，根据所述置信度向量确定所述参考帧图像块，包括：根据所述置信度向量确定帧索引序列，所述帧索引序列表征位置对应的各帧所述图像块的排列顺序，其中，作为所述参考帧图像块的图像块在所述排列顺序中对应于预设顺位。

8、在一些实施例中，所述以所述参考帧图像块为基准，根据各帧所述低动态范围图像的复合特征张量进行特征对齐与融合处理，生成高动态范围图像，包括：根据所述帧索引序列所表征的位置对应的各帧所述图像块的排列顺序，对各帧所述低动态范围图像的复合特征张量进行汇总，得到待处理张量；对所述待处理张量进行特征对齐和融合处理，生成所述高动态范围图像。

9、在一些实施例中，所述根据所述帧索引序列所表征的位置对应的各帧所述图像块的排列顺序，对各帧所述低动态范围图像的复合特征张量进行汇总，得到待处理张量，包括：将位置对应的各帧所述图像块的复合特征子张量，按照所述帧索引序列所表征的排列顺序在通道维度进行拼接，在空间维度将不同位置的图像块的复合特征子张量进行拼接，得到所述待处理张量。

10、在一些实施例中，所述对所述待处理张量进行特征对齐和融合处理，生成所述高动态范围图像，包括：将所述待处理张量在通道维度进行拆分，得到多帧输入特征张量，其中，对应于所述预设顺位的输入特征张量作为参考帧；以作为参考帧的所述输入特征张量为基准，对多帧所述输入特征张量进行特征提取与注意力调制，得到调制特征图；将多个所述调制特征图拼接后进行深层次、多尺度特征融合，得到融合特征图；将所述融合特征图与作为参考帧的所述输入特征张量的初始特征图进行残差连接，通过卷积处理重建所述高动态范围图像。

11、在一些实施例中，所述以作为参考帧的所述输入特征张量为基准，对多帧所述输入特征张量进行特征提取与注意力调制，得到调制特征图，包括：对多帧所述输入特征张量进行卷积，提取所述输入特征张量的初始特征图；计算对应非参考帧的初始特征图与对应参考帧的初始特征图的注意力图；将所述注意力图叠加在对应参考帧的初始特征图上，并与对应非参考帧的初始特征图进行融合，得到所述调制特征图。

12、在一些实施例中，所述将多个所述调制特征图拼接后进行深层次、多尺度特征融合，得到融合特征图，包括：将多个所述调制特征图拼接后输入层次化金字塔网络，通过所述层次化金字塔网络中的小波变换模块和transformer模块进行深层次、多尺度特征融合，得到所述融合特征图。

13、在一些实施例中，在所述根据各帧所述低动态范围图像位置对应的图像块的复合特征子张量，提取关联特征表示之前，所述图像生成方法还包括：将所述低动态范围图像划分为多个图像块。

14、在一些实施例中，所述获取同一场景下多帧不同曝光时间的低动态范围图像的复合特征张量，包括：将所述低动态范围图像转换到线性辐射空间，得到线性辐射图像；将所述线性辐射图像与所述低动态范围图像在通道维度进行拼接，得到所述复合特征张量，其中，所述复合特征张量的非线性辐射特征通道对应所述低动态范围图像，所述复合特征张量的线性辐射特征通道对应所述线性辐射图像。

15、第二方面，本公开实施例提供一种电子设备，所述电子设备包括：一个或多个处理器；存储器，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一项所述的图像生成方法。

16、第三方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现上述任意一项所述的图像生成方法。

17、在本公开实施例中，通过提取多帧图像/图像块的表征各帧图像/图像块的质量特征、运动特征以及帧间关系特征的关联特征表示，根据关联特征表示确定参考帧，最后以参考帧为基准进行特征对齐和融合处理，生成高动态范围图像，实现了根据输入图像的内容质量、运动信息、帧间关系动态自适应选择最适合作为对齐和融合基准的参考帧，有利于选出最清晰、最稳定、信息最稳定的图像作为参考帧，为特征对齐和融合处理提供更优的基准，生成细节更丰富、伪影更少的hdr图像，从而提升hdr图像重建质量。

18、在本公开实施例中，通过提取多帧图像/图像块的表征各帧图像/图像块的质量特征、运动特征以及帧间关系特征的关联特征表示，根据关联特征表示确定参考帧，能够提高处理多样化场景的泛化能力和鲁棒性；选择的参考帧中物体的运动较小，能够减少需要补偿的运动位移，降低了模型学习对齐的难度，有利于环节因大范围运动补偿导致的伪影问题。

19、本公开实施例中，支持利用已有的基于深度学习的hdr重建网络生成hdr图像，在确定参考帧时，只要对参考帧重新进行排序，使作为参考帧的图像块/图像块在排列顺序中位于该hdr重建网络默认的参考帧的顺位，即可使hdr重建网络以确定的参考帧为基准进行特征对齐和融合处理。本公开实施例中的参考帧选择方法可以实现为即插即用组件，能够与已有hdr重建网络的无缝集成，而无需改变hdr重建网络的核心结构，具有良好的兼容性和可扩展性。