HDR图像生成方法、装置、电子设备及可读存储介质与流程

hdr图像生成方法、装置、电子设备及可读存储介质
技术领域
1.本技术涉及图像处理领域，具体而言，涉及一种hdr图像生成方法、装置、电子设备及可读存储介质。


背景技术：

2.自然光照流明值的动态范围横跨多个数量级，但大部分的数码摄像传感器都只能测量范围的一小部分。因此，通过数码摄像传感器测到的ldr(low dynamic range，低动态范围)图像通常会包含过曝或低曝的区域，无法达到人类在明亮和低暗场景下的细节辨别能力。为解决此问题，hdr(high dynamic range，高动态范围)摄影被提出，目的是能生成一张可以反映更广的流明范围的图像。
3.基于此，专门设计了特定的硬件设备用于测得hdr图像，但是这类设备通常价格高昂，难以大批量投入正常使用。基于多张ldr图像生成一张hdr图像的方法成本低，因此该方法成为获得hdr图像的主要方式，但是通过该方式获得的hdr图像一般都图像质量不佳。因此，如何获得图像质量高的hdr图像已成为本领域技术人员亟需解决的技术问题。


技术实现要素：

4.本技术实施例提供一种hdr图像生成方法、装置、电子设备及可读存储介质。
5.本技术的实施例可以这样实现：
6.第一方面，本技术实施例提供一种hdr图像生成方法，所述方法包括：
7.对多帧原始低动态范围ldr图像中存在缺失的原始ldr图像进行图像补全处理，得到多帧第一ldr图像；
8.对所述多帧第一ldr图像进行对齐处理，得到多帧第二ldr图像；
9.根据所述多帧第二ldr图像，生成一帧hdr图像。
10.在可选的实施方式中，所述根据所述多帧第二ldr图像，生成一帧hdr图像，包括：
11.从所述多帧第二ldr图像中分别提取全局信息及局部信息；
12.根据在对齐处理中作为参照图像的第二ldr图像获得引导图，其中，所述引导图的分辨率与所述hdr图像的分辨率相同；
13.根据所述全局信息、局部信息及引导图，生成所述hdr图像。
14.在可选的实施方式中，在得到所述多帧第二ldr图像之后，所述方法还包括：
15.利用预先训练好的对齐精修网络，对经对齐处理得到的所述多帧第二ldr图像进行处理，得到精修后的多帧第二ldr图像；
16.所述根据所述多帧第二ldr图像，生成一帧hdr图像，包括：
17.根据精修后的多帧第二ldr图像生成所述hdr图像。
18.在可选的实施方式中，所述对多帧原始ldr图像中存在缺失的原始ldr图像进行图像补全处理，得到多帧第一ldr图像，包括：
19.获得每帧原始ldr图像的边缘检测结果；
20.根据每帧原始ldr图像的边缘检测结果，对存在缺失的原始ldr图像进行边缘补全及内容补全，得到第一ldr图像。
21.在可选的实施方式中，所述获得每帧原始ldr图像的边缘检测结果，包括：
22.对每帧原始ldr图像进行运动目标识别，获得运动目标所在的目标区域；
23.根据所述目标区域确定每帧原始ldr图像中的运动区域；
24.对每帧原始ldr图像中的各运动区域进行边缘检测，得到每帧原始ldr图像的边缘检测结果。
25.在可选的实施方式中，所述根据所述目标区域确定每帧原始ldr图像中的运动区域，包括：
26.将所述多帧原始ldr图像中的其中一帧原始ldr图像作为第一参照图像；
27.针对所述多帧原始ldr图像中的除所述第一参照图像之外的原始ldr图像，确定该帧原始ldr图像与所述第一参照图像中对应同一运动目标的两个目标区域；
28.在所述两个目标区域的位置差大于预设值的情况下，判定所述两个目标区域均为所述运动区域；
29.在所述两个目标区域的位置差不大于预设值的情况下，判定所述两个目标区域中属于该帧原始ldr图像的目标区域不是运动区域。
30.在可选的实施方式中，所述确定该帧原始ldr图像与所述第一参照图像中对应同一运动目标的两个目标区域，包括：
31.计算该帧原始ldr图像中每个目标区域与所述第一参照图像中各目标区域的位置差；
32.确定该帧原始ldr图像或第一参照图像中的各个目标区域所对应的位置差中的最小位置差，并将所述最小位置差在该帧原始ldr图像及所述第一参照图像中对应的两个目标区域，作为对应同一运动目标的两个目标区域。
33.在可选的实施方式中，所述对所述多帧第一ldr图像进行对齐处理，得到多帧第二ldr图像，包括：
34.将所述多帧第一ldr图像中的其中一帧第一ldr图像作为第二参照图像，其中，所述第二参照图像作为一帧第二ldr图像；
35.根据其他每帧第一ldr图像及所述第二参照图像，得到其他每帧第一ldr图像各自对应的运动变化信息；
36.根据其他每帧第一ldr图像各自对应的运动变化信息，对其他每帧第一ldr图像进行反向变换，得到其他每帧第一ldr图像对应的第二ldr图像。
37.在可选的实施方式中，所述运动变化信息包括光流估计结果，
38.所述根据其他每帧第一ldr图像及所述第二参照图像，得到其他每帧第一ldr图像各自对应的运动变化信息，包括：
39.根据其他每帧第一ldr图像及所述第二参照图像，进行局部光流估计，得到其他每帧第一ldr图像各自对应的光流估计结果。
40.第二方面，本技术实施例提供一种hdr图像生成装置，所述装置包括：
41.补全模块，用于对多帧原始ldr图像中存在缺失的原始ldr图像进行图像补全处理，得到多帧第一ldr图像；
42.对齐模块，用于对所述多帧第一ldr图像进行对齐处理，得到多帧第二ldr图像；
43.图像生成模块，用于根据所述多帧第二ldr图像，生成一帧hdr图像。
44.在可选的实施方式中，所述图像生成模块具体用于：
45.从所述多帧第二ldr图像中分别提取全局信息及局部信息；
46.根据在对齐处理中作为参照图像的第二ldr图像获得引导图，其中，所述引导图的分辨率与所述hdr图像的分辨率相同；
47.根据所述全局信息、局部信息及引导图，生成所述hdr图像。
48.在可选的实施方式中，所述装置还包括对齐精修模块，
49.所述对齐精修模块，用于利用预先训练好的对齐精修网络，对经对齐处理得到的所述多帧第二ldr图像进行处理，得到精修后的多帧第二ldr图像；
50.所述图像生成模块，具体用于根据精修后的多帧第二ldr图像生成所述hdr图像。
51.在可选的实施方式中，所述补全模块具体用于：
52.获得每帧原始ldr图像的边缘检测结果；
53.根据每帧原始ldr图像的边缘检测结果，对存在缺失的原始ldr图像进行边缘补全及内容补全，得到第一ldr图像。
54.在可选的实施方式中，所述补全模块具体用于：
55.对每帧原始ldr图像进行运动目标识别，获得运动目标所在的目标区域；
56.根据所述目标区域确定每帧原始ldr图像中的运动区域；
57.对每帧原始ldr图像中的各运动区域进行边缘检测，得到每帧原始ldr图像的边缘检测结果。
58.在可选的实施方式中，所述补全模块具体用于：
59.将所述多帧原始ldr图像中的其中一帧原始ldr图像作为第一参照图像；
60.针对所述多帧原始ldr图像中的除所述第一参照图像之外的原始ldr图像，确定该帧原始ldr图像与所述第一参照图像中对应同一运动目标的两个目标区域；
61.在所述两个目标区域的位置差大于预设值的情况下，判定所述两个目标区域均为所述运动区域；
62.在所述两个目标区域的位置差不大于预设值的情况下，判定所述两个目标区域中属于该帧原始ldr图像的目标区域不是运动区域。
63.在可选的实施方式中，所述补全模块具体用于：
64.计算该帧原始ldr图像中每个目标区域与所述第一参照图像中各目标区域的位置差；
65.确定该帧原始ldr图像或第一参照图像中的各个目标区域所对应的位置差中的最小位置差，并将所述最小位置差在该帧原始ldr图像及所述第一参照图像中对应的两个目标区域，作为对应同一运动目标的两个目标区域。
66.在可选的实施方式中，所述对齐模块具体用于：
67.将所述多帧第一ldr图像中的其中一帧第一ldr图像作为第二参照图像，其中，所述第二参照图像作为一帧第二ldr图像；
68.根据其他每帧第一ldr图像及所述第二参照图像，得到其他每帧第一ldr图像各自对应的运动变化信息；
69.根据其他每帧第一ldr图像各自对应的运动变化信息，对其他每帧第一ldr图像进行反向变换，得到其他每帧第一ldr图像对应的第二ldr图像。
70.在可选的实施方式中，所述运动变化信息包括光流估计结果，所述对齐模块具体用于：
71.根据其他每帧第一ldr图像及所述第二参照图像，进行局部光流估计，得到其他每帧第一ldr图像各自对应的光流估计结果。
72.第三方面，本技术实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式中任意一项所述的hdr图像生成方法。
73.第四方面，本技术实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任意一项所述的hdr图像生成方法。
74.本技术实施例提供的hdr图像生成方法、装置、电子设备及可读存储介质，首先对多帧原始ldr图像中存在缺失的原始ldr图像进行图像补全处理，得到多帧第一ldr图像；然后对多帧第一ldr图像进行对齐处理，得到多帧第二ldr图像；最后根据该多帧第二ldr图像生成一帧hdr图像。由此，通过对原始ldr图像进行图像补全处理，可避免由于原始ldr图像中存在较多缺陷，导致生成的hdr图像的质量不佳；还可以使得图像对齐效果更好，从而进一步提升hdr图像的质量。
附图说明
75.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
76.图1是本技术实施例提供的电子设备的方框示意图；
77.图2是本技术实施例提供的hdr图像生成方法的流程示意图之一；
78.图3是图2中步骤s110包括的步骤的流程示意图；
79.图4是图3中步骤s111包括的步骤的流程示意图；
80.图5是本技术实施例提供的目标区域的示意图之一；
81.图6是本技术实施例提供的目标区域的示意图之二；
82.图7是本技术实施例提供的图像补全处理的示意图；
83.图8是图2中步骤s120包括的步骤的流程示意图；
84.图9是本技术实施例提供的获得第二ldr图像的示意图；
85.图10是图2中步骤s130包括的步骤的流程示意图；
86.图11是本技术实施例提供的通过融合网络获得所述hdr图像的示意图；
87.图12是本技术实施例提供的hdr图像生成方法的流程示意图之二；
88.图13是本技术实施例提供的hdr图像生成模型的组成示意图；
89.图14是本技术实施例提供的目标识别网络的结构示意图；
90.图15是本技术实施例提供的边缘补全网络的结构示意图；
91.图16是本技术实施例提供的hdr图像生成装置的方框示意图之一；
92.图17是本技术实施例提供的hdr图像生成装置的方框示意图之二。
93.图标：100-电子设备；110-存储器；120-处理器；130-通信单元；200-hdr图像生成装置；210-补全模块；220-对齐模块；230-图像生成模块；240-对齐精修模块。
具体实施方式
94.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
95.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
96.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。需要说明的是，在不冲突的情况下，本技术的实施例中的特征可以相互结合。
97.ldr(low dynamic range，低动态范围)图像，指动态范围低的图像，通常会出现过曝或欠曝的情况。hdr(high dynamic range，高动态范围)图像，指动态范围高的图像，通常图像颜色鲜艳有层次感，不会出现过曝或欠曝光的情况。hdr图像相对于ldr图像，可以提供更多的动态范围和图像细节。目前一般是将多张ldr图像进行融合，从而得到hdr图像。但是，当多张ldr图像对应的场景中有物体运动时，也即，同一物体在多张ldr图像中的位置不同，通过融合得到的hdr会存在明显的鬼影现象和模糊缺陷。
98.全图图像对齐偏差造成的鬼影，可以通过全景对齐解决，但是由于物体运动和饱和下的信息缺失造成的“鬼影”缺陷却很难克服。针对该问题，一些方法试图在融合前通过更精细化的对齐ldr图像来解决，但是这些方法都会因估计误差而生成其他的缺陷。部分方法提出在融合时不考虑运动物体，或者直接把运动物体从画面剔除，但很难实现鲁棒的像素级的运动物体识别，基于无法做到。
99.hdr图像是由多帧ldr图像合成的，当ldr图像本身存在断裂和漏光等现象时，也会使得融合成的hdr图像存在融合缺陷及鬼影，导致hdr图像的图像质量不佳。
100.因此，发明人提出了本技术实施例提供的hdr图像生成方法、装置、电子设备及可读存储介质，先对多帧ldr图像进行图像补全处理，然后对补全处理后的多帧ldr图像进行对齐，并基于对齐后的多帧ldr图像生成一帧hdr图像。由此，通过对原始ldr图像进行图像补全处理，可避免由于原始ldr图像中存在缺陷，导致生成的hdr图像的质量不佳；还可以使得图像对齐效果更好，从而进一步提升hdr图像的质量。
101.下面结合附图对本技术实施例进行详细说明。
102.请参照图1，图1是本技术实施例提供的电子设备100的方框示意图。所述电子设备100可以是，但不限于，相机、智能手机、个人计算机、膝上型计算机等。如图1所示，所述电子设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
103.其中，所述存储器110用于存储程序或者数据。所述存储器110可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
104.所述处理器120用于读/写存储器110中存储的数据或程序，并执行相应的功能。比如，存储器110中存储有hdr图像生成装置200，所述hdr图像生成装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块，如本技术实施例中的hdr图像生成装置200，从而执行各种功能应用以及数据处理，即实现本技术实施例中的hdr图像生成方法。
105.所述通信单元130用于通过网络建立所述电子设备100与其它通信终端之间的通信连接，并用于通过所述网络收发数据。
106.应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
107.请参照图2，图2是本技术实施例提供的hdr图像生成方法的流程示意图之一。所述方法可应用于所述电子设备100。下面对hdr图像生成方法的具体流程进行详细阐述。
108.步骤s110，对多帧原始ldr图像中存在缺失的原始ldr图像进行图像补全处理，得到多帧第一ldr图像。
109.在本实施例中，可先获得多帧原始ldr图像。可选地，可以通过摄像头对同一场景进行多次拍摄，并将经拍摄得到的多帧ldr图像作为所述多帧原始ldr图像；也可以将其他设备发送的多帧ldr图像直接作为所述多帧原始ldr图像。当然可以理解的是，也可以通过其他方式获得该多帧原始ldr图像。其中，多帧原始ldr图像各自对应的曝光时间可以相同，也可以不同，可根据实际需求设置。上述原始ldr图像的具体数量也可以根据实际需求设置，比如，3帧。
110.在获得多帧原始ldr图像后，对多帧原始ldr图像中存在缺失的原始ldr图像进行图像补全处理，以得到所述第一ldr图像。图像在成像或后期处理过程中，不可避免的会出现图像某些像素区域有信息缺失。图像补全旨在使用图像中其他像素的信息，将缺失的像素区域的内容生成，以达到补全的目的。在针对存在缺失的原始ldr图像进行图像补全时，可以采用任意的方式，只要能够将原始ldr图像中缺失的内容进行补全即可。步骤s120，对所述多帧第一ldr图像进行对齐处理，得到多帧第二ldr图像。
111.当多帧ldr图像中存在运动区域时，若直接将多帧ldr图像进行融合，则得到的hdr图像中必然会存在鬼影，使得hdr图像的质量不佳。因此，在进行融合前，对经图像补全处理
后的多帧第一ldr图像进行对齐处理，获得多帧第二ldr图像。上述对齐处理可使得不同帧第一ldr图像中的内容对齐，从而避免由于内容不对齐而导致hdr图像中存在鬼影。
112.并且，由于对齐处理针对的是多帧第一ldr图像，而该多帧第一ldr图像是经过对原始ldr图像补全处理得到的，因此还可以避免由于对齐处理时的ldr图像本身内容有缺失而导致对齐效果不佳，进而导致合成效果不佳。
113.步骤s130，根据所述多帧第二ldr图像，生成一帧hdr图像。
114.在经过对齐处理，获得多帧第二ldr图像后，可以将该多帧ldr图像合成为一帧hdr图像。当然可以理解的是，可以采用任意方式基于该多帧ldr图像生成一帧hdr图像。
115.本技术实施例对存在缺失的原始ldr图像进行了图像补全处理，再进行对齐处理，进而基于处理后的ldr图像生成一帧hdr图像，由此可以避免由于图像存在缺失而导致后续的对齐效果不佳，提升图像对齐效果，对鬼影进行抑制，进而保证生成的hdr图像的质量；同时可以避免使用存在较多缺失的图像生成hdr图像，从而进一步保证hdr图像的图像质量。
116.作为一种可选的实施方式，请参照图3，图3是图2中步骤s110包括的步骤的流程示意图。步骤s110可以包括步骤s111及步骤s112。
117.步骤s111，获得每帧原始ldr图像的边缘检测结果。
118.步骤s112，根据每帧原始ldr图像的边缘检测结果，对存在缺失的原始ldr图像进行边缘补全及内容补全，得到第一ldr图像。
119.在本实施例中，可对每帧原始ldr图像进行边缘检测，以获得每帧原始ldr图像中的物体的边缘检测结果。然后根据物体的边缘检测结果，对存在缺失的原始ldr图像中的物体进行边缘补全、内容补全，从而实现缺失信息的补全，以获得第一ldr图像。当然可以理解的是，若一帧原始lsr图像不存在缺失，则可以直接将该帧原始ldr图像作为一帧第一ldr图像。
120.其中，可同时获得各帧原始ldr图像的边缘检测结果，然后同时进行边缘补全及内容补全；也可以依次获得各帧原始ldr图像的边缘检测结果，在获得一帧原始ldr图像的边缘检测结果后，在该帧原始ldr图像存在缺失的情况下，就对该帧原始ldr图像进行边缘补全及内容补全。当然可以理解的是，具体执行顺序可根据实际情况进行确定，在此不进行限定。
121.其中，可以对整帧原始ldr图像进行边缘检测，从而得到整帧原始ldr图像中所有物体的边缘检测结果，并将整帧原始ldr图像中所有物体的边缘检测结果作为该帧原始ldr图像的边缘检测结果。在该帧原始ldr图像的边缘检测结果表示该原始ldt图像存在缺失的情况下，对该帧原始ldr图像进行图像补全。由此，可以保证每帧经图像补全处理后得到的第一ldr图像中的各物体都没有信息缺失，进而保证后续生成的hdr图像的质量。
122.可选地，可以对多帧原始ldr图像中至少一帧存在缺失的原始ldr图像进行图像补全处理。比如，在多帧原始ldr图像中有多帧图像都存在缺失时，可以只对其中一帧存在缺失的原始ldr图像进行图像补全，由此既可以保证后续的对齐效果及合成效果，同时可以保证hdr图像的生成速度；也可以对其中的几帧或全部存在缺失的图像进行补全，从而进一步保证后续的对齐效果及合成效果。具体处理方式可以根据实际需求确定。
123.当然可以理解的是，第一ldr图像的数量与原始ldr图像的数量相同。若只对其中一部分原始ldr图像进行了图像补全处理，可将处理后的原始ldr图像作为一帧第一ldr图
像，并将其他未经图像补全处理的原始ldr图像直接作为第一ldr图像。
124.一般情况下，图像会有信息缺失，是物体在实际场景中运动造成的，因此还可以对所述多帧原始ldr图像进行运动区域检测，以确定每帧原始ldr图像中的运动区域，进而基于运动区域快速获得每帧原始ldr图像的边缘检测结果。
125.可选地，在本实施中，可以通过光流分析算法、目标跟踪算法等确定出每帧原始ldr图像中的运动区域。然后对各运动区域进行边缘检测，从而得到各运动区域的边缘检测结果，并将同一帧原始ldr图像中所有运动区域的边缘检测结果作为该帧原始ldr图像的边缘检测结果。由此，由于仅是对运动区域进行边缘检测，因而可加快得到每帧原始ldr图像的边缘检测结果的速度，同时依然可以避免由于合成hdr图像中的ldr图像中有较多信息缺失导致hdr图像的质量不佳。
126.可选地，在实际应用时，也可以在每确定一个运动区域后，就对该运动区域进行边缘检测，然后进行边缘补全及内容补全。
127.可选地，作为一种可选的实施方式，请参照图4，图4是图3中步骤s111包括的步骤的流程示意图。步骤s111可以包括步骤s1111～步骤s1113。
128.步骤s1111，对每帧原始ldr图像进行运动目标识别，获得运动目标所在的目标区域。
129.步骤s1112，根据所述目标区域确定每帧原始ldr图像中的运动区域。
130.步骤s1113，对每帧原始ldr图像中的各运动区域进行边缘检测，得到每帧原始ldr图像的边缘检测结果。
131.在该实施方式中，可对每帧原始ldr图像进行运动目标识别，从而识别出每帧ldr图像中的运动目标，并将运动目标所在的区域作为目标区域，进而根据目标区域确定出运动区域。由此，无需复杂算法处理，即可确定出运动区域。
132.其中，具体的运动目标可根据实际情况进行设置，比如，行人、车辆等。其中，若hdr图像生成方法应用于夜景，则上述运动目标可以根据夜景中存在的运动物体进行设置；若hdr图像生成方法主要于日景，则上述运动目标可以根据日景中存在的运动物体进行设置；若hdr图像生成方法既可以应用于夜景，也可以应用于日景，则可以根据夜景中存在的运动物体以及日景中的运动物体进行设置。
133.可选地，所述电子设备100中可预先存储有训练好的目标识别网络，当需要确定运动区域时，则可以利用上述目标识别网络对每帧原始ldr图像进行目标识别，从而确定每帧原始ldr图像中的运动区域。
134.在一种可选的实施方式中，在确定出目标区域后，可将目标区域直接作为运动区域，也即，直接将一帧原始ldr图像中运动目标所在的目标区域，作为该帧原始ldr图像的所有运动区域，后续可根据该帧原始ldr图像的所有运动区域确定该帧原始ldr图像的边缘检测结果。由此，无需对原始ldr图像中的所有物体均进行图像补全处理，同时依然可以保证hdr图像的质量。
135.在另一种可选的实施方式中，将多帧原始ldr图像中的其中一帧原始ldr图像作为第一参照图像，在确定目标区域后，可针对所述多帧原始ldr图像中的除第一参照图像之外的每帧原始ldr图像，确定出该帧原始ldr图像与所述第一参照图像中对应同一运动目标的两个目标区域。判断该两个目标区域的位置差是否大于预设值，若大于，则判定这两个目标
区域均为运动区域；若不大于，则判定这两个目标区域中属于该帧原始ldr图像的目标区域不是运动区域。
136.可选地，可以随机选定一帧原始ldr图像作为第一参照图像，也可以根据预先设定的第一选择规则确定多帧原始ldr图像中的其中一帧原始ldr图像作为第一参照图像，还可以根据用户的指定操作确定出多帧原始ldr图像中的其中一帧原始ldr图像作为第一参照图像。当然可以理解的是，也可以通过其他方式确定出第一参照图像。
137.在确定第一参照图像后，可以将该第一参照图像与所述多帧原始ldr图像中的除所述第一参照图像之外的每帧原始ldr图像作为一组图像，然后确定出每组图像中对应同一运动目标的两个目标区域。比如，若有多帧原始ldr图像为图a、图b及图c，其中，图a作为第一参照图像，则可以将图a及图b作为一组图像，确定出图a与图b中对应同一运动目标的两个目标区域，也即，确定出的两个目标区域中，一个目标区域位于图a中，另一个目标区域位于图b中，且这两个目标区域中对应相同运动目标(比如，对应同一个运动车辆)；将图a及图c作为一组图像，确定出图a与图c中对应同一运动目标的两个目标区域。
138.其中，可选地，可以通过跟踪算法或其他方式确定出每帧原始ldr图像与第一参照图像中对应同一运动目标的两个目标区域。
139.作为一种可选的实施方式，还可以通过如下方式确定出一帧原始ldr图像与第一参照图像中对应同一运动目标的两个目标区域：计算该帧原始ldr图像中每个目标区域与所述第一参照图像中各目标区域的位置差；确定该帧原始ldr图像或第一参照图像中的各个目标区域所对应的位置差中的最小位置差，并将所述最小位置差在该帧原始ldr图像及所述第一参照图像中对应的两个目标区域，作为对应同一运动目标的两个目标区域。由此，无需经过复杂的算法处理，即可确定出对应同一运动目标的两个目标区域。
140.在确定出对应同一运动目标的两个目标区域后，根据这两个目标区域的位置，计算得到这两个目标区域的位置差。其中，目标区域的位置可以在进行运动目标识别时获得的。若上述位置差大于预设值，表示这两个目标区域中的运动目标发生了移动，因此判定这两个目标区域都是运动区域。若上述位置差小于预设值，表示这两个目标区域中的运动目标未移动，因此判定这两个目标区域中不属于第一参照图像的目标区域不是运动区域，这两个目标区域中属于第一参照图像的目标区域是否为运动区域则不进行判定。
141.请参照图5及图6，图5是本技术实施例提供的目标区域的示意图之一，图6是本技术实施例提供的目标区域的示意图之二。下面结合图5及图6，对通过位置差确定出运动区域的方式进行举例说明。
142.假设多帧ldr图像包括图a、图b、图c，其中，图a为第一参照图像。在通过运动目标识别后，确定出：图a中的目标区域为a1、a2，图b中的目标区域为b1、b2，图c中的目标区域为c1、c2。
143.接下来可将图a与图b作为一组图像，将图a与图c作为另一组图像。接着，针对每组图像，根据每帧图像中的目标区域的位置，计算出一个图像中的各目标区域与另一个图像中的各目标区域的位置差，并将任意一个目标区域所对应的位置差中的最小位置差所针对的两个目标区域作为对应同一运动目标的两个目标区域。
144.比如，针对图a及图b，可计算出：目标区域a1、b1之间的位置差a1；目标区域a1、b2之间的位置差a2；目标区域a2、b1之间的位置差a3；目标区域a2、b2之间的位置差a4；若针对
目标区域a1，该目标区域a1所对应的位置差有a1、a2中，a1最小，则将目标区域a1、b1作为对应同一运动目标的两个目标区域。
145.其中，目标区域的位置可以用该目标区域的中心点的坐标表示。如图6所示，图a中目标区域a1的位置可用中心点坐标(x1,y1)表示，图b中目标区域b1的位置可用中心点坐标(x2,y2)表示。其中，可通过如下方式计算得到a1：a12＝(x1-x2)2 (y1-y2)2。
146.若a1大于预设值，则判定对应同一运动目标的两个目标区域a1、b1，均为目标运动区域。
147.若通过相同方式确定出目标区域a1、c1是对应同一运动目标的两个目标区域，在目标区域a1、c1的位置差不大于预设值时，则确定目标区域c1不是运动区域。
148.最后，可确定目标区域a1、b1是运动区域，目标区域c1不是运动区域。
149.请参照图7，图7是本技术实施例提供的图像补全处理的示意图。在确定出运动区域后，可如图7所示，对运动区域中的物体进行边缘检测、边缘补齐和内容补齐。可选地，所述电子设备100中可存储有预先训练好的边缘补齐网络，可通过该边缘补齐网络实现边缘检测、边缘补齐及内容补齐。
150.在获得多帧第一ldr图像后，可通过全局光流方法、局部光流方法、训练好的高斯模型或其他方式，对多帧第一ldr图像进行对齐，得到多帧第二ldr图像。
151.作为一种可选的实施方式，请参照图8，图8是图2中步骤s120包括的步骤的流程示意图。步骤s120可以包括步骤s121～步骤s123。
152.步骤s121，将所述多帧第一ldr图像中的其中一帧第一ldr图像作为第二参照图像。
153.可选地，可以随机选定一帧第一ldr图像作为第二参照图像，也可以根据预先设定的第二选择规则确定多帧第一ldr图像中的其中一帧第一ldr图像作为第二参照图像，还可以根据用户的指定操作确定出多帧第一ldr图像中的其中一帧第一ldr图像作为第二参照图像。当然可以理解的是，也可以通过其他方式确定出第二参照图像。其中，所述第二参照图像作为一帧第二ldr图像。
154.步骤s122，根据其他每帧第一ldr图像及所述第二参照图像，得到其他每帧第一ldr图像各自对应的运动变化信息。
155.步骤s123，根据其他每帧第一ldr图像各自对应的运动变化信息，对其他每帧第一ldr图像进行反向变换，得到其他每帧第一ldr图像对应的第二ldr图像。
156.在确定出第二参照图像后，可以将第二参照图像与其他每帧第一ldr图像作为一组待分析图像。然后针对每组待分析图像，将该组待分析图像中的第二参照图像作为参照，分析一帧其他第一ldr图像与该第二参照图像的运动变化情况，也即估计同一运动物体在该帧其他第一ldr图像、第二参照图像中的变化情况，并将分析得到的运动变化情况作为该帧其他第一ldr图像对应的运动变化信息。接着则可根据该运动变化信息对该帧第一ldr图像进行反向变换，从而得到该帧第一ldr图像对应的第二ldr图像。
157.可选地，可针对每组待分析图像进行快速的局部光流估计，获得该组待分析图像中非第二参照图像的第一ldr图像对应的光流估计结果。其中，局部光流估计可以是针对每组待分析图像中的运动区域。该光流估计结果可以是变换方程。接着则可根据该光流估计结果对该帧第一ldr图像进行反向变换，从而得到该帧第一ldr图像对应的第二ldr图像。由
net。所述全局信息提取网络global branch用于从多帧第二ldr图像ldr images中提取出全局信息，所述局部信息提取网络lobal branch用于从该多帧第二ldr图像ldr images中提取出局部信息。将全局信息及局部信息在通道方向进行叠加，得到叠加结果features。基于多帧第二ldr图像ldr images中在对齐处理中作为参照对象的ldr获得引导图guide map。再利用作为合成网络的bilateral filtering net将所述叠加结果features与引导图guide map进行融合，从而得到一帧hdr图像(即图11中的hdr image)。
169.经过对齐处理得到的第二ldr图像，在细节上与真正的目标图像还是存在一定的差异，该差异不利于保证生成的hdr图像的质量。其中，目标图像与参照图像的对齐效果，优于对齐处理后的图像与参照图像的对齐效果。为了减小该部分差异，还可以对经对齐处理得到的多帧第二ldr图像再次进行处理。请参照图12，图12是本技术实施例提供的hdr图像生成方法的流程示意图之二。在步骤s120之后，所述方法还可以包括步骤s140。
170.步骤s140，利用预先训练好的对齐精修网络，对经对齐处理得到的所述多帧第二ldr图像进行处理，得到精修后的多帧第二ldr图像。
171.所述电子设备100中还可以存储有预先训练好的对齐精修网络，利用该对齐精修网络对每帧第二ldr图像的部分细节进行处理，从而得到精修后的多帧第二ldr图像。当然可以理解的是，由于对齐精修网络的目的主要还是保证对齐效果，对齐是表示与作为参照图像的图像对齐，因而在处理过程中，对于多帧第二ldr图像中的第二参照图像，即在对齐处理过程中作为参照图像的第一ldr图像，精修处理之前跟精修处理之后的图像可以相同。
172.在获得精修后的多帧第二ldr图像后，可以根据该精修后的多帧第二ldr图像，执行步骤s130，即，根据精修后的多帧第二ldr图像生成所述hdr图像。可选地，在根据精修后的多帧第二ldr图像生成所述hdr图像时，可以采用图10所示方式，也可以采用其他方式，在此不作具体限定。
173.请参照图13，图13是本技术实施例提供的hdr图像生成模型的组成示意图。该hdr图像生成模型可以包括运动区域检测网络movement detection network、边缘补齐网络boundary filling network、图像对齐网络images warping network、对齐精修网络、及融合网络(图13中未出对齐精修网络及融合网络)。运动区域检测网络用于检测出多帧原始ldr图像ldr images中的运动区域moving regions。边缘补齐网络用于对运动区域moving regions进行边缘检测、边缘补全及内容补全，得到补全后的运动区域fixed regions，进而可获得多帧第一ldr图像boundary filled ldr images。图像对齐网络用于对多帧第一ldr图像boundary filled ldr images进行对齐处理，得到多帧第二ldr图像warped images。对齐精修网络用于对多帧第二ldr图像warped images进行精修处理，得到处理后的多帧第二ldr图像。融合网络用于根据该处理后的多帧第二ldr图像生成hdr图像(即图13中的hdr image)。
174.下面对上述hdr生成模型中的各网络进行具体说明。
175.运动区域检测网络中包括目标识别网络及运动区域确定网络。可以预先根据要识别的运动目标，训练出一个目标识别模型，并将该目标识别模型作为上述目标识别网络。利用目标识别网络对每帧原始ldr图像进行运动目标识别，获得识别框，识别框所在区域即为运动目标所在的目标区域。运动区域确定网络，根据确定出的目标区域，确定出对应同一运动目标的两个目标区域，并在该两个目标区域的位置差大于预设值时，确定这两个目标区
域都为运动区域，由此可确定出每帧原始ldr图像中的运动区域。
176.可以使用预训练的mobilenetv2-ssd的模型，对数据集进行识别。在得到数据集中各图像的识别结果后，根据要识别的运动目标，对识别结果进行筛选及优化，然后使用处理过的数据集继续训练模型，得到满足需要的目标识别模型。其中，上述筛选，是指将识别结果中与所要识别的运动目标匹配的保留，不匹配的则删除；优化，则是指对图像中未识别的运动目标进行标记。由此，优化后的数据集中包括图像、以及标记，标记是指图像中的运动目标所在的区域的标识。在上述模型训练方式中，无需人为对数据集中的每张图像进行运动目标标记，同时，由于使用了预训练的模型，可以加快模型的训练速度。
177.其中，在训练模型时，可以根据实际应用场景确定数据集，比如，若目标识别模型应用场景为晚上，则可以将夜景图像作为数据集。可选地，可以从现有的公有数据集中筛选出与目标识别模型应用场景相似的图像作为数据集。还可以对筛选出的图像进行色相(hue)、饱和度(saturation)、明度(value)等值的调整，从而增加图像数量，并且能够模拟实际场景中不同光照下的拍摄效果。
178.请参照图14，图14是本技术实施例提供的目标识别网络的结构示意图。该目标识别网络的结构遵照原始的mobilenetv2-ssd。目标识别网络的骨架使用了mobilenetv2，去掉了最后的转换和输出层。使用这种骨架可以保证在提取到有用信息的同时，减小计算量，缩短推理的时间。检测头(detection layers)选择了6个不同尺度上特征图(feature map)的融合，进而通过非最大值抑制(non-maximum suppression)，最终回归目标框的坐标(即获得目标所在框的坐标)。
179.在上述目标识别网络中，使用回归的l2损失和分类的l1损失来构建损失函数。由于该目标识别网络对类别并不感兴趣，因此回归的l2损失、分类的l1损失使用了不同的权重，并且l2损失的权重大于l1损失的权重。比如，l2损失的权重为0.8，l1损失的权重为0.2。损失函数l的形式可以为：
[0180][0181]
其中，n表示每组训练的样本数；l
conf
表示分类损失，即分类的l1损失；l
loc
表示坐标损失，即回归的l2损失；a表示坐标损失的预设权重，比如为0.8。
[0182]
可以使用级联卷积神经网络作为边缘补全网络，以对图像中的运动物体进行缺失信息补全。请参照图15，图15是本技术实施例提供的边缘补全网络的结构示意图。该边缘补全网络中可以包括一个边缘检测网络及两个生成对抗网络，其中，边缘检测网络用于在第一阶段使用，两个生成对抗网络分别在第二、第三阶段使用。第一阶段中，边缘检测网络用于检测图像incomplete image的不完整边缘unfinished contour，然后将得到的不完整边缘unfinished contour与图像incomplete image送入第一个对抗生成网络。第二阶段中，第一个生成对抗网络中的生成网络主要进行边缘补全，以得到完整边缘finished contour；第一个生成对抗网络中的判定网络用于分辨生成的完整边缘finished contour是否符合要求。第三阶段中，将完整边缘finished contour与图像incomplete image叠加后送入用于精修的第二个生成对抗网络，第二个生成对抗网络中的生成网络用于生成完整图像recovered image，第二个生成对抗网络中的判定网络用于判断生成结果是否满足需求。
[0183]
在训练边缘补全网络时，可以使用模拟加真实数据的方式来训练边缘补全网络。模拟数据由公有数据集构成，对于公有数据集中图像中的每一个要识别的运动目标，人为地进行处理，以使处理的图像中有信息缺失。比如，对图像中的运动目标的边缘进行腐蚀和破损处理。处理后的图像及处理前的图像则作为训练时使用的模拟数据。采集包括运动目标但有信息缺失的真实图像，然后使用形态学方法或其他方法对真实图像进行补全处理，补全处理前后的图像作为训练时使用的真实数据。结合模拟数据及真实数据，可训练出边缘补全网络，该边缘补全网络能达到补全图中缺省区域的目的。
[0184]
图像对齐网络中可以包括光流估计网络及对齐网络。光流估计网络可以采用常见的轻量级光流估计模型，比如，flownets，用于对参考图像及待变换图像进行光流估计，得到待变换图像对应的光流估计结果。对齐网络，则根据光流估计结果对待变换图像进行反变换，从而得到与参考图像对应的图像。
[0185]
可选地，使用的光流估计网络可以为flownets。在进行光流估计时，可以直接将两帧图像按照红(red)、绿(green)、蓝(blue)通道重叠后输入。在解码细节的过程中，对每层的反卷积relu层，不仅输入前一层的输出，同时还输入前一层预测的低尺度的光流和对应编码模块中的特征层。这样使得每一层反卷积层在细化时，不仅可以获得深层的抽象信息，同时还可以获得浅层的具象信息，以弥补因特征空间尺度的缩小而损失的信息。
[0186]
在训练光流估计网络时，可以从公有数据集中筛选出与实际应用场景相似的图像作为后续训练使用的样本图像，或者对公有数据集中的图像记性处理，并将处理后的图像作为后续训练使用的样本图像。比如，若实际应用场景为晚上，公有数据集中的图像大多都是白天的场景，可以使用风格滤镜对图像进行风格转换，从而生成大量的夜景图像，并从生成的夜景图像筛选出与实际夜景相似的图像作为后续的样本图像，从而剔除离与真实场景差别较大的图像。
[0187]
该光流估计网络的损失函数可以使用原光流估计网络(即现有光流估计网络)的损失函数，但对运动区域，可以基于更大的权重，这样可以帮助光流估计网络更关注显著的运动。
[0188]
对齐精修网络可以根据对齐处理后的图像、对齐处理后的图像对应的目标图像训练得到。可选地，该对齐精修网络可以是一个基于卷积神经网络的自编码器，该自编码器的设计基于经典的unet。为了便于该模型可以部署于多数设备(比如，部署在智能手机上)上，在训练得到对齐精修网络时，可相应的调整卷积通道的数量和最大池化的尺度。可选地，可采用以下几种方式使得对齐精修网络能够部署于多数设备上。其中，训练精修网络时，使用的样本(即包括对齐处理后的图像、对齐处理后的图像对应的目标图像)可以通过任意方式预先确定。
[0189]
使用神经网络搜索的方法，也即，基于神经网络架构搜索(neural architecture search，nas)训练得到所述对齐精修网络。可以规定搜索所需要的基本子网络模块，配合在目标设备(即被部署该对齐精修网络的设备)使用的参数(比如，macs)和推理时间等作为搜索的约束，训练一个神经网络搜索模型，从而得到一个可用于对图片进行对齐精修的神经网络。
[0190]
还可以使用模型剪枝的方法进行网络的优化。剪枝方法包括通道剪枝、稀疏剪枝等。可选地，可使用基于批处理化稀疏约束的模型剪枝方法，得到满足需求的对齐精修网
络。
[0191]
还可以使用模型蒸馏的方法进行网络的优化。第一，可以对原始的unet输入输出大小和中间隐藏层参数进行相应修改，然后使用私有数据集进行大规模训练，将训练结果作为蒸馏流程的老师模型。第二，设计通道数减半的unet，作为学生模型。可以使用自主设计的特征损失函数和稀疏约束正则化的加权和作为训练模型的综合损失函数，并大规模训练模型，最终得到比原始模型小3/4、但对齐精度与原模型相当的小模型，使部署在智能手机端成为可能。
[0192]
融合网络可以是hdr深度学习模型，该hdr深度学习模型可以是一个轻量级的模型，也可以是其他模型或网络。可选地，该融合网络的结构可如图11所示，该融合网络可至少包括全局信息提取网络global branch、局部信息提取网络lobal branch及合成网络bilateral filtering net。可利用训练样本，对上述全局信息提取网络global branch、局部信息提取网络lobal branch及合成网络bilateral filtering net进行训练，从而得到满足要求的对齐精修网络，以便在实际使用时可利用该对齐精修网络实现精修处理，从而进一步保证生成的hdr图像的质量。其中，每个训练样本可以包括多帧ldr图像(可以是对齐处理后得到的ldr图像、或是本实施例中的多帧第二ldr图像、或者是本实施例中的精修后的多帧第二ldr图像)、该多帧ldr图像对应的样本hdr图像。可选地，在训练过程中，引导图guide map可以是根据该多帧ldr图像在对齐处理中作为参照图像的一帧ldr图像得到，也可以是根据当前训练样本中的样本hdr图像得到。其中，输入所述融合网络的图像的格式可以是，但不限于，rgb、yuv或raw等。可以针对不同的数据格式，分别训练网络来进行处理。
[0193]
可选地，可先对运行区域检测网络、边缘补全网络、图像对齐网络及对齐精修网络进行预训练，以固定各部分的权重。在预训练完成后，再串联上融合网络，进行联合训练，即联合训练时主要训练融合网络，也可以在联合训练时对其他各部分的参数进行调整，以便基于训练得到的网络能够生成高质量的hdr图像。由此，可以将去鬼影这一复杂问题拆分为各个网络分别处理，再串联形成最终的hdr图像生成模型。
[0194]
上述hdr图像生成模型的各部分可以均采用轻量级的神经网络，因而具有处理速度快的特点，可近实时地合成kdr图像，并且便于部署到移动端。该hdr图像生成模型通过对运动区域进行图像补全，可消除由于原始ldr图像本身存在缺陷而导致的融合缺陷问题；对于图像补全后的图像的局部进行光流估计，进而基于光流估计结果对图像进行转换，可以使得图像的对齐效果更好，从而对鬼影进行更好的抑制。并且，在对齐处理后，对对齐处理结果进行对齐精修处理，可以使得图像的对齐效果更好。
[0195]
为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种hdr图像生成装置200的实现方式，可选地，该hdr图像生成装置200可以采用上述图1所示的电子设备100的器件结构。进一步地，请参照图16，图16是本技术实施例提供的hdr图像生成装置200的方框示意图。需要说明的是，本实施例所提供的hdr图像生成装置200，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。所述hdr图像生成装置200应用于电子设备100。该hdr图像生成装置200可以包括补全模块210、对齐模块220及图像生成模块230。
[0196]
所述补全模块210，用于对多帧原始ldr图像中存在缺失的原始ldr图像进行图像补全处理，得到多帧第一ldr图像。
[0197]
所述对齐模块220，用于对所述多帧第一ldr图像进行对齐处理，得到多帧第二ldr图像。
[0198]
所述图像生成模块230，用于根据所述多帧第二ldr图像，生成一帧hdr图像。
[0199]
在可选的实施方式中，所述图像生成模块230具体用于：从所述多帧第二ldr图像中分别提取全局信息及局部信息；根据在对齐处理中作为参照图像的第二ldr图像获得引导图，其中，所述引导图的分辨率与所述hdr图像的分辨率相同；根据所述全局信息、局部信息及引导图，生成所述hdr图像。
[0200]
在可选的实施方式中，请参照图17，图17是本技术实施例提供的hdr图像生成装置200的方框示意图之二。所述hdr图像生成装置200还可以包括对齐精修模块240。所述对齐精修模块240，用于利用预先训练好的对齐精修网络，对经对齐处理得到的所述多帧第二ldr图像进行处理，得到精修后的多帧第二ldr图像。所述图像生成模块230，具体用于根据精修后的多帧第二ldr图像生成所述hdr图像。
[0201]
在可选的实施方式中，所述补全模块210具体用于：获得每帧原始ldr图像的边缘检测结果；根据每帧原始ldr图像的边缘检测结果，对存在缺失的原始ldr图像进行边缘补全及内容补全，得到第一ldr图像。
[0202]
在可选的实施方式中，所述补全模块210具体用于：对每帧原始ldr图像进行运动目标识别，获得运动目标所在的目标区域；根据所述目标区域确定每帧原始ldr图像中的运动区域；对每帧原始ldr图像中的各运动区域进行边缘检测，得到每帧原始ldr图像的边缘检测结果。
[0203]
在可选的实施方式中，所述补全模块210具体用于：将所述多帧原始ldr图像中的其中一帧原始ldr图像作为第一参照图像；针对所述多帧原始ldr图像中的除所述第一参照图像之外的原始ldr图像，确定该帧原始ldr图像与所述第一参照图像中对应同一运动目标的两个目标区域；在所述两个目标区域的位置差大于预设值的情况下，判定所述两个目标区域均为所述运动区域；在所述两个目标区域的位置差不大于预设值的情况下，判定所述两个目标区域中属于该帧原始ldr图像的目标区域不是运动区域。
[0204]
在可选的实施方式中，所述补全模块210具体用于：计算该帧原始ldr图像中每个目标区域与所述第一参照图像中各目标区域的位置差；确定该帧原始ldr图像或第一参照图像中的各个目标区域所对应的位置差中的最小位置差，并将所述最小位置差在该帧原始ldr图像及所述第一参照图像中对应的两个目标区域，作为对应同一运动目标的两个目标区域。
[0205]
在可选的实施方式中，所述对齐模块220具体用于：将所述多帧第一ldr图像中的其中一帧第一ldr图像作为第二参照图像，其中，所述第二参照图像作为一帧第二ldr图像；根据其他每帧第一ldr图像及所述第二参照图像，得到其他每帧第一ldr图像各自对应的运动变化信息；根据其他每帧第一ldr图像各自对应的运动变化信息，对其他每帧第一ldr图像进行反向变换，得到其他每帧第一ldr图像对应的第二ldr图像。
[0206]
在可选的实施方式中，所述运行变化信息包括光流估计结果，所述对齐模块220具体用于：根据其他每帧第一ldr图像及所述第二参照图像，进行局部光流估计，得到其他每帧第一ldr图像各自对应的光流估计结果。
[0207]
可选地，作为一种可选的实施方式，可将图13所示的hdr图像生成模型作为所述
hdr图像生成装置200。
[0208]
本技术实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的hdr图像生成方法。
[0209]
综上所述，本技术实施例提供了一种hdr图像生成方法、装置、电子设备及可读存储介质，首先对多帧原始ldr图像中存在缺失的原始ldr图像进行图像补全处理，得到多帧第一ldr图像；然后对多帧第一ldr图像进行对齐处理，得到多帧第二ldr图像；最后根据该多帧第二ldr图像生成一帧hdr图像。由此，通过对原始ldr图像进行图像补全处理，可避免由于原始ldr图像中存在较多缺陷，导致生成的hdr图像的质量不佳；还可以使得图像对齐效果更好，从而进一步提升hdr图像的质量。
[0210]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0211]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0212]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0213]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。