逆色调映射系统、方法及其神经网络系统与流程

1.本发明涉及逆色调映射系统、方法及其神经网络系统，尤其涉及神经网络系统的结构。


背景技术：

2.逆色调映射技术是将sdr(standard dynamic range，标准动态范围)视频通过图像处理的方法转换为hdr(high dynamic range，高动态范围)视频的技术。关于逆色调映射技术主要有基于标准转换公式的公式法、基于人眼视觉感受的艺术法，以及基于神经网络的深度学习方法。
3.基于标准转换公式的公式法一般基于oetf(光电转换函数)和eotf(电光转换函数)。具体操作是：首先把非线性的电信号转换成线性光信号，然后转换色域，再把转换了色域的线性光信号转换为非线性电信号。
4.基于标准转换公式的公式法优点在于可以极大程度保留sdr视频的原本观感，并且转换效果稳定，但是在很多场景下无法做到提升画面观感的效果。
5.基于人眼视觉感受的艺术法是基于艺术家的体验，从调色师的视角处理动态范围、伽玛和色域转换的方法。
6.该方法融入了作者个人的主观感受，在部分场景下可以获得良好的效果，但是泛用性较差。
7.基于神经网络的深度学习方法是从大量的数据中直接学习变换的规律，用非线性函数去无限贴近目标结果。现有的研究通过找到成对的sdr视频和hdr视频，使用神经网络去拟合从sdr视频到hdr视频的变化，实现从sdr电信号到hdr电信号的直接转换。
8.与前两种方法相比，基于神经网络的深度学习方法具有较好的自适应能力，能够根据不同场景做出不同的变换效果。然而神经网络模型的缺点在于其效果很大程度上取决于配对数据的质量以及神经网络的结构。
9.由于从sdr视频到hdr视频的转换实际上是一种多对多的关系，设计不合理的神经网络不仅计算量大，而且很难很好地学习到足够稳定的转换效果，容易出现画面异常的问题。例如加深网络深度可以增强学习能力，但网络层数的增加，会使训练会变得困难，并且复杂的网络结构也容易产生网络退化，模型不收敛的问题。
10.sdr视频到hdr视频的转换本质上是通过神经网络生成纹理等细节成分，sdr视频中加入推算得到的细节成分，生成具有hdr视频品质的视频。神经网络在提取数据特征的过程中，随着提取层(卷积层)的加深，由于各层的信息无法向深层传递，细节成分的高频信息容易被过滤掉，影响细节成分的重建。
11.本发明的第一目的在于提供一种逆色调映射系统、方法及其神经网络系统，通过合理设计的神经网络结构，增强网络的拟合能力，使模型快速收敛。
12.第二目的在于提高网络对细节成分的重建能力，增强重建视频的画面观感。


技术实现要素：

13.为了解决上述问题，本发明的第一技术方案为逆色调映射系统，包括特征提取模块(200)和画面重组模块(100)。所述特征提取模块(200)用于从输入的sdr视频帧提取特征，包括多个特征提取分支(210、220、230)，各个特征提取分支(210、220、230)包括卷积层(21a、22a、23a)和激活层(21b、22b、23b)。各个所述特征提取分支(210、220、230)的卷积层具有不同的感受野，所提取的特征图由所述激活层(21b、22b、23b)激活后通过拼接操作获得复合特征图(f
ts
)。
14.所述画面重组模块(100)基于所述复合特征图(f
ts
)重建图像，得到hdr视频帧，包括由多个残差群组(10a、10b、10c、10d)串联组成的复合残差结构(100a)。各个所述残差群组(10a、10b、10c、10d)包括多个串联的残差单元(11、12、13、14)。
15.各个所述残差单元包括多个串联的卷积层(11a)、激活层(11b)、卷积层(11c)、自注意力层(11d)。所述画面重组模块(100)还包括输出层(600)，所述复合残差结构(100a)输出的特征图(u
ts
)通过所述输出层(600)输出重建的hdr视频帧(i
th’)。所述特征提取模块(200)和所述画面重组模块(100)中神经网络的权重预先通过配对的sdr视频帧(i
ts
)和hdr(i
th
)视频帧训练确定。
16.由于画面重组模块(100)采用复合残差结构(100a)，在训练时，各个残差单元(11、12、13、14)中的自注意力层(11d)可以对每个特征通道学习出一个权重，让重要的特征获得更多的权重，不重要的特征获得较少的权重，通过自注意力层(11d)的自注意力机制，神经网络能够更好地利用特征提取模块(200)提取到的不同感受野的通道特征，增强神经网络的自适应能力。
17.即，通过合理设计神经网络，使不同感受野提取到的特征可以在不同的画面层级上帮助画面的重建，提升逆色调映射效果；同时自注意力机制可以帮助网络更好地利用不同感受野的特征，增强网络的自适应能力，而复合残差结构则是比简单的卷积结构拥有更强的拟合能力，帮助模型快速收敛。
18.并且利用多重残差结构，浅层的通道特征可以直接向深层传递，细节成分的高频信息不会被过滤掉，提高了细节成分的重建。
19.优选，输入的sdr图像和重建的hdr图像具有相同的分辨率。
20.所述画面重组模块(100)中的所述复合残差结构(100a)可以包括四个所述残差群组(10a、10b、10c、10d)，所述残差群组(10a、10b、10c、10d)包括四个串联的残差单元(11、12、13、14)。
21.所述特征提取模块(200)优选包括三个特征提取分支(210、220、230)，第1特征提取分支(210)，第2特征提取分支(220)、第3特征提取分支(230)，各个特征提取分支分别由三组卷积层、激活层交互设置而成。
22.其中，第1特征提取分支(210)中三个卷积层(21a)分别采用3*3的卷积核，第2特征提取分支(220)中三个卷积层(22a)分别采用5*5的卷积核，第3特征提取分支(230)中三个卷积层(23a)分别采用7*7的卷积核，各个激活层(21b、22b、23b)采用relu函数激活。
23.所述画面重组模块(100)中，所述残差单元(11、12、13、14)中的卷积层(11a)和卷积层(11c)可以采用3*3的卷积核，激活层(11b)采用relu函数激活。
24.由于使用具有不同感受野的三个特征提取分支，能够在计算效率和模型指标方面
取得平衡，保证计算效率的同时，让模型获得较好的客观指标。
25.根据需要，所述复合残差结构(100a)的输入端可以设置卷积层(500)，通过降维操作将所述复合特征图(f
ts
)的通道数调整为所述复合残差结构(100a)的输入通道数。
26.所述逆色调映射系统可以包括用于训练的数据库(1)、评价模块(5)、迭代模块(6)，所述数据库(1)中包括多组配对的真实hdr视频帧(i
th
)和sdr视频帧(i
ts
)，所述sdr视频帧(i
ts
)由所述真实hdr视频帧(i
th
)通过调色，压缩动态范围，并对位深进行归一化处理得到。
27.训练时，所述数据库(1)中的sdr视频帧(i
ts
)随机输入所述特征提取模块(200)和所述画面重组模块(100)得到重建的hdr视频帧(i
th’)。评价模块(5)基于损失函数判断所述重建的hdr视频帧(i
th’)与真实hdr视频帧(i
th
)之间的距离。
28.所述迭代模块(6)基于总体损失不断更新并优化所述特征提取模块(200)和所述画面重组模块(100)中神经网络的权重，直至损失值不再降低或降低到预定值。
29.利用经过技术人员调色的sdr视频帧(i
ts
)和对应的hdr视频帧(i
th
)进行训练，与利用自然拍摄的视频相比，不仅可以保证像素的一致性，还可使网络学习到技术人员的知识，提高重建视频帧的画面观看效果。
30.第二技术方案为逆色调映射方法，其特征在于，包括以下步骤：特征提取步骤(s10)，利用具有不同感受野的卷积层提取输入的sdr视频帧(i
ts
)的特征，得到多个特征图(f
ts1
、f
ts2
、f
ts3
)，各个特征图(f
ts1
、f
ts2
、f
ts3
)具有相同的通道数。
31.拼接步骤(s20)，将各个所述特征图(f
ts1
、f
ts2
、f
ts3
)在通道维度进行拼接得到复合特征图(f
ts
)。画面重建步骤(s30)，利用具有自注意力机制的复合残差结构(100a)由所述复合特征图(f
ts
)提取具有多个通道的特征图(n
ts
)，利用特征图(n
ts
)进行图像重建，得到所述sdr视频帧(i
ts
)对应的hdr视频帧(i
th’)。
32.具有与第一技术方案相同的效果。
33.第三技术方案为神经网络系统，其特征在于，包括特征提取模块(200)和画面重组模块(100)。所述特征提取模块(200)用于从输入视频帧提取特征，包括多个特征提取分支(210、220、230)，各个特征提取分支(210、220、230)包括卷积层(21a、22a、23a)和激活层(21b、22b、23b)，各个所述特征提取分支(210、220、230)的卷积层具有不同的感受野，各个特征提取分支(210、220、230)所提取的特征图由所述激活层(21b、22b、23b)激活后通过拼接操作获得复合特征图(f
ts
)。
34.所述画面重组模块(100)基于所述复合特征图(f
ts
)重建视频帧，包括由多个残差群组(10a、10b、10c、10d)串联组成的复合残差结构(100a)。各个所述残差群组(10a、10b、10c、10d)包括多个串联的残差单元(11、12、13、14)。各个所述残差单元包括多个串联的卷积层(11a)、激活层(11b)、卷积层(11c)、自注意力层(11d)。
35.所述画面重组模块(100)还包括输出层(600)，所述复合残差结构(100a)输出的特征图通过所述输出层(600)输出重建的hdr视频帧(i
th’)。
36.因此，通过训练，神经网络系统可以作为逆色调映射系统用于将sdr图像转换成hdr图像。并且与具有第一技术方案相同的效果。
37.所述复合残差结构(100a)可以由四个所述残差群组(10a、10b、10c、10d)，所述残差群组(10a、10b、10c、10d)包括四个串联的残差单元(11、12、13、14)，所述特征提取模块
(200)包括三个特征提取分支(210、220、230)，第1特征提取分支(210)，第2特征提取分支(220)、第3特征提取分支(230)，各个特征提取分支分别由三组卷积层、激活层交互设置而成。
38.其中，第1特征提取分支(210)中三个卷积层(21a)分别采用3*3的卷积核。第2特征提取分支(220)中三个卷积层(22a)分别采用5*5的卷积核。第3特征提取分支(230)中三个卷积层(23a)分别采用7*7的卷积核。各个激活层(21b、22b、23b)采用relu函数激活。所述画面重组模块(100)中，所述残差单元(11、12、13、14)中的卷积层(11a)和卷积层(11c)采用3*3的卷积核，激活层(11b)采用relu函数激活。
39.由于使用具有不同感受野的三个特征提取分支，能够在计算效率和模型指标方面取得平衡，保证计算效率的同时，让模型获得较好的客观指标。
附图说明
40.图1示出了本发明的逆色调映射技术的说明图；
41.图2示出了逆色调映射系统及神经网络系统的结构说明图；
42.图3示出了图2中残差群组的具体结构说明图；
43.图4示出了用于说明逆色调映射方法的流程图；
44.图5示出了训练神经网络系统的结构说明图；
45.图6示出了训练神经网络系统的流程图。
具体实施方式
46.下面结合附图对本发明的较佳实施例进行详细阐述，参考标号是指本发明中的组件、技术，以便本发明的优点和特征在适合的环境下实现能更易于被理解。下面的描述是对本发明权利要求的具体化，并且与权利要求相关的其它没有明确说明的具体实现也属于权利要求的范围。
47.首先对本发明中逆色调映射技术进行说明。
48.图1示出了本发明采用的逆色调映射技术的说明图。如图1所示，本发明中，通过特征提取模块3和画面重建模块4，将sdr视频帧i
ts
转换成高动态范围的hdr视频帧i
th’。
49.特征提取模块3基于不同的感受野提取数据特征，第1特征提取分支31的感受野为3*3像素，第2特征提取分支32的感受野为5*5像素，第3特征提取分支33的感受野为7*7像素，各个特征提取分支分别用不同种类的感受野从sdr视频帧i
ts
提取特征信息，得到16通道的特征图，在通道维度对各个特征图进行拼接操作得到48通道的复合特征图。
50.特征提取模块3生成的复合特征图通过降维操作调整到16通道后输入画面重建模块4进行图像重建。
51.画面重建模块4由四个包含自注意力层的残差群组串联而成，四个残差群组进一步组成复合残差结构。复合特征图(16通道)通过第1残差群组41提取特征的同时，生成的特征图与输入的复合特征图通过相加操作生成残差特征图，该残差特征图输入第2残差群组42进行与第1残差群组41相同的操作。
52.第3残差群组43、第4残差群组44也同样由输入的残差特征图提取特征，生成的特征图与输入的残差特征图做相加操作生成残差特征图。第4残差群组44输出的残差特征图
进一步与复合特征图(16通道)做相加操作，输出的残差特征图例如通过未图示的卷积操作结合成重建的hdr视频帧i
th’。
53.由于利用多感受野提取特征，并且通过基于自注意力机制的复合残差结构重建图像，不同感受野提取到的特征可以在不同的画面层级上帮助画面重建，各层级的细节部分特征可以跳过残差群组中的卷积层，直接向深层传递，防止细节部分特征在卷积操作过程被过滤掉，提升逆色调映射效果。同时，基于自注意力机制的复合残差结构可以更好的帮助网络更好地利用不同感受野的特征，增强网络的自适应能力，提高网络的拟合能力，帮助模型快速收敛。
54.以下通过具体实施例对本发明进行详细说明。
55.图2示出了逆色调映射系统及神经网络系统的结构说明图。如图2所示，神经网络系统50由特征提取模块200和画面重建模块100构成。特征提取模块200和画面重建模块100分别对应图1中的特征提取模块3和画面重建模块4。
56.特征提取模块200通过感受野种类不同的三个特征提取分支从sdr图像i
ts
提取数据特征。第一特征提取分支210由3个3*3的卷积层23a、激活层23b串联构成。第二特征提取分支220由3个5*5的卷积层22a、激活层22b串联构成。第三特征提取分支230由3个7*7的卷积层21a、激活层21b串联构成。各个卷积层有16个输出通道。本实施方式中，计算卷积的步长为1。各个激活层采用relu函数激活。
57.第一特征提取分支210、第二特征提取分支220和第三特征提取分支230分别利用不同种类的感受野从sdr视频帧i
ts
提取特征，得到16通道的特征图。
58.本实施方式中，sdr视频帧i
ts
为宽512、高512像素的图像，每个特征提取分支得到的特征图都是一个包括宽512、高512、16通道的3维矩阵。
59.将各个特征提取分支的特征图f
ts1
、f
ts2
、f
ts3
、在通道维度进行拼接，例如每个特征的输出是(通道、高、宽)，拼接后为(3*16通道，高512，宽512)的矩阵，即，48*512*512的复合特征图f
ts
。
60.选择三个特征提取分支，并选择3个卷积层串联的结构是考虑计算效率和模型指标的平衡。理论上来说，用更多种类的感受野可以在客观指标上获得更多的提升，但在实际操作种存在以下问题：一是感受野种类越多，神经网络的计算量越大，尤其是需要实时性转换的高分辨视频上，计算效率太低，会造成无法实时转换.
61.二是随着感受野种类的增加，模型指标的提升越来越少，而计算效率的下降会使增加感受野种类变得得不偿失。选择三个特征提取分支和3个卷积层串联的结构能够保证计算效率的同时，让模型获得满足实际应用的客观指标。
62.画面重建模块100包括四个串联的残差群组，即，第1残差群组10a、第2残差群组10b、第3残差群组10c、第4残差群组10d。各个残差群组分别由4个串联的残差单元组成，即，残差单元11、残差单元12、残差单元13、残差单元14。第1残差群组10a、第2残差群组10b、第3残差群组10c、第4残差群组10d结构相同。以下以第1残差群组10a为例对残差单元的具体结构进行说明，省略其他残差群组的说明。
63.图3示出了图2中残差群组的具体结构说明图。
64.第1残差单元11包括串联的3*3的卷积层11a、激活层11b、3*3的卷积层11c、自注意力层11d以及将输入卷积层11a的特征图u
ts
与自注意力层11d输出的特征图进行相加操
作的第1旁路11e。3*3的卷积层11a、激活层11b、3*3的卷积层11c、自注意力层11d构成特征提取通路。自注意力层11d(自注意力机制)为现有技术，可参考相关资料例如senet，在此不再赘述。
65.卷积层11a、11c、自注意力层11d从输入的特征图m
ts
提取特征，生成特征图。激活层11b采用relu函数。自注意力层11d输出的特征图通过第1旁路11e与输入的特征图m
ts
相加得到残差特征图v
ts
，该残差特征图v
ts
输入第2残差单元12。
66.同样，第2残差单元12、第3残差对应单元13、第4残差对应14分别输出各自的残差特征图v
ts
。
67.第1残差单元11的输入与第4残差单元14的输出通过第2旁路14e连接，第1残差单元11输入的特征图m
ts
与第4残差单元14输出的残差特征图v
ts
通过第2旁路14e做相加操作得到第1残差群组10a输出的残差特征图n
ts
。
68.同样，第2残差群组10b、第3残差群组10c、第4残差群组10d分别输出各自的残差特征图n
ts
。
69.第1残差群组10a的输入与第4残差群组10d的输出通过第3旁路10e连接，组成由四个残差群组构成的具有自注意力机制的复合残差网络结构100a，
70.输入第1残差群组10的特征图m
ts
进一步通过第3旁路10e做相加操作得到整个复合残差网络结构100a输出的残差特征图u
ts
。该残差特征图u
ts
用于图像重建。
71.各个残差单元、残差群组、复合残差网络结构的输入和输出为16通道的特征图，即，16通道，高512，宽512的矩阵。
72.残差单元、残差群组以及复合残差网络结构可以表示如下：
[0073][0074]
其中，x
l
表示网络的输入，f(x
l
，w
l
)表示残差，x
l 1
表示网络的输出。
[0075]
本实施方式中，设置卷积层500，将48通道的复合特征图f
ts
降维操作调整到16通道的特征图m
ts
后输入第1残差群组10a进行特征提取。
[0076]
复合残差网络结构100a输出的残差特征图u
ts
通过卷积层600结合为一枚高512，宽512像素的hdr视频帧i
th’。
[0077]
本实施方式中，利用3*3的卷积层11a、relu激活层11b、3*3的卷积层11c、自注意力层11d构成残差单元，4个相同结构的残差单元组成残差群组，由4个相同结构的残差群组构成复合残差网络结构，进行视频帧的重建，不仅能提升逆色调映射效果，利用自注意力机制可以帮助网络更好地利用不同感受野的特征，提高网络的自适应能力，复合残差网络结构能更进一步增强拟合能力，帮助模型快速收敛外，加强前层的细节成分向深层的传递能力。在保证计算效率的同时，让模型获得较好的客观指标。
[0078]
卷积层 激活层的计算公式是：
[0079][0080]
其中，
[0081]
x
i，j
表示图像的第i行第j列像素；
[0082]wm，n
表示滤波器的第m行第n列权重；
[0083]
wb表示过滤器的偏置项；
[0084]ai，j
表示得到的特征图的第i行第j列像素；
[0085]
f表示激活函数relu。
[0086]
以下对逆色调映射方法进行说明。
[0087]
图4为逆色调映射方法的流程图。如图4所示，包括以下步骤：
[0088]
特征提取步骤s10，利用特征提取模块200中的各个特征提取分支，用不同种类的感受野提取sdr视频帧i
ts
的特征，得到多个特征图f
ts1
、f
ts2
、f
ts3
，各个特征图f
ts1
、f
ts2
、f
ts3
具有相同的通道数。
[0089]
拼接步骤s20，将各个特征图f
ts1
、f
ts2
、f
ts3
在通道维度进行拼接得到复合特征图f
ts
。
[0090]
画面重建步骤s30，利用具有自注意力机制的复合残差结构100a由复合特征图f
ts
提取具有多个通道的残差特征图u
ts
，利用残差特征图u
ts
进行图像重建，得到hdr视频帧i
th’。
[0091]
以下对神经网络系统的训练进行说明。
[0092]
图5示出了训练神经网络系统的结构说明图；
[0093]
如图5所示，通过数据库1、评价模块5、迭代模块6对神经网络系统50进行训练。即，特征提取模块200和画面重建模块100中的神经网络系统。
[0094]
图6示出了训练神经网络系统的流程图。
[0095]
建立数据库步骤s1,挑选高质量的hdr视频，由专业技术人员使用专业软件对hdr视频进行调色，对伽马值、动态范围进行压缩后得到高质量的对应的sdr视频。
[0096]
例如挑选在单刺激法的五级质量量表中分值为4以上的hdr视频，用于建立数据库1中的训练数据。单刺激法对hdr图像的评价具有稳定的可重复性，有利于筛选出高质量的视频。筛选高质量的hdr视频有利于构建高质量的训练材料，有利于提高本发明中的神经网络系统的灵敏度。针对hdr视频的挑选，也可以采用现有或将来发明的各种质量评价技术。
[0097]
色彩空间转换步骤s2，将视频帧转换到yuv色彩空间，然后使用配对的yuv视频帧构建训练数据集。采用yuv色彩空间的原因在于，yuv色彩空间分离了亮度信息和颜色信息，较于采用rgb色彩空间，保证了训练效果的稳定性。本实施方式中用{i
ts
，i
th
}表示配对的yuv视频帧，其中i
ts
表示sdr视频的第t帧，i
th
表示hdr视频的第t帧。
[0098]
操作时，例如使用软件fast forward mpeg分别将sdr视频数据和hdr视频数据转换到yuv色彩空间，并分割出每个单帧的yuv数据，由于sdr和hdr的动态范围不同，导致所得到的yuv数据的位深不同，对于位深为8的yuv数据，除以255进行归一化，对于位深为10的yuv数据，除以1023进行归一化，得到训练用的数据集。
[0099]
在实际训练时随机打乱配对的视频帧的进入顺序，让神经网络每次学习的批次里包含差异性大的内容，从而学习到泛化性更强的知识。本实施方式中最终使用的训练数据集共包含约10000组配对的视频帧数据。
[0100]
特征提取步骤s3，随机将32个i
ts
组成一个批次同时输入基于多感受野的特征提取模块200，提取数据特征，得到复合特征图f
ts
。
[0101]
画面重建步骤s4，将复合特征图f
ts
输入画面重建模块4，得到重建的视频帧i
th’，即预测hdr视频帧。
[0102]
由于画面重建模块4中具有自注意力层，通过自注意力机制，可以对不同的特征通道学习不同的权重，让重要的特征获得更高的权重，不重要的特征获得更少的权重。同时，利用自注意力机制，经过训练的神经网络可以更好地利用不同感受野的特征，增强神经网络的自适应能力。
[0103]
评价步骤s5，评价模块5获取与输入的sdr视频帧i
ts
对应的hdr视频帧，即真实hdr视频帧i
th
，对预测hdr视频帧i
th’的转换效果进行评价，即，获取配对的视频帧{i
ts
，i
th
}中的i
th
与预测视频帧i
th’进行对比，计算总体损失，当二者差距较大时，说明其转换效果较差，进行进一步优化。
[0104]
例如，基于预测视频帧i
th’和真实hdr视频帧i
th
，使用损失函数计算两者之间的欧氏距离，欧式距离的公式如下：
[0105][0106]
其中，num表示每一视频帧的图像中的所有像素块的数目，公式中用下标表示下标h’。
[0107]
迭代步骤s6，迭代模块6基于总体损失不断更新并优化神经网络系统的权重(参数)。通过迭代特征提取模块3和画面重建模块100中的网络参数(权重)对神经网络系统训练，直到得到最佳效果，即模型训练时的损失值不再降低，模型的学习能力达到极限。
[0108]
也可以根据预测hdr视频帧i
th’与真实hdr视频帧i
th
的接近程度的要求预先设定预定值，损失下降到预定值时训练结束。参数优化采用随机梯度下降法，学习从10-4
开始，每10000次迭代学习率降为1/10,直到10-7
为止。
[0109]
经过以上训练，特征提取模块200和画面重建模块100中的神经网络的权重被确定。能够利用特征提取模块200和画面重建模块100高质量的将普通品质的sdr视频帧转换到高品质的hdr视频帧，由于训练用视频由专业技术人员进行调色，与单纯利用自然图片进行训练相比，能够将专业技术人员的知识反应到神经网络中，提高转换效果。
[0110]
逆色调映射方法一般采用峰值信噪比(peak signal-to-noiseratio，常缩写为psnr)做为客观指标，以衡量多感受野的特征提取模块相较于单感受野的特征提取带来的提升。
[0111]
实验表明，经过训练的本发明的神经网络系统能够在psnr上提高性能。
[0112]
表1为采用消融实验对本实施方式进行检验的结果。
[0113]
表1.
[0114][0115]
由表1可见，本发明基于yuv空间训练、多感受野特征提取以及带自注意力机制的引入，对逆色调映射技术的关键参数psnr产生积极的影响。
[0116]
本发明中为叙述方便使用了视频帧这一概念，本发明中的视频帧并不意味由时间上连续的图像，也可以是数码相机单独拍摄的图像。
[0117]
除作为逆色调映射系统外，图2、3中的神经网络50还可以通过训练用于逆色调映射以外的用途，如提高视频帧的分辨率等。
[0118]
应该注意的是，上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。