图像合成方法、装置以及图形处理设备与流程

1.本发明涉及图像处理领域，尤其涉及一种图像合成方法、装置以及图形处理设备。


背景技术：

2.随着多媒体技术的发展，图像数据和视频数据的传播越来越广泛，图像数据和视频数据的数据格式也多种多样。例如，以图像的动态范围标准来划分，可以分为标准动态范围（standard dynamic range，简称“sdr”）格式的图像或视频、高动态范围（high dynamic range，简称“hdr”）格式的图像或视频等。而在显示图像和视频的显示器端，往往支持一种动态范围标准的图像或视频。
3.如何在同一个显示器上同时显示由不同动态范围标准的多个图像组成的图像成为亟待解决的问题。
4.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。


技术实现要素：

5.为了解决上述问题中的至少一个或其他类似的问题，本发明实施例提供一种图像合成方法、装置以及图形处理设备。
6.根据本发明实施例的第一方面，提供一种图像合成方法，包括：将多个第一图像的非线性亮度信号分别转换为线性亮度信号而得到多个第一线性亮度图像；将所述多个第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像；将所述第二线性亮度图像转换为第二图像，所述第二图像具有与所述多个第一图像的动态范围标准中的至少一个不同的动态范围标准。
7.根据本发明实施例的第二方面，提供一种图像合成装置，包括：第一转换单元，其将多个第一图像的非线性亮度信号分别转换为线性亮度信号而得到多个第一线性亮度图像；合成单元，其将所述多个第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像；第二转换单元，其将所述第二线性亮度图像转换为第二图像，所述第二图像具有与所述多个第一图像的动态范围标准中的至少一个不同的动态范围标准。
8.根据本发明实施例的第三方面，提供一种图形处理设备，包括：通信接口，其与显示装置通信连接，获取所述显示装置的目标动态范围标准和所述显示装置的目标峰值亮度，所述目标动态范围标准是所述显示装置能够支持的最高的动态范围标准，所述目标峰值亮度是所述显示装置能够显示的最大峰值亮度；以及控制装置，其将多个第一图像的非线性亮度信号转换为线性亮度信号而得到多个第一线性亮度图像，将所述多个第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像，根据所述目标动态范围标准将所述第二线性亮度图像转换为第二图像，所述第二图像具有与所述多个第一图像的动态范围标准中的至少一个不同且与所述目标动态范围标准相同的动态范围标准。
9.本发明实施例还提供一种图像合成方法，包括：将目标图像的非线性亮度信号转
换为线性亮度信号而得到对应的目标线性亮度图像，其中，所述目标图像为多个第一图像中与第二图像的动态范围标准不同的第一图像；将所述目标线性亮度图像转换为与第二图像具有相同动态范围标准的第五图像；将所述第五图像以及与第二图像的动态范围标准相同的第一图像按照空间顺序合成为第六图像。
10.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
11.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
12.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述方法。
13.本发明实施例中，通过将待拼接的图像转换到线性亮度空间中，在线性亮度空间中进行拼接，能够在拼接时保留图像的原始亮度信息，并且将拼接后的图像转换成统一动态范围标准的图像，从而能够正确显示拼接后的整个图像。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
15.图1是本发明第一方面的实施例的图像合成方法的一个示意图。
16.图2是本发明第一方面的实施例的图像合成方法的另一个示意图。
17.图3是图2所示的图像合成方法的数据流向的一个示意图。
18.图4是本发明第一方面的实施例的图像合成方法的又一个示意图。
19.图5是本发明第一方面的实施例的第二图像的一个示意图。
20.图6是本发明第一方面的实施例的得到校正直方图的一个流程图。
21.图7是本发明第二方面的实施例的图像合成装置的一个示意图。
22.图8是本发明第三方面的实施例的图形处理设备的一个示意图。
具体实施方式
23.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
24.相关技术中，显示图像和视频的显示器端，往往仅支持一种动态范围标准的图像或视频。例如，如果显示器仅能支持sdr格式的图像或视频的播放，而需要用该显示器播放hdr格式的图像或视频，那么需要将hdr格式的图像或视频转换为sdr格式。
25.而在需要在同一个显示器上同时显示不同动态范围标准的多个图像的场景下，如果显示器支持的动态范围标准不能同时满足该多个图像时，例如，希望在sdr标准的显示器中同时显示hdr格式的视频和sdr格式的视频，或者，希望在hdr标准的显示器中同时显示hdr格式的视频和sdr格式的视频，发明人发现，在非线性亮度空间中将两种格式的图像数
据进行拼接，例如，对hdr格式的图像或视频与sdr格式的图像或视频进行拼接，由于显示器无法获知拼接的位置，并且，显示器针对拼接后的整个图像进行非线性亮度到线性亮度的转换，这会导致在sdr显示器中仅能正确显示整个图像中的原始格式为sdr格式的图像或视频的部分，而原始格式为hdr格式的图像或视频的部分的亮度和色彩不能被正确显示，而在hdr显示器中，仅能正确显示整个图像中的原始格式为hdr格式的图像或视频的部分，而原始格式为sdr格式的图像或视频的部分的亮度和色彩不能被正确显示，从而影响显示效果。
26.为解决上述问题，本公开提供一种图像合成方法、装置以及图形处理设备。
27.第一方面的实施例本发明第一方面的实施例提供一种图像合成方法，图1是本发明第一方面的实施例的图像合成方法的一个示意图。
28.如图1所示，方法100包括：步骤101：将多个第一图像的非线性亮度信号分别转换为线性亮度信号而得到多个第一线性亮度图像；步骤103：将所述多个第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像；步骤105：将所述第二线性亮度图像转换为第二图像，所述第二图像具有与所述多个第一图像的动态范围标准中的至少一个不同的动态范围标准。
29.在本发明实施例中，“非线性亮度信号”例如是指图像中的像素的电信号与使用显示器显示该图像时该像素实际显示的亮度呈非线性关系，“线性亮度信号”例如是指图像中的像素的电信号与使用显示器显示该图像时该像素实际显示的亮度呈线性关系。“非线性亮度信号”和“线性亮度信号”的含义可以参考相关技术，本发明实施例对此不作限制。
30.此外，以下为了方便描述，有时将具有“线性亮度信号”的图像称为位于线性亮度空间的图像，或类似表述，例如，将第一线性亮度图像称为位于线性亮度空间的图像；有时也将“将图像的非线性亮度信号转换为线性亮度信号”称为“将图像转换到线性亮度空间”，或类似表述。
31.由此，通过将待拼接的图像转换到线性亮度空间中，在线性亮度空间中进行拼接，能够在拼接时保留图像的原始亮度信息，并且将拼接后的图像转换成统一动态范围标准的图像，从而能够正确显示拼接后的整个图像。
32.以下为了方便描述，有时将第一图像的动态范围标准记作“第一动态范围标准”，将第二图像的动态范围标准记作“第二动态范围标准”。此外，多个第一图像的动态范围标准可以是相同的，也可以是不同的，也就是说，多个第一动态范围标准可以是相同的动态范围标准，也可以是不同的动态范围标准，例如，多个第一图像可以都是hdr标准的图像，也可以都是sdr标准的图像，也可以既有hdr标准的图像，也有sdr标准的图像。
33.在至少一个实施例中，第一动态范围标准或第二动态范围标准可以是hdr标准，例如，第一图像或第二图像可以是混合对数伽马（hybrid log gamma，简称“hlg”）、感知量化（perceptual quantization，简称“pq”）、hdr10、hdr10 、杜比视界（dolby vision）、菁彩hdr（vivid hdr）等标准的图像或者视频，第一动态范围标准或第二动态范围标准也可以是sdr标准，还可以是低动态范围（low dynamic range，简称“ldr”）标准，本发明实施例对此不作限定。
34.其中，所述第二图像具有与所述多个第一图像的动态范围标准中的至少一个不同的动态范围标准。在存在与第二图像的动态范围标准相同的第一图像时，也可以对该第一图像的非线性亮度信号进行转换，得到对应的第一线性亮度图像，并与其他第一图像对应的第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像。
35.图2是本发明第一方面的实施例的图像合成方法的另一个示意图。
36.在至少一个实施例中，如图2所示，步骤101可以包括：步骤1011：根据与第一动态范围标准对应的电光转换函数将对应的第一图像的非线性亮度信号转换为对应的线性亮度信号而得到对应的第三线性亮度图像；步骤1013：根据目标色域将多个第三线性亮度图像转换为对应的多个第一线性亮度图像。
37.在步骤103’中，将所述多个第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像。
38.在步骤105’中，根据光电转换函数将所述第二线性亮度图像转换为所述第二图像。
39.图3是图2所示的图像合成方法的数据流向的一个示意图。
40.如图3所示，第一图像301对应的电光转换函数（electro-optical transfer function，简称“eotf”）为311；第一图像302对应的eotf为321；目标色域对应的色彩转换为303，第一图像301经过eotf 311后变为第三线性亮度图像312，第一图像302经过eotf 321后变成第三线性亮度图像322，第三线性亮度图像312经过色彩转换303变为第一线性亮度图像313，第三线性亮度图像322经过色彩转换303变为第一线性亮度图像323，拼接处理304将第一线性亮度图像313与第一线性亮度图像323按照空间顺序合成为一个第二线性亮度图像305，第二线性亮度图像305经过光电转换函数（optical-electro transfer function，oetf）306的转换变为第二图像307。
41.例如，在步骤1011中，针对hdr标准的第一图像利用hdr标准对应的电光转换函数，例如pq曲线、hlg曲线等，将hdr标准的第一图像转换为第一线性亮度图像，针对sdr标准的第一图像利用sdr标准对应的电光转换函数，例如gamma曲线等，将sdr标准的第一图像转换为第一线性亮度图像。
42.例如，在步骤1013中，目标色域为与sdr标准对应的bt.709或ntsc色域标准，针对hdr标准对应的第一线性亮度图像，将该第一线性亮度图像的色域，例如，bt.2020或dci-p3色域标准，通过色彩空间转换矩阵，或者三维色彩空间查找表，转换为目标色域；针对sdr标准对应的第一线性亮度图像，如果该第一线性亮度图像的色域标准与目标色域的色域标准相同，那么可以不进行转换，如果不同，也可以通过色彩空间转换矩阵，或者三维色彩空间查找表转换为目标色域；此外，在步骤1013中，如果目标色域为与hdr标准对应的bt.2020或dci-p3色域标准，也可以通过色彩空间转换矩阵，或者三维色彩空间查找表将sdr标准对应的第一线性亮度图像的色域转换为目标色域，或者将hdr标准对应的第一线性亮度图像的与目标色域不同的色域转换为目标色域。本发明实施例对色彩空间转换矩阵和三维色彩空间查找表不作限定，可以参考相关技术。
43.由此，通过在线性亮度空间中对多个图像进行拼接，能够在拼接时保留待拼接图像的原始亮度信息，从而在进行了动态范围标准的转换后，整个图像的亮度信息基本不会
损失，进而能够使显示画面达到期望的效果。
44.此外，图3中以两个第一图像合成为一个第二图像为例进行了说明，但本发明实施例不限于此，还可以是三个以上的第一图像进行合成，其方法可以参照上述两个第一图像的合成方法，此处不再赘述。
45.在至少一个实施例中，电光转换函数是根据所述第一动态范围标准、所述第一图像的峰值亮度和所述第一图像的元数据信息中的至少一个构建的。
46.例如，在步骤1011中，第一动态范围标准例如为sdr标准，电光转换函数例如可以是伽马（gamma）曲线，例如，以gamma 2.0为例，eotf可以是以下公式（1）：y=(e')^2.2
ꢀꢀ
（1），e’表示当前像素的电信号，在至少一个实施例中，第一动态范围标准例如可以为hdr标准，eotf例如可以是感知量化（perceptual quantization，pq）曲线，以pq 1000为例，eotf可以是以下公式（2）：y=(max(e'^(1/m2)-c1,0)/(c2-c3*e'^(1/m2)))^(1/m1)
ꢀꢀ
（2），其中，e’表示当前像素的电信号；y表示归一化后的亮度；m1 = 2610/16384 = 0.1593；m2=2523x128/4096=78.84375；c1=3424/4096=0.83；c2=2413x32/4096=18.85；c3=2392x32/4096=18.68。
47.此外，实际亮度值fd可以表示为10000*y，单位为尼特（nit）。此外，还可以对实际亮度值定点化为 (2^24)/(10000*y)。
48.在至少一个实施例中，第一动态范围标准例如可以为hdr标准，eotf例如可以是混合对数伽马（hybrid log gamma，hlg）曲线，eotf可以是以下公式（3）：fd=eotf[max(0,(1-beta)*e' beta)]=ootf[oetf-1
[max(0,(1-beta)*e' beta)]]（3），其中，e’为当前像素的电信号；ootf的公式为：fd=ootf[e]=alpha*ys^(gama-1)*eys=0.2627*rs 0.6780*gs 0.0593*bsrs,gs,bs为rgb线性数据gama可以取1.2，也可以取其他数值，具体可以根据实际需要进行设定，本发明实施例对此不作限定；beta和alpha为预定义的变量，符合itu-r bt.2100标准中的定义，其中，alpha例如与显示器的峰值亮度相关，beta例如与显示器的黑电平相关，黑电平例如是显示器在信号的输入值为0下的亮度；oetf-1
的公式为：当x》=0且x《=1/2；则oetf-1
[x]=x^2/2；当x》=1/2且x《=1；则oetf-1
[x]={exp((x-c)/a) b}/12；
其中，a=0.17883277,b=1-4a,c=0.5-a*ln(4a)。
[0049]
此外，第一图像的元数据信息可以包括动态元数据信息和静态元数据信息中的至少一个，例如，元数据信息可以表示描述视频或图像在处理过程中的关键信息或特征的信息，例如，静态元数据信息可以是整个图像像素级别的最大亮度上限，可以参考st 2086标准中的定义；动态元数据信息可以是在视频中每一帧图像或者每一个场景中的亮度的上限或下限，可以参考smpte st 2094标准中的定义，本发明实施例对此不作限制。
[0050]
在步骤1013中，目标色域可以是输出设备自身执行的色域标准，例如，bt.2020、dci-p3、bt.709、ntsc等标准，输出设备例如可以是显示器、投影仪等，本发明实施例对此不作限制；此外，可以根据实际需要预先获取或预先存储该目标色域。
[0051]
在步骤103或步骤103’中，空间顺序可以是上下顺序或左右顺序，还可以是按照四宫格、九宫格等预定模板定义的顺序，此外，在第一图像的数量不足以填满四宫格、九宫格等预定模板各区域时，还可以利用空白图像填充未设置第一图像的区域，此外，空白图像可以是与目标动态范围标准相同的纯色或预定图样的图像，本发明实施例对空白图像包含的具体图像内容不作限制。此外，本发明实施例对具体按照何种空间顺序进行拼接不作限定，可以是用户自定义的，也可以是根据实际需要预先设定的，具体如何实施可以参考相关技术，本发明实施例对此不做限制。
[0052]
在至少一个实施例中，光电转换函数是根据目标动态范围标准、目标峰值亮度、目标最低亮度和环境照度参数中的至少一个构建的。
[0053]
例如，在步骤105’中，oetf可以是步骤1011中的eotf的逆函数，在步骤1011中的eotf中涉及到第一图像的动态范围标准、峰值亮度等信息，在oetf中以目标动态范围标准、目标峰值亮度等信息进行相应替换，其中，目标动态范围标准、目标峰值亮度等信息是输出设备的动态范围标准、峰值亮度等信息，例如，目标动态范围标准可以是显示器的动态范围标准，即，hdr显示器的动态范围标准是hdr标准，sdr显示器的动态范围标准是sdr标准等，目标峰值亮度是输出设备能够提供的最大亮度，例如，可以是显示器能够输出的峰值亮度，也可以是投影仪能够输出的最大亮度等，本发明实施例对此不作限制；此外，可以根据实际需要预先获取或预先存储该目标动态范围标准、目标峰值亮度等信息。
[0054]
此外，在oetf中，还可以结合输出设备的其他参数和输出设备所处的环境的照度信息等，对函数中的参数的大小进行相应地调整，例如，在构建oetf时，还可以考虑显示器的黑电平大小以及显示器所处的环境的照度等，黑电平例如是显示器在信号的输入值为0下的亮度，以下有时也将“黑电平”称为“目标最低亮度”。例如，将显示器的黑电平值或环境照度转换到非线性域，可以将黑电平值对应于非线性映射的最低值，可以将环境照度的值对应于非线性映射的最高值。还可以提供用于用户输入环境照度的接口，从而方便用户根据其所处的实际环境进行调整。在考虑显示器的黑电平大小来构建oetf时，能够将图像的亮度范围尽可能全部映射到显示器的亮度范围内，从而充分发挥显示器的优良性能；在考虑显示器所处的环境的照度来构建oetf时，能够根据环境照度调节显示器输出的亮度的大小和范围，以适应人类视觉感知的特性，为用户提供舒适的亮度和对比度。
[0055]
在至少一个实施例中，如图2所示，方法100还可以包括：步骤107：根据所述第二图像的亮度值和目标峰值亮度中的至少一个扩展所述第二图像的动态范围。
[0056]
由此，通过对图像的动态范围进行扩展，能够调整图像的对比度，增加图像的层次感。
[0057]
在步骤107中，可以根据第二图像的亮度值扩展第二图像的动态范围，例如，可以统计所述第二图像的所有像素的亮度值的直方图，利用直方图均衡扩展第二图像的动态范围；也可以根据第二图像的亮度值和目标峰值亮度扩展第二图像的动态范围，例如，可以基于第二图像的亮度值和目标峰值亮度构造亮度映射曲线，利用该亮度映射曲线扩展第二图像的动态范围。此外，还可以根据目标峰值亮度扩展第二图像的动态范围，例如，可以将第二图像中的亮度值超过目标峰值亮度的像素的亮度值均变为目标峰值亮度，并对第二图像中的其他像素的亮度值进行相应调整。
[0058]
本发明实施例对扩展动态范围的方式不作限定，例如，可以根据第二图像的亮度值的直方图对第二图像的动态范围进行扩展。例如，在第二图像为sdr标准的情况下，可以根据第二图像的亮度值的直方图扩展第二图像的动态范围。但本发明实施例对此不作限制，在第二图像为hdr标准的情况下，也可以根据第二图像的亮度值的直方图扩展第二图像的动态范围。
[0059]
图4是本发明第一方面的实施例的图像合成方法的又一个示意图。
[0060]
如图4所示，步骤107可以包括：步骤1071：以直方图形式统计所述第二图像的至少一部分区域内的像素的亮度值的频次；步骤1072：计算频次超过预定阈值的总像素数，其中，预定阈值可以设定为频次数的中位数，也可以按照其他方式设定，本发明实施例对预定阈值的设定不作限定，可以参考相关技术；步骤1073：计算将所述总像素数平均分配到所有区段中的平均像素数；步骤1074：根据所述平均像素数校正每个区段的频次，得到校正直方图；步骤1075：根据所述校正直方图的累计直方图调整所述第二图像的所述至少一部分区域内的像素的亮度值的分布范围。
[0061]
图5是本发明第一方面的实施例的第二图像的一个示意图。
[0062]
例如，如图5所示，可以将第二图像划分为4
×
4个区域，针对每个区域执行步骤107，但本发明实施例不限于此，还可以根据实际需要划分为其他数量的区域，或者仅针对第二图像的某一部分进行直方图统计，此外，也可以不对第二图像划分区域，而对整个第二图像进行直方图统计，本发明实施例对此不作限制。
[0063]
此外，在将第二图像划分为多个区域进行处理时，如图4所示，步骤107还可以包括：步骤1076：对位于相邻区域交界位置的预定范围内的空域像素，根据所述空域像素所在的区域的累计直方图和预定数量的相邻区域的累计直方图计算对应的校正值，根据所述校正值校正所述空域像素的像素值。
[0064]
其中，“空域像素”例如可以是与相邻区域交界位置相距预定数量像素以内的像素，也可以是与相邻区域交界位置相距预定距离以内的像素等，“预定数量”例如为100个、20个等，“预定距离”例如为1mm、4mm等，本发明实施例对此不作限制，可以根据实际情况确定。
[0065]
由此，通过对图像中被分割的边界处的像素进行插值，保证图像的空域连续性。
[0066]
例如，如图5所示，对于区域a的空域像素a来说，计算区域a以及与区域a相邻的区域b、区域c和区域d对应的校正直方图，并根据各区域的校正直方图计算区域a、区域b、区域c和区域d各自的累计直方图hist_block_00、hist_block_01、hist_block_10和hist_block_11。
[0067]
根据累计直方图hist_block_00计算像素值在像素a的原始像素值以下的像素数占区域a的总像素数的比例curve_lt，例如，计算累计直方图hist_block_00中像素a的原始像素值对应区间的直方图值与直方图最右侧区间的值的比值。
[0068]
根据累计直方图hist_block_01计算像素值在像素a的原始像素值以下的像素数占区域b的总像素数的比例curve_rt，例如，计算累计直方图hist_block_01中像素a的原始像素值对应区间的直方图值与直方图最右侧区间的值的比值。
[0069]
根据累计直方图hist_block_10计算像素值在像素a的原始像素值以下的像素数占区域c的总像素数的比例curve_lb，例如，计算累计直方图hist_block_10中像素a的原始像素值对应区间的直方图值与直方图最右侧区间的值的比值。
[0070]
根据累计直方图hist_block_11计算像素值在像素a的原始像素值以下的像素数占区域c的总像素数的比例curve_rb，例如，计算累计直方图hist_block_11中像素a的原始像素值对应区间的直方图值与直方图最右侧区间的值的比值。
[0071]
按照weight_w/weight_h进行插值处理，得到像素a最终的校正值。
[0072]
例如，如图5所示，weight_w为像素a距区域a的左边界的距离，weight_h为像素a距区域a的上边界的距离，block_width为区域a的宽度，即，区域a的左边界和右边界之间的距离，block_height为区域a的高度，即，区域a的上边界和下边界之间的距离。
[0073]
针对像素a进行水平插值，计算第一水平校正值temp1，temp1= (curve_lt
×
weight_w curve_rt
×
(block_width-weight_w))/block_width，计算第二水平校正值temp2，temp2=(curve_lb
×
weight_w curve_rb
×
(block_width-weight_w))/block_width。
[0074]
根据第一水平校正值和第二水平校正值对像素a进行竖直插值，得到最终的校正值 （tmp1
×
weight_h tmp2
×
(block_height-weight_h)）/block_height。
[0075]
利用该校正值对像素a的原始像素值进行校正。例如，可以将原始像素值与该校正值的乘积作为最终的像素值，但本发明实施例不限于此，还可以以其他方式校正像素a的像素值，具体可以参考相关技术。
[0076]
此外，在步骤1071中，如果第二图像是rgb图像，可以先将rgb图像转为yuv图像，对y通道数据进行累计计数，得到比特位深的直方图数据。
[0077]
图6是本发明第一方面的实施例的得到校正直方图的一个流程图。
[0078]
例如，在步骤1072中计算出了超过阈值thr的总像素数excess_bin，在步骤1073中计算出了将总数量excess_bin平摊到直方图所有区间（bin）上的均值excess_ave。
[0079]
在步骤1074中，例如，如图5所示，通过流程600得到校正直方图。流程600可以包括：操作601：判断excess_bin是否还有剩余，“是”的情况下，结束流程，“否”的情况下进入操作602；
操作602：判断是否遍历完直方图中的所有bin（即，bin_sum），“是”的情况下，进入操作603，“否”的情况下，进入操作604；操作603：从直方图头开始遍历，即，bin置0，回到操作601；操作604：判断当前位置（bin）的值f是否大于阈值thr，“是”的情况下，进入操作605，“否”的情况下，进入操作607；操作605：将当前位置（bin）的值f用阈值thr替换；进入操作606；操作606：移动到下一个位置，回到操作601；操作607：判断当前位置（bin）的值f和阈值thr的差是否小于excess_ave，“是”的情况下进入操作610，“否”的情况下进入操作608：操作608：当前位置（bin）的值f累加一个累加参数a，a可以是大于或等于1的整数，进入操作609；操作609：移动到下一个位置，回到操作601；操作610：判断excess_bin是否小于阈值thr和当前位置的值f的差，“是”的情况下，进入操作611；“否”的情况下，进入操作614；操作611：给当前位置的值f累加excess_bin，进入操作612；操作612：将excess_bin置为0，进入操作613；操作613：移动到下一个位置，回到操作601；操作614：excess_bin减去阈值thr和当前位置的值f的差，进入操作615；操作615：将当前位置的值f用阈值thr替换，进入操作616；操作616：移动到下一个位置，回到操作601。
[0080]
由此，遍历完整个直方图后，得到了校正直方图。
[0081]
此外，流程600还可以包括，根据校正直方图得到累计直方图。由此，利用累计直方图对第二图像的动态范围进行扩展。
[0082]
在至少一个实施例中，在步骤107中，还可以基于根据所述第二图像的亮度值和所述目标峰值亮度构造的亮度映射曲线进行扩展。例如，在第二图像为hdr标准的情况下，可以基于亮度映射曲线扩展第二图像的动态范围。但本发明实施例对此不作限制，在第二图像为sdr标准的情况下，也可以基于亮度映射曲线扩展第二图像的动态范围。
[0083]
例如，所述亮度映射曲线使所述第二图像中的像素的亮度值的变化率随着亮度值的增加而减小。
[0084]
又例如，可以统计第二图像的最大亮度值，将第二图像的最大亮度值（也可以称为“第二图像的峰值亮度”）映射到显示装置能够显示的峰值亮度（也可以称为“目标峰值亮度”）上，并且保留映射比率，对映射比率取对数，对第二图像的所有像素的亮度值按照取完对数后的比率进行扩展。
[0085]
又例如，亮度映射曲线可以符合公式（4）：y=lw_lut_f/dst_luma
ꢀꢀ
（4）；其中，lw_lut_f = (pow(e’,a)/((pow(e’,a*d))*b c)*ori_luma;dst_luma为所述目标峰值亮度；ori_luma为所述第二图像的峰值亮度；
e’为当前像素的电信号；a和d为为预定义的值且a小于d；b = ((pow(0.214,a))*lwmax-mo)/(mo*(pow(0.214,a*d)-1)*lwmax);c = ((pow(0.214,a*d))*mo-((pow(0.214,a))*lwmax))/(mo*(pow(0.214,a*d)-1)*lwmax);mo = 0.017 0.097*ln-0.028*po;lwmax=dst_luma/ori_luma；po=over_value/under_value；over_value为所述第二图像中的亮度值达到所述峰值亮度的像素的个数；under_value为所述第二图像中的亮度值低于所述峰值亮度且像素值不为0的像素的个数；ln=ln（ave）；ave为所述第二图像的亮度均值。
[0086]
此外，a和d例如为与亮度对应的两个阈值，亮度低于阈值a的像素可以称为“低灰区域”的像素，亮度高于阈值d的像素可以称为“高亮区域”的像素，a可以用来控制“低灰区域”的像素的亮度的调节，例如，a的值影响亮度映射曲线的与低灰区域对应的部分，d可以用来控制“高亮区域”的像素的亮度的调节，例如，b的值影响亮度映射曲线的与高亮区域对应的部分。
[0087]
在至少一个实施例中，亮度映射曲线例如可以是降低所述第二图像中的亮度值低于预定亮度值的像素的亮度，增加所述第二图像中的亮度值高于所述预定亮度值的像素的亮度的曲线，例如为s形曲线、二阶贝塞尔曲线、或其他能够实现上述功能的曲线，本发明实施例对此不做限制。
[0088]
在至少一个实施例，所述图像合成方法还可以包括将所述第二图像和动态范围标准与所述第二图像的动态范围标准相同的第三图像按照空间顺序合成为第四图像。
[0089]
例如，在将多个第一图像在线性亮度空间中拼接并转换为第二图像后，还可以将与第二图像的动态范围标准相同的第三图像与第二图像在同一个显示器上同时显示，那么还可以将第二图像与第三图像按照空间顺序进行像素级的拼接而得到第四图像。
[0090]
其中，像素级的拼接的区域可以由上层或者用户定义，可以是待生成的第四图像的全部像素区域或者部分像素区域。
[0091]
其中，该多个第一图像中的一部分第一图像的动态范围标准可以与第二图像的动态范围标准相同，另一部分第一图像的动态范围标准与第二图像的动态范围标准不同。
[0092]
例如，可以将多个hdr标准和sdr标准的第一图像分别转换到线性亮度空间并进行色域转换，例如，转换到sdr标准的色域，然后进行拼接，并将拼接后的图像转换为sdr标准的第二图像，然后将第二图像与另一个sdr标准的第三图像进行拼接，成为sdr标准的第四图像。
[0093]
由此，可以通过一次拼接得到第二图像，也可以通过二次拼接得到第四图像，可以根据上层或用户定义或者实际需要选择是进行一次拼接，还是进行二次拼接，本发明实施例对此不作限制。
[0094]
在一些实施例中，在根据所述第二图像的亮度值和目标峰值亮度中的至少一个扩
展所述第二图像的动态范围的步骤中，可以包括：在所述第二图像的动态范围标准为标准动态范围标准的情况下，根据所述第二图像的亮度值的直方图扩展所述第二图像的动态范围；在所述第二图像的动态范围标准为高动态范围标准的情况下，基于根据所述第二图像的亮度值和所述目标峰值亮度构造的亮度映射曲线扩展所述第二图像的动态范围。
[0095]
其中，第二图像的动态范围标准与用于显示第二图像的显示器用于显示的动态范围标准相同，根据第二图像的动态范围标准，确定扩展所述第二图像的动态范围的方式，可以使得拓展后的第二图像更适合于显示在对应的显示器上，进一步提高显示效果。
[0096]
根据第一方面的实施例，通过将待拼接的图像转换到线性亮度空间中，在线性亮度空间中进行拼接，能够在拼接时保留图像的原始亮度信息，并且将拼接后的图像转换成统一动态范围标准的图像，从而能够正确显示拼接后的整个图像。
[0097]
本发明实施例还提供一种图像合成方法，包括：将目标图像的非线性亮度信号转换为线性亮度信号而得到对应的目标线性亮度图像，其中，所述目标图像为多个第一图像中与第二图像的动态范围标准不同的第一图像；将所述目标线性亮度图像转换为与第二图像具有相同动态范围标准的第五图像；将所述第五图像以及与第二图像的动态范围标准相同的第一图像按照空间顺序合成为第六图像。
[0098]
例如，在多个第一图像中的一个第一图像（例如，目标图像）的动态范围标准与第二图像的动态范围标准不同，其余第一图像的动态范围标准与第二图像的动态范围标准相同的情况下，可以将目标图像的非线性亮度信号转换为线性亮度信号而得到对应的目标线性亮度图像，并将该目标线性亮度图像转换为第五图像。其中，第五图像的动态范围标准与第二图像的动态范围标准相同。将所述第五图像以及与第二图像的动态范围标准相同的第一图像按照空间顺序合成为第六图像。
[0099]
其中，与第二图像的动态范围标准相同的第一图像可以为一个或多个，合成方式如前所述，可由上层或者用户定义，本公开对此不作限制。需要说明的是，目标图像可以为一个或多个，当目标图像为多个的情况下，可以分别将多个目标线性亮度图像转换为与第二图像具有相同动态范围标准的多个第五图像，目标线性亮度图像与第五图像一一对应，并将多个第五图像以及与第二图像的动态范围标准相同的第一图像按照空间顺序合成为第六图像。
[0100]
例如，在多个第一图像对应的多个第一动态范围标准中，有的动态范围标准与目标动态范围标准（第二图像的动态范围标准）相同，有的动态范围标准与目标动态范围不同的情况下，还可以仅针对第一动态范围标准与目标动态范围标准不同的第一图像进行eotf、色域转换和oetf，将该第一图像转换为与目标动态范围标准相同的图像后，再与第一动态范围标准与目标动态范围标准相同的第一图像进行拼接得到第六图像。
[0101]
例如，在多个第一图像包括hdr图像和sdr图像，目标动态范围标准为sdr标准的情况下，可以仅针对hdr图像进行动态范围标准的转换，将hdr图像转换为sdr标准的第五图像，将转为sdr标准的第五图像与sdr标准的第一图像按照空间顺序进行拼接。
[0102]
此外，在多个第一图像包括hdr图像和sdr图像，目标动态范围标准为hdr标准的情况下，可以仅针对sdr图像进行动态范围标准的转换，将sdr图像转换为hdr标准的第五图
像，将转为hdr标准的第五图像与hdr标准的第一图像按照空间顺序进行拼接。
[0103]
此外，还可以对第五图像或第六图像进行动态范围扩展，例如，可以根据第五图像或第六图像中的至少一部分区域的亮度值和目标峰值亮度中的至少一个扩展第五图像或第六图像的动态范围。也就是说，可以在进行拼接之前对第五图像进行动态范围扩展，也可以在拼接之后对第六图像进行动态范围扩展，本发明实施例对拼接和扩展的先后顺序不作限制，例如，可以根据实际需要确定，也可以根据用户选择确定。
[0104]
由此，由于不用针对动态范围标准与目标动态范围标准相同的图像进行转换处理，节约了图像处理的时间，提升了图像处理的速度。
[0105]
其中，将目标图像的非线性亮度信号转换为线性亮度信号而得到对应的目标线性亮度图像、将所述目标线性亮度图像转换为第五图像以及将所述第五图像以及与第二图像的动态范围标准相同的第一图像按照空间顺序合成为第六图像这些步骤的实现方式可参见前文所述，在此不再赘述。
[0106]
第二方面的实施例本发明第二方面的实施例提供一种图像合成装置，该图像合成装置的原理与第一方面的实施例所述的图像合成方法相同，相同内容被合并于此。
[0107]
图7是本发明第二方面的实施例的图像合成装置的一个示意图。
[0108]
如图7所示，图像合成装置900可以包括第一转换单元901、合成单元902和第二转换单元903。第一转换单元901将多个第一图像的非线性亮度信号分别转换为线性亮度信号而得到多个第一线性亮度图像；合成单元902将所述多个第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像；第二转换单元903将所述第二线性亮度图像转换为第二图像，所述第二图像具有与所述多个第一图像的动态范围标准中的至少一个不同的动态范围标准。
[0109]
在至少一个实施例中，合成单元902还可以将所述第二图像和动态范围标准与所述第二图像的动态范围标准相同的第三图像按照空间顺序合成为第四图像。
[0110]
在至少一个实施例中，第一转换单元901根据与第一图像的动态范围标准对应的电光转换函数将对应的第一图像的非线性亮度信号转换为对应的线性亮度信号而得到对应的第三线性亮度图像，根据目标色域将多个第三线性亮度图像转换为对应的多个第一线性亮度图像；第二转换单元903根据光电转换函数将所述第二线性亮度图像转换为所述第二图像。其中，所述电光转换函数是根据所述第一动态范围标准、所述第一图像的峰值亮度和所述第一图像的元数据信息中的至少一个构建的；所述光电转换函数是根据目标动态范围标准、目标峰值亮度、目标最低亮度和环境照度参数中的至少一个构建的，所述目标动态范围标准与所述第二动态范围标准相同。
[0111]
在至少一个实施例中，如图7所示，图像合成装置900还可以包括扩展单元904，扩展单元904根据所述第二图像的亮度值和目标峰值亮度中的至少一个扩展所述第二图像的动态范围。
[0112]
在至少一个实施例中，在所述第二图像的动态范围标准为标准动态范围标准的情况下，扩展单元904还可以根据所述第二图像的亮度值的直方图扩展所述第二图像的动态范围；在所述第二图像的动态范围标准为高动态范围标准的情况下，扩展单元904还可以基于根据所述第二图像的亮度值和所述目标峰值亮度构造的亮度映射曲线扩展所述第二图
像的动态范围。
[0113]
在至少一个实施例中，在所述多个第一图像的动态范围标准中的至少一个与目标动态范围标准相同，所述多个第一图像的动态范围标准中的至少一个与目标动态范围标准不同的情况下，第二转换单元903还可以根据所述光电转换函数将动态范围标准与目标动态范围标准不同的第一图像对应的转换色域后的第一线性亮度图像转换为第五图像；合成单元902将所述第五图像和动态范围标准与目标动态范围标准相同的第一图像按照空间顺序合成为一个第六图像。扩展单元904还可以根据第五图像或第六图像中的至少一部分区域的亮度值和目标峰值亮度扩展第五图像或第六图像的动态范围。
[0114]
根据第二方面的实施例，通过将待拼接的图像转换到线性亮度空间中，在线性亮度空间中进行拼接，能够在拼接时保留图像的原始亮度信息，并且将拼接后的图像转换成统一动态范围标准的图像，从而能够正确显示拼接后的整个图像。
[0115]
本公开提供一种图像合成装置，所述图像合成装置包括：目标线性亮度图像单元，用于将目标图像的非线性亮度信号转换为线性亮度信号而得到对应的目标线性亮度图像，其中，所述目标图像为多个第一图像中与第二图像的动态范围标准不同的第一图像；图像转换单元，用于将所述目标线性亮度图像转换为与第二图像具有相同动态范围标准的第五图像；图像合成单元，用于将所述第五图像以及与第二图像的动态范围标准相同的第一图像按照空间顺序合成为第六图像。
[0116]
第三方面的实施例本发明第三方面的实施例提供一种图形处理设备，该图形处理设备的原理与第一方面的实施例所述的图像合成方法相同，相同内容被合并于此。
[0117]
此外，本发明实施例的图形处理设备可以是显示接口卡或显示适配器的至少一部分。但本发明实施例不以此为限制，图形处理设备还可以是其他能够进行图形处理的设备。
[0118]
图8是本发明第三方面的实施例的图形处理设备的一个示意图。
[0119]
如图8所示，图形处理设备1包括通信接口11和控制装置12。
[0120]
通信接口11与外部的显示装置2通信连接，获取显示装置2的目标动态范围标准和显示装置2的目标峰值亮度，所述目标动态范围标准是显示装置2能够支持的最高的动态范围标准，所述目标峰值亮度是显示装置2能够显示的最大峰值亮度。
[0121]
例如，通信接口11可以是视频图形阵列（video graphics array，简称“vga”）接口、数字视频接口（digital visual interface，简称“dvi”）、二分量视频（separate video，简称“s-video”）接口、高清多媒体接口（high definition multimedia interface，简称“hdmi”）等。本发明实施例对通信接口11的类型不作限制，可以根据实际需要进行选择。
[0122]
此外，在无法直接获取显示装置2的上述参数的情况下，还可以通过外部的输入设备3输入显示装置2的上述参数，本发明实施例对获取显示装置2的上述参数的方法不作限定，可以参考相关技术。
[0123]
在至少一个实施例中，控制装置12将多个第一图像的非线性亮度信号转换为线性亮度信号而得到多个第一线性亮度图像，将所述多个第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像，根据所述目标动态范围标准将所述第二线性亮度图像转换为第二图像，所述第二图像具有与所述多个第一图像的动态范围标准中的至少一个不同且与所
述目标动态范围标准相同的动态范围标准。
[0124]
在至少一个实施例中，控制装置12还可以将所述第二图像和动态范围标准与所述第二图像的动态范围标准相同的第三图像按照空间顺序合成为第四图像。
[0125]
在至少一个实施例中，通信接口11还获取显示装置2的目标色域和目标最低亮度，所述目标色域是显示装置2能够支持的最大范围的色域，所述目标最低亮度是显示装置2能够显示的最低亮度。
[0126]
如图8所示，图形处理设备1还可以包括存储装置13，存储装置13存储显示装置2所处的环境中的环境照度参数。例如，可以通过外部的输入设备3输入显示装置2所处的环境中的环境照度参数，并通过存储装置13存储。输入设备3例如是键盘、鼠标等。
[0127]
此外，本发明实施例对显示装置2不作限定，其可以是显示器、电视、投影仪等具有显示图像的功能的装置或设备。
[0128]
在至少一个实施例中，控制装置12根据与第一图像的动态范围标准对应的电光转换函数将对应的第一图像的非线性亮度信号转换为对应的线性亮度信号而得到对应的第三线性亮度图像；根据目标色域将多个第三线性亮度图像转换为对应的多个第一线性亮度图像；将所述多个第一线性亮度图像按照空间顺序合成为一个第二线性亮度图像；根据光电转换函数将所述第二线性亮度图像转换为所述第二图像，所述光电转换函数是根据目标动态范围标准、目标峰值亮度、目标最低亮度和环境照度参数中的至少一个构建的。
[0129]
在至少一个实施例中，控制装置12还可以根据所述第二图像的亮度值和目标峰值亮度中的至少一个扩展所述第二图像的动态范围。
[0130]
在至少一个实施例中，在所述第二图像的动态范围标准为标准动态范围标准的情况下，控制装置12还可以根据所述第二图像的亮度值的直方图扩展所述第二图像的动态范围；在所述第二图像的动态范围标准为高动态范围标准的情况下，控制装置12还可以基于根据所述第二图像的亮度值和所述目标峰值亮度构造的亮度映射曲线扩展所述第二图像的动态范围。
[0131]
在至少一个实施例中，控制装置12可以根据第二图像的亮度值的直方图对第二图像的动态范围进行扩展。
[0132]
例如，控制装置12以直方图形式统计所述第二图像的至少一部分区域内的像素的亮度值的频次；计算频次超过预定阈值的总像素数；计算将所述总像素数平均分配到所有区段中的平均像素数；根据所述平均像素数校正每个区段的频次，得到校正直方图；根据所述校正直方图调整所述第二图像的所述至少一部分区域内的像素的亮度范围。
[0133]
在至少一个实施例中，控制装置12还可以将所述第二图像分割为多个区域；针对每个区域根据校正直方图对应的累计直方图调整所述区域内的像素的亮度值的分布；对位于相邻区域交界位置的预定范围内的空域像素，根据所述空域像素所在的区域的直方图和预定数量的相邻区域的累计直方图计算对应的校正值，根据所述校正值校正所述空域像素的像素值。
[0134]
在至少一个实施例中，控制装置12还可以基于根据所述第二图像的亮度值和所述目标峰值亮度构造的亮度映射曲线进行扩展。
[0135]
例如，所述亮度映射曲线使所述第二图像中的像素的亮度值的变化率随着亮度值的增加而减小。
[0136]
又例如，可以统计第二图像的最大亮度值，将第二图像的最大亮度值（也可以称为“第二图像的峰值亮度”）映射到显示装置能够显示的峰值亮度（也可以称为“目标峰值亮度”）上，并且保留映射比率，对映射比率取对数，对第二图像的所有像素的亮度值按照取完对数后的比率进行扩展。
[0137]
又例如，该亮度映射曲线符合公式（1）：y=lw_lut_f/dst_luma
ꢀꢀ
（1）；其中，lw_lut_f = (pow(e’,a)/((pow(e’,a*d))*b c)*ori_luma；dst_luma为所述目标峰值亮度；ori_luma为所述第二图像的峰值亮度；e’为当前像素的电信号；a和d为预定义的值且a小于d；b = ((pow(0.214,a))*lwmax-mo)/(mo*(pow(0.214,a*d)-1)*lwmax)；c = ((pow(0.214,a*d))*mo-((pow(0.214,a))*lwmax))/(mo*(pow(0.214,a*d)-1)*lwmax)；mo = 0.017 0.097*ln-0.028*po；lwmax=dst_luma/ori_luma；po=over_value/under_value；over_value为所述第二图像中的亮度值达到所述峰值亮度的像素的个数；under_value为所述第二图像中的亮度值低于所述峰值亮度且像素值不为0的像素的个数；ln=ln（ave）；ave为所述第二图像的亮度均值。
[0138]
又例如，该亮度映射曲线还可以是降低所述第二图像中的亮度值低于预定亮度值的像素的亮度，增加所述第二图像中的亮度值高于所述预定亮度值的像素的亮度的曲线，例如可以是s形曲线、二阶贝塞尔曲线等。
[0139]
在至少一个实施例中，在所述多个第一图像的第一动态范围标准中的至少一个与目标动态范围标准相同，所述多个第一图像的第一动态范围标准中的至少一个与目标动态范围标准不同的情况下，控制装置12还可以根据所述光电转换函数将第一动态范围标准与目标动态范围标准不同的第一图像对应的转换色域后的第一线性亮度图像转换为第五图像；将所述第五图像和第一动态范围标准与目标动态范围标准相同的第一图像按照空间顺序合成为一个第六图像。
[0140]
在至少一个实施例中，控制装置12将至少两个第一图像对应的转换色域后的第一线性亮度图像按照空间顺序合成为一个目标线性亮度图像；根据所述光电转换函数将所述目标线性亮度图像转换为第二图像。
[0141]
根据第三方面的实施例，通过将待拼接的图像转换到线性亮度空间中，在线性亮度空间中进行拼接，能够在拼接时保留图像的原始亮度信息，并且将拼接后的图像转换成统一动态范围标准的图像，从而能够正确显示拼接后的整个图像。
[0142]
本公开还提供一种图形处理设备，图形处理设备包括通信接口和控制装置。
[0143]
通信接口与外部的显示装置通信连接，获取显示装置的目标动态范围标准和显示装置的目标峰值亮度，所述目标动态范围标准是显示装置能够支持的最高的动态范围标准，所述目标峰值亮度是显示装置能够显示的最大峰值亮度。
[0144]
例如，通信接口可以是视频图形阵列（video graphics array，简称“vga”）接口、数字视频接口（digital visual interface，简称“dvi”）、二分量视频（separate video，简称“s-video”）接口、高清多媒体接口（high definition multimedia interface，简称“hdmi”）等。本发明实施例对通信接口的类型不作限制，可以根据实际需要进行选择。
[0145]
此外，在无法直接获取显示装置的上述参数的情况下，还可以通过外部的输入设备输入显示装置的上述参数，本发明实施例对获取显示装置的上述参数的方法不作限定，可以参考相关技术。
[0146]
在至少一个实施例中，控制装置将目标图像的非线性亮度信号转换为线性亮度信号而得到对应的目标线性亮度图像，其中，所述目标图像为多个第一图像中与第二图像的动态范围标准不同的第一图像；将所述目标线性亮度图像转换为与第二图像具有相同动态范围标准的第五图像；将所述第五图像以及与第二图像的动态范围标准相同的第一图像按照空间顺序合成为第六图像。
[0147]
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的实施例的图像合成方法。
[0148]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的实施例的图像合成方法。
[0149]
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面的实施例的图像合成方法。
[0150]
本发明实施例中，通过将待拼接的图像转换到线性亮度空间中，在线性亮度空间中进行拼接，能够在拼接时保留图像的原始亮度信息，并且将拼接后的图像转换成统一动态范围标准的图像，从而能够正确显示拼接后的整个图像。
[0151]
本领域内的技术人员应明白，本发明对上述实施例中的各个公式中的参数的取值不作限定，可以根据实际情况进行适当调整，具体可以参考相关技术。
[0152]
本发明实施例在图像合成方法的各步骤中标注了各步骤的编号，但编号的顺序并不代表各步骤的执行顺序，各步骤的执行顺序可以根据实际情况任意组合，本发明实施例不以此为限制。
[0153]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
[0154]
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0155]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0156]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0157]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。