基于人眼适应曲线的动态HDR下变换方法、设备及介质与流程

基于人眼适应曲线的动态hdr下变换方法、设备及介质
技术领域
1.本发明涉及超高清视频领域，更为具体的，涉及一种基于人眼适应曲线的动态hdr下变换方法、设备及介质。


背景技术：

2.现有的基于pq曲线的hdr下变换技术参考视频元数据进行动态变换，在eotf后引入电信号与电信号转换曲线eetf，将0～100000nit的亮度范围压缩到目标亮度范围，这样的下变换效果好，变换范围大，但是对显示终端要求高。
3.现有的基于hlg曲线的hdr下变换技术是将整个视频按照统一变换公式进行动态范围变换，原基于hlg曲线的hdr支持的亮度范围为0～1000nit，把原始视频根据显示设备能呈现的最高亮度按比例完全映射压缩到显示终端的范围之中。(比如原始视频范围是0-1200nit，电视最高亮度600nit，那么hlg会按照1/2的比例映射过去)。这种变换方法的优势是变换过程简单，不用区分视频内场景，全视频按统一曲线变换，并且不使用元数据，对显示终端要求低，应用范围广，但效果不如pq。
4.以上两种现存下变换的方法，存在以下技术问题：
①
终端的普适性较差；
②
观感体验有待提高。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种基于人眼适应曲线的动态hdr下变换方法、设备及介质，使得高低亮场景的转换变得更加平滑，符合人眼的生理规律，让超高清视频在由hdr下变换到更低动态范围的效果更加自然、平稳，带来更佳的观感体验。
6.本发明的目的是通过以下方案实现的：
7.一种基于人眼适应曲线的动态hdr下变换方法，包括步骤：
8.s1，根据元数据进行场景分割，将视频分割成连续分段，并记录每一个场景的平均最高亮度l和高光占比r；
9.s2，根据人眼适应曲线确定需要做平滑过渡的场景和所需平滑过渡时间；
10.s3，根据步骤s2计算出的平滑过渡时间以及拟合的人眼适应曲线，计算高亮度场景c1和低亮度场景c2的平均最高亮度l1、l2在每一帧的取值；
11.s4，根据步骤s2计算出的平滑过渡时间，计算高亮度场景c1和低亮度场景c2的高光占比r1、r2在每一帧的取值；
12.s5，根据过渡时间段内场景c1在每一帧的l1、r1和场景c2在每一帧的l2、r2计算相应的变换曲线。
13.进一步地，在步骤s2中，包括子步骤：
14.s21，根据人眼适应曲线上的亮度值，设计如下公式：
15.y(l)＝a1 a2log
10
(l)
ꢀꢀ
(1)
16.其中，y表示人眼适应曲线上的选取的亮度起始点经过对数处理后的纵坐标，a1为
常数，a2为常数；
17.s22，选取拟合曲线的样本，并结合步骤s21中设计的公式(1)计算反推未对数化处理的纵坐标亮度值；
18.s23，利用步骤s22中得到的真实的亮度值，并选取设定数值尼特亮度为初始亮度的适应曲线来拟合如下公式(2)：
[0019][0020]
得到场景间平均最高亮度差值关于适应时间的函数；其中，t表示时间，b1为常数，b2为常数，b3为常数；
[0021]
s24，根据步骤s23中公式求其反函数，得到公式(3)：
[0022][0023]
从公式(3)中δl推算出适应时间t：
[0024]
s25，计算两个相邻场景的亮度差值l1-l2，若该值的绝对值大于设定值，则属于需要场景平滑过渡，否则不需要平滑过渡。
[0025]
进一步地，在步骤s3中，计算高亮度场景c1的平均最高亮度l1在每一帧的取值包括子步骤：设计c1场景的最高亮度移动迭代公式：
[0026]
l1n＝l1
n-1-δl(t1 n/(60
·
f))
ꢀꢀ
(4)
[0027]
其中，起始移动亮度为l10＝l1，渡区间内对应的时间为由公式(3)给出，t(l10)＝t1；如果不为整数，则进行上取整或者下取整处理，f为帧率。
[0028]
进一步地，在步骤s3中，计算低亮度场景c2的平均最高亮度l2在每一帧的取值包括子步骤：设计c2场景的最高亮度移动迭代公式为：
[0029]
l2n＝l2
n-1
δl(t2 n/(60
·
f))
ꢀꢀ
(5)
[0030]
其中，起始移动亮度为l20＝l2，t2为过渡区间内对应的时间为由公式(3)给出，即t(l20)。
[0031]
进一步地，在步骤s4中，计算高亮度场景c1高光占比r1在每一帧的取值包括子步骤：设计c1场景的高光占比迭代公式：
[0032][0033]
其中起始移动高光占比为r10＝r1，场景c1的原始高光占比为r1，场景c2的原始高光占比为r2，取两者之差，并记δr＝r1
–
r2。
[0034]
进一步地，在步骤s4中，计算低亮度场景c2的高光占比r2在每一帧的取值包括子步骤：设计c2场景的高光占比迭代公式：
[0035][0036]
中起始移动高光占比为r20＝r2。
[0037]
进一步地，在步骤s5中，所述计算相应的变换曲线包括子步骤：设计如下公式：
[0038][0039]
其中，c1、c2、c3、c4、c5、c6、c7均为常数；m0、m1、m2由r’和l决定；r’为由步骤s4中迭代公式计算得出的每一帧的高光占比，l为由步骤s3中迭代公式计算得出的每一帧的平均最高亮度，e为自变量即oetf曲线中的亮度坐标轴。
[0040]
进一步地，采用如下公式计算m0、m1、m2：
[0041][0042]
其中，d1、d2、d3、d4、d5均为常数。
[0043]
一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如权利要求1～8任一项所述的方法。
[0044]
一种计算机可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如权利要求1～8任一项所述的方法。
[0045]
本发明的有益效果包括：
[0046]
本发明实施例解决了现有的下变换技术中未考虑的适应人眼适应规律的问题，进而使得高低亮场景的转换变得更加平滑，符合人眼的生理规律，让超高清视频在由hdr下变换到更低动态范围的效果更加自然、平稳，带来更佳的观感体验。
[0047]
本发明实施例考虑到终端的普适性，研究了一种基于区间拐点变换的场景间平滑过渡的动态范围下变换方法，该实施例方法采用元数据对视频场景进行分割，同时参考元数据对不同场景拟合最佳的动态范围下变换曲线，并且考虑人眼在场景变换中的观看体验，实现了视频中场景间的动态范围变换平滑过渡。
附图说明
[0048]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本发明实施例方法的步骤流程图；
[0050]
图2为本发明实施例方法提供的场景间平均最高亮度差值关于适应时间的函数；
[0051]
图3为本发明实施例中选用的stokkerman人眼在不同初始光亮度下的适应曲线。
具体实施方式
[0052]
本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
[0053]
下面根据附图1～图2，对本发明的技术构思、解决的技术问题、工作原理、工作过程和有益效果作进一步详细、充分地说明。
[0054]
本发明实施例在解决背景中技术问题的过程中，发现两种现存下变换的方法遇到了如下问题：当超高清视频在由hdr下变换到更低动态范围时显示效果突兀，不自然。本发明进一步分析后认为，两种现存下变换的方法均只考虑场景，未考虑场景间的动态范围平滑过渡。因此亮度对比强烈的场景，进行光亮度的平滑过渡是十分有必要的。
[0055]
基于上述问题的认识，本发明实施例进一步考虑如何解决适应人眼适应规律的问题，具体在实际应用过程中，包括如下实施方式：
[0056]
在步骤s1中，根据元数据进行场景分割，将整个视频分割成连续分段chapter，并记录每一个场景的平均最高亮度l和高光占比r。(如场景1的最高亮度为l1，高光占比为r1)。
[0057]
本发明实施例根据hlg所能显示的亮度范围0到1200尼特，选择了人眼亮度适应曲线中800nit起始的曲线，并选择高亮度区域的数据点用指数函数进行拟合，得到亮度关于适应时间的曲线。具体的，在步骤s2中，可以根据人眼适应曲线确定平滑过渡时间，并以此确定是否需要平滑过渡。
[0058]
在步骤s21中，可以根据人眼适应曲线上的亮度起始点(25,-3)、(800,-1.5),、(6000,-0.6)、(12000,-0.4)、(125000,0.6)经过对数处理后的纵坐标y与实际光亮度l的转换关系，公式如下：
[0059]
y(l)＝a1 a2log
10
(l)
ꢀꢀ
(1)
[0060]
其中a1＝-4.3397，a2＝0.4222。
[0061]
在步骤s22中，可以选择人眼适应曲线起始亮度为800尼特的曲线中的点(0,-1.5)、(1,-2.75)、(2,-3)作为拟合曲线的样本。分别带入-1.5、-2.75、-3进入公式(1)的反函数，得出真实的亮度值，分别为825.8620尼特、42.9437尼特、23.7738尼特。
[0062]
在步骤s23中，可以利用点(0,825.8620)、(1,42.9437)、(2,23.7738)拟合如下公式，得到场景间平均最高亮度差值关于适应时间的函数：
[0063][0064]
其中b1＝23.293，b2＝802.569，b3＝3.7097，即为场景间平均最高亮度差值关于适应时间的函数，带入公式(2)，即得到其函数曲线图如图2所示。
[0065]
在步骤s24中，可以根据函数(2)的反函数，具体如下，即可已知δl推算出适应时间t。
[0066][0067]
在步骤s25中，计算两个相邻场景的亮度差值l1-l2，若该值的绝对值大于100nit，则属于需要场景平滑过渡，否则不需要平滑过渡。
[0068]
本发明实施例根据由上述步骤拟合得到的函数，设计了符合其斜率变化规律的迭代思路和公式，动态调整了过渡场景在平滑过渡区域每一帧的平均最高亮度，使得需要过渡的亮场景和暗场景在连接处达到最高亮度相等。具体的，在步骤s3中，根据算出的平滑过渡时间以及拟合的人眼适应曲线，计算高亮度场景c1和低亮度场景c2的平均最高亮度l1、l2在每一步的取值。具体包括如下子步骤：
[0069]
在步骤s31中，已知：
[0070]
1)帧率为f；
[0071]
2)c1平滑过渡到c2需要总时长为t,c1参与场景过渡的时间区间为其最后的t/2秒，c2参与场景过渡的时间区间为其最前的t/2秒。
[0072]
根据公式(3)可以计算出c1场景起始移动亮度为原平均最高亮度，且令l10＝l1，过渡区间内对应的时间为由公式(3)给出，t(l10)＝t1。则每一步最高亮度由迭代公式利用公式(3)计算得到，具体如公式(4)所示，且高亮场景c1平均最高亮度总共移动步数为(注意因为函数图横轴时间单位为分钟，在进行步长移动时要进行单位转换)
[0073]
l1n＝l1
n-1-δl(t1 n/(60
·
f))
ꢀꢀ
(4)
[0074]
其中(如果不为整数，则用上取整或下取整函数进行处理)。
[0075]
s32同理与s31中的步骤，可算出c2场景的最高亮度移动迭代公式为：
[0076]
l2n＝l2
n-1
δl(t2 n/(60
·
f))
ꢀꢀ
(5)
[0077]
其中起始移动亮度为l20＝l2，t2为过渡区间内对应的时间为由公式(3)给出，即t(l20)。
[0078]
本发明实施例设计了过渡场景在平滑过渡区域每一帧的高亮拐点平均变化迭代思路和公式。具体的，在步骤s4中，根据算出的平滑过渡时间计算高亮度场景c1和低亮度场景c2的高光占比r1、r2在每一步的取值。具体包括如下子步骤：
[0079]
在步骤s41中，已知：
[0080]
1)场景c1的原始高光占比为r1，场景c2的原始高光占比为r2，取两者之差，并记δr＝r1
–
r2。
[0081]
2)c1和c2各自需要变化的高光占比为δr/2，两场景移动的总步数同s4，为
[0082]
在步骤s42中，设计场景c1的高光占比迭代公式如下：
[0083]
[0084]
其中起始移动高光占比为r10＝r1，
[0085]
设计场景c2的高光占比迭代公式如下：
[0086][0087]
其中起始移动高光占比为r20＝r2。
[0088]
本发明实施例结合上述步骤迭代得到的每一帧画面的平均最高亮度和高亮拐点，带入基于区间拐点变换的变换公式，得到平滑过渡区间中每一帧画面发的oetf，实现场景间平滑过渡的效果。具体的，在步骤s5中，根据过渡时间段内场景c1在每一步即每一帧的l1、r1和场景c2在每一步即每一帧的l2、r2计算相应的变换曲线，具体计算公式由以下给出：
[0089][0090]
其中常数：c1＝4.5、c2＝0.018、c3＝1.099、c4＝0.45、c5＝0.099、c6＝1.07152、c7＝0.01。r’和l即为由步骤s3和s4迭代公式所算出的每一帧的高光占比和平均最高亮度。
[0091]
参数m0、m1、m2由r’和l决定，具体公式关系如下：
[0092][0093]
其中常数：d1＝0.166667、d2＝1.025646、d3＝0.45、d4＝0.01、d5＝1.07152。
[0094]
实施例1：一种基于人眼适应曲线的动态hdr下变换方法，包括步骤：
[0095]
s1，根据元数据进行场景分割，将视频分割成连续分段，并记录每一个场景的平均最高亮度l和高光占比r；
[0096]
s2，根据人眼适应曲线确定需要做平滑过渡的场景和所需平滑过渡时间；
[0097]
s3，根据步骤s2计算出的平滑过渡时间以及拟合的人眼适应曲线，计算高亮度场景c1和低亮度场景c2的平均最高亮度l1、l2在每一帧的取值；
[0098]
s4，根据步骤s2计算出的平滑过渡时间，计算高亮度场景c1和低亮度场景c2的高光占比r1、r2在每一帧的取值；
[0099]
s5，根据过渡时间段内场景c1在每一帧的l1、r1和场景c2在每一帧的l2、r2计算相应的变换曲线。
[0100]
实施例2：在实施例1的基础上，在步骤s2中，包括子步骤：
[0101]
s21，根据人眼适应曲线上的亮度值，设计如下公式：
[0102]
y(l)＝a1 a2log
10
(l)
ꢀꢀ
(1)
[0103]
其中，y表示人眼适应曲线上的选取的亮度起始点经过对数处理后的纵坐标，a1为常数，a2为常数；
[0104]
s22选取拟合曲线的样本，并结合步骤s21中设计的公式(1)计算反推未对数化处理的纵坐标亮度值；在本实施方式中，选取stokkerman人眼在不同初始光亮度下的适应曲线上的点作为拟合曲线的样本。如图3所示，图3来源：m.g.m.stokkermans and i.heynderickx(2014),temporal dark adaptation to spatially complex backgrounds:effect of an additional light source.josaa v31#7,pp.1485-1494.)。
[0105]
s23，利用步骤s22中得到的真实的亮度值，并选取设定数值(例如800)尼特亮度为初始亮度的适应曲线来拟合如下公式(2)：
[0106][0107]
得到场景间平均最高亮度差值关于适应时间的函数；其中，t表示时间，b1为常数，b2为常数，b3为常数；
[0108]
s24，根据步骤s23中公式求其反函数，得到公式(3)：
[0109][0110]
从公式(3)中δl推算出适应时间t：
[0111]
s25，计算两个相邻场景的亮度差值l1-l2，若该值的绝对值大于设定值，则属于需要场景平滑过渡，否则不需要平滑过渡。
[0112]
实施例3：在实施例1的基础上，在步骤s3中，计算高亮度场景c1的平均最高亮度l1在每一帧的取值包括子步骤：设计c1场景的最高亮度移动迭代公式：
[0113]
l1n＝l1
n-1-δl(t1 n/(60
·
f))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0114]
其中，起始移动亮度为l10＝l1，渡区间内对应的时间为由公式(3)给出，t(l10)＝t1；如果不为整数，则进行上取整或者下取整处理，f为帧率。
[0115]
实施例4：在实施例1的基础上，在步骤s3中，计算低亮度场景c2的平均最高亮度l2在每一帧的取值包括子步骤：设计c2场景的最高亮度移动迭代公式为：
[0116]
l2n＝l2
n-1
δl(t2 n/(60
·
f))
ꢀꢀ
(5)
[0117]
其中，起始移动亮度为l20＝l2，t2为过渡区间内对应的时间为由公式(3)给出，即t(l20)。
[0118]
实施例5：在实施例1的基础上，在步骤s4中，计算高亮度场景c1高光占比r1在每一帧的取值包括子步骤：设计c1场景的高光占比迭代公式：
[0119][0120]
其中起始移动高光占比为r10＝r1，场景c1的原始高光占
比为r1，场景c2的原始高光占比为r2，取两者之差，并记δr＝r1
–
r2。
[0121]
实施例6：在实施例1的基础上，在步骤s4中，计算低亮度场景c2的高光占比r2在每一帧的取值包括子步骤：设计c2场景的高光占比迭代公式：
[0122][0123]
中起始移动高光占比为r20＝r2。
[0124]
实施例7：在实施例1的基础上，在步骤s5中，所述计算相应的变换曲线包括子步骤：设计如下公式：
[0125][0126]
其中，c1、c2、c3、c4、c5、c6、c7均为常数；m0、m1、m2由r’和l决定；r’为由步骤s4中迭代公式计算得出的每一帧的高光占比，l为由步骤s3中迭代公式计算得出的每一帧的平均最高亮度，e为自变量即oetf曲线中的亮度坐标轴。
[0127]
实施例8：在实施例1的基础上，采用如下公式计算m0、m1、m2：
[0128][0129]
其中，d1、d2、d3、d4、d5均为常数。
[0130]
实施例9：一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，当所述计算机程序被所述处理器加载时并执行如实施例1～8任一项所述的方法。
[0131]
实施例10：一种计算机可读存储介质，在可读存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行如实施例1～8任一项所述的方法。
[0132]
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0133]
根据本发明的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
[0134]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设
备执行时，使得该电子设备实现上述实施例中所述的方法。
[0135]
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
[0136]
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。