视频转换处理方法、装置、计算机可读介质及电子设备与流程

1.本技术涉及计算机及通信技术领域，具体而言，涉及一种视频转换处理方法、装置、计算机可读介质及电子设备。


背景技术：

2.相比于sdr(standard dynamic range，标准动态范围图像)视频，hdr(high
‑
dynamic range，高动态范围图像)视频可以提供更多的动态范围和图像细节，能够更好的反映出真实环境中的视觉效果。在人工智能领域的视频处理技术中，需要将sdr视频转换为hdr视频，而相关技术中提出的sdr视频到hdr视频的转换方案难以保证转换得到的hdr视频的质量及视觉效果。


技术实现要素：

3.本技术的实施例提供了一种视频转换处理方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以提高由sdr视频转换得到的hdr视频的视觉效果和视频质量。
4.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
5.根据本技术实施例的一个方面，提供了一种视频转换处理方法，包括：对待转换的sdr视频进行颜色空间映射处理以及进行像素值到场景照度的映射处理，得到第一视频；检测所述sdr视频中的细节丢失区域，基于细节丢失区域的检测结果确定所述sdr视频中各个像素点的扩张系数；基于所述各个像素点的扩张系数对所述第一视频进行动态范围的扩展处理，得到第二视频；基于所述第二视频生成hdr视频。
6.根据本技术实施例的一个方面，提供了一种视频转换处理装置，包括：第一处理单元，配置为对待转换的sdr视频进行颜色空间映射处理以及进行像素值到场景照度的映射处理，得到第一视频；第二处理单元，配置为检测所述sdr视频中的细节丢失区域，基于细节丢失区域的检测结果确定所述sdr视频中各个像素点的扩张系数；扩展单元，配置为基于所述各个像素点的扩张系数对所述第一视频进行动态范围的扩展处理，得到第二视频；生成单元，配置为基于所述第二视频生成hdr视频。
7.在本技术的一些实施例中，基于前述方案，所述第二处理单元配置为：获取进行细节丢失区域检测得到的区域检测图；对所述区域检测图进行自适应非线性滤波处理，得到对所述细节丢失区域进行滤波处理后的滤波图；对所述滤波图进行归一化的映射处理，得到所述sdr视频中各个像素点的扩张系数。
8.在本技术的一些实施例中，基于前述方案，所述扩展单元配置为：根据所述各个像素点的扩张系数和所述sdr视频对应的整体扩张系数，计算所述各个像素点对应的实际扩张系数；根据所述各个像素点对应的实际扩张系数，对所述第一视频中对应的各个像素点的多个色彩分量进行统一拉伸处理，得到所述第二视频。
9.在本技术的一些实施例中，基于前述方案，所述扩展单元配置为：计算所述各个像素点的扩张系数和所述sdr视频对应的整体扩张系数的乘积，以得到所述各个像素点对应的实际扩张系数。
10.在本技术的一些实施例中，基于前述方案，所述扩展单元还配置为：获取输入控制参数和针对所述hdr视频的需求最大亮度，所述输入控制参数包括饱和最大亮度；计算所述饱和最大亮度与所述需求最大亮度之间的比值，以得到所述整体扩张系数。
11.在本技术的一些实施例中，基于前述方案，所述视频转换处理装置还包括：第三处理单元，配置为在基于所述第二视频生成高动态范围hdr视频之前，通过映射曲线对所述第二视频进行全局映射，以对所述第二视频中的暗区进行增强处理，所述映射曲线为分段函数，所述分段函数包含对应于暗区的指数函数和对应于非暗区的线性函数，所述指数函数的函数曲线与所述线性函数的函数曲线在交接处连续可导。
12.在本技术的一些实施例中，基于前述方案，所述第三处理单元还配置为：获取输入控制参数，所述输入控制参数包括暗区增强强度，基于所述暗区增强强度调整基于所述映射曲线对所述第二视频进行增强处理的强度。
13.在本技术的一些实施例中，基于前述方案，所述视频转换处理装置还包括：调整单元，配置为对所述sdr视频进行场景检测，以得到所述sdr视频中的至少一个场景；统计各个所述场景中亮度超过第一亮度阈值的视频帧所占的第一比例，以及亮度低于第二亮度阈值的视频帧所占的第二比例；根据所述第一比例和所述第二比例计算输入控制参数的调整因子；基于所述调整因子对所述输入控制参数进行调整。
14.在本技术的一些实施例中，基于前述方案，所述生成单元配置为：检测对所述sdr视频进行颜色空间映射处理得到的视频中的色彩失真区域，并检测所述色彩失真区域中的高饱和度区域；基于高饱和度区域的检测结果，确定所述高饱和度区域内的各个像素点的增强系数；基于设定的基础增强系数和所述高饱和度区域内的各个像素点的增强系数，对所述色彩失真区域进行色彩增强处理，得到第三视频；基于所述第三视频生成所述hdr视频。
15.在本技术的一些实施例中，基于前述方案，所述生成单元配置为：对所述高饱和度区域的检测结果进行非线性滤波处理，得到高饱和度区域对应的滤波图；对所述高饱和度区域对应的滤波图进行归一化的映射处理，得到所述高饱和度区域内的各个像素点的增强系数。
16.在本技术的一些实施例中，基于前述方案，所述生成单元配置为：根据所述基础增强系数和所述高饱和度区域内的各个像素点的增强系数，计算所述高饱和度区域内的各个像素点对应的实际增强系数；根据所述高饱和度区域内的各个像素点对应的实际增强系数对所述高饱和度区域进行色彩增强处理，并根据所述基础增强系数对所述色彩失真区域中除所述高饱和度区域之外的区域进行色彩增强处理。
17.在本技术的一些实施例中，基于前述方案，所述视频转换处理装置还包括：第四处理单元，配置为在基于所述各个像素点的扩张系数和所述第一视频进行动态范围的扩展处理之前，计算所述第一视频中的视频帧图像包含的各个像素点所对应区域的一阶矩和二阶矩，得到所述各个像素点对应的一阶矩和二阶矩；根据所述各个像素点对应的一阶矩和二阶矩，确定所述视频帧图像中是否包含有失真区域；若确定所述视频帧图像中包含有失真
区域，则对所述失真区域进行滤波处理。
18.在本技术的一些实施例中，基于前述方案，所述第二处理单元配置为：基于设定的软阈值和硬阈值中的至少一个，检测所述sdr视频中的所包含的过曝区域和低亮度区域，将所述过曝区域和所述低亮度区域作为所述细节丢失区域。
19.根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的视频转换处理方法。
20.根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的视频转换处理方法。
21.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的视频转换处理方法。
22.在本技术的一些实施例所提供的技术方案中，通过检测sdr视频中的细节丢失区域，基于该细节丢失区域的检测结果确定sdr视频中各个像素点的扩张系数，然后基于sdr视频中各个像素点的扩张系数对进行颜色空间映射处理和像素值到场景照度映射处理得到的第一视频进行动态范围的扩展处理，并基于扩展处理得到的第二视频生成hdr视频，使得能够针对每个像素分别采用相应的扩张系数进行动态范围的扩展处理，避免了采用固定统一的参数导致扩展后的视觉效果较差的问题，有效提高了转换得到的hdr视频的视觉效果和视频质量。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
25.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图；
26.图2示出了根据本技术的一个实施例的视频转换处理方法的流程图；
27.图3示出了根据本技术的一个实施例的视频转换处理方法的流程图；
28.图4示出了根据本技术的一个实施例的视频转换处理方法的流程图；
29.图5示出了根据本技术的一个实施例的sdr视频到hdr视频的转换处理装置的框图；
30.图6示出了根据本技术的一个实施例的视频转换处理装置的框图；
31.图7示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
32.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形
式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
33.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
34.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
35.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
36.需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
37.人工智能(artificial intelligence，简称ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
38.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
39.计算机视觉技术(computer vision，简称cv)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr(optical character recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
40.本技术实施例的技术方案涉及计算机视觉技术中的视频处理技术，详细介绍如下：
41.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图。
42.如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是笔记本电脑、台式计算机、媒体播放器、导航设备、游戏控制台、电视机等等)、网络104和服务器105。网络104用以在终端设备和服
务器105之间提供通信链路的介质，网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
43.应该理解，图1中的终端设备、网络104和服务器105的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络104和服务器105。比如服务器105可以是多个服务器组成的服务器集群等。
44.终端设备可以支持hdr格式的视频播放，服务器105可以向终端设备提供视频、图片等多媒体内容。
45.在本技术的一个实施例中，服务器105可以将sdr视频转换为hdr视频，终端设备可以播放从服务器105获取到的hdr视频。
46.在本技术的一个实施例中，终端设备也可以从服务器105获取sdr视频。另外，终端设备也可以从服务器105以外的设备(例如与终端设备耦接的视频存储设备等等)获取sdr视频，然后终端设备可以在本地将sdr视频转换为hdr视频。
47.需要说明的是，本技术实施例所提供的视频转换处理方法一般由服务器105执行，相应地，视频转换处理装置一般设置于服务器105中。但是，在本技术的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本技术实施例所提供的视频转换处理方案。
48.以下对本技术实施例的技术方案的实现细节进行详细阐述：
49.图2示出了根据本技术的一个实施例的视频转换处理方法的流程图，该视频转换处理方法可以由具有计算处理功能的设备来执行，比如可以由图1中所示的服务器105或者终端设备来执行。参照图2所示，该视频转换处理方法至少包括步骤s210至步骤s240，详细介绍如下：
50.在步骤s210中，对待转换的sdr视频进行颜色空间映射处理以及进行像素值到场景照度的映射处理，得到第一视频。
51.在本技术的一个实施例中，对待转换的sdr视频进行颜色空间映射处理具体是将sdr视频由yuv颜色空间转换到rgb颜色空间。其中，yuv是一种颜色编码的方法，“y”表示明亮度(luminance或luma)，也就是灰阶值，“u”和“v”表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。rgb是工业界的一种颜色标准，是通过对红(red)、绿(green)、蓝(blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。
52.可选地，yuv颜色空间到rgb颜色空间的转换属于固定的线性变换。但是，如果sdr视频所采用的色彩标准不同，如采用bt.601,bt.709、bt.2020等，那么在进行yuv颜色空间到rgb颜色空间的转换时，也需要采用相应色彩标准对应的线性变换方式。具体地，可以自动检测sdr视频所采用的色彩标准，然后选择对应的线性变换方式。
53.在本技术的一个实施例中，在对待转换的sdr视频进行颜色空间映射处理之后，可以进行像素值到场景照度的映射处理。像素值到场景照度的映射处理可以采用线性化的方式来进行，具体可以采用幂函数来近似逆相机响应曲线来将像素值映射为(即归一化)场景
照度。可选地，如果待转换的sdr视频中包含有在生成视频时所采用的幂指数，则在进行像素值到场景照度的映射处理时，也采用相应的幂指数。如果待转换的sdr视频中不包含该幂指数，则可以在2.0到2.4之间进行选择。
54.继续参照图2所示，在步骤s220中，检测sdr视频中的细节丢失区域，基于细节丢失区域的检测结果确定sdr视频中各个像素点的扩张系数。
55.在本技术的一个实施例中，可以基于设定的软阈值和硬阈值中的至少一个，检测sdr视频中的所包含的过曝区域和低亮度区域，将过曝区域和低亮度区域作为细节丢失区域。在采用软阈值时，可以兼顾空间与时间上的稳定性，而通过调节软阈值中的高、低阈值之间的距离，算法可以平滑地从软阈值过渡到硬阈值，以适应不同的应用场景。其中所述的过曝区域即为曝光度过高的区域，在采用硬阈值时，即为曝光度高于一定值的区域；在采用软阈值时，即为曝光度处于软阈值所限定的曝光度区间内的区域。低亮度区域即为亮度较低的区域，在采用硬阈值时，即为亮度低于一定值的区域；在采用软阈值时，即为亮度处于软阈值所限定的亮度区间内的区域。
56.在本技术的一个实施例中，步骤s220中基于细节丢失区域的检测结果确定sdr视频中各个像素点的扩张系数的过程，具体可以包括：获取进行细节丢失区域检测得到的区域检测图；对区域检测图进行自适应非线性滤波处理，得到对细节丢失区域进行滤波处理后的滤波图；对滤波图进行归一化的映射处理，得到sdr视频中各个像素点的扩张系数。
57.在本技术的一个实施例中，区域检测图即为检测到的包含有细节丢失区域的图，细节丢失区域可以包括前述的过曝区域和低亮度区域。可选地，前述实施例中的自适应非线性滤波处理可以是采用线性复杂度的自适应非线性滤波算法，这样不进可以保证算法具有较低的复杂度，而且可以算法的处理速度。
58.需要说明的是：在图2所示的实施例中是以先执行步骤s210，再执行步骤s220为例进行的说明。在本技术的其它实施例中，也可以先执行步骤s220，再执行步骤s210；或者也可以同时执行步骤s210和步骤s220。
59.在步骤s230中，基于sdr视频中各个像素点的扩张系数对第一视频进行动态范围的扩展处理，得到第二视频。
60.在本技术的一个实施例中，步骤s230中基于各个像素点的扩张系数对第一视频进行动态范围的扩展处理，得到第二视频的过程，具体可以是根据各个像素点的扩张系数和sdr视频对应的整体扩张系数，计算各个像素点对应的实际扩张系数，然后根据各个像素点对应的实际扩张系数，对第一视频中对应的各个像素点的多个色彩分量进行统一拉伸处理，得到第二视频。可选地，可以计算各个像素点的扩张系数和sdr视频对应的整体扩张系数的乘积，然后将该乘积作为各个像素点对应的实际扩张系数；或者也可以对该乘积进行其它附加的数学运算(如增大或减小一定倍数、增加或减去一定数值等)来得到各个像素点对应的实际扩张系数。
61.在本技术的一个实施例中，前述实施例中的整体扩张系数可以是根据饱和最大亮度与需求最大亮度来计算得到的。具体地，可以获取外部的输入控制参数和针对输出的hdr视频的需求最大亮度，该输入控制参数中包含有饱和最大亮度，然后计算饱和最大亮度与需求最大亮度之间的比值，将该比值作为前述的整体扩张系数。当然，也可以对该比值进行其它附加的数学运算(如增大或减小一定倍数、增加或减去一定数值等)来得到整体扩张系
数。
62.在本技术的一个实施例中，在步骤s230，即基于各个像素点的扩张系数和第一视频进行动态范围的扩展处理之前，还可以通过计算第一视频中的视频帧图像所包含的各个区域是否失真，如果存在失真区域，则可以对失真区域进行滤波处理。具体而言，可以计算第一视频中的视频帧图像包含的各个像素点所对应区域的一阶矩和二阶矩，得到所述各个像素点对应的一阶矩和二阶矩，然后根据各个像素点对应的一阶矩和二阶矩，确定视频帧图像中是否包含有失真区域。
63.可选地，各个像素点所对应区域可以是包含各个像素点的设定大小的区域，将该区域的一阶矩和二阶矩作为各个像素点对应的一阶矩和二阶矩。
64.可选地，在本技术的一个实施例中，假设视频帧图像中的一个像素点对应的一阶矩为μ1，二阶矩为μ2，那么若μ1和μ2满足以下公式，则说明该像素点存在失真：
[0065][0066]
其中，a1、a2和a3为学习得到的参数，t为设定的阈值。
[0067]
当找到视频帧图像中的各个失真的像素点之后，可以将各个失真的像素点进行综合，得到视频帧图像中的失真区域。
[0068]
前述实施例中通过检测失真区域，并对失真区域进行滤波处理，可以在对失真区域进行滤波处理的基础上，避免对视频帧图像整体进行滤波处理而导致图像中未失真区域的细节丢失的问题。
[0069]
可选地，在本技术的一个实施例中，还可以获取来自于外部的一个基础滤波强度参数，以根据该基础滤波强度参数来调整滤波强度。该基于滤波强度参数可以由用户设定或者由计算机自主生成。
[0070]
继续参照图2所示，在步骤s240中，基于第二视频生成高动态范围hdr视频。
[0071]
在本技术的一个实施例中，在基于第二视频生成高动态范围hdr视频之前，视频转换处理方法还包括：通过映射曲线对第二视频进行全局映射，以对第二视频中的暗区进行增强处理，映射曲线为分段函数，分段函数包含对应于暗区的指数函数和对应于非暗区的线性函数，指数函数的函数曲线与线性函数的函数曲线在交接处连续可导。
[0072]
在本技术的一个实施例中，还可以从输入控制参数中获取到暗区增强强度，然后基于暗区增强强度调整基于映射曲线对第二视频进行增强处理的强度。
[0073]
在本技术的一个实施例中，还可以根据sdr视频的场景不同来调整前述实施例中的饱和最大亮度和暗区增强强度，进而可以自适应不同场景下的视频内容，提高转换得到的hdr视频的质量。具体而言，如图3所示，可以包括如下步骤s310至步骤s340：
[0074]
在步骤s310中，对sdr视频进行场景检测，以得到sdr视频中的至少一个场景。
[0075]
在本技术的一个实施例中，可以计算sdr视频中相邻帧之间的相似度，然后若相邻帧之间的相似度较大，则说明这两个相邻的视频帧属于不同的场景，通过这种方式可以将sdr视频划分为至少一个场景。
[0076]
在步骤s320中，统计各个场景中亮度超过第一亮度阈值的视频帧所占的第一比例，以及亮度低于第二亮度阈值的视频帧所占的第二比例。
[0077]
在本技术的一个实施例中，可以在划分得到至少一个场景之后，统计各个场景中
的视频帧的亮度分布，然后根据各个场景中的视频帧的亮度分布来确定各个场景中亮度超过第一亮度阈值的视频帧所占的第一比例，以及亮度低于第二亮度阈值的视频帧所占的第二比例。
[0078]
在步骤s330中，根据第一比例和第二比例计算输入控制参数的调整因子。
[0079]
在本技术的一个实施例中，假设前述第一比例为x1、第二比例为x2，那么可以根据以下公式来计算输入控制参数的调整因子：
[0080]
y1＝a
11
×
x1 a
12
×
x2 b1
[0081]
y2＝a
21
×
x1 a
22
×
x2 b2
[0082]
其中，y1表示前述的饱和最大亮度；y2表示前述的暗区增强强度；a
11
、a
12
、a
21
、a
22
、b1和b2为学习得到的参数。
[0083]
在步骤s340中，基于该调整因子对输入控制参数进行调整。
[0084]
在本技术的一个实施例中，在计算得到调整因子之后，可以将该调整因子直接与前述的饱和最大亮度和暗区增强强度相加来得到调整后的输入控制参数。
[0085]
在本技术的一个实施例中，如图4所示，步骤s240中基于第二视频生成高动态范围hdr视频的过程，具体可以包括如下步骤s410至步骤s440，详细说明如下：
[0086]
在步骤s410中，检测对sdr视频进行颜色空间映射处理得到的视频中的色彩失真区域，并检测色彩失真区域中的高饱和度区域。
[0087]
在本技术的一个实施例中，sdr视频进行颜色空间映射处理得到的视频是处于rgb颜色空间中的，在rgb颜色空间中，可以检测距离颜色空间边界过近的色彩，这些色彩所对应的像素点所在的区域即被标记为色彩失真区域。可选地，在检测距离空间边界过近的色彩时，可以基于硬阈值的算法完成检测，即如果与颜色空间边界之间的距离小于某个阈值，则确定相应的色彩距离颜色空间的边界过近。
[0088]
在本技术的一个实施例中，在检测色彩失真区域中的高饱和度区域时，可以基于软阈值的方式来检测色彩失真区域中饱和度过高的区域。
[0089]
需要说明的是，步骤s410可以是在对sdr视频进行颜色空间映射处理之后就进行的。
[0090]
在步骤s420中，基于高饱和度区域的检测结果，确定高饱和度区域内的各个像素点的增强系数。
[0091]
在本技术的一个实施例中，可以对高饱和度区域进行非线性滤波处理，得到高饱和度区域对应的滤波图，然后对高饱和度区域对应的滤波图进行归一化的映射处理，得到高饱和度区域内的各个像素点的增强系数。可选地，非线性滤波处理可以是采用线性复杂度的非线性滤波算法，这样不进可以保证算法具有较低的复杂度，而且可以算法的处理速度。
[0092]
在步骤s430中，基于设定的基础增强系数和高饱和度区域内的各个像素点的增强系数，对色彩失真区域进行色彩增强处理，得到第三视频。
[0093]
在本技术的一个实施例中，可以根据基础增强系数和高饱和度区域内的各个像素点的增强系数，计算高饱和度区域内的各个像素点对应的实际增强系数，然后根据高饱和度区域内的各个像素点对应的实际增强系数对高饱和度区域进行色彩增强处理，并根据基础增强系数对色彩失真区域中除高饱和度区域之外的区域进行色彩增强处理。
[0094]
可选地，根据基础增强系数和高饱和度区域内的各个像素点的增强系数，计算高饱和度区域内的各个像素点对应的实际增强系数的过程可以是计算基础增强系数与高饱和度区域内的各个像素点的增强系数之间的乘积，然后将该乘积作为高饱和度区域内的各个像素点对应的实际增强系数；或者也可以对该乘积进行其它附加的数学运算(如增大或减小一定倍数、增加或减去一定数值等)来得到高饱和度区域内的各个像素点对应的实际增强系数。
[0095]
在步骤s440中，基于第三视频生成hdr视频。
[0096]
在本技术的一个实施例中，在进行色彩增强处理得到第三视频之后，可以通过hlg(hybrid log
‑
gamma，混合对数伽马)曲线或pq(perceptual quantize，感知量化)曲线对第三视频进行映射处理，以将场景照度映射到像素值。具体采用hlg曲线还是pq曲线根据所需要的hdr视频的格式来确定，如果需要的是hlq曲线的hdr视频，则选择hlg曲线；如果需要的是pq曲线的hdr视频，则选择pq曲线。
[0097]
在本技术的一个实施例中，在经过hlg曲线或pq曲线的映射处理之后，将视频从rgb色彩空间转换到yuv色彩空间，然后对映射得到的像素值进行量化处理，进而输出给编码器进行编码处理得到最终的hdr视频。
[0098]
在本技术的一个实施例中，如图5所示，sdr视频转换为hdr视频的转换处理装置具体包括：yuv to rgb模块501、线性化处理模块502、条带/噪声/块抑制模块503、动态范围扩展模块504、色域扩展模块505、pq/hlg映射模块506、rgb to yuv模块507、量化模块508、过曝/低亮检测模块509、亮度细节补充模块510、场景分析模块511和色彩失真检测模块512。以下对各个模块进行详细阐述：
[0099]
在本技术的一个实施例中，当输入sdr视频之后，yuv to rgb模块501将sdr视频的像素值由yuv空间转换到rgb空间；而后由线性化处理模块502使用逆相机响应曲线将其线性化，得到归一化的场景照度；接着由条带/噪声/块抑制模块503进行非线性滤波，去除条带，抑制噪声和块效应等失真；然后由动态范围扩展模块504进行动态范围扩展；接着由色域扩展模块505扩展色域范围；之后再由pq/hlg映射模块506通过pq曲线或者hlg曲线进行映射处理；然后由rgb to yuv模块507将视频从rgb空间转换回yuv空间；最后由量化模块508进行量化处理，输出hdr视频。其中，动态范围扩展模块504除了条带/噪声/块抑制模块503的输入之外，还有两路额外输入：第一路从是由过曝/低亮检测模块509从原始的sdr视频中检测出过曝和低亮度区域，并由亮度细节补充模块510进行细节补充之后输入到动态范围扩展模块504的；第二路是由场景分析模块511对原始的sdr视频进行场景分析，然后得到视频每个场景的亮度分布信息，并自适应地调整动态范围扩展模块的参数。此外，色域扩展模块505还接收色彩失真检测模块512从yuv to rgb模块501输出的视频中检测出的色彩失真区域，以指导色域扩展模块505的影响范围。
[0100]
在本技术的一个实施例中，yuv to rgb模块501与rgb to yuv模块507是分别将视频由yuv色彩空间转换到rgb色差空间，以及将视频从rgb色差空间转换到yuv色彩空间的。yuv颜色空间与rgb颜色空间之间的转换属于固定的线性变换。但是，如果sdr视频所采用的色彩标准不同，如采用bt.601,bt.709、bt.2020等，那么在进行yuv颜色空间与rgb颜色空间之间的转换时，也需要采用相应色彩标准对应的线性变换方式。其中，yuv to rgb模块501可以自动检测sdr视频编码时所采用的色彩标准，然后选择对应的线性变换方式。而由于
hdr视频标准itu
‑
r rec.bt.2100的规定，因此rgb to yuv模块507使用固定的bt.2020色彩标准。
[0101]
在本技术的一个实施例中，线性化处理模块502采用幂函数来近似逆相机响应曲线，将视频的像素值映射为(即归一化为)场景照度。如果待转换的sdr视频中包含有在生成视频时所采用的幂指数，则在进行像素值到场景照度的映射处理时，也采用相应的幂指数；如果待转换的sdr视频中不包含该幂指数，则可以在2.0到2.4之间进行选择。
[0102]
与之相对应地，pq/hlg映射模块506将归一化的场景照度映射到像素值空间，采用pq曲线还是hlg曲线由用户选定的视频输出格式来决定。量化模块508主要是将已经映射到像素值空间的连续值量化为1024个不同的亮度等级，然后输出给编码器进行编码，以生成hdr视频。
[0103]
在本技术的一个实施例中，条带/噪声/块抑制模块503自适应地抑制采样、量化和编码过程中出现的条带、块效应和噪声等失真。具体地，条带/噪声/块抑制模块503先计算图像局部的统计特性(该统计特性可以是一阶矩和二阶矩)，然后根据这些统计特性判断图像中是否有明显的失真出现。对于有失真出现的区域，条带/噪声/块抑制模块503通过调节滤波强度，在兼顾保护细节信息不丢失的前提下，使用自适应非线性滤波的算法抑制失真。此外，条带/噪声/块抑制模块503还可以接收一个外部的“基础滤波强度”参数，使有经验的用户可以自主调整平均滤波强度，以适应其特定需求。
[0104]
在本技术的一个实施例中，过曝/低亮检测模块509通过设定相应的阈值来检测出视频中因sdr动态范围不足、亮度截断而造成细节丢失等区域。具体可以采用软阈值的方法，以兼顾空间与时间上的稳定性，同时也可以通过调节软阈值中高、低阈值之间的距离，以平滑地从软阈值过渡到硬阈值，进而可以适应不同的应用场景。具体参数的选择可以基于对大量不同类型视频的观测而学习到。
[0105]
在本技术的一个实施例中，亮度细节补充模块510以过曝/低亮检测模块509的输出为输入，计算动态范围扩张系数，以通过调整过曝和低亮度区域的扩张系数的方式来补充细节。具体而言，过曝/低亮检测模块509的输出为一张区域检测图，亮度细节补充模块510采用线性复杂度的自适应非线性滤波算法对该区域检测图进行滤波处理，以有效地从丢失细节的区域边界附近残留的信息中估计出由截断而损失的信息。在进行非线性滤波之后，可以采用指数函数进行归一化处理，得到最终输出针对每个像素点的扩张系数。亮度细节补充模块510的处理方式节省了大量计算，使得算法保持线性复杂度，并十分易于并行加速，并且可以充分利用过曝区域和低亮度区域在空间上不相交的特性，以及滤波算法能很好保持强边缘的特性，在一次滤波中同时补充过曝和低亮度区域的细节。
[0106]
在本技术的一个实施例中，动态范围扩展模块504完成核心的动态范围扩展任务，算法采用自适应的线性拉伸算法。具体地，对每个像素来说，其三个色彩分量被统一的扩张系数拉伸，以防止拉伸过程造成的颜色失真。每个像素有不同的扩张系数，由整体扩张系数和前述实施例中亮度细节补充模块510的输出的系数来决定。整体扩张系数由外部输入的“饱和最大亮度”参数和输出视频的最大亮度来决定。有经验的用户可以通过调整这个“饱和最大亮度”参数来控制hdr视频的视觉效果。
[0107]
在本技术的一个实施例中，为了适应暗场景视频，动态范围扩展模块504还集成了一个额外的暗区增强算法，该算法采用全局映射的方式，额外增强暗区细节。为保证过度自
然，映射曲线为光滑的分段函数：对应于过暗区域的一段为指数函数，其余部分为线性，且交接处连续可导。动态范围扩展模块504还可以接收一个外部输入的“暗区增强强度”参数，控制增强的程度，以便有经验的用户按需调整。
[0108]
动态范围扩展模块504还为场景分析模块511预留了接口，使场景分析模块511可以通过调整“饱和最大亮度”和“暗区增强强度”，以调整算法最终输出的hdr视频的视觉效果。
[0109]
场景分析模块511可以自动分析原始sdr视频的亮度分布，并通过动态范围扩展模块504预留的参数接口，控制输出的hdr视频的视觉效果。具体地，场景分析模块511可以采用场景分割算法、亮度分布统计算法和最优亮度参数计算算法。场景分割算法通过计算相邻两帧之间的相似度以及一个线性分类器，智能地将视频分成不同场景；亮度分布统计算法则统计每个场景中所有视频帧的平均亮度分布；最后，最优亮度参数计算算法则通过场景平均亮度分布中的高亮部分的占比和低量部分占比，计算出调整因子输出给动态范围扩展模块504。
[0110]
在本技术的一个实施例中，色彩失真检测模块512在rgb色彩空间中检测距离空间边界过近的色彩，其所对应的像素点所在的区域即被标记为色彩失真区域。为了恢复hdr视频丰富的色彩，色彩失真检测模块512可以以软阈值算法检测出色彩失真区域内的高饱和度区域，然后对该高饱和度区域进行非线性滤波处理，然后对滤波处理的结果进行归一化处理得到高饱和度区域内各个像素点的增强系数，这一增强系数用于调整色域扩展模块505中的增强强度。
[0111]
在本技术的一个实施例中，色域扩展模块505首先将动态范围扩展模块503输入的rgb值转换为广色域bt.2020色彩空间中的rgb值，然后对色彩失真检测模块512检测出的色彩失真区域进行自适应线性色彩增强。其中，色域扩展模块505接收一个外部输入的“色彩增强基础强度”参数，用于控制增强系数。在此基础上，增强系数还受色彩失真检测模块512输出的各个像素点的增强系数的影响，即“色彩增强基础强度”参数与色彩失真检测模块512中输出的增强系数进行相乘，得到最终的实际增强系数。然后基于最终确定的增强系数进行色域扩展处理。
[0112]
本技术上述实施例的技术方案设计了自适应的噪声和失真抑制算法，在抑制噪声和条带失真的同时保护图像的细节，同时有一定抑制块效应的作用，使得算法能适用于低码率视频；而采用自适应的非线性滤波算法同时处理高亮度和低亮度区域，并设计了暗区增强模块，使得生成的hdr视频在高亮度和低亮度区域同时具更丰富的细节；设计的色域扩展模块使得生成的hdr视频色彩更丰富；设计的场景分析模块以及与之相配套的自适应亮度调节算法，使得本技术的方案可以很好地自适应不同亮度的视频内容。同时采用线性复杂度的非线性滤波算法，大幅度降低了算法复杂度，使得算法可以适用于高清晰度高码率的视频。
[0113]
以下介绍本技术的装置实施例，可以用于执行本技术上述实施例中的视频转换处理方法。对于本技术装置实施例中未披露的细节，请参照本技术上述的视频转换处理方法的实施例。
[0114]
图6示出了根据本技术的一个实施例的视频转换处理装置的框图，该视频转换处理装置可以设置在具有计算处理功能的设备内，比如可以设置在图1中所示的服务器105或
者终端设备内。
[0115]
参照图6所示，根据本技术的一个实施例的视频转换处理装置600，包括：第一处理单元602、第二处理单元604、扩展单元606和生成单元608。
[0116]
其中，第一处理单元602配置为对待转换的sdr视频进行颜色空间映射处理以及进行像素值到场景照度的映射处理，得到第一视频；第二处理单元604配置为检测所述sdr视频中的细节丢失区域，基于细节丢失区域的检测结果确定所述sdr视频中各个像素点的扩张系数；扩展单元606配置为基于所述各个像素点的扩张系数对所述第一视频进行动态范围的扩展处理，得到第二视频；生成单元608配置为基于所述第二视频生成hdr视频。
[0117]
在本技术的一些实施例中，基于前述方案，第二处理单元604配置为：获取进行细节丢失区域检测得到的区域检测图；对所述区域检测图进行自适应非线性滤波处理，得到对所述细节丢失区域进行滤波处理后的滤波图；对所述滤波图进行归一化的映射处理，得到所述sdr视频中各个像素点的扩张系数。
[0118]
在本技术的一些实施例中，基于前述方案，扩展单元606配置为：根据所述各个像素点的扩张系数和所述sdr视频对应的整体扩张系数，计算所述各个像素点对应的实际扩张系数；根据所述各个像素点对应的实际扩张系数，对所述第一视频中对应的各个像素点的多个色彩分量进行统一拉伸处理，得到所述第二视频。
[0119]
在本技术的一些实施例中，基于前述方案，扩展单元606配置为：计算所述各个像素点的扩张系数和所述sdr视频对应的整体扩张系数的乘积，以得到所述各个像素点对应的实际扩张系数。
[0120]
在本技术的一些实施例中，基于前述方案，扩展单元606还配置为：获取输入控制参数和针对所述hdr视频的需求最大亮度，所述输入控制参数包括饱和最大亮度；计算所述饱和最大亮度与所述需求最大亮度之间的比值，以得到所述整体扩张系数。
[0121]
在本技术的一些实施例中，基于前述方案，所述视频转换处理装置600还包括：第三处理单元，配置为在基于所述第二视频生成高动态范围hdr视频之前，通过映射曲线对所述第二视频进行全局映射，以对所述第二视频中的暗区进行增强处理，所述映射曲线为分段函数，所述分段函数包含对应于暗区的指数函数和对应于非暗区的线性函数，所述指数函数的函数曲线与所述线性函数的函数曲线在交接处连续可导。
[0122]
在本技术的一些实施例中，基于前述方案，所述第三处理单元还配置为：获取输入控制参数，所述输入控制参数包括暗区增强强度，基于所述暗区增强强度调整基于所述映射曲线对所述第二视频进行增强处理的强度。
[0123]
在本技术的一些实施例中，基于前述方案，所述视频转换处理装置600还包括：调整单元，配置为对所述sdr视频进行场景检测，以得到所述sdr视频中的至少一个场景；统计各个所述场景中亮度超过第一亮度阈值的视频帧所占的第一比例，以及亮度低于第二亮度阈值的视频帧所占的第二比例；根据所述第一比例和所述第二比例计算输入控制参数的调整因子；基于所述调整因子对所述输入控制参数进行调整。
[0124]
在本技术的一些实施例中，基于前述方案，所述生成单元608配置为：检测对所述sdr视频进行颜色空间映射处理得到的视频中的色彩失真区域，并检测所述色彩失真区域中的高饱和度区域；基于高饱和度区域的检测结果，确定所述高饱和度区域内的各个像素点的增强系数；基于设定的基础增强系数和所述高饱和度区域内的各个像素点的增强系
数，对所述色彩失真区域进行色彩增强处理，得到第三视频；基于所述第三视频生成所述hdr视频。
[0125]
在本技术的一些实施例中，基于前述方案，所述生成单元608配置为：对所述高饱和度区域的检测结果进行非线性滤波处理，得到高饱和度区域对应的滤波图；对所述高饱和度区域对应的滤波图进行归一化的映射处理，得到所述高饱和度区域内的各个像素点的增强系数。
[0126]
在本技术的一些实施例中，基于前述方案，所述生成单元608配置为：根据所述基础增强系数和所述高饱和度区域内的各个像素点的增强系数，计算所述高饱和度区域内的各个像素点对应的实际增强系数；根据所述高饱和度区域内的各个像素点对应的实际增强系数对所述高饱和度区域进行色彩增强处理，并根据所述基础增强系数对所述色彩失真区域中除所述高饱和度区域之外的区域进行色彩增强处理。
[0127]
在本技术的一些实施例中，基于前述方案，所述视频转换处理装置600还包括：第四处理单元，配置为在基于所述各个像素点的扩张系数和所述第一视频进行动态范围的扩展处理之前，计算所述第一视频中的视频帧图像包含的各个像素点所对应区域的一阶矩和二阶矩，得到所述各个像素点对应的一阶矩和二阶矩；根据所述各个像素点对应的一阶矩和二阶矩，确定所述视频帧图像中是否包含有失真区域；若确定所述视频帧图像中包含有失真区域，则对所述失真区域进行滤波处理。
[0128]
在本技术的一些实施例中，基于前述方案，所述第二处理单元604配置为：基于设定的软阈值和硬阈值中的至少一个，检测所述sdr视频中的所包含的过曝区域和低亮度区域，将所述过曝区域和所述低亮度区域作为所述细节丢失区域。
[0129]
图7示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
[0130]
需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0131]
如图7所示，计算机系统700包括中央处理单元(central processing unit，cpu)701，其可以根据存储在只读存储器(read
‑
only memory，rom)702中的程序或者从存储部分708加载到随机访问存储器(random access memory，ram)703中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram 703中，还存储有系统操作所需的各种程序和数据。cpu 701、rom 702以及ram 703通过总线704彼此相连。输入/输出(input/output，i/o)接口705也连接至总线704。
[0132]
以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0133]
特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的
实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本技术的系统中限定的各种功能。
[0134]
需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read
‑
only memory，cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0135]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0136]
描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0137]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
[0138]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0139]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本技术实施方式的方法。
[0140]
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
[0141]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。