利用外观控件增强图像数据的制作方法

本公开总体上涉及数字地增强图像内容的视觉质量的领域，并且更具体地涉及控制针对各种类型的媒体平台而专门定制的图像内容的视觉外观的能力。

背景技术：

1、通过使用复杂的运动估计或光流方法对时域中的图像数据进行数字处理，可以提高运动图片或视频内容的视觉质量。在这些方法中，在多个图像帧上跟踪每个像素的运动，并且对像素进行增强以获取更好的质量属性，包括降噪、去模糊、伪影去除和细节增强。但是，由于高度的计算复杂性，时间处理技术的计算过程非常耗时，并且随着图像分辨率的提高和运动跟踪算法越来越复杂，计算时间可能呈指数增长。该过程可能需要数小时或数天才能从计算作业中获取任何结果。如果所得到的视觉质量不令人满意，则用户对某些渲染参数进行调节，并且重新开始繁琐的计算工作。结果，对于可能处于非常紧迫的时间表和非常有限的生产预算下的典型的后期制作设备，很难对图像质量进行微调以使客户满意。

2、并且，图像内容通常跨多种类型的显示器发布，诸如电影院、打包媒体、有线电视、或者流送到平板电脑和移动设备。不同类型的显示平台在亮度、分辨率、清晰度、颜色、对比度、比特率等方面、或者在显示器是直接观看显示还是将图像投影到显示器上方面，都可能存在巨大差异，并且在考虑到这些差异的情况下处理图像数据，以在多个平台上保持一致的艺术风格或视觉外观。例如，可以针对具有有机（organic）“电影外貌（look）”的30英尺宽的磨砂电影院银幕来对运动图片进行定时。当电影被向上转换（up converted）以用于大型影院发布（诸如imax®的60英尺宽的银幕）时，保存在图像数据中的胶片颗粒会进一步受到抑制，以使得不会被过度放大。当要通过流媒体服务（诸如netflix®、amazon®或hulu®）发布电影以进行电视观看时，通常会重新制作图像数据以获取更高的亮度，rec.709色彩空间代替p3，并且具有更高级别的数据压缩。此外，来自同一流媒体服务提供商的同一电影也可能看起来有很大差异，部分原因是用于根据可用网络带宽来调节视频流质量的自适应流协议，部分原因是用户设备的显示质量不同。最近最新的uhd、hdr、wcg和hfr显示技术在市场上的迅速采用会进一步影响用于发布同一内容的不同显示平台之间的质量差距。

技术实现思路

1、本公开的各实施例涉及利用外观控件增强图像数据。

2、根据本公开的第一方面，提供了一种增强数字图像序列的方法，包括：接收具有多个图像帧的数字图像序列；根据数字图像序列生成多个主层图像序列，其中每个主层图像序列由相应的主层处理器生成，其中每个主层处理器包括一组图像处理方法和算法，从而使得每个主层图像序列表示独特的视觉风格；确定包括多个主层节点的外观图，其中每个主层图像序列由主层节点表示，从而使得多个主层节点中的每个主层节点表示相应的主层图像序列的独特的视觉风格；通过混合外观图的至少两个主层节点来生成第二层节点；以及通过混合与被混合以生成第二层节点的至少两个主层节点相对应的至少两个主层图像序列来生成与第二层节点相对应的增强图像序列。

3、根据本公开的第二方面，提供了一种系统，包括：处理设备；以及存储器设备，包括指令，指令能够由处理设备执行以使处理设备：接收具有多个图像帧的数字图像序列；根据数字图像序列生成多个主层图像序列，其中每个主层图像序列由相应的主层处理器生成，其中每个主层处理器包括一组图像处理方法和算法，从而使得每个主层图像序列表示独特的视觉风格；确定包括多个主层节点的外观图，其中每个主层图像序列由主层节点表示，从而使得多个主层节点中的每个主层节点表示相应的主层图像序列的独特的视觉风格；通过混合外观图的至少两个主层节点来生成第二层节点；以及通过混合与被混合以生成第二层节点的至少两个主层节点相对应的至少两个主层图像序列来生成与第二层节点相对应的增强图像序列。

4、根据本公开的第三方面，提供了一种非瞬态计算机可读介质，包括程序代码，程序代码能够由处理器执行以用于使处理器：接收具有多个图像帧的数字图像序列；根据数字图像序列生成多个主层图像序列，其中每个主层图像序列由相应的主层处理器生成，其中每个主层处理器包括一组图像处理方法和算法，从而使得每个主层图像序列表示独特的视觉风格；确定包括多个主层节点的外观图，其中每个主层图像序列由主层节点表示，从而使得多个主层节点中的每个主层节点表示相应的主层图像序列的独特的视觉风格；通过混合外观图的至少两个主层节点来生成第二层节点；以及通过混合与被混合以生成第二层节点的至少两个主层节点相对应的至少两个主层图像序列来生成与第二层节点相对应的增强图像序列。

5、根据本公开的第四方面，提供了一种增强数字图像序列的方法，包括：接收数字图像序列，数字图像序列具有多个图像帧并且为图像数据；使用表示独特的视觉风格的第一主层处理器，根据数字图像序列生成第一主层节点以表示具有独特的视觉风格的第一主层图像序列；使用第二主层处理器，根据数字图像序列生成第二主层节点以表示第二主层图像序列，第二主层图像序列为数字图像序列的未改变版本；通过混合第一主层节点和第二主层节点来生成第二层节点；以及通过混合分别与第一主层节点和第二主层节点相对应的第一主层图像序列和第二主层图像序列来生成与第二层节点相对应的增强图像序列。

6、根据本公开的第五方面，提供了一种系统，包括：处理设备；以及存储器设备，包括指令，指令能够由处理设备执行以使处理设备：接收数字图像序列，数字图像序列具有多个图像帧并且为图像数据；根据数字图像序列生成第一主层节点以表示具有独特的视觉风格的第一主层图像序列；根据数字图像序列生成第二主层节点以表示第二主层图像序列，第二主层图像序列为数字图像序列的未改变版本；通过混合第一主层节点和第二主层节点来生成第二层节点；以及通过混合分别与第一主层节点和第二主层节点相对应的第一主层图像序列和第二主层图像序列来生成与第二层节点相对应的增强图像序列。

1.一种增强数字图像序列的方法，所述方法包括：

2.根据权利要求1所述的方法，其中混合所述至少两个主层图像序列包括：向所述至少两个主层图像序列中的每个主层图像序列应用单独的权重，所述方法还包括：通过调节在混合时被使用的所述单独的权重来改善所述增强图像序列以实现特定视觉外观。

3.根据权利要求1所述的方法，还包括：

4.根据权利要求3所述的方法，其中将所述净板图像数据与所述超详细图像数据混合以产生所述增强数字图像数据包括：将所述净板图像数据和所述超详细图像数据与所述数字图像数据混合以产生所述增强数字图像数据。

5.根据权利要求3所述的方法，其中将所述净板图像数据与所述超详细图像数据混合以产生所述增强数字图像数据与观看者在显示器上观看所述增强数字图像数据同时被执行。

6.根据权利要求3所述的方法，还包括：

7.根据权利要求6所述的方法，其中针对所述至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的所述混合增强数字图像数据包括：使用从特征电影院类型呈现的电影导演被接收的混合输入。

8. 根据权利要求7所述的方法，还包括：

9.根据权利要求3所述的方法，其中将所述净板图像数据与所述超详细图像数据混合在流带宽阈值内被执行。

10.根据权利要求1所述的方法，其中所述至少两个主层图像序列中的一个主层图像序列在内容中与所述数字图像序列相对应。

11.根据权利要求10所述的方法，还包括：

12. 一种系统，包括：

13.根据权利要求12所述的系统，其中所述存储器设备包括指令，所述指令能够由所述处理设备执行以用于使所述处理设备：通过向所述至少两个主层图像序列中的每个主层图像序列应用单独的权重来混合所述至少两个主层图像序列，其中所述存储器设备还包括指令，所述指令能够由所述处理设备执行以用于通过调节在混合时被使用的所述权重来改善所述增强图像序列以实现特定视觉外观。

14.根据权利要求12所述的系统，其中所述存储器设备还包括指令，所述指令能够由所述处理设备执行以用于：

15.根据权利要求14所述的系统，其中所述存储器设备包括指令，所述指令能够由所述处理设备执行以用于使所述处理设备：通过将所述净板图像数据和所述超详细图像数据与所述数字图像数据混合以产生所述增强数字图像数据来将所述净板图像数据与所述超详细图像数据混合以产生所述增强数字图像数据。

16.根据权利要求14所述的系统，其中所述存储器设备包括指令，所述指令能够由所述处理设备执行以用于使所述处理设备：与观看者在显示器上观看所述增强数字图像数据同时地将所述净板图像数据与所述超详细图像数据混合以产生所述增强数字图像数据。

17.根据权利要求14所述的系统，其中所述存储器设备还包括指令，所述指令能够由所述处理设备执行以用于：

18.根据权利要求17所述的系统，其中所述存储器设备包括指令，所述指令能够由所述处理设备执行以用于使所述处理设备：通过使用从特征电影院类型呈现的电影导演被接收的混合输入来针对所述至少两个不同的对象或区域中的每个对象或区域不同地混合以产生针对每个对象或区域的所述混合增强数字图像数据。

19. 根据权利要求18所述的系统，其中所述存储器设备还包括指令，所述指令能够由所述处理设备执行以用于：

20.根据权利要求14所述的系统，其中所述存储器设备包括指令，所述指令能够由所述处理设备执行以用于使所述处理设备：将所述净板图像数据与所述超详细图像数据混合在流带宽阈值内。

21.根据权利要求12所述的系统，其中所述至少两个主层图像序列中的一个主层图像序列在内容中与所述数字图像序列相对应。

22.根据权利要求21所述的系统，其中所述存储器设备包括指令，所述指令能够被执行以用于使所述处理设备：通过使用不改变所述数字图像序列的图像内容的全通滤波器来生成在内容中与所述数字图像序列相对应的所述一个主层图像序列。

23.一种非瞬态计算机可读介质，包括程序代码，所述程序代码能够由处理器执行以用于使所述处理器：

24.根据权利要求23所述的非瞬态计算机可读介质，其中混合所述至少两个主层图像序列包括：向所述至少两个主层图像序列中的每个主层图像序列应用单独的权重，所述方法还包括：通过调节在混合时被使用的所述权重来改善所述增强图像序列以实现特定视觉外观，所述非瞬态计算机可读介质还包括程序代码，所述程序代码能够由所述处理器执行以用于：

25.根据权利要求23所述的非瞬态计算机可读介质，其中所述至少两个主层图像序列中的一个主层图像序列在内容中与所述数字图像序列相对应。

26.根据权利要求25所述的非瞬态计算机可读介质，其中所述程序代码能够被执行以用于使所述处理器：通过使用不改变所述数字图像序列的图像内容的全通滤波器来生成在内容中与所述数字图像序列相对应的所述一个主层图像序列。

27.一种增强数字图像序列的方法，所述方法包括：

28.根据权利要求27所述的方法，还包括：

29.根据权利要求27所述的方法，其中混合所述第一主层节点和所述第二主层节点包括向所述第一主层图像序列和所述第二主层图像序列中的每个主层图像序列应用单独的权重，所述方法还包括：通过调节在混合时被使用的所述单独的权重来改善所述增强图像序列以实现特定视觉外观。

30.根据权利要求27所述的方法，其中生成所述第二主层节点以表示所述第二主层图像序列包括：所述第二主层处理器使用不改变所述数字图像序列的图像内容的全通滤波器。

31.根据权利要求27所述的方法，其中所述第一主层节点表示根据所述数字图像序列的生成的净板图像序列，所述生成的净板图像序列的细节少于所述数字图像序列。

32.根据权利要求31所述的方法，其中所述生成的净板图像序列基本上不具有感知到的噪声。

33.根据权利要求31所述的方法，其中所述生成的净板图像序列基本上不具有相机噪声。

34.根据权利要求31所述的方法，其中所述净板图像序列基本上不具有胶片颗粒。

35.根据权利要求27所述的方法，其中混合以产生所述增强图像序列与观看者在显示器上观看所述增强图像序列同时被执行。

36.根据权利要求27所述的方法，还包括：

37.根据权利要求27所述的方法，其中混合在流带宽阈值内被执行。

38. 一种系统，包括：

39.根据权利要求38所述的系统，其中所述存储器设备还包括指令，所述指令能够由所述处理设备执行以用于：

40. 根据权利要求38所述的系统，其中所述存储器设备包括指令，所述指令能够由所述处理设备执行以用于使所述处理设备：

41.根据权利要求38所述的系统，其中所述存储器设备包括指令，所述指令能够由所述处理设备执行以用于使所述处理设备：使用不改变所述数字图像序列的图像内容的全通滤波器生成所述第二主层节点以表示所述第二主层图像序列。

42.根据权利要求38所述的系统，其中所述第一主层节点表示根据所述数字图像序列的生成的净板图像序列，所述生成的净板图像序列的细节少于所述数字图像序列。

43.根据权利要求42所述的系统，其中所述生成的净板图像序列基本上不具有感知到的噪声。

44.根据权利要求42所述的系统，其中所述生成的净板图像序列基本上不具有相机噪声。

45.根据权利要求42所述的系统，其中所述净板图像序列基本上不具有胶片颗粒。

46.根据权利要求38所述的系统，其中所述系统被配置为与观看者在显示器上观看所述增强图像序列同时地混合以产生所述增强图像序列。

47.根据权利要求38所述的系统，其中所述存储器设备还包括指令，所述指令能够由所述处理设备执行以用于：

48.根据权利要求38所述的系统，其中所述系统被配置为在流带宽阈值内混合。