胶片颗粒重复图案评分的制作方法

本公开的方面总体涉及对重复胶片颗粒图案的检测与惩罚。

背景技术：

1、胶片颗粒本质上是视频或静止图像帧中的特定随机噪声。胶片颗粒可以源自模拟胶片采集过程，即由于加工后的摄影胶片中存在小的金属银颗粒而形成的随机光学纹理。胶片颗粒也可以在内容制作和后期制作流水线中有意地、数字化地合成。在任一情况下，胶片颗粒的视觉感受可以被视为内容制作者艺术或创作意图的一部分。

技术实现思路

1、当在图像内容流式传输过程中使用编码器时，例如使用编码器将内容放到网络上，以便由具有显示器以观看图像的观看设备接收和解码，在视频分发中保留此类创作意图可能具有挑战性。例如，由于将图像数据传输至观看设备所应用的过程，例如将图像数据放到网络上以及从网络接收图像数据并在观看设备或处理图像数据后将图像数据传送到观看设备的机顶单元内进一步处理的过程，视觉伪影可能在观看设备上变得明显。视频编码器将胶片颗粒视为与其他类型的噪声没有区别地处理，可能导致编码器消耗大量比特来编码胶片颗粒。减少编码和解码以在观看设备上显示带有胶片颗粒的图像内容所需的比特数，需要开发能够最小化或消除观看显示器上不期望的胶片颗粒相关伪影的技术。本文公开了一种解决胶片颗粒相关伪影的技术。

2、可能出现的一种胶片颗粒相关图像伪影是可感知的重复胶片颗粒图案，其在接收到旨在作为带有胶片颗粒的图像显示的解码图像内容的显示器上变得可见。可感知的重复胶片颗粒图案是指这样的图像帧：其中图像的部分表现出可感知的胶片颗粒图像纹理重复图案，该图案相对于源图像或原始图像在视觉上不自然或者是不可接受的图像质量。为了解决可感知的重复胶片颗粒图案伪影，可以创建重复胶片颗粒图案质量指标，以允许执行可感知颗粒图案质量评估，从而促进优化以减少或消除可感知的重复胶片颗粒图案伪影在观看设备上变得可见。

3、在一个或多个说明性示例中，执行一种用于进行颗粒图案质量评估（grapqa）的方法。对输入帧的辉度通道执行均值滤波，以生成均值帧。从输入帧中减去均值帧，以创建均值相减帧。在均值相减帧与胶片颗粒模板之间执行局部相似性相关测量。对局部相似性相关测量的结果进行评分，以生成输入帧的颗粒图案质量分数。

4、在一个或多个说明性示例中，一种用于执行颗粒图案质量评估（grapqa）的系统包括一个或多个硬件计算设备，其被配置为：对输入帧的辉度通道执行均值滤波，以生成均值帧；从输入帧中减去均值帧，以创建均值相减帧；在均值相减帧与胶片颗粒模板之间执行局部相似性相关测量；以及对局部相似性相关测量的结果进行评分，以生成输入帧的颗粒图案质量分数。

1.一种用于执行输入帧的颗粒图案质量评估grapqa的方法，包括：

2.根据权利要求1所述的方法，其中，所述输入帧是要添加合成胶片颗粒的数字图像帧，并且所述胶片颗粒模型参数从所述输入帧之外的源接收。

3.根据权利要求1所述的方法，其中，所述输入帧是经解码的编码帧，并且所述胶片颗粒模型参数从编码的输入帧中解码得到。

4.根据权利要求1所述的方法，其中，所述均值滤波是在所述输入帧的亮度通道或辉度通道上执行的。

5.根据权利要求1所述的方法，还包括：针对所述输入帧的亮度通道或辉度通道，以预定义固定颗粒块大小生成所述胶片颗粒模板。

6. 根据权利要求1所述的方法，其中，所述局部相似性相关测量通过以下方式执行：

7.根据权利要求6所述的方法，其中，所述滑动是使用与所述胶片颗粒模板的颗粒块大小相对应的滑动窗口大小来执行。

8. 根据权利要求6所述的方法，其中，所述局部相似性相关是绝对局部余弦相似性测量，其根据以下等式执行：

9.根据权利要求8所述的方法，还包括：

10.根据权利要求1所述的方法，其中，所述均值帧与输入帧之间的二维卷积、平方形式的所述均值相减帧与全1核之间的二维卷积、以及所述均值相减帧与颗粒模板之间的二维卷积中的一个或多个在频域中作为二维快速傅里叶变换执行。

11.根据权利要求1所述的方法，还包括：

12. 根据权利要求11所述的方法，其中，所述预定义数量为100，并且其中所述grapqa分数被缩放到范围 [0，1] 内。

13.根据权利要求1所述的方法，其中，grapqa分数值越低表示检测到越多的重复胶片颗粒图案实例，因此感知质量越低；grapqa分数值越高表示检测到越少的重复胶片颗粒图案实例，因此感知质量越高。

14. 根据权利要求1所述的方法，其中，所述输入帧是视频的帧，并且所述方法还包括：

15.一种用于执行颗粒图案质量评估grapqa的系统，包括：

16.根据权利要求15所述的系统，其中，所述一个或多个硬件计算设备还配置为处理所述输入帧，所述输入帧是要添加合成胶片颗粒的数字图像帧，并且所述胶片颗粒模型参数从所述输入帧之外的源接收。

17.根据权利要求15所述的系统，其中，所述一个或多个硬件计算设备还配置为对编码的输入帧进行解码，其中所述胶片颗粒模型参数从所述编码的输入帧中解码。

18.根据权利要求15所述的系统，其中，所述一个或多个硬件计算设备还配置为对所述输入帧的亮度通道或辉度通道执行均值滤波。

19.根据权利要求15所述的系统，其中，所述一个或多个硬件计算设备还配置为针对输入帧的亮度通道或辉度通道，以预定义固定颗粒块大小生成所述胶片颗粒模板。

20. 根据权利要求15所述的系统，其中，所述一个或多个硬件计算设备还配置为通过包括以下的操作执行所述局部相似性相关测量：

21.根据权利要求20所述的系统，其中，所述滑动是使用与所述胶片颗粒模板的颗粒块大小相对应的滑动窗口大小来执行。

22. 根据权利要求20所述的系统，其中，所述局部相似性相关测量是根据以下等式执行的绝对局部余弦相似性测量：

23.根据权利要求22所述的系统，其中，所述一个或多个硬件计算设备还配置为：

24.根据权利要求15所述的系统，其中，所述均值帧与输入帧之间的二维卷积、平方形式的所述均值相减帧与全1核之间的二维卷积、以及所述均值相减帧与颗粒模板之间的二维卷积中的一个或多个在频域中作为二维快速傅里叶变换执行。

25.根据权利要求15所述的系统，其中，所述一个或多个硬件计算设备还配置为：

26.根据权利要求25所述的系统，其中，所述预定义数量为100，并且其中所述grapqa分数被缩放到范围[0，1]内。

27.根据权利要求15所述的系统，其中，grapqa分数值越低表示检测到越多的重复胶片颗粒图案实例，因此感知质量越低；grapqa分数值越高表示检测到越少的重复胶片颗粒图案实例，因此感知质量越高。

28. 根据权利要求15所述的系统，其中，所述输入帧是视频的帧，并且其中所述一个或多个硬件计算设备还配置为：

29.根据权利要求15所述的系统，其中，所述系统作为升级集成到用于传输视频的端到端系统的处理器中。

30.根据权利要求29所述的系统，其中，所述处理器位于所述端到端系统的网络之前，所述网络被配置用于传输编码视频资产。

31.根据权利要求29所述的系统，其中，所述处理器位于所述端到端系统的网络之后，所述网络被配置用于传输编码视频资产。

32.一种非暂时性计算机可读介质，包括用于执行重复胶片颗粒图案的grapqa评估的指令，所述指令当由一个或多个硬件计算设备执行时，使所述一个或多个硬件计算设备执行包括以下的操作：