一种帧处理设备、方法及帧处理器与流程

1.本发明涉及图像处理技术，并且更具体地，涉及用于处理具有混叠伪像(aliasing artifact)的图像的人工智能(artificial intelligence，ai)引擎。


背景技术：

2.本文提供的背景技术的描述是为了从总体上呈现本发明的内容。本发明的发明人的工作，包括本背景技术部分描述的内容以及说明书中在申请日时不符合现有技术的那些方面，它们都不应当被明确地或暗含地认为是本发明的现有技术。
3.图像(image)或帧(frame)可以显示在移动电话上。所述帧可以包括通过互联网(internet)且来自云源端的视频帧和由移动电话的处理器(例如，图形处理单元(graphics processing unit，gpu))产生的游戏视频。受internet带宽以及移动电话尺寸和分辨率的限制，视频帧和游戏帧可能具有较低的分辨率和具有混叠特性。


技术实现要素：

4.本发明提供帧处理设备、方法及帧处理器，可有助于消除帧的混叠伪像。
5.本发明提供的一种帧处理设备，包括：运动估计电路，被配置为估计当前帧和先前帧之间的运动数据；变形电路，耦接至所述运动估计电路，被配置基于所述运动数据对所述先前帧进行变形，使得所述变形的所述先前帧与所述当前帧对齐，并确定所述当前帧与所述变形的先前帧是否一致；和临时决定电路，与所述变形电路耦接，被配置为生成输出帧，当所述当前帧和所述变形后的先前帧一致时，所述输出帧包括所述当前帧和所述变形后的先前帧。
6.本发明提供的帧处理器器，包括：超分辨率(sr)和抗混叠(aa)引擎，用于接收训练帧并增强所述训练帧的分辨率并消除所述训练帧的混叠伪像，以生成具有混叠伪像的第一高分辨率帧和消除了混叠伪像的第二高分辨率帧；和连接到所述sr和aa引擎的关注参考帧生成器，其被配置为基于所述第一高分辨率帧和所述第二高分辨率帧生成关注参考帧。
7.本发明提供的帧的处理方法，包括：估计当前帧和先前帧之间的运动数据；基于所述运动数据使所述先前帧变形，使得所述变形后的先前帧与所述当前帧对齐；和生成输出帧，当所述当前帧和所述变形后的先前帧一致时，所述输出帧包括所述当前帧和所述变形后的先前帧。
附图说明
8.图1根据本发明的一些实施例示出了示例性的虚拟高分辨率图像110如何被显示在低分辨率的光栅显示器100上。
9.图2根据本发明的一些实施例示出了示例性的三角形110如何能够在应用了msaa的情况下显示在低分辨率光栅显示器100上。
10.图3根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性
设备300的功能框图。
11.图4根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性帧处理器400的功能框图。
12.图5根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性帧处理器500的功能框图。
13.图6根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性方法600的流程图。
14.图7根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性方法700的流程图。
具体实施方式
15.在说明书及权利要求书当中使用了某些词汇来指称特定的组件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及权利要求当中所提及的“包含”及“包括”为一开放式的用语，故应解释成“包含但不限定于”。“大体上”或“大约”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”或“耦合”一词在此包含任何直接及间接的电性连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电性连接于该第二装置，或通过其它装置或连接手段间接地电性连接至该第二装置。以下所述为实施本发明的较佳方式，目的在于说明本发明的精神而非用以限定本发明的保护范围，本发明的保护范围当视权利要求书所界定者为准。
16.接下面的描述为本发明预期的最优实施例。这些描述用于阐述本发明的大致原则而不应用于限制本发明。本发明的保护范围应在参考本发明的权利要求书的基础上进行认定。
17.超分辨率(super-resolution，sr)技术可以从低分辨率图像重建高分辨率图像，所述低分辨率图像可由包括的传感器数量不足的图像捕获设备捕获。抗混叠(anti-aliasing，aa)技术可以提高具有混叠伪像的低分辨率图像的质量。但是，在sr和aa操作之后，图像的某些信息可能会丢失。例如，当原始图像(例如，连续帧流中的当前帧)中的对象(例如登机梯)水平移动时，在移除了混叠伪像后，登机梯的某些垂直部分(例如栏杆)可能会消失而不显示在已处理的图像中。代替在sr和aa操作期间仅处理原始图像，当附加图像和原始图像满足某些要求时，本发明还可进一步考虑至少一个附加图像(例如，连续帧流中的先前帧)。在一个实施例中，可以首先确定附加图像和原始图像之间的运动数据(motion data)，然后可以基于该运动数据使附加图像变形(warp)，使得变形后的附加图像可以与原始图像对齐(aligned)，并且当变形后的附加图像和原始图像一致时，变形后的附加图像可以在对原始图像执行sr和aa的操作中进一步被使用。根据本发明的一些其他实施例，可以将分辨率被增强后的帧与消除了混叠伪像的帧进行比较，以生成关注参考帧(attention reference frame)，该关注参考帧包括这两个帧之间的关键差异信息。在一个实施例中，可以使用关注参考帧训练神经网络(neuralnetwork，nn)，然后，训练后的nn可以增强另一帧的分辨率，并使用所述另一帧增强后的分辨率移除所述另一帧的混叠伪像，其中，仅关注所
述关注参考帧中包含的关键信息(也即，所述关键差异信息)来增强所述另一帧的分辨率。
18.在大多数数字成像应用中，始终期望具有更高分辨率的数字图像用于后续图像处理和分析。数字图像的分辨率越高，数字图像的细节越多。数字图像的分辨率可以分类为例如像素分辨率(pixel resolution)，空间分辨率(spatial resolution)，时间分辨率(temporalresolution)和光谱分辨率(spectral resolution)。空间分辨率可能会受到图像捕获设备和图像显示设备的限制。例如，电荷耦接设备(charge-coupled device，ccd)和互补金属氧化物半导体(complementarymetal-oxide-semiconductor，cmos)是图像捕获设备中使用最广泛的图像传感器。传感器的尺寸和每单位面积的传感器数量可以确定图像捕获设备捕获的图像的空间分辨率。具有高传感器密度的图像捕获设备可以生成高分辨率图像，但是消耗很多功率并且具有高硬件成本。
19.传感器数量不足的图像捕获设备可能会生成低分辨率图像。这样生成的低分辨率图像将具有失真伪影或锯齿状边缘(称为混叠)，每当使用位于精确行(row)和列(column)中的像素创建非矩形形状时，就会发生这种混叠。当以较低的分辨率表示高分辨率图像时，会发生混叠。混叠可能会分散计算机(pc)或行动设备用户的注意力。
20.图1根据本发明的一些实施例示出了示例性的虚拟高分辨率图像110如何被显示在低分辨率的光栅显示器100上。显示器100可以具有位于行和列中的多个像素120。十字“ ”代表像素120的取样点130，取样点130用于确定是否会为像素生成片段(fragment)。例如，当取样点130a未被图像110(例如三角形像素)覆盖时，即使像素120a的一部分被该三角形110覆盖，也不会为具有取样点130a的像素120a生成片段；当取样点130b被三角形110覆盖时，即使像素120b的一部分未被三角形110覆盖，也将为具有取样点130b的像素120b生成片段。因此显示器100渲染(render)的三角形110被示为具有锯齿状边缘。
21.抗混叠是一种通过以比预期最终输出速率高的速率对图像进行过取样从而消除(smooth)图像的锯齿状边缘来解决混叠问题的技术。例如，多样本抗混叠(multisampleanti-aliasing，msaa)是为解决出现在三角形110边缘的混叠而提出的超取样抗混叠(supersampling anti-aliasing，ssaa)算法之一，其可以将显示器的每个像素模拟为具有多个子像素，并根据被目标图像覆盖的子像素的数量确定像素的颜色。图2根据本发明的一些实施例示出了示例性的三角形110如何能够在应用了msaa的情况下显示在低分辨率光栅显示器100上。msaa可以将每个像素120模拟为具有2x2个子像素220，每个子像素均具有一个子取样点230，并根据三角形110所覆盖的子取样点230的数量确定像素120的颜色。例如，当没有子取样点230a被三角形110覆盖，不会为具有取样点230a的像素120a生成片段，且像素120a是空白的；当三角形110仅覆盖一个子取样点230b时，具有取样点230b的像素120b将具有浅色，例如，三角形110的颜色的四分之一，其可以由片段着色器估计；当三角形110仅覆盖两个子取样点230c时，具有取样点230c的像素120c将具有比像素120b暗的颜色，例如，三角形110的颜色的一半；当三角形110覆盖多达三个子取样点230d时，具有取样点230d的像素120d将具有比像素120c更暗的颜色，例如，三角形110的颜色的四分之三；当所有子取样点230e被三角形110覆盖时，具有取样点230e的像素120e将具有与图1所示的像素120b相同的最暗颜色。因此致使渲染在显示器100上的应用了msaa三角形110与未施加msaa的图1的显示器100上渲染的三角形110相比，具有更平滑的边缘。
22.如图2所示，每个像素120采用2x2子取样点230的规则网格来确定其颜色。在一个
实施例中，每个像素120还可以采用1
×
2或2
×
1或4
×
4或8
×
8子取样点230的规则网格来确定其颜色。在另一个实施例中，每个像素120还可以使用2
×
2子取样点230，即，旋转网格超取样(rotated grid supersampling，rgss)，以及五个子取样点230(例如，梅花形抗混叠)，其中所述五个子取样点中的四个分别与其他四个其他像素共享。随着子像素数量的增加，计算变得昂贵并且需要大的内存。msaa可以通过诸如卷积加速器和图形处理单元(graphics processing unit，gpu)之类的人工智能(ai)处理器执行，这样的处理器被设计为加速旨在输出到显示器的图像在图像缓冲区中的创建，以便从中央处理器(cpu)上卸除图形处理操作。桌面gpu可以使用实时模式渲染(rendering)。实时模式gpu需要片外主存储器(例如dram)来存储大量的多取样像素数据，并且必须访问dram以从多取样像素数据中获取当前片段的像素坐标以为每个片段着色(shading)，这会占用大量带宽。本发明提出了一种基于移动电话图块(tile-based)的gpu，以最大程度减少片段着色期间gpu所需的外部内存访问量。基于图块的gpu将图像缓冲区从片外内存移出，并将其移入高速片上内存(即需要访问较少的电源的图块缓冲区)。不同的gpu中图块缓冲区的大小可能有所不同，但图块缓冲区最小可以小至16x16像素。为了使用这样的小图块缓冲区，基于图块的gpu将渲染目标(rendertarget)拆分为小图块，并一次渲染一个图块。渲染完成后，将图块复制到外部内存中。在拆分渲染目标之前，基于图块的gpu必须将大量几何数据(即每个顶点变化的数据和图块中间状态)存储到主存储器中，这将牺牲(compromise)一部分用于图像缓冲区数据的带宽节省。
23.图3根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性设备300的功能框图。设备300可以增强当前帧的分辨率(例如，通过超分辨率技术)，并且可以通过仅处理当前帧，或者当前帧和变形后的与当前帧对齐的先前帧来消除增强了分辨率的当前帧的混叠伪像，以尽可能保留当前帧中包含的信息。例如，设备300可以包括运动估计电路310，变形电路320和临时决定(temporal decision)电路330。
24.运动估计电路310可以接收至少包括当前帧和一先前帧的多个连续图像或帧。例如，当前帧和先前帧可以是视频帧流，其可能是通过internet获取的来自云源端的低分辨率信号并具有混叠特性。作为另一示例，当前帧和先前帧可以是由移动电话的处理器(例如，gpu)生成的游戏帧。受移动电话的尺寸和分辨率限制，游戏帧也可能是低分辨率的，因此具有混叠特性。运动估计电路310可以估计当前帧和先前帧之间的运动数据。例如，运动资料可以包括先前帧移动到当前帧的方向以及从先前帧移动到当前帧需要多远(例如，多个像素)。在一个实施例中，运动估计电路310可以是可以被训练以估计当前帧和先前帧之间的运动数据的神经网络。在另一实施例中，运动估计电路310可以使用绝对差之和(sum ofabsolute difference，sad)方法，平均绝对差(meanabsolute difference，mad)方法，平方差之和(sum ofsquared difference，ssd)方法，零均值sad方法，局部缩放的sad方法或归一化互相关(normalized cross correlation，ncc)方法估计运动数据。例如，在sad操作中，可以提取先前帧的一个块(patch)并将其向右移位一个值，并且先前帧移位后的块的像素与当前帧的对应块的像素之间的绝对差的第一和可以被计算出来。先前帧的该移位后的块可进一步向右移位该值，并且先前帧进一步移位后的块的像素与当前帧的对应块的像素之间的绝对差的第二和也可被计算出来。当第一和小于第二和时，该运动数据可以等于该值，或者当第二和小于第一和时，该运动数据可以等于该值的两倍。
25.变形电路320可以耦接到运动估计电路310，并且基于运动数据来变形先前帧，使得变形后的先前帧与当前帧对齐。例如，变形电路320可以基于运动数据将先前帧的结构(texture)/形状与当前帧几何对齐。在一个实施例中，当第一和小于第二和时，变形电路320可以基于该值向右变形先前帧。在另一个实施例中，当第二和小于第一和时，变形电路320可以以该值的两倍向右变形先前帧。例如，变形电路320可以沿着先前帧的行线性插入像素，然后再沿着列插入，以将先前帧中最接近s的四个像素的双线性函数(bilinear function)值分配给当前帧的参考像素位置，并在双立方插值(bicubic interpolation)中使用16个最近的邻居及使用双立方波形(bicubic waveform)来减少重取样伪像。在一个实施例中，当移位后的先前帧与当前帧匹配时，变形电路320可以变形先前帧。例如，当第一和小于第二和且小于和阈值时，变形电路320可以基于该值向右变形先前帧。作为另一示例，当第二和小于第一和且小于和阈值时，变形电路320可以基于该值的两倍向右变形先前帧。在另一个实施例中，当运动数据小于运动阈值时，变形电路320可以变形先前帧。例如，运动阈值可以是该值的三倍，无论先前帧向右移位三倍所述值后的块的像素与当前帧的对应块之间的像素的绝对差的第三和是否是小于第一和，第二和及运动阈值，变形电路320均不基于该三倍所述值向右变形先前帧。在另一个实施例中，变形电路320还可以确定当前帧和变形后的先前帧是否一致。例如，变形电路320可以基于当前帧和变形后的先前帧之间的互相关来确定当前帧和变形后的先前帧的一致性信息。例如，当互相关超过阈值时，变形电路320可以确定变形后的先前帧和当前帧是一致的。
26.临时决定电路330可以耦接到变形电路320并且被配置为生成输出帧。例如，当当前帧和变形后的先前帧一致时，输出帧可以包括当前帧和变形后的先前帧。作为另一示例，当当前帧和变形后的先前帧不一致时，输出帧可以仅包括当前帧。在一些实施例中，临时决定电路330可以进一步耦接到运动估计电路310，并且当运动数据等于或超过运动阈值时，输出帧可以仅包括当前帧。
27.如图3所示，设备300可以进一步包括帧融合电路340。帧融合电路340可以耦接到临时决定电路330，并且融合包括当前帧和变形后的先前帧的输出帧。例如，帧融合电路340可以通过逐信道(channel-wise)方式将变形后的先前帧连接到(concatenate)当前帧。作为另一示例，帧融合电路340可以将变形后的先前帧添加到当前帧以生成单个帧。如图3所示，设备300还可以包括帧处理器350。帧处理器350可以耦接到帧融合电路340并处理从帧融合电路340输出的帧，该帧可以是当前帧，当前帧连接到变形的先前帧，或所述单个帧。例如，帧处理器350可以调整当前帧的尺寸或增强当前帧的分辨率，并使用当前帧增强后的分辨率来消除当前帧的混叠伪像。在一个实施例中，可以省略帧融合电路340，并且可以将帧处理器350直接耦接至临时决定电路330，并处理当前帧，或当前帧和变形后的先前帧。由于变形后的先前帧也可以由变形电路320生成并且在变形后的先前帧与当前帧一致时被输出到帧处理器350，因此帧处理器350可以增强当前帧的分辨率并通过进一步考虑变形后的先前帧来消除增强分辨率后的当前帧的混叠伪像。在这种情况下，与仅考虑当前帧来处理当前帧相比，被处理的当前帧将丢失较少的信息。
28.图4根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性帧处理器400的功能框图。帧处理器400可以耦接到设备300的临时决定电路330或帧融合电路340。帧处理器400可以包括关注参考帧生成器430和耦接到关注参考帧生成器430的人工
智能(ai)神经网络(nn)440。关注参考帧生成器430可以基于具有混叠伪像的第一高分辨率帧和消除了混叠伪像的第二高分辨率帧来生成关注参考帧。例如，关注参考帧生成器430可以比较第一帧(也即，该第一高分辨率帧)和第二帧(也即，该第二高分辨率帧)以捕获第一帧区别于第二帧的关键信息。ai nn 440可以基于关注参考帧消除另一帧(例如低分辨率的当前帧)的混叠伪像。例如，可以通过使用关注参考帧来训练ai nn 440，然后ai nn 440增强低分辨率帧的分辨率，并使用低分辨率帧增强后的分辨率消除低分辨率帧的混叠伪像，其中仅关注低分辨率帧中与包括在关注参考帧中的关键信息相对应的一部分来增强所述低分辨率帧的分辨率。
29.图5根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性帧处理器500的功能框图。帧处理器500可以耦接到设备300的临时决定电路330或帧融合电路340。帧处理器500可以包括尺寸调整或超分辨率(sr)和抗混叠(aa)引擎501，与sr和aa引擎501耦接的关注参考帧生成器430以及ai nn440。sr和aa引擎501可以生成具有混叠伪像的第一高分辨率帧和已消除混叠伪像的第二高分辨率帧。在一个实施例中，sr和aa引擎501可以包括sr引擎510，其可以增强可能具有混叠伪像的帧的分辨率以生成增强分辨率的帧，例如，具有混叠伪像的第一高分辨率帧。例如，sr引擎510可以是人工智能(ai)sr引擎。在另一个实施例中，sr和aa引擎501可以进一步包括耦接到sr引擎510的aa引擎520，其可以消除增强分辨率的帧的混叠伪像以生成抗混叠帧，例如消除了混叠伪像的第二高分辨率帧。例如，aa引擎520可以是aiaa引擎。在另一实施例中，aa引擎520可以被布置在sr引擎510的前面。在这种情况下，一个帧(具有混叠伪像的帧)将被aa引擎520首先消除其混叠伪像，然后两个帧(具有混叠伪像的帧和aa引擎520消除混叠伪像的帧)将透过sr引擎510增强它们的分辨率，由此得到具有混叠伪像的第一高分辨率帧和消除了混叠伪像的第二高分辨率帧。关注参考帧生成器430可基于增强分辨率的帧(也即，具有混叠伪像的第一高分辨率帧)和消除抗混叠的帧(也即，消除了混叠伪像的第二高分辨率帧)来生成关注参考帧。例如，关注参考帧生成器430可以将增强分辨率的帧和消除抗混叠的帧进行比较以捕获增强分辨率的帧中与抗混叠的帧有区别的关键信息。
30.图6根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性方法600的流程图。当帧处理器400和500正在消除低分辨率帧的混叠伪像时，方法600可以向帧处理器，例如帧处理器400和500，提供附加的变形后的先前帧。在各种实施例中，方法600所示的一些步骤可以同时执行，以与图6所示顺序不同的顺序执行，被其他方法步骤代替，或者可以省略。还可以根据需要执行额外的方法步骤。方法600的各方面可以由前面基于附图示出或描述的设备300来实施。
31.在步骤610，可以估计当前帧和先前帧之间的运动数据。
32.在步骤620，可以基于所述运动数据变形所述先前帧，以使变形后的所述先前帧与所述当前帧对齐。
33.在步骤630，可以生成输出帧。例如，当所述当前帧和所述变形后的先前帧一致时，所述输出帧可以包括所述当前帧和所述变形后的先前帧。作为另一示例，当所述当前帧与所述变形后的先前帧不一致时，所述输出帧可以仅包括所述当前帧。然后，方法600可以处理所述输出帧。在步骤640，可以对输入帧(也即，步骤630的所述输出帧)执行ai模型(也即，训练后的ai神经网络)以生成消除了混叠伪像的aa帧或aa sr帧。
34.图7根据本发明的一些实施例示出了用于处理具有混叠伪像的图像或帧的示例性方法700的流程图。在各个实施例中，方法700所示的一些步骤可以同时执行，以与图7所示顺序不同的顺序执行，被其他方法步骤代替，或者可以省略。还可以根据需要执行额外的方法步骤。方法700的各方面可以由前面基于附图示出或描述的帧300处理器400和500来实施。可通过方法700获得训练的ai神经网络。
35.在步骤710，接收具有混叠伪像的第一高分辨率帧和混叠伪像被消除的第二高分辨率帧，例如。用于产生具有混叠伪像的第一高分辨率帧和混叠伪像被消除的第二高分辨率帧的原始输入可为在训练ai神经网络的阶段提供至sr和aa引擎501的训练帧。
36.在步骤720，可以基于所述第一帧(也即，第一高分辨率帧)和所述第二帧(也即，第二高分辨率帧)生成关注参考帧。在一个实施例中，关注参考帧可以包括所述第一帧的关键信息，所述关键信息是所述第一帧区别于所述第二帧的信息。
37.在步骤730，可以使用低分辨率帧(例如，在训练ai神经网络时，临时决定电路330所生成的输出帧)和所述关注参考帧来训练ai nn。
38.在步骤740，可以确定ai模型(aa或aa sr)的参数。
39.在步骤750，可以获得参数被确定或冻结的ai模型(aa或aa sr)(也即，训练后的ai神经网络)(例如，方法600之步骤640所使用之ai模型)。
40.在根据本发明的一个实施例中，运动估计电路310，变形电路320，临时决定电路330和帧融合电路340可以包括被配置为与软件结合或在没有软件的情况下执行本文描述的功能和过程的电路。在另一个实施例中，运动估计电路310，变形电路320，临时决定电路330和帧融合电路340可以是数字信号处理器(digital signal processor，dsp)，专用集成电路(application specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)，现场可编程门数组(field programmable gatearray，fpga)，数字增强电路或类似设备或其组合。在根据本发明的另一实施例中，运动估计电路310，变形电路320，临时决定电路330和帧融合电路340可以是中央处理单元(central processing unit，cpu)，其被配置为执行程序指令以执行本文所述的各种功能和方法。在各种实施例中，运动估计电路310，变形电路320，临时决定电路330和帧融合电路340可以彼此不同。在一些其他实施例中，运动估计电路310，变形电路320，临时决定电路330和帧融合电路340可以被包括在单个芯片中。
41.设备300以及帧处理器400和500可选择性地包括其他组件，例如输入和输出设备，附加的信号处理电路等。因此，设备300以及帧处理器400和500可能能够执行其他附加功能，例如执行应用程序，以及处理备选通信协议。
42.本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视权利要求所界定者为准。