自动伪影检测的制作方法

自动伪影检测
1.相关申请的交叉引用
2.本技术要求2020年6月5日提交的名称为“自动伪影检测(automated artifact detection)”的美国临时申请第63/035,625号和2020年9月23日提交的名称为“自动伪影检测(automated artifact detection)”的美国非临时申请第17/030,250号的权益，其全部内容在此通过引用并入本文。


背景技术：

3.视频(诸如由视频游戏生成的帧序列)有时包括毛刺失真。没有任何已知的自动系统能够检测此类视频是否包括毛刺失真。
附图说明
4.可以从以举例的方式结合附图给出的以下描述中获得更详细的理解，其中：
5.图1a是可实施本公开的一个或多个特征的示例性计算设备的框图；
6.图1b示出了根据一个示例的训练设备；
7.图1c示出了根据一个示例的评估设备，该评估设备包括用于基于经训练的网络生成输入数据的分类的评估系统；
8.图2示出了根据一个示例的用于训练生成器和鉴别器以生成有毛刺失真和无毛刺失真图像并且对具有或不具有毛刺失真的图像进行分类的网络；
9.图3a是生成用于将图像分类成包含或不包含毛刺失真的分类器的方法的流程图；并且
10.图3b是根据一个示例的用于将图像分类成包含毛刺失真或不包含毛刺失真的方法的流程图。
具体实施方式
11.提供了一种用于生成经训练的鉴别器的技术。该技术包括将有毛刺失真图像或无毛刺失真图像中的一个或多个施加到鉴别器；从该鉴别器接收分类输出；调节该鉴别器的权重，以提高该鉴别器的分类精度；将噪声施加到生成器；从该生成器接收输出图像；将该输出图像施加到该鉴别器以获得分类；以及基于该分类，调节该鉴别器或该生成器中一者的权重以提高该生成器的能力以降低该鉴别器的分类精度。
12.图1a是可实施本公开的一个或多个特征的示例性计算设备100的框图。计算设备100可以是例如计算机、游戏设备、手持设备、机顶盒、电视、移动电话、平板计算机或其他计算设备中的一者但不限于这些项。设备100包括一个或多个处理器102、存储器104、存储装置106、一个或多个输入设备108以及一个或多个输出设备110。设备100还包括一个或多个输入驱动器112和一个或多个输出驱动器114。输入驱动器112中的任一者具体体现为硬件、硬件与软件的组合或软件，并且用于控制输入设备112的目的(例如，控制操作、从输入驱动器112接收输入以及向输入驱动器提供数据)。类似地，输出驱动器114中的任一者具体体现
为硬件、硬件与软件的组合或软件，并且用于控制输出设备114的目的(例如，控制操作、从输出驱动器114接收输入以及向输出驱动器提供数据)。应当理解，设备100可包括图1a中未示出的附加部件。
13.在各种另选方案中，所述一个或多个处理器102包括中央处理单元(cpu)、图形处理单元(gpu)、位于同一管芯上的cpu和gpu、或一个或多个处理器核心，其中每个处理器核心可为cpu或gpu。在各种另选方案中，存储器104与所述一个或多个处理器102中的一者或多者位于同一管芯上，或者与所述一个或多个处理器102分开定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器(ram)、动态ram或高速缓存。
14.存储装置106包括固定或可移动存储器，例如但不限于硬盘驱动器、固态驱动器、光盘或闪存驱动器。输入设备108包括但不限于键盘、小键盘、触摸屏、触摸板、检测器、麦克风、加速度计、陀螺仪、生物扫描仪或网络连接(例如，用于发射和/或接收无线ieee 802信号的无线局域网卡)。输出设备110包括但不限于显示器、扬声器、打印机、触觉反馈设备、一个或多个灯、天线或网络连接(例如，用于发射和/或接收无线ieee802信号的无线局域网卡)。
15.输入驱动器112和输出驱动器114包括分别交接并驱动输入设备108和输出设备110的一个或多个硬件、软件和/或固件部件。输入驱动器112与所述一个或多个处理器102和输入设备108通信并且允许所述一个或多个处理器102从输入设备108接收输入。输出驱动器114与所述一个或多个处理器102和输出设备110通信并且允许所述一个或多个处理器102向输出设备110发送输出。
16.在各种具体实施中，设备100包括评估系统120和训练系统122中的一者或两者。评估系统120能够检测图像(诸如由视频游戏生成的那些)中的图形异常(“毛刺失真”)。训练系统122训练评估系统120的网络的一个或多个机器学习部件(有时被称为“分类器”)以识别毛刺失真。
17.设备100的一些具体实施包括被配置为训练机器学习部件中一者或多者的计算机系统。一些此类具体实施包括计算机系统诸如服务器或与服务器或服务器集群相关联的其他计算机系统，其中计算机系统生成一个或多个经训练的分类器。在一些具体实施中，生成一个或多个经训练的分类器的计算机系统还使用经训练的分类器来评估输入图像是否包括毛刺失真。设备100的其它具体实施包含一种计算机系统(诸如客户端)，其被配置为存储经训练的网络(由另一计算机系统生成)且通过经训练的网络评估输入数据(例如，图像)以确定输入数据是否包括毛刺失真。因此，设备100一般性地代表生成经训练的网络并使用经训练的网络来确定一个或多个图像是否包括毛刺失真的一个或多个计算机系统的架构。
18.图1b示出了根据一个示例的训练设备150。在一些具体实施中，训练设备150被实施为图1a的设备100，其中训练系统152是用于执行本文描述的操作的软件、硬件或其组合。训练系统152接受训练数据集154并训练经训练的网络156。训练数据集154包括帮助训练经训练的网络156的多个图像。训练系统152基于训练数据集154来训练经训练的网络156以识别后续输入图像是否包括毛刺失真。在一些示例中，经训练的网络156包括如本文进一步详细描述的生成式对抗网络。
19.图1c示出了根据一个示例的评估设备160，其包括用于基于经训练的网络166(其在一些具体实施中是由训练系统152生成的经训练的网络156)生成输入数据164的分类168
的评估系统162。分类168包括输入数据164的图像是否包括毛刺失真的指示。有时，词语“缺陷”取代这里的词语“毛刺失真”。在一些示例中，评估系统162另选地或附加地生成指示在输入数据164中存在哪种或哪些类型的毛刺失真的输出。
20.如上所述，训练系统152实施生成式对抗网络。生成式对抗网络结合反向传播来使用对抗作用的生成器和鉴别器部件以改善这两个部件的性能。训练系统152提高了生成器令人信服地生成被认为是有毛刺失真或正常的图像的能力。训练系统152还提高了鉴别器确定来自生成器的输出图像有毛刺失真还是无毛刺失真的能力。
21.因为鉴别器能够确定图像是否有毛刺失真，所以评估系统162在确定用于分类164的输入数据是否被认为包含毛刺失真中利用由训练系统152生成的鉴别器。
22.图2示出了根据一个示例的用于训练生成器202和鉴别器204以生成有毛刺失真和无毛刺失真图像以及对具有或不具有毛刺失真的图像进行分类的网络200。网络200包括生成器202和鉴别器204，它们一起形成生成式对抗网络(“gan”)。生成器202基于输入噪声(未示出-输入噪声以任何技术上可行的方式生成，诸如经由随机数生成器)生成所生成的图像203，并且鉴别器尝试将所生成的图像203分类成正常的或包含缺陷(“毛刺失真”)。编排器206编排网络200的训练。
23.编排器206使用包括一组具有毛刺失真或不具有毛刺失真的图像的输入图像集201来训练鉴别器。输入图像集201内包括的具体图像取决于所使用的确切训练方案。各种训练方案在本文其它地方讨论。
24.编排器206通过向输出所生成的图像203的生成器202提供噪声来训练网络200。编排器206致使鉴别器204输出指示所生成的图像203是否包括毛刺失真的分类205。编排器206训练鉴别器204以准确地分类输入图像集201(即，如果输入图像集201仅包括有毛刺失真的图像，则被分类为包括毛刺失真，或如果输入图像集201不包括任何有毛刺失真的图像，则被分类为不包括毛刺失真)，以及准确地分类所产生的图像203。编排器206通过使鉴别器204的错误率最大化来训练生成器202“欺骗”鉴别器204。因此，编排器206不断地提高生成器202生成“逼真”图像的能力，并且提高鉴别器204将图像准确地分类成包括毛刺失真或不包括毛刺失真的能力。在一些具体实施中，鉴别器204是卷积神经网络。在一些具体实施中，生成器202是解卷积神经网络。
25.如上所述，初始输入图像集201包括包含或不包含毛刺失真的图像。一些示例性毛刺失真包括着色器伪影、形状伪影、变色伪影、莫尔斯码图案、虚线伪影、平行线、三角形划分、线像素化、画面卡顿、画面撕裂、方形块伪影、模糊伪影和随机块伪影。
26.着色器伪影包括与不适当的着色相关的可见伪影。“着色器程序”是在图形处理单元上执行以执行诸如变换顶点坐标(“顶点着色器程序”)和着色像素(“像素着色器程序”)这样的功能的程序。当一个或多个多边形被不适当地着色时，发生着色器伪影。此类不适当的着色的实例在视觉上作为混合在一起或者在某些方向上显示逐渐褪色的不同颜色的多边形形状出现在图像中。
27.形状伪影是其中随机多边形单色形状出现在图像中的伪影。变色伪影是其中在图像中存在颜色不同于预期的亮点的伪影。当图形卡的存储器单元变得卡住并且导致那些卡住的值被显示而不是真实图像被显示时，出现莫尔斯码图案。在各种示例中，gpu以比gpu所设计的速度更高的速度或以比gpu所设计的温度更高的温度运行就导致莫尔斯码图案。
28.虚线伪影通常涉及具有随机斜率和位置的虚线或者从单个点散发的径向线。平行线伪影包括平行的、具有均一的颜色并且不是真实图像一部分的线。三角形划分伪影表现为在整个图像上的三角形网格，其中更平滑、更自然的图像实际上是正确的。线像素化被表征为在图像中具有随机颜色的条纹(诸如水平条纹)。当图像的相邻列和行彼此掉换时，发生画面卡顿。画面撕裂作为在同一图像中渲染的视频中的两个连续帧而出现。图像的一部分是在一个时间点的场景，而图像的另一部分是在另一时间点的场景。
29.方形块伪影是在图像中异常出现的均一或几乎均一颜色的方形块。模糊伪影是应当清晰出现的图像的一部分中的模糊。随机块伪影是在图像中异常出现的均一或几乎均一颜色的随机形状的块。
30.短语“被认为包括毛刺失真”在本文中有时被“包括毛刺失真”替换，并且意指鉴别器204将图像标记为包括毛刺失真。类似地，诸如“被认为不包括毛刺失真”这样的短语有时被“不包括毛刺失真”替换，并且意指鉴别器204将所生成的图像203标记为不包括毛刺失真。
31.一起参照图1b和图2，在一些具体实施中，评估系统162用来对用于分类164的输入数据进行分类的经训练的网络166是由图2的网络200生成的鉴别器204。在一个示例中，服务器或其他系统包括或者是训练系统152。服务器执行训练以生成鉴别器204并且将鉴别器204传输到评估系统162。评估系统使用鉴别器204作为经训练的网络166用于评估输入数据以生成分类168。具体来说，评估系统将图像输入到经训练的鉴别器204以生成指示或不指示图像包括毛刺失真的输出分类。
32.图3a是生成用于将图像分类成包含或不包含毛刺失真的分类器的方法300的流程图。尽管参照图1a至图2的系统进行描述，但被配置为按任何技术上可行的顺序执行方法300的步骤的任何系统都落入本公开的范围内。
33.方法300开始于步骤302，其中编排器206向生成器202提供噪声以生成输出图像。如本文别处所述，生成器202是被配置为从噪声生成图像的神经网络。在一个示例中，生成器202是解卷积神经网络。
34.在步骤304，编排器206将输出图像提供给鉴别器204以对输出图像进行分类。鉴别器204能够将图像分类成包括毛刺失真或不包括毛刺失真。如下文将进一步详细描述的，训练集201中图像的类型确定来自训练集201的图像和由生成器202生成的图像如何映射到“有毛刺失真”或“无毛刺失真”图像。一般而言，术语“假”用于表示由生成器202生成的图像，而术语“真实”用于表示作为训练集201提供的图像。同样，被认为“有毛刺失真”或“无毛刺失真”的图像映射到“假”或“真实”图像的具体方式取决于鉴别器204和生成器202的具体配置。下文更详细地描述几种这样的方式。
35.在步骤306，编排器206执行反向传播以更新用于生成器202或鉴别器204中一者或两者的权重。在一些具体实施中，在每个“通过”期间，调节鉴别器204或生成器202中一者的权重，但不调节鉴别器204或生成器202中另一者的权重，其中“通过”意指提供噪声以生成输出图像(302)并且提供图像以生成分类(304)的一个实例。换句话说，在单个通过期间，鉴别器204或生成器202之一的权重保持恒定。鉴别器204的反向传播涉及调节权重以最小化与图像的实际分类相关的错误，其中分类是基于图像是由生成器生成的(“假”)还是是输入图像201。换句话说，鉴别器204的反向传播试图使鉴别器204能够标识图像是由生成器202
生成的还是作为输入图像201被提供的精度最大化。生成器202的反向传播涉及使鉴别器204的分类错误最大化。换句话说，对于生成器202，反向传播试图提高鉴别器204将把“真实”图像不正确地标记为“假”或把“假”图像不正确地标记为“真实”的机会。
36.在步骤308，编排器206向鉴别器204提供训练集图像201以对训练集图像201进行分类。与来自生成器202的图像一样，鉴别器204通过鉴别器204的神经网络处理图像以生成将图像分类成“真实”或“假”的分类。在步骤310，编排器206执行反向传播，如上所述，以更新生成器202或鉴别器204的权重。
37.应当理解，在一些示例中，存在三种不同类型的通过：一种是将真实图像提供给鉴别器204，并且鉴别器204尝试对图像进行正确分类，之后将反向传播应用于鉴别器204；一种是生成器202生成由鉴别器204分类的图像，并且将反向传播应用于生成器202；一种是生成器202生成由鉴别器204分类的图像，并且将反向传播应用于鉴别器204。这些类型的通过中的任一者可以任何期望的顺序执行。在一个示例中，这三种类型的通过交替，使得每个不同类型一个接一个地执行。在其它示例中，将这三种不同类型聚集或分批在一起，并且通过生成器202和鉴别器204处理这些批次。
38.在各种示例中，生成器202和鉴别器204能够以若干不同方式中的一者来实施。在一个示例中，训练集201包括真实图像，其中没有一个具有毛刺失真。鉴别器204将从生成器202接收的图像或作为训练集201的一部分接收的“真实”图像分类成真实并且因此无毛刺失真、或者假的并且因此有毛刺失真。在此示例中，“真实”图像映射到“无毛刺失真”图像，并且“假”图像映射到“有毛刺失真”图像。在另一示例中，训练集201包括真实图像，其全部都具有毛刺失真。在此示例中，“真实”图像映射到“有毛刺失真”图像，并且“假”图像映射到“无毛刺失真”图像。
39.在另一示例中，鉴别器204被训练以识别多种类型的真实图像和假图像。在一个示例中，鉴别器204被训练为识别真实和假的有毛刺失真图像以及真实和假的无毛刺失真图像。在这种情况下，“真实”和“假”图像不直接映射到有毛刺失真或无毛刺失真。在此示例中，生成器202生成有毛刺失真图像或真实图像。在一些情况下，确定是尝试生成有毛刺失真图像还是真实图像是基于选择输入，选择输入在一些情况下是随机的。输入集201包括被标记为有毛刺失真的图像和被标记为无毛刺失真的图像两者。在这种情况下，鉴别器204试图准确地将图像分类成是真实(即，从输入集201接收)且有毛刺失真、真实且无毛刺失真、假的(即，由生成器202生成)且有毛刺失真、或者假的且无毛刺失真。编排器206执行反向传播以提高生成器202通过使鉴别器204错误地将假图像分类成真实的来欺骗鉴别器204的能力，并且执行反向传播以提高鉴别器204将输入图像适当地分类成上文所列出的四个类别中一者的能力。
40.在又一示例中，该系统包括鉴别器204和生成器202的多个组合，其中每一个组合专门针对特定类型的毛刺失真。对每个此类组合的输入图像201包括具有指派给该组合的特定毛刺失真的图像。鉴别器204被训练为适当地分类所指派毛刺失真类型的真实图像和假图像，并且生成器202被训练为“欺骗”鉴别器204对图像进行错误分类。
41.训练集201以任何技术上可行的方式生成。在一个示例中，一个或多个人从真实产品获得屏幕截图。这些屏幕截图中的一些包括毛刺失真，而这些屏幕截图中的一些不包括毛刺失真。
42.图3b是根据一个示例的用于将图像分类成包含毛刺失真或不包含毛刺失真的方法350的流程图。尽管参照图1a至图2的系统进行描述，但本领域的技术人员将理解，被配置为执行图3b的步骤的任何系统都落入本公开的范围内。
43.方法350开始于步骤350，其中经训练的鉴别器204从输入图像源接收用于进行分类的输入图像。输入图像源是能够生成图像的任何实体。在一些示例中，输入图像源是诸如视频游戏之类的软件，其渲染场景并生成用于显示的输出图像。在其他示例中，输入图像源是来自其他软件或硬件(诸如计算机应用或视频源)的图像。
44.在步骤354，经训练的鉴别器204馈送输入图像顺次地通过鉴别器的神经网络层。更具体地，如本文其他地方所述，每个神经网络层接受来自前一层的输入或者来自网络的输入端的输入(例如，输入图像本身)，处理该输入通过该层，并且将输出提供到后一层或网络输出端本身(例如，作为分类)。在示例中，鉴别器204被实施为卷积神经网络，其包括执行卷积运算的一个或多个卷积层。在各种示例中，鉴别器204还包括其它类型的运算来在各个层处结合卷积运算或代替卷积运算执行。
45.在步骤356，经训练的鉴别器204基于来自通过所有层的传播的结果生成输出分类。如上所述，分类的具体类型取决于鉴别器204是被如何训练的。示例在本文别处提供。在一个示例中，鉴别器204能够将图像标记成包含毛刺失真或不包含毛刺失真。在一些示例中，鉴别器204能够指示在图像中存在哪种类型的毛刺失真。在一些此类示例中，鉴别器204实际上是多个单独的经训练的鉴别器，如上所述。
46.鉴别器204、生成器202和/或编排器206被实施成在可编程处理器(其是包括适当电路的硬件处理器)上执行的软件、被配置为执行本文中所描述的功能性的固定功能硬件电路、或软件和硬件的组合。
47.图1a至图2的各种元件中的任一者(诸如训练系统152、评估系统162、网络200、生成器202、鉴别器204和编排器206)在各种具体实施中被实施成在处理器上执行的软件、用于执行本文中描述的各种操作的被硬连线的硬件(例如，电路)、或其组合中的一者。
48.应当理解，基于本文的公开内容，可能有许多变化。尽管上述特征和元素在特定组合中进行了描述，但每个特征或元素可以在没有其他特征和元素的情况下单独使用，或者在有或没有其他特征或元素的各种组合中使用。
49.所提供的方法可以在通用计算机、处理器或处理器核心中实现。举例来说，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路，任何其他类型的集成电路(ic)和/或状态机。可以通过使用处理的硬件描述语言(hdl)指令和包括网表的其他中间数据(能够存储在计算机可读介质上的此类指令)的结果来配置制造过程来制造此类处理器。这种处理的结果可以是掩码，然后在半导体制造过程中使用这些掩码来制造实现本公开的特征的处理器。
50.本文提供的方法或流程图可以在并入非暂态计算机可读存储介质中的计算机程序、软件或固件中实现，以供通用计算机或处理器执行。非暂态计算机可读存储介质的示例包括只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓存存储器、半导体存储器设备、磁性介质(例如内部硬盘和可移动磁盘)、磁光介质和光学介质(例如cd-rom磁盘)以及数字多功能磁盘(dvd)。