图像处理的制作方法

1.示例实施例涉及图像处理，其中出现在图像中的一个或多个不想要的物体可以利用其他图像内容代替。


背景技术：

2.在数码摄影中，相机用户可能希望捕获其中可能存在一个或多个不想要的物体的场景的照片。例如，用户可能希望捕获风景的照片，但发现有人遮挡了风景的一部分。通过图像处理技术，选择出现在一个或多个图像中的一个或多个不想要的物体，并且将那个或那些一个或多个物体“填充”以被其他图像内容代替是可能的。目的可以是产生基本上不包括任何不想要的物体并且在与场景的其余部分的一致性方面看起来很自然的照片。


技术实现要素：

3.本发明的各种实施例所寻求的保护范围由独立权利要求陈述。本说明书中描述的不落入独立权利要求的范围的实施例和特征(如果有的话)将被解释为对理解本发明的各种实施例有用的示例。
4.根据第一方面，描述了一种装置，包括用于以下操作的部件：从相机传感器接收图像；接收对图像中出现的一个或多个目标物体的选择；在多个后续接收到的图像上追踪一个或多个目标物体；依次针对后续接收到的图像：估计与执行一个或多个追踪的目标物体的填充处理操作相关联的一个或多个性能度量；在相应一个或多个性能度量指示从接收选择的时间起比一个或多个先前接收到的图像提高性能的情况下，将图像保存为优化参考图像；以及使用保存的优化参考图像中的一个或多个优化参考图像执行填充处理操作以用于输出到显示屏。
5.用于执行填充处理操作的部件可以被配置为在保存所述一个或多个优化参考图像时，针对一个或多个优化参考图像中的每个参考图像执行所述操作，以用于将经处理的优化参考图像实时输出到显示屏。
6.用于执行填充处理操作的部件可以被配置为基于捕获时间、仅关于最后保存的优化参考图像来执行所述操作。
7.捕获时间可以对应于最后保存的优化参考图像的一个或多个性能度量满足一个或多个预定标准的时间。
8.捕获时间可以对应于从一个或多个目标物体被选择时起的预定到期周期的结束。
9.捕获时间可以对应于从用户接收到捕获输入。
10.该装置还可以包括用于以下操作的部件：使用在捕获时间接收到的图像，估计与执行填充处理操作相关联的一个或多个性能度量；以及确定所述一个或多个性能度量指示相对于最后保存的优化参考图像的降低性能；其中用于执行填充处理操作的部件被配置为关于在捕获时间接收到的图像和最后保存的优化参考图像执行填充操作，以用于预览两个经处理图像。
11.该装置还可以包括用于以下操作的部件：经由用户界面实时指示针对后续接收到的图像中的当前显示图像的一个或多个相应性能度量。
12.指示部件可以被配置为实时指示最后保存的优化参考图像的一个或多个性能度量何时满足一个或多个预定标准。
13.选择部件可以被配置为接收对多个目标物体的选择；估计部件可以被配置为针对目标物体中的每个目标物体估计一个或多个性能度量；并且指示部件可以被配置为针对目标物体中的每个目标物体指示一个或多个相应性能度量。
14.指示部件可以被配置为实时指示一个或多个相应性能度量满足一个或多个预定标准的一个或多个目标物体的第一集合以及一个或多个相应性能度量不满足一个或多个预定标准的一个或多个目标物体的第二集合。
15.该装置还可以包括用于以下操作的部件：确定一个或多个目标物体的第二集合的一个或多个相应性能度量未指示预定时间段内的提高的性能；响应于确定，向用户提供以下选项：仅关于一个或多个目标物体的第一集合执行填充处理操作；或者关于一个或多个目标物体的第一集合和第二集合执行填充操作；以及基于对用户选项中的一个用户选项的用户选择，执行填充处理操作。
16.一个或多个性能度量可以包括基于以下一项或多项的值：
[0017]-一个或多个目标物体的大小；
[0018]-被估计为难以填充的一个或多个目标物体的一部分的大小；
[0019]-一个或多个目标物体的形状；
[0020]-一个或多个目标物体在帧内的位置；
[0021]-一个或多个目标物体外部的一个或多个背景区域的复杂性；
[0022]-响应于用户选择分割一个或多个目标物体的估计准确性。
[0023]
该装置可以包括移动手持设备或数码相机。
[0024]
根据第二方面，描述了一种方法，包括：从相机传感器接收图像；接收对图像中出现的一个或多个目标物体的选择；在多个后续接收到的图像上追踪一个或多个目标物体；依次针对后续接收到的图像：估计与执行一个或多个追踪的目标物体的填充处理操作相关联的一个或多个性能度量；在一个或多个相应性能度量指示从接收选择时起比一个或多个先前接收到的图像提高性能的情况下，将图像保存为优化参考图像；以及使用保存的优化参考图像中的一个或多个优化参考图像执行填充处理操作以用于输出到显示屏。
[0025]
执行填充处理操作可以包括在保存所述一个或多个优化参考图像时，针对一个或多个优化参考图像中的每个参考图像执行所述操作，以用于将经处理的优化参考图像实时输出到显示屏。
[0026]
执行填充处理操作可以包括基于捕获时间、仅关于最后保存的优化参考图像来执行所述操作。
[0027]
捕获时间可以对应于针对最后保存的优化参考图像的一个或多个性能度量满足一个或多个预定标准的时间。
[0028]
捕获时间可以对应于从一个或多个目标物体被选择时起的预定到期周期的结束。
[0029]
捕获时间可以对应于从用户接收到捕获输入。
[0030]
该方法还可以包括：使用在捕获时间接收到的图像，估计与执行填充处理操作相
关联的一个或多个性能度量；以及确定所述一个或多个性能度量指示相对于最后保存的优化参考图像的降低性能；其中用于执行填充处理操作的部件被配置为关于在捕获时间接收到的图像和最后保存的优化参考图像执行填充操作，以用于预览两个经处理图像。
[0031]
该方法可以包括：经由用户界面实时指示针对后续接收到的图像中的当前显示图像的一个或多个相应性能度量。
[0032]
指示可以包括实时指示针对最后保存的优化参考图像的一个或多个性能度量何时满足一个或多个预定标准。
[0033]
选择可以包括接收对多个目标物体的选择；估计可以包括针对目标物体中的每个目标物体估计一个或多个性能度量；并且指示可以包括针对目标物体中的每个目标物体指示一个或多个相应性能度量。
[0034]
指示可以包括实时指示一个或多个相应性能度量满足一个或多个预定标准的一个或多个目标物体的第一集合以及一个或多个相应性能度量不满足一个或多个预定标准的一个或多个目标物体的第二集合。
[0035]
该方法还可以包括：确定针对一个或多个目标物体的第二集合的一个或多个相应性能度量未指示预定时间段内的提高的性能；响应于确定，向用户提供以下选项：仅关于一个或多个目标物体的第一集合执行填充处理操作；或者关于一个或多个目标物体的第一集合和第二集合执行填充操作；以及基于对用户选项中的一个用户选项的用户选择，执行填充处理操作。
[0036]
一个或多个性能度量可以包括基于以下一项或多项的值：
[0037]-一个或多个目标物体的大小；
[0038]-被估计为难以填充的一个或多个目标物体的一部分的大小；
[0039]-一个或多个目标物体的形状；
[0040]-一个或多个目标物体在帧内的位置；
[0041]-一个或多个目标物体外部的一个或多个背景区域的复杂性；
[0042]-响应于用户选择分割一个或多个目标物体的估计准确性。
[0043]
该方法可以在装置处执行，该装置可以包括移动手持设备或数码相机。
[0044]
根据第三方面，提供了一种包括指令集的计算机程序产品，该指令集在装置上执行时被配置为使装置执行根据任一项前述方法定义的方法。
[0045]
根据第四方面，提供了一种包括程序指令的非瞬态计算机可读介质，该程序指令被存储在其上以用于执行方法，包括：从相机传感器接收图像；接收对图像中出现的一个或多个目标物体的选择；在多个后续接收到的图像上追踪一个或多个目标物体；依次针对后续接收到的图像：估计与执行一个或多个追踪的目标物体的填充处理操作相关联的一个或多个性能度量；在一个或多个相应性能度量指示从接收选择时起比一个或多个先前接收到的图像提高性能的情况下，将图像保存为优化参考图像；以及使用保存的优化参考图像中的一个或多个优化参考图像执行填充处理操作以用于输出到显示屏。
[0046]
第四方面的程序指令还可以根据第二方面的任一项前述方法定义来执行操作。
[0047]
根据第五方面，提供了一种装置，包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，该计算机程序代码在由至少一个处理器执行时使该装置：从相机传感器接收图像；接收对图像中出现的一个或多个目标物体的选择；在多个后续接收到的图
像上追踪一个或多个目标物体；依次针对后续接收到的图像：估计与执行一个或多个追踪的目标物体的填充处理操作相关联的一个或多个性能度量；在一个或多个相应性能度量指示从接收选择时起比一个或多个先前接收到的图像提高性能的情况下，将图像保存为优化参考图像；以及使用保存的优化参考图像中的一个或多个优化参考图像执行填充处理操作以用于输出到显示屏。
[0048]
第五方面的计算机程序代码还可以根据第二方面的任一项前述方法定义来执行操作。
附图说明
[0049]
示例实施例现在将通过非限制性示例参照附图描述，其中：
[0050]
图1a是用户对部分地被人遮挡的场景进行拍照的视图；
[0051]
图1b是指示图1a所示的人的分割轮廓的掩模图像；
[0052]
图2是可以被配置为根据一个或多个示例实施例操作的相机装置的示意性框图；
[0053]
图3是指示根据一个或多个示例实施例的处理操作的流程图；
[0054]
图4是包括在不同时间站在内容前面的人的场景序列的代表性视图；
[0055]
图5a至图5d相应地示出了根据一个或多个示例实施例的可以在图2相机装置的显示屏上显示的图像；
[0056]
图6a至图6d相应地示出了根据一个或多个其他示例实施例的可以在图2相机装置的显示屏上显示的图像；
[0057]
图7是根据一些示例实施例的装置的示意性框图；以及
[0058]
图8是根据一些示例实施例的作为计算机可读代码的示例载体的非瞬态计算机可读介质的平面图，当该计算机可读代码被执行时，可以执行处理操作。
具体实施方式
[0059]
示例实施例涉及图像处理，例如所谓的“填充”图像处理，其中出现在图像中的一个或多个不想要的物体可以利用其他图像内容代替。
[0060]
示例实施例可以涉及在使用相机装置处理一个或多个图像的过程中执行的填充图像处理，该图像可以作为来自相机装置的相机传感器的图像的实时馈送的一部分而被接收。
[0061]
当准备拍照时，用户可能想要从接收到的图像中移除一个或多个不想要的物体。该操作可以包括用户在至少第一图像中选择一个或多个不想要的物体，该第一图像可以是捕获的(即，保存的或存储的)图像或在相机装置的显示屏上示出的实时取景器图像。用户选择可以经由突出显示操作或另一指示方法来进行，以标识一个或多个像素区域，这些像素区域可以表示一个或多个不想要的物体。在选择之后，填充图像处理操作可以被执行以从后续接收到的图像中移除一个或多个不想要的物体，并且利用可以来自图像的其他部分的计算生成的样本自动填充所得的“洞”。
[0062]
填充处理操作可以使用任何合适的图像处理算法来代替洞，例如通过重新布置或连接从图像的其他部分得到的像素补丁，其他部分可以被称为图像的源或背景部分。例如，最近邻像素值的使用和/或其他这种方法可以被使用。所谓的内容感知填充(caf)是已知的
填充处理算法，尽管还有其他示例。
[0063]
执行填充处理操作的结果可能会导致洞被填充，使得不想要的物体看起来好像它们从未存在过并且被代替为看起来与背景中预期的内容合并或混合的内容。
[0064]
在使用接收并且显示一系列实时图像的相机装置的上下文中，在发起图像的捕获之前，用户经由显示屏查看填充图像处理的输出可能是有用的。通过“捕获”是指将图像存储在存储器上。然而，如果对所有接收到的图像执行，则这可能在计算上非常昂贵并且还可能耗尽相机装置的电池。而且，捕获的定时可能是次优的。例如，执行填充处理操作所花费的时间可能意味着场景将在用户选择捕获图像时改变。因此，经捕获和经处理的图像实际上可能看起来与经由显示屏指示的图像非常不同。例如，如果场景突然变得更加复杂，则经捕获和经处理的图像可能包含不想要的伪影。
[0065]
示例实施例可以涉及关于何时捕获图像的定时的考虑，以用于减少计算负担、增加电池寿命以及获得包含更少伪影或不包含不想要的伪影的更优处理结果中的一项或多项。
[0066]
例如，图1a示出了在使用相机装置101拍照的过程中的用户100。不想要的物体(在这种情况下是人102)出现在用户和想要的场景103的一部分之间。图1b示出了指示斑点102a的掩模图像110，该斑点102a表示在用户100选择之后人102的分割轮廓。一种或多种常规图像分割方法可以被用于基于例如像素值来估计人102的轮廓。由此，斑点102a可以使用已知方法在后续图像中标识以及追踪。填充处理操作可以采用来自斑点102a外部的一个或多个源区域112的像素值，以用于代替对应于斑点102a或其至少一部分的图像的像素。
[0067]
如本文使用的，不想要的物体可以被称为目标物体。目标物体可以包括表示不想要的物体的可标识像素组或像素斑点。
[0068]
一个或多个目标物体可以由用户手动标识。
[0069]
例如，用户可以经由指向触摸屏的指针或触摸输入来标识出现在装置的显示屏上的图像中的一个或多个目标物体，诸如可以以任何合适的形式提供的相机装置。图像可能是已经捕获的图像，即，保存在存储器上，或者是实时图像。
[0070]
备选地或附加地，一个或多个目标物体可以基于物体的一种或多种类型或特性的一些先前指示自动标识，以标识为目标物体。例如，主要对拍摄风景照片感兴趣的用户可以给出与人相对应的物体要被选择为目标物体的先前指示。根据示例实施例，这种先前指示可以在软件内的设置或配置选项中做出。在一些实施例中，允许的想要物体列表可以被提供和/或不允许的目标物体列表可以被提供。
[0071]
图2是根据一些示例实施例的示例相机装置200的框图。根据示例实施例的装置的更详细描述稍后将参照图7给出。
[0072]
相机装置200可以包括控制器202，例如一个或多个处理器、镜头204、相机传感器206、显示屏208、捕获按钮210、存储器212和网络接口214。
[0073]
控制器202可以被配置为执行要在下面描述的处理操作，例如与软件和/或固件相关联。
[0074]
相机传感器206可以是任何合适的类型，诸如但不限于电荷耦合设备(ccd)或有源像素类型传感器。图像(或帧)可以包括像素网格，其分辨率由相机传感器206的特点确定。图像的实时馈送可以由控制器202基于相机传感器206的刷新率来接收，这可能因不同的相
机传感器制造商而变化。
[0075]
相机装置200可以包括但不限于移动手持设备，例如智能手机、数码相机、平板计算机、膝上型计算机、个人计算机、数字助理、智能手表等。
[0076]
可以包括或不包括用于进行输入的触摸屏的显示屏208可以充当取景器，以用于实时显示由相机传感器206接收到的图像的实时馈送。显示屏208还可以经由菜单屏幕示出其他选项，例如以调出被存储在存储器212上的经捕获图像。
[0077]
捕获按钮210可以包括用于使控制器202执行图像的手动捕获的硬输入按钮或软输入按钮，其可以根据下面描述的操作来处理。在一些实施例中，图像的捕获可以是自动的，因此不需要经由捕获按钮210的用户输入。在一些实施例中，捕获按钮210可以是在显示屏208上提供的软输入按钮，如果是触摸屏的话。在一些实施例中，可能不需要捕获按钮210，并且捕获可以通过语音或手势输入来发起。
[0078]
存储器212可以存储软件和/或固件，以用于执行下面将要描述的示例实施例操作。存储器212或不同的存储器可以被用于存储捕获和/或处理的图像。相机装置200可以包括可移动介质插槽(未示出)，诸如存储卡插槽，以便经捕获和/或经处理的图像可以被存储在可移动介质上。
[0079]
在一些示例实施例中，至少一些处理可以在相机装置200外部被执行。出于此目的，相机装置200可以包括网络接口214，以用于与可以是任何合适形式的外部处理系统进行有线或无线通信。例如，网络接口214可以包括蜂窝(诸如5g)、蓝牙、zigbee和wifi接口中的一个或多个，例如使用ieee 802.11通信标准。网络接口214还可以被用于向远程存储装置发送和/或从远程存储装置接收经捕获的图像，例如云储存库。
[0080]
参照图3，示出了指示根据一个或多个示例实施例的可以由相机装置200执行的处理操作的流程图。处理操作可以通过硬件、软件、固件或其组合来执行。所示顺序不一定指示处理顺序。
[0081]
第一操作301可以包括从相机传感器接收图像。
[0082]
第二操作302可以包括接收对出现在图像中的一个或多个目标物体的选择。
[0083]
第三操作303可以包括在多个后续接收到的图像上追踪一个或多个目标物体。
[0084]
第四操作304可以包括依次针对后续接收到的图像：
[0085]
(i)估计与执行一个或多个追踪的目标物体的填充处理操作相关联的一个或多个性能度量；以及
[0086]
(ii)在相应的一个或多个性能度量指示从接收选择时起比一个或多个先前接收到的图像提高性能的情况下，将图像保存为优化参考图像。
[0087]
术语“保存”可能意味着将图像存储在某种形式的存储器上，该存储器可能是或者可能不是缓存存储器，以用于执行填充处理。出于此目的，图像可能会被临时存储。
[0088]
第五操作305可以包括使用保存的优化参考图像中的一个或多个优化参考图像执行填充处理操作以用于输出到显示屏。
[0089]
关于第一操作301，图像可以以任何合适的格式接收，例如使用联合照片专家组(jpeg)、高效图像文件(heif)、raw或位图(bmp)图像格式中的一种或多种，仅举几例。该图像可以包括来自相机传感器206的图像流或实时馈送中的一项。
[0090]
关于第二操作302，接收对一个或多个目标物体的选择可以利用任何合适的选择
方法，诸如通过经由输入的手动选择，该输入是关于当前显示的图像经由显示屏208进行的。然而，如上面提及的，一个或多个目标物体可以基于物体的一种或多种类型或特性的一些先前指示被自动标识，以标识为目标物体。
[0091]
在一些实施例中，由用户对目标物体的选择可以自动导致相同类型的所有其他物体(例如人)被选择。在一些示例实施例中，接收对一个或多个目标物体的选择可以被间接执行，例如通过用户选择它们希望保留在图像中的一个或多个物体，并且其中所有其他物体可以被认为是目标物体。
[0092]
该选择可以导致使用常规技术对一个或多个目标物体进行分割和追踪。
[0093]
关于第四操作304，一个或多个性能度量可以包括基于已知影响或作用于填充处理性能的任何一个或多个参数的值。例如，填充处理性能可以指或被指示执行填充处理操作所需的处理时间和/或功率的量和/或指示执行一个或多个所选目标物体的填充处理操作所涉及的难度。一个或多个性能度量可以包括一个值，例如数值，如果相对于先前值减小，则可以指示填充处理性能的提高，诸如通过指示针对一个或多个所选目标物体执行填充处理操作所需的更少的处理时间和/或功率。增大的度量值可以指示填充处理性能的降低。在备选实现中，增大的度量值可以指示填充处理性能的提高，并且减小的度量值可以指示填充处理性能的降低。
[0094]
例如，一个或多个性能度量可以包括基于以下一项或多项的值：
[0095]-一个或多个目标物体的大小；
[0096]-被估计为难以填充的一个或多个目标物体的一部分的大小，这可能是由于被遮挡的内容的复杂性；
[0097]-一个或多个目标物体的形状；
[0098]-一个或多个目标物体在帧内的位置；
[0099]-一个或多个目标物体外部的一个或多个背景或源区域的复杂性；以及
[0100]-响应于用户选择分割一个或多个目标物体的估计准确性。
[0101]
关于大小，例如一个或多个目标物体的斑点区域越小，针对一个或多个目标物体执行填充处理操作所需的处理可能越少。
[0102]
例如，关于形状，一个或多个目标物体在轮廓方面越复杂，与例如基础的多边形形状相比，填充处理算法产生最终结果所花费的时间可能越长(并且处理功率越多)。
[0103]
关于一个或多个目标物体外部的一个或多个背景区域的复杂性，要理解的是，背景区域中的像素的方差或空间频率越高，例如与更均匀或变化缓慢的背景区域(例如天空)相比，填充处理算法产生最终结果所花费的时间可能越长(并且处理功率越多)。
[0104]
关于响应于用户选择分割一个或多个目标物体的估计准确性，要理解的是，一些类型的追踪目标物体将比其他类型更难分割并因此追踪。例如，表示在风中移动的长发人物的目标物体可能比表示短发人物的目标物体更难分割和追踪。
[0105]
因此，要了解的是，一个或多个性能度量可以包括基于以上示例中的一个示例或组合的值(例如数字)。减小的度量值可以指示提高，并且增大的度量值可以指示降低性能，或者在备选实现中，增大的度量值可以指示提高，并且减小的度量值可以指示降低性能。
[0106]
在相应的一个或多个性能度量指示比先前接收的图像提高性能的情况下，将图像保存为优化参考图像意味着仅当所述度量指示提高的性能时，图像才被保存。随着时间的
推移，最后保存的图像因此可能表示就估计的填充处理性能而言的优化图像。因此，在用户使用相机装置的过程期间，并非从相机传感器接收到的图像的实时馈送的所有图像(例如图2相机装置200的相机传感器206)需要被保存以用于后续的填充处理。因此，填充处理可以基于比由相机传感器206接收到的所有图像更有限数目的图像以更优化的方式执行。
[0107]
在将图像保存为优化参考图像时，保存的优化参考图像的先前实例可以被删除，因为新保存的图像被估计为更优的。
[0108]
关于第五填充处理操作305，这可以在特定时间被执行并且经由例如显示屏208呈现给用户。
[0109]
例如，在保存所述一个或多个优化参考图像时，填充处理操作305可以针对一个或多个优化参考图像中的每个参考图像被执行，以用于将经处理的优化参考图像实时输出到显示器(诸如显示屏208)。
[0110]
通过这种方式，每当提高的性能度量被确定时，显示屏208可以向用户示出填充处理操作的结果，以便它们可以预览并且(如果它们愿意的话)捕获所得图像以存储在存储器212上。备选地，用户可能希望继续移动相机或等待场景中的移动，以查看性能度量是否进一步提高。
[0111]
例如，填充处理操作305可以基于捕获时间、仅关于最后保存的优化参考图像来执行。
[0112]
捕获时间可以对应于最后保存的优化参考图像的一个或多个性能度量满足预定标准(或多个标准)的时间。该标准可以表示优化的条件。
[0113]
例如，预定标准可以是当一个或多个性能度量超过预定阈值时，该预定阈值可以是数值。在性能度量的组合被考虑的情况下，预定标准可以包括基于度量组合的规则集合，其示例已经在上面给出，例如当大小度量低于值x并且形状度量低于值y时。
[0114]
例如，如果一个或多个性能度量的范围从值一百(非常难以执行填充处理)到零(非常容易执行填充处理)，那么预定阈值可以包括零值或接近零的值，例如十。在达到该值之后，填充处理可以对最后保存的优化参考图像自动执行，并且结果被显示。
[0115]
例如，捕获时间可以对应于从一个或多个目标物体被选择时起的预定到期周期的结束。因此，在这种情况下，在选择了一个或多个目标物体之后，或者以其他方式进入填充操作模式，定时器就可以开始。在定时器到期之后，例如十秒后，填充处理可以对最后保存的优化参考图像自动执行，并且结果被显示。结果可以在显示屏幕208上被显示为预览图像，用户可以借助于使用捕获按钮210确认捕获，或者备选地用户可以选择不捕获预览图像，使得图像未被存储在存储器上。仍然备选地，结果可以被自动捕获，并且填充处理已经被执行的图像可以被存储在存储器212上。
[0116]
例如，捕获时间可以对应于从用户接收到捕获输入。即，当用户诸如通过捕获按钮210提供捕获输入时，填充处理可以对最后保存的优化参考图像执行并且结果被显示。如果用户希望在应用填充处理的情况下保留最后保存的优化参考图像，则用户可以这样指示并且图像可以被存储在存储器212上。
[0117]
在另一示例中，在手动捕获输入时，一个或多个性能度量可以针对在捕获时间接收到的图像确定。尽管所述一个或多个性能度量可以指示相对于最后保存的优化参考图像的降低性能，但是填充处理操作可以对在捕获时间接收的图像和最后保存的优化参考图像
两者执行。两个经处理图像可以经由显示屏208同时或顺序地示出为预览图像，以便用户可以选择所述经处理图像中的一个经处理图像以保留为经捕获的图像，以用于存储在存储器212上。其他图像可以从存储器212中删除。
[0118]
为了图示，图4示出了包括目标物体400的场景，该目标物体400是站在背景前面的人的形式，背景包括用户希望在照片中保留的复杂内容402。该场景在四个时间实例t1至t4上示出，这可以对应于从相机装置200的相机传感器206接收到的图像序列。可以假设用户已经使用上面提及的任何方法选择了目标物体400。还可以假设目标物体400已经被分割并且跨越四个时间实例t1至t4被追踪。
[0119]
在第一时间实例t1，目标物体400部分地遮挡复杂内容402。一个或多个性能度量可以基于例如目标物体400的大小和/或复杂内容402的复杂性。在该时间实例t1，性能度量可能相对较高并且指示执行填充处理的难度相对较高。如果一个或多个性能度量仍然是当前的
‘
最优’或
‘
最佳’性能度量，则第一时间实例t1的图像可以被保存为初始优化参考图像。
[0120]
在第二时间实例t2，追踪的目标物体400的大小增大，并且仍然部分地遮挡复杂内容402。一个或多个性能度量可以指示填充处理性能的降低，因此第二时间实例t2的图像可以不被保存。
[0121]
在第三时间实例t3，追踪的目标物体400的大小减小，并且仍然部分地遮挡复杂内容402，但是程度更小。一个或多个性能度量可以指示填充处理性能与初始优化参考图像(在第一时间实例t1)相比的提高，因此第三时间实例t3的图像可以被保存。在第一时间实例t1保存的图像此时可以或可以不从存储器中移除。
[0122]
在第四时间实例t4，追踪的目标物体400的大小增大，但不再遮挡任何复杂内容402。一个或多个性能度量可以指示与第二优化参考图像相比填充处理性能的提高(在第三时间实例t3)，并且因此第四时间实例t4的图像可以被保存为第三优化参考图像。在第三时间实例t3保存的图像此时可以或可以不从存储器中被移除。
[0123]
因此要理解的是，并非所有图像都需要被保存。通过尝试随着时间的推移优化一个或多个性能度量，以降低估计的处理复杂性和/或提高填充处理输出的质量，更优的结果可以在处理性能、增加电池寿命和/或图像输出质量方面被实现。
[0124]
如上面提及的，优化参考图像(在第一时间实例t1、第三时间实例t3和第四时间实例t4)中的每个参考图像可以在保存以显示到显示屏208的大致时间使用填充处理来处理。
[0125]
备选地，基于一个或多个预定标准或多个标准被满足，例如性能度量为零或超过接近于零的预定阈值，或从发起填充模式起预定时间段已到期，仅第四时间实例t4的第三优化参考图像可以使用填充处理来处理。
[0126]
针对从相机装置200的相机传感器206接收到的所有图像执行填充处理，可以看到改进。填充处理仅对可能减少或避免伪影的一个或多个更优图像执行。
[0127]
参照图5和图6，其他实施例现在将被描述。
[0128]
图5a至图5d相应地示出了可以在用户界面内显示在相机装置200的显示屏208上的图像序列500a、500b、500c、500d。
[0129]
图5a示出了描绘包括第一物体501至第五物体505的场景的第一图像500a。相机装置200的用户可以选择第一物体501和第二物体502作为目标物体以用于移除。然后上述分
割和追踪操作可以被执行。
[0130]
示例实施例可以针对当前显示的图像提供一个或多个相应性能度量的实时指示。例如，如果一个或多个性能度量指示先前接收到的图像的改进，或者满足一个或多个上述预定标准，那么指示符可以向用户发信号通知这一点。
[0131]
指示符可以包括图形、听觉和触觉指示符中的一项或多项。
[0132]
在多个目标物体被选择的情况下，一个或多个性能度量可以针对每个相应的目标物体被确定，因此，相应的图形指示符可以被用于向用户指示单独的性能度量。
[0133]
因此，相应的图形指示符可以实时指示相应性能度量满足预定标准的一个或多个目标物体的第一集合以及相应性能度量不满足预定标准的一个或多个目标物体的第二集合。
[0134]
图5b示出了描绘基本上相同的场景的第二图像500b，其中与第一目标物体501和第二目标物体502相关联的第一图形指示符520和第二图形指示符522被分别示出。在该示例中，第一图形指示符520和第二图形指示符522以边界框的形式提供，其还指示跨越图像追踪第一目标物体501和第二目标物体502。其他形状或样式可以被用于第一图形指示符520和第二图形指示符522。
[0135]
第一图形指示符520和第二图形指示符522的出现可以指示第一目标物体501和第二目标物体502的相应性能度量的当前值。例如，第一图形指示符520可以以与第二图形指示符522(例如颜色可以是红色)不同的颜色(例如绿色)示出，或者不同样式的边界框(例如不同样式的虚线)可以被用于示出第一目标物体501的性能度量具有提高的性能度量，或满足上述预定标准，而第二目标物体502具有相同或降低性能度量，或不满足上述预定标准。
[0136]
在所示情况下，第二图形指示符522的不同外观可以指示，基于第二目标物体502遮挡了第五物体505的一部分，因此对第二目标物体502执行填充处理操作将更加困难，这在外观方面可能相对复杂。计算用于第二目标物体502的填充处理算法可能在计算上更昂贵和/或可能导致伪影。
[0137]
因此，用户可以基于由第一图形指示符520和第二图形指示符522提供的集体信息来做出关于何时提供手动捕获输入的通知决策。
[0138]
图5c示出了场景已经改变的第三图像500c。具体地，第二目标物体502已经移动，使得它不再遮挡第五物体505。因此，第二图形指示符522已经改变其外观，以指示第二物体502具有提高的性能度量，或满足上述预定标准。这可以指示它的计算成本会更低，或者更容易代替。第一图形指示符520和第二图形指示符522两者具有相同的外观，这可以引导用户在当前时间发起捕获输入。当使用颜色指示性能时，色标可以被使用，例如绿色指示提高的性能度量，黄色的提高稍差，并且红色指示性能度量没有提高。颜色的不同阴影也可以被用于指示提高性能度量的水平，例如浅绿色仍然指示提高的性能度量，并且纯绿色指示提高性能度量的最高水平等。
[0139]
作为使用手动捕获输入的备选，要了解的是，图5c条件可以导致基于第三图像500c的自动捕获。
[0140]
在背景中，并且根据参照图3描述的操作，第三图像500c可以被保存为优化参考图像，以用于执行填充处理操作。
[0141]
图5d示出了第四图像500d，其中填充处理已经被执行，例如响应于接收到手动捕
获输入或自动捕获决策。将看到的是，第一目标物体501和第二目标物体502已经被移除，并且经处理的图像可以被显示到显示屏208和/或作为捕获的图像被保存在存储器212上。
[0142]
如先前指示的，如果手动捕获输入在稍晚的时间被接收到，针对手动捕获的针对第一目标物体501和/或第二目标物体502的一个或多个性能度量已经降低，则最后保存的优化参考图像可以被用于填充处理，或者在处理的当前图像和最后保存的优化参考图像之间进行选择的选项可以被呈现给用户以用于选择。
[0143]
在一些实施例中，当后续图像被接收到时，可以确定至少一个目标物体或目标物体集合(如果存在更多)的相应性能度量在预定时间段内没有提高或满足预定标准，而至少一个其他目标物体或目标物体集合确实提高或满足预定标准。
[0144]
响应于该确定，用户可以经由相机装置200的显示屏208被提供有可选择的选项。例如，可选择的选项可以包括：
[0145]
(i)仅关于一个或多个目标物体执行填充处理操作，其相应性能度量提高或满足预定标准；或者
[0146]
(ii)关于所有目标物体执行填充操作。
[0147]
然后填充处理操作可以基于用户选择来执行。
[0148]
为了图示，图6a至图6d相应地示出了可以在用户界面内显示在相机装置200的显示屏208上的图像600a、600b、600c、600d。
[0149]
图6a示出了第一图像600a，其描绘了包括与图5a所示相同的第一物体501至第五物体505的场景。和以前一样，相机装置200的用户可以选择第一物体501和第二物体502作为用于移除的目标物体。然后上述分割和追踪操作可以被执行。
[0150]
图6b类似于图5b，它示出了描绘基本上相同的场景的第二图像600b，其中相应地与第一目标物体501和第二目标物体502相关联的第一图形指示符620和第二图形指示符622被示出。
[0151]
如上面提到的，在多个目标物体501、502被选择的情况下，一个或多个性能度量可以针对每个相应的目标物体确定，包括在后续图像上。因此，例如第一性能度量可以针对第一目标物体501被确定和更新，并且第二性能度量可以针对第二目标物体502被确定和更新。
[0152]
在示例实施例中，如果相应地与第一目标物体501和第二目标物体502相关联的第一性能度量和第二性能度量中的至少一项指示提高的性能，则图像可以被保存为优化参考图像。取决于哪个性能度量指示性能提高，该保存的图像可以与相应的第一目标物体501和第二目标物体502相关联。如果两个性能度量都指示提高，那么保存的图像可以与第一目标物体501和第二目标物体502两者相关联地被保存。
[0153]
例如，如果针对第一目标物体501的第一性能度量指示提高的性能但针对第二目标物体502的第二性能度量没有指示，则当前图像可以被保存为与第一目标物体501相关联的优化参考图像，并且如果在下面提及的场景中，第二性能度量没有指示性能得到提高，则后续使用，例如在预定时间段之后。如果第二目标物体502的第二性能度量指示提高的性能但第一目标物体501的第一性能度量没有指示，则当前物体可以被保存为与第二目标物体502相关联的优化参考图像。优化参考图像的两个不同集合可以基于它们与第一目标物体501和第二目标物体502的相应关联来保存。
[0154]
因此，当后续图像被接收到时，可以确定第二目标物体502的一个或多个性能度量没有提高或满足预定标准，而第一目标物体501的一个或多个性能度量却提高或满足预定标准。这可以在预定时间段内被确定，例如从选择第一目标物体501和第二目标物体502的时间起或从第一目标物体和第二目标物体中的一个给定目标物体的一个或多个性能度量指示提高的时间起十秒。
[0155]
因此，用户可以经由相机装置的显示屏208被提供有以下选项：
[0156]
(i)仅关于第一目标物体501执行填充处理操作；或者
[0157]
(ii)关于第一目标物体501和第二目标物体502执行填充操作。
[0158]
在该示例中，所选的填充处理操作可以使用与第一目标物体501相关联的最后保存的优化参考图像来执行。
[0159]
图6c是第一预览图像600c，其指示响应于对第一选项的用户选择而执行填充处理操作的结果。将看到的是，只有第一目标物体501被代替。
[0160]
图6d是第二预览图像600d，其指示响应于对第二选项的用户选择而执行填充处理操作的结果。将看到的是，第一目标物体501被代替，并且第二目标物体502的一些代替已经发生，但是留下不想要的伪影602，如由第二目标物体的非最优性能度量反映的。
[0161]
在一些实施例中，用户可以被呈现有第一预览图像600c和第二预览图像600d两者以用于确认哪个应当作为捕获的图像被保存在存储器212上。在一些实施例中，预览图像600c和600d可以被同时示出在显示屏208上。例如，它们可以被示出为覆盖在相机取景器图像中。
[0162]
示例实施例已被描述，以用于估计如何以及何时以可以减少计算负担，增加便携式相机装置的电池寿命和/或获得包含更少伪影或不包含不想要的伪影的更优处理结果的这种方式来执行填充处理操作。在各种实施例中，已经解释了填充处理可以仅对一个图像或对多个保存的图像执行。在各种实施例中，捕获时间可以基于一个或多个性能度量的最优值来确定，该性能度量可以影响处理量和/或执行填写处理的准确性。捕获时间还可以基于例如检测接收到的图像内的一个或多个手势来确定，例如一个人微笑。在接收实时图像的过程中，一个或多个指示符可以经由显示屏呈现，以向用户指示可能影响何时手动捕获图像和/或如何移动相机装置的一个或多个性能度量的进度，以进一步提高一个或多个性能度量。在一些示例实施例中，一个或多个消息可以向屏幕呈现，诸如“现在捕获的”或类似的。例如，一个或多个消息可以包括改进建议，该改进建议可以基于规则影响用户可以如何移动相机装置以进一步提高一个或多个性能度量，例如向左移动，向上移动，向后移动。规则可以基于性能度量在最近的多个图像上的进展来确定做出什么改进建议。
[0163]
图7示出了根据实施例的装置，其可以包括本文描述的相机装置200。该装置可以被配置为执行本文描述的操作，例如参照任何前述过程描述的操作。该装置包括至少一个处理器700以及直接或紧密连接至处理器的至少一个存储器710。存储器710包括至少一个随机存取存储器(ram)710a和至少一个只读存储器(rom)710b。计算机程序代码(软件)720被存储在rom 710b中。该装置可以被连接至发送器(tx)和接收器(rx)。可选地，该装置可以与用于指令装置和/或输出数据的用户界面(ui)连接。至少一个处理器700与至少一个存储器710和计算机程序代码720一起被布置为使装置至少通过执行计算机程序代码来至少执行根据任一项前述过程的方法。
[0164]
图8示出了根据一些实施例的非瞬态介质800。非瞬态介质800是计算机可读存储介质。它可以是例如cd、dvd、usb棒、蓝光光盘等。非瞬态介质800存储计算机程序代码，使装置通过装置执行计算机程序代码来执行任一项前述过程的方法。
[0165]
任何提及的装置和/或特别提及的装置的其他特征可以由装置提供，该装置被布置为使得它们被配置为仅在启用(例如打开)等时执行期望操作。在这种情况下，它们可能未必在未启用(例如关闭状态)下将适当的软件加载到活动存储器中，而仅在启用(例如开启状态)下加载适当的软件。该装置可以包括硬件电路系统和/或固件。该装置可以包括加载到存储器上的软件。这种软件/计算机程序可以被记录在相同的存储器/处理器/功能单元上和/或一个或多个存储器/处理器/功能单元上。
[0166]
在一些示例中，特别提及的装置可以利用适当的软件预编程以执行期望操作，并且其中适当的软件可以被启用以供用户下载“密钥”使用，例如解锁/启用软件及其关联功能性。与这种示例相关联的优点可以包括，当设备需要又一功能性时，降低下载数据的要求，并且这在设备被感知为具有足够容量来存储这种预编程软件以用于可能未由用户启用的功能性的示例中是有用的。
[0167]
除了所提及的功能之外，任何提及的装置/电路系统/元件/处理器可以具有其他功能，并且这些功能可以由相同的装置/电路系统/元件/处理器执行。一个或多个公开方面可以涵盖记录在适当载体(例如存储器、信号)上的关联计算机程序和计算机程序(可以是源/传输编码的)的电子分发。
[0168]
本文描述的任何“计算机”可以包括一个或多个单独的处理器/处理元件的集合，这些处理器/处理元件可以或可以不位于相同电路板或电路板的相同区域/位置甚或相同设备上。在一些示例中，任何提及的处理器中的一个或多个处理器可以被分布在多个设备上。相同或不同的处理器/处理元件可以执行本文描述的一个或多个功能。
[0169]
术语“信令”可以指作为一系列发送和/或接收的电/光学信号发送的一个或多个信号。这一系列信号可以包括一个、两个、三个、四个甚或更多个单独信号分量或者不同信号以构成所述信令。这些单独信号中的一些或所有信号可以通过无线或有线通信同时按顺序发送/接收和/或使得它们在时间上彼此重叠。
[0170]
参照任何提及的计算机和/或处理器和存储器(例如包括rom、cd-rom等)的任何讨论，这些可以包括计算机处理器、专用集成电路(asic)、现场可编程门阵列(fpga)和/或已经以执行本发明功能的这种方式编程的其他硬件组件。
[0171]
申请人在此单独公开了本文描述的每个单独特征以及两个或多个这种特征的任何组合，只要这种特征或组合能够鉴于本领域技术人员的公知常识基于本说明书作为整体执行，不管这种特征或特征组合是否解决了本文公开的任何问题，并且不限制权利要求的范围。申请人指示所公开的方面/示例可以由任何这种单独特征或特征组合组成。鉴于前面的描述，对于本领域技术人员来说明显的是，各种修改可以在本公开的范围内进行。
[0172]
尽管已经示出和描述和指出了应用于其示例的基本新颖特征，但是要理解，所描述的设备和方法的形式和细节上的各种省略和替换和改变可以由本领域技术人员在不脱离本公开的范围的情况下进行。例如，意图明确的是，以大致相同的方式执行大致相同的功能以实现相同结果的这些元件和/或方法步骤的所有组合都在本公开的范围内。而且，应该认识到，结合任何公开的形式或示例示出和/或描述的结构和/或元件和/或方法步骤可以
作为设计选择的一般事项并入到任何其他公开或描述或建议的形式或示例中。此外，在权利要求中，部件加功能的条款旨在覆盖本文描述为执行所列举的功能的结构，并且不仅覆盖结构等效物，还覆盖等效结构。