1.本发明的目的在于提供一种在多摄像头设备中实现的去除图像伪影的方法、多摄像头设备、以及具有多摄像头设备的移动终端。
背景技术：
：：2.用移动终端拍照越来越受欢迎。同时，对用移动终端制作的图像的质量的要求也在提高。为了增加移动终端在摄影用途中的通用性，最近，移动终端具有以不同焦距实现的若干摄像头或摄像头模块，因为通常由于移动终端中的紧凑空间限制，照片摄像头的可变焦距是不可能的。因此，在一个设备中实现不同的摄像头，每个摄像头具有不同的焦距，其中，每个摄像头具有至少一个镜头和一个摄像头芯片，例如，cmos等。3.避免图像伪影对所制作的图像的质量具有巨大影响。其中，可能的图像伪影是由摄像头本身引起的，例如，源自强光源(例如，太阳或灯)的内部反射的镜头眩光。摄像头外壳或镜头上的划痕或灰尘会导致更多的图像伪影。此外，图像伪影可能是由于例如用户手指或者用户手指放置得太靠近摄像头而部分覆盖一个摄像头的镜头，使得来自手指的杂散光导致图像中出现错误的颜色。4.通常，图像伪影无法恢复，并且由于不希望的不可接受的图像质量而丢失图像。5.在拉梅什·拉斯卡尔(rameshraskar)、阿米特·阿格拉瓦(amitagrawal)、塞勒斯·a·威尔胜(cyrusa.wilson)和阿肖克·韦拉拉格温(ashokveeraraghavan)的《眩光感知摄影：减少摄像头镜头眩光效果的4d光线采样》(glareawarephotography:4draysamplingforreducingglareeffectsofcameralenses)(2008年)，《美国计算机协会图形协会报》(acmtrans.graph.)，27(3)，第1至10页中，在摄像头传感器的前面放置掩模(mask)，其中，通过打开和关闭掩模的每个光学快门元件，可以检测到包括散射光和镜头光斑的图像的相应区域。通过关闭对应于镜头眩光位置的光学快门区域元件，可以去除眩光。然而，这种方法需要额外的硬件，由于空间要求，这种硬件可能无法在移动终端中实现；此外，应当注意到，这种掩模由于在摄像头传感器处接收的光的损失而使图像质量劣化。6.yichengwu、qiuruihe、tianfanxue、拉胡尔·加格(rahulgarg)、jiawenchen、阿肖克·韦拉拉格温(ashokveeraraghavan)、乔纳森·t·巴伦(jonathant.barron)的《单图像镜头眩光消除》(single-imagelensflareremoval)(于2020年提交)，预印本平台(arxiv)：2011.12485，提出了一种基于神经网络的方法，旨在消除镜头眩光产生的所有类型的伪影。在该现有技术中，为了训练神经网络，基于镜头光斑的模型创建合成光斑图像。然而，这种技术方案需要很大的计算量，极大地降低了摄像头的速度，也增加了硬件需求。技术实现要素：7.因此，本发明的目的在于提供一种方法和设备，以便能够去除图像伪影。8.在本发明的第一方面，提供了一种去除图像伪影的方法，其实现于多摄像头设备中，包括以下步骤：9.a)用目标摄像头捕捉初始图像，并基本上同时用支持摄像头捕捉至少一个支持图像；10.b)将初始图像和至少一个支持图像对准；11.c)比较所对准的初始图像和至少一个支持图像，并识别对应于图像伪影的至少一个差异区域；12.d)将至少一个差异区域的图像信息从支持图像传送到初始图像以形成最终图像，从而去除图像伪影。13.其中，目标摄像头是由用户选择并用于拍摄图像的多摄像头设备的摄像头。此外，目标摄像头和至少一个支持摄像头基本上同时分别捕捉初始图像和支持图像。这意味着在很段的时间内捕捉初始图像和支持图像；在这段时间内，多摄像头设备的移动对图像没有影响或具有很小的影响，并且初始图像和至少支持图像之间的差异主要是由摄像头的不同位置和不同焦距造成的。14.此外，传送的图像信息是包含可以由颜色信息识别的图像内容的信息。15.因此，通过本发明，利用多于一个摄像头的存在来校正图像的图像伪影，并创建没有图像伪影的最终图像。其中，本发明的技术方案既不需要任何额外的硬件，也不需要显著增加的计算量，因为一个或多个差异区域的图像信息在初始图像和支持图像之间传递，以便形成最终图像。16.优选地，一个以上的支持图像由对应数量的支持摄像头捕捉，并在随后的步骤中使用，即与初始图像对准并用于识别一个或多个差异区域。此外，从一个或多个支持图像传送的图像信息可以是颜色信息的平均值，和/或可以基于用于排除那些与其他支持图像或初始图像的图像信息偏离太多的图像信息的预设阈值来选择，以便通过从损坏的支持图像传送图像信息来避免包含额外的图像伪影。17.优选地，对准是通过预设变换来执行的，其中，根据目标摄像头和至少一个支持摄像头的固定相对位置、焦距或其他光学失真来确定预设变换。由于多摄像头设备包括两个或更多个相对于彼此固定在其位置处的摄像头，因此可以预先计算例如变换矩阵形式的变换，以便将支持图像与初始图像对准。当确定预设变换以便对准支持图像和初始图像时，还可以考虑和补偿可能由焦距、光学失真等引起的进一步差异。因此，减少了拍摄图像时的计算工作量，减轻了多摄像头设备的计算负担。18.优选地，在通过预设变换将初始图像和至少一个支持图像对准之后，确定额外的对准变换，并且优选地将其应用于一个或多个差异区域。因此，在初始图像和支持图像之间的对准有轻微偏差的情况下(例如，由于在捕捉期间多摄像头设备的移动，并且没有精确地同时捕捉目标摄像头和至少一个支持摄像头)，可以确定至少一个或多个差异区域的最佳对准，以避免由于初始图像和支持图像之间未对准而在最终图像中引入额外的图像伪影。19.优选地，如果目标摄像头和图像的物体之间的距离小于预设阈值，则确定并应用额外对准变换。特别地，如果图像的真实世界物体和目标摄像头之间的距离小于预设阈值，则预先计算的预设变换不再适用。在这种情况下，应用预设变换用于对准，然后应用额外对准变换的精细对准。其中，由于是对一个或多个差异区域而不是整个图像进行考虑，因此减少了计算负担。20.优选地，差异区域由一个或多个区域检测算法识别，例如，mser(maximallystableextremalregions，最大稳定极值区域)算法。额外地或替代地，可以使用预设阈值来识别初始图像和至少一个支持图像之间的差异。其中，预设阈值进一步减少了由多摄像头设备执行的计算工作，也降低了硬件需求。21.优选地，差异区域由差异区域的伪影的形状、尺寸、相对距离、颜色、纹理以及伪影数量中的一个或多个来识别。其中，特别地，根据一个或多个前述参数的差异区域的识别可以与mser算法的使用或上述阈值的使用相结合。其中，可以使用关于具有特定形状、颜色、纹理和/或相对于彼此的位置的伪影的现有知识，以便更可靠地识别这样的伪影，或者排除所识别的差异区域(例如，通过mser算法或预设阈值识别)不是包含要校正的伪影的区域。因此，通过组合，能够提高伪影检测的精度。22.优选地，一个或多个差异区域由初始图像和至少一个支持图像之间在相应颜色空间的一个通道或通道子集中的差异来识别。其中，通道子集是指相应颜色空间中的若干通道，其数量小于相应颜色空间的通道总数。例如，如果所使用的lab颜色空间(通常也表示为l*a*b*颜色空间)总共具有三个通道(即，l通道、a通道和b通道)，则例如可以通过比较单独的a通道或b通道或者l通道、或者包括例如a通道和b通道的组合在内的通道子集来识别差异区域。但是，替代地，可以使用不同的颜色空间。23.优选地，传送的图像信息包含相应颜色空间的一个通道或通道子集。因此，例如，如果使用lab颜色空间，则可以传送a通道或b通道或l通道。替选地，可以将例如组合包括a通道和b通道的通道子集从至少一个支持图像传送到初始图像，以便形成最终图像。24.优选地，传送的图像信息不包含亮度值。本发明已经注意到，初始图像和至少一个支持图像之间可能存在亮度值差异，其中，传递亮度值将导致最终图像中的额外伪影。因此，例如，在lab颜色空间中，亮度l不作为图像信息从至少一个支持图像传送到初始图像，以形成最终图像。25.优选地，对应于初始图像和至少一个支持图像之间的亮度值的差异或者初始图像和至少一个支持图像中的差异区域之间的亮度值的差异，增强初始图像的对比度。替选地，在分别对应于初始图像和至少一个支持图像之间的亮度值差异的一个或多个差异区域中增强对比度。替选地，在分别对应于初始图像和至少一个支持图像中的相应差异区域之间的亮度值差异的一个或多个差异区域中增强对比度。例如，当使用lab颜色空间时，利用初始图像和至少一个支持图像之间的亮度l的差异，以适应初始图像中或至少初始图像中的一个或多个差异区域中的相应对比度增强，从而形成最终图像。由此，图像伪影进一步减少。其中，本发明已经注意到，例如，镜头眩光可能导致图像中对比度的降低，即雾度，这可以根据亮度值差异通过对比度增强来消除。26.优选地，在传送图像信息之前执行白平衡，以匹配初始图像和至少一个支持图像之间的白平衡。由于白平衡在不同的摄像头(即目标摄像头和支持摄像头)之间可能不同，因此匹配白平衡提高了最终图像的图像质量，并减少了为了形成最终图像而将图像信息从至少一个支持图像传送到初始图像所引入的伪影。27.在本发明的第二方面，多摄像头设备具有至少两个摄像头，并且还包括处理器和存储器。其中，存储器存储指令，该指令在由处理器执行时执行如前所述的方法。28.在本发明的第三方面，提供了一种包括如上所述的多摄像头设备的移动终端。其中，多摄像头设备的处理器可以是特定的处理器，例如，图像信号处理器(imagesignalprocessor，isp)，以便执行上述方法步骤。或者，多摄像头设备的处理器可以是共享公共处理器的移动终端的处理器。附图说明29.参照附图进一步描述本发明。30.附图示出：31.图1是具有多摄像头设备的智能手机；32.图2是该方法的流程图；33.图3是本方法的细节的流程图；34.图4是本方法的细节的流程图；35.图5示出了本方法的步骤；36.图6是本方法的差异区域的详细视图；以及37.图7是各个图像之间的比较。具体实施方式38.图1示出了被设计成具有多个不同的面向物理世界的摄像头的智能手机。其中，摄像头可以在多摄像头设备中实现，该多摄像头设备具有至少两个不同的摄像头，这两个摄像头以近距离彼此相邻设置在固定位置处，并且以至少部分重叠的视场面向同一方向。其中，摄像头例如可以实现为：[0039]-广角摄像头(通常实现为主摄像头)，用于各种使用情况；[0040]-超广角摄像头，用于需要捕捉非常大视场的使用情况；[0041]-微距摄像头，用于近摄照片和视频；以及[0042]-远距摄像头，用于远距离捕捉被摄体。[0043]其中，本发明不限于所示的摄像头组合，并且根据本发明的智能手机可以具有更多或更少的摄像头，这些摄像头具有应用于相同或不同使用情况的相同或不同焦距。然而，在任何情况下，如上所述，多摄像头设备具有至少两个摄像头。[0044]图2示出了根据本发明的其他方法的流程图。[0045]在步骤s01中，基本上同时使用目标摄像头捕捉初始图像以及使用支持摄像头捕捉至少一个支持图像。这意味着在多摄像头设备的移动对图像没有影响或影响很小的时间内捕捉初始图像和支持图像，并且初始图像和至少一个支持图像之间的差异主要是由摄像头的不同位置和不同焦距造成的。[0046]在步骤s02中，将初始图像和至少一个支持图像对准，这也被称为“图像配准”。其中，初始图像可以与支持图像对准，或者支持图像可以与初始图像对准，这是有利的，因为初始图像将传送到最终图像。其中，对准包括例如对图像中的一个图像进行裁剪和/或拉伸和/或倾斜等。因此，通过将初始图像与至少一个支持图像对准，校正了由于各个摄像头相对于彼此的不同位置和/或由不同摄像头提供的不同视场而导致的初始图像和至少一个支持图像之间的偏差，这也可以包括由于在捕捉初始图像和至少一个支持图像期间多摄像头设备的移动而导致的校正。[0047]在步骤s03中，比较对准的初始图像和至少一个支持图像，并且基于该比较来识别对应于图像伪影的至少一个差异区域。因此，影响初始图像但不影响一个支持图像的伪影导致至少两个图像之间的偏差或差异，这可以被识别为图像伪影。其中，图像中包含差异的区域被识别为对应于图像伪影的差异区域。其中，差异区域可以具有直接对应于伪影的形状，或者可以具有任何其他形状，例如，包含图像伪影的圆形或正方形。[0048]在步骤s04中，将图像信息从至少一个支持图像的至少一个差异区域传送到初始图像，以形成最终图像。其中，传送的图像信息是包含可以由颜色信息识别的图像内容的信息。[0049]因此，通过本发明，利用两个或更多个摄像头的存在来对捕捉图像中的图像伪影进行纠正。其中，支持图像中的一个图像的图像信息被使用并传送到目标摄像头的初始图像，从而替换初始图像中的损坏的图像信息。因此，最终图像是至少一个差异区域外的初始图像的图像信息和差异区域内的至少一个支持图像的图像信息的组合。因此，无需过多的计算工作或额外的硬件，就可以解决图像伪影，例如，目标摄像头上的镜头眩光、划痕或灰尘等。[0050]为了进一步减少必要的计算工作，根据图3所示的步骤s21，作为步骤s02的另一实施例，初始图像和至少一个支持图像的对准可以通过预设或预先计算的变换来执行。因为目标摄像头和至少一个支持摄像头的相对位置是固定的，所以可以预先确定变换，将其存储在多摄像头设备中并应用，以便将初始图像和至少一个支持图像对准。[0051]图4示出了对准步骤s02的另一详细实施例；其中，首先，在步骤s21中，通过预设变换来执行初始图像和至少一个支持图像的对准的粗略变换。在步骤s22中，确定额外的对准变换，用于将初始图像和至少一个支持图像之间的一个或多个差异区域的位置对准。其中，首先，根据步骤s21执行通过预设变换的粗略对准。随后，根据步骤s03识别一个或多个差异区域，接着是步骤s22的精细对准。每次执行该方法时，都可以执行步骤s22的这种额外的精细对准。替选地，为了减少计算量，如果多摄像头设备和要捕捉的(现实世界)物体之间的距离比预设阈值更近，则可以执行步骤s22的额外精细对准。在这种情况下，单独的粗略对准的预先计算的或预设的变换不再适用，并且会由于初始图像和至少一个支持图像的未对准而导致最终图像中的伪影。因此，如果要捕捉的物体和多摄像头设备之间的距离小于预设阈值，则执行步骤s22的精细对准，以避免在最终图像中引入额外的图像伪影。[0052]图5示出了根据本发明的用于去除镜头光斑或其他图像伪影的方法的示意图。因此，如图5(1)所示，由支持摄像头(左)和目标摄像头(右)捕捉至少两个图像，其中，目标摄像头是用户选择的摄像头或者将提供最终图像的设备。其中，应当注意到，由目标摄像头捕捉的初始图像包括镜头光斑，如图7(中)中详细示出的。此外，支持图像还显示了图像伪影，如图7(左)中进一步所示，显示为镜头光斑和图像中降低的对比度(“雾度”)。[0053]在图5(2)所示的第二步骤中，将初始图像和支持图像对准。由于摄像头的相对位置是在某个设备上预先定义的，因此不需要每次拍摄图像时都计算变换矩阵。这已经通过用三脚架捕捉大量图像并观察到变换矩阵保持不变来验证。这的确节省了时间和计算。然而，当要捕捉的场景或物体比某个距离更远时，情况确实如此。如果场景或物体离摄像头太近，则变换矩阵与预先计算的不同。因此，图像对准不正确的信息的传送可能会产生伪影。因此，如图5(3)所示，在计算对应于一个或多个差异区域的初始眩光掩模之后，执行精细对准。其中，使用一个或多个差异区域周围的区域计算新的变换矩阵，并重新配准图像。一旦图像完全对准，即使眩光掩模不正确，传送的信息也不会造成任何伪影。此外，由于处理区域相对较小，因此相比于计算整个图像的变换要有效得多。[0054]一旦图像对准，对图像进行比较以揭示图像伪影的位置，如图5(3)所示。本发明可以使用任何比较方案，并且本发明不限于比较对准图像的具体方式。图5(3)示出了lab颜色空间中图像的a通道的比较。使用任何颜色空间和通道(或任何组合)以及任何其他比较方法都是可能的。因为图像是同时拍摄的，所以对准的图像具有微小的差异，任何强烈的差异都指示了伪影的位置，例如，本示例中的眩光。通过基于各个a通道的差异图像对图6(左)中的差异图像使用区域检测算法，获得图6(右)中所示的差异区域。然而，提案也没有定义或限制这种方法。尽管任何复杂的区域检测算法都是适用的，但是根据用于比较的方法，简单的阈值处理也可以工作。[0055]如上所述，在图6(右)的差异图像上使用区域检测算法，以便提取伪影的区域。在本示例中，使用了“最大稳定极值区域”(mser)算法。此外，还使用检测到的区域的额外特征或取决于要去除的伪影种类的现有知识，以便从最终掩模中消除不合格的区域，例如，其形状、大小、彼此之间的相对距离等。此外，可以使用一些运动估计算法来解决由于图像对准不准确而产生的区域(例如，如图6(右)所示，本示例中的树区域或烟囱边界的差异)。已知这种算法在考虑小的摄像头运动时是有效的，因为它们的目标是检测更大的物体运动。[0056]一旦如图5(4)所示获得作为掩模的差异区域，就可以执行图像信息在一个或多个差异区域内从支持图像到初始图像的传送，以便形成最终图像。其中，一个或多个差异区域可以实现为可调掩模区域，以便更平滑地将图像信息从至少一个支持图像传递到最终图像，并且不会在最终图像中引入的图像信息中产生尖锐的边缘。[0057]为了实现如图5(5)所示的无眩光图像，lab颜色空间的a通道和b通道从广角图像传送到超广角图像。至于l通道，保持原样，并对任何剩余的可见眩光应用对比度增强(见图7(右))。其中，由于两个图像的亮度可能显著不同，所以不传送与亮度相关的l通道(例如，参见图7(左)和7(右))。相反，l通道中的差异用作对比度增强强度的度量。一旦校正了所有的l、a和b通道，就获得了作为最终图像的无眩光图像(分别参见图7(右)和图5(5))。[0058]由于每个摄像头的视场不同，它们的白平衡也可能不同。因此，在将任何颜色信息从一幅图像传送到另一幅图像之前，可以对它们的白平衡进行匹配。其中，可以直接从设备中获得白平衡增益，例如，从自动白平衡(automaticwhitebalance，awb)算法中获得。本发明不限定或限制要使用的方法。[0059]当然，根据所使用的颜色空间，可以使用不同的颜色通道在支持图像和初始图像之间传送。本发明不限于lab颜色空间的特定使用。然而，由于对亮度和颜色信息的不同处理，使用同样具有亮度值的可比颜色空间是有利的。[0060]因此，通过根据本发明的方法，提出了一种利用在用一个设备的不同摄像头同时捕捉的图像之间传送图像信息的可能性来去除用移动电话摄像头捕捉的图像中不期望的伪影的方法。当前第1页12当前第1页12
背景技术：
：：2.用移动终端拍照越来越受欢迎。同时，对用移动终端制作的图像的质量的要求也在提高。为了增加移动终端在摄影用途中的通用性，最近，移动终端具有以不同焦距实现的若干摄像头或摄像头模块，因为通常由于移动终端中的紧凑空间限制，照片摄像头的可变焦距是不可能的。因此，在一个设备中实现不同的摄像头，每个摄像头具有不同的焦距，其中，每个摄像头具有至少一个镜头和一个摄像头芯片，例如，cmos等。3.避免图像伪影对所制作的图像的质量具有巨大影响。其中，可能的图像伪影是由摄像头本身引起的，例如，源自强光源(例如，太阳或灯)的内部反射的镜头眩光。摄像头外壳或镜头上的划痕或灰尘会导致更多的图像伪影。此外，图像伪影可能是由于例如用户手指或者用户手指放置得太靠近摄像头而部分覆盖一个摄像头的镜头，使得来自手指的杂散光导致图像中出现错误的颜色。4.通常，图像伪影无法恢复，并且由于不希望的不可接受的图像质量而丢失图像。5.在拉梅什·拉斯卡尔(rameshraskar)、阿米特·阿格拉瓦(amitagrawal)、塞勒斯·a·威尔胜(cyrusa.wilson)和阿肖克·韦拉拉格温(ashokveeraraghavan)的《眩光感知摄影：减少摄像头镜头眩光效果的4d光线采样》(glareawarephotography:4draysamplingforreducingglareeffectsofcameralenses)(2008年)，《美国计算机协会图形协会报》(acmtrans.graph.)，27(3)，第1至10页中，在摄像头传感器的前面放置掩模(mask)，其中，通过打开和关闭掩模的每个光学快门元件，可以检测到包括散射光和镜头光斑的图像的相应区域。通过关闭对应于镜头眩光位置的光学快门区域元件，可以去除眩光。然而，这种方法需要额外的硬件，由于空间要求，这种硬件可能无法在移动终端中实现；此外，应当注意到，这种掩模由于在摄像头传感器处接收的光的损失而使图像质量劣化。6.yichengwu、qiuruihe、tianfanxue、拉胡尔·加格(rahulgarg)、jiawenchen、阿肖克·韦拉拉格温(ashokveeraraghavan)、乔纳森·t·巴伦(jonathant.barron)的《单图像镜头眩光消除》(single-imagelensflareremoval)(于2020年提交)，预印本平台(arxiv)：2011.12485，提出了一种基于神经网络的方法，旨在消除镜头眩光产生的所有类型的伪影。在该现有技术中，为了训练神经网络，基于镜头光斑的模型创建合成光斑图像。然而，这种技术方案需要很大的计算量，极大地降低了摄像头的速度，也增加了硬件需求。技术实现要素：7.因此，本发明的目的在于提供一种方法和设备，以便能够去除图像伪影。8.在本发明的第一方面，提供了一种去除图像伪影的方法，其实现于多摄像头设备中，包括以下步骤：9.a)用目标摄像头捕捉初始图像，并基本上同时用支持摄像头捕捉至少一个支持图像；10.b)将初始图像和至少一个支持图像对准；11.c)比较所对准的初始图像和至少一个支持图像，并识别对应于图像伪影的至少一个差异区域；12.d)将至少一个差异区域的图像信息从支持图像传送到初始图像以形成最终图像，从而去除图像伪影。13.其中，目标摄像头是由用户选择并用于拍摄图像的多摄像头设备的摄像头。此外，目标摄像头和至少一个支持摄像头基本上同时分别捕捉初始图像和支持图像。这意味着在很段的时间内捕捉初始图像和支持图像；在这段时间内，多摄像头设备的移动对图像没有影响或具有很小的影响，并且初始图像和至少支持图像之间的差异主要是由摄像头的不同位置和不同焦距造成的。14.此外，传送的图像信息是包含可以由颜色信息识别的图像内容的信息。15.因此，通过本发明，利用多于一个摄像头的存在来校正图像的图像伪影，并创建没有图像伪影的最终图像。其中，本发明的技术方案既不需要任何额外的硬件，也不需要显著增加的计算量，因为一个或多个差异区域的图像信息在初始图像和支持图像之间传递，以便形成最终图像。16.优选地，一个以上的支持图像由对应数量的支持摄像头捕捉，并在随后的步骤中使用，即与初始图像对准并用于识别一个或多个差异区域。此外，从一个或多个支持图像传送的图像信息可以是颜色信息的平均值，和/或可以基于用于排除那些与其他支持图像或初始图像的图像信息偏离太多的图像信息的预设阈值来选择，以便通过从损坏的支持图像传送图像信息来避免包含额外的图像伪影。17.优选地，对准是通过预设变换来执行的，其中，根据目标摄像头和至少一个支持摄像头的固定相对位置、焦距或其他光学失真来确定预设变换。由于多摄像头设备包括两个或更多个相对于彼此固定在其位置处的摄像头，因此可以预先计算例如变换矩阵形式的变换，以便将支持图像与初始图像对准。当确定预设变换以便对准支持图像和初始图像时，还可以考虑和补偿可能由焦距、光学失真等引起的进一步差异。因此，减少了拍摄图像时的计算工作量，减轻了多摄像头设备的计算负担。18.优选地，在通过预设变换将初始图像和至少一个支持图像对准之后，确定额外的对准变换，并且优选地将其应用于一个或多个差异区域。因此，在初始图像和支持图像之间的对准有轻微偏差的情况下(例如，由于在捕捉期间多摄像头设备的移动，并且没有精确地同时捕捉目标摄像头和至少一个支持摄像头)，可以确定至少一个或多个差异区域的最佳对准，以避免由于初始图像和支持图像之间未对准而在最终图像中引入额外的图像伪影。19.优选地，如果目标摄像头和图像的物体之间的距离小于预设阈值，则确定并应用额外对准变换。特别地，如果图像的真实世界物体和目标摄像头之间的距离小于预设阈值，则预先计算的预设变换不再适用。在这种情况下，应用预设变换用于对准，然后应用额外对准变换的精细对准。其中，由于是对一个或多个差异区域而不是整个图像进行考虑，因此减少了计算负担。20.优选地，差异区域由一个或多个区域检测算法识别，例如，mser(maximallystableextremalregions，最大稳定极值区域)算法。额外地或替代地，可以使用预设阈值来识别初始图像和至少一个支持图像之间的差异。其中，预设阈值进一步减少了由多摄像头设备执行的计算工作，也降低了硬件需求。21.优选地，差异区域由差异区域的伪影的形状、尺寸、相对距离、颜色、纹理以及伪影数量中的一个或多个来识别。其中，特别地，根据一个或多个前述参数的差异区域的识别可以与mser算法的使用或上述阈值的使用相结合。其中，可以使用关于具有特定形状、颜色、纹理和/或相对于彼此的位置的伪影的现有知识，以便更可靠地识别这样的伪影，或者排除所识别的差异区域(例如，通过mser算法或预设阈值识别)不是包含要校正的伪影的区域。因此，通过组合，能够提高伪影检测的精度。22.优选地，一个或多个差异区域由初始图像和至少一个支持图像之间在相应颜色空间的一个通道或通道子集中的差异来识别。其中，通道子集是指相应颜色空间中的若干通道，其数量小于相应颜色空间的通道总数。例如，如果所使用的lab颜色空间(通常也表示为l*a*b*颜色空间)总共具有三个通道(即，l通道、a通道和b通道)，则例如可以通过比较单独的a通道或b通道或者l通道、或者包括例如a通道和b通道的组合在内的通道子集来识别差异区域。但是，替代地，可以使用不同的颜色空间。23.优选地，传送的图像信息包含相应颜色空间的一个通道或通道子集。因此，例如，如果使用lab颜色空间，则可以传送a通道或b通道或l通道。替选地，可以将例如组合包括a通道和b通道的通道子集从至少一个支持图像传送到初始图像，以便形成最终图像。24.优选地，传送的图像信息不包含亮度值。本发明已经注意到，初始图像和至少一个支持图像之间可能存在亮度值差异，其中，传递亮度值将导致最终图像中的额外伪影。因此，例如，在lab颜色空间中，亮度l不作为图像信息从至少一个支持图像传送到初始图像，以形成最终图像。25.优选地，对应于初始图像和至少一个支持图像之间的亮度值的差异或者初始图像和至少一个支持图像中的差异区域之间的亮度值的差异，增强初始图像的对比度。替选地，在分别对应于初始图像和至少一个支持图像之间的亮度值差异的一个或多个差异区域中增强对比度。替选地，在分别对应于初始图像和至少一个支持图像中的相应差异区域之间的亮度值差异的一个或多个差异区域中增强对比度。例如，当使用lab颜色空间时，利用初始图像和至少一个支持图像之间的亮度l的差异，以适应初始图像中或至少初始图像中的一个或多个差异区域中的相应对比度增强，从而形成最终图像。由此，图像伪影进一步减少。其中，本发明已经注意到，例如，镜头眩光可能导致图像中对比度的降低，即雾度，这可以根据亮度值差异通过对比度增强来消除。26.优选地，在传送图像信息之前执行白平衡，以匹配初始图像和至少一个支持图像之间的白平衡。由于白平衡在不同的摄像头(即目标摄像头和支持摄像头)之间可能不同，因此匹配白平衡提高了最终图像的图像质量，并减少了为了形成最终图像而将图像信息从至少一个支持图像传送到初始图像所引入的伪影。27.在本发明的第二方面，多摄像头设备具有至少两个摄像头，并且还包括处理器和存储器。其中，存储器存储指令，该指令在由处理器执行时执行如前所述的方法。28.在本发明的第三方面，提供了一种包括如上所述的多摄像头设备的移动终端。其中，多摄像头设备的处理器可以是特定的处理器，例如，图像信号处理器(imagesignalprocessor，isp)，以便执行上述方法步骤。或者，多摄像头设备的处理器可以是共享公共处理器的移动终端的处理器。附图说明29.参照附图进一步描述本发明。30.附图示出：31.图1是具有多摄像头设备的智能手机；32.图2是该方法的流程图；33.图3是本方法的细节的流程图；34.图4是本方法的细节的流程图；35.图5示出了本方法的步骤；36.图6是本方法的差异区域的详细视图；以及37.图7是各个图像之间的比较。具体实施方式38.图1示出了被设计成具有多个不同的面向物理世界的摄像头的智能手机。其中，摄像头可以在多摄像头设备中实现，该多摄像头设备具有至少两个不同的摄像头，这两个摄像头以近距离彼此相邻设置在固定位置处，并且以至少部分重叠的视场面向同一方向。其中，摄像头例如可以实现为：[0039]-广角摄像头(通常实现为主摄像头)，用于各种使用情况；[0040]-超广角摄像头，用于需要捕捉非常大视场的使用情况；[0041]-微距摄像头，用于近摄照片和视频；以及[0042]-远距摄像头，用于远距离捕捉被摄体。[0043]其中，本发明不限于所示的摄像头组合，并且根据本发明的智能手机可以具有更多或更少的摄像头，这些摄像头具有应用于相同或不同使用情况的相同或不同焦距。然而，在任何情况下，如上所述，多摄像头设备具有至少两个摄像头。[0044]图2示出了根据本发明的其他方法的流程图。[0045]在步骤s01中，基本上同时使用目标摄像头捕捉初始图像以及使用支持摄像头捕捉至少一个支持图像。这意味着在多摄像头设备的移动对图像没有影响或影响很小的时间内捕捉初始图像和支持图像，并且初始图像和至少一个支持图像之间的差异主要是由摄像头的不同位置和不同焦距造成的。[0046]在步骤s02中，将初始图像和至少一个支持图像对准，这也被称为“图像配准”。其中，初始图像可以与支持图像对准，或者支持图像可以与初始图像对准，这是有利的，因为初始图像将传送到最终图像。其中，对准包括例如对图像中的一个图像进行裁剪和/或拉伸和/或倾斜等。因此，通过将初始图像与至少一个支持图像对准，校正了由于各个摄像头相对于彼此的不同位置和/或由不同摄像头提供的不同视场而导致的初始图像和至少一个支持图像之间的偏差，这也可以包括由于在捕捉初始图像和至少一个支持图像期间多摄像头设备的移动而导致的校正。[0047]在步骤s03中，比较对准的初始图像和至少一个支持图像，并且基于该比较来识别对应于图像伪影的至少一个差异区域。因此，影响初始图像但不影响一个支持图像的伪影导致至少两个图像之间的偏差或差异，这可以被识别为图像伪影。其中，图像中包含差异的区域被识别为对应于图像伪影的差异区域。其中，差异区域可以具有直接对应于伪影的形状，或者可以具有任何其他形状，例如，包含图像伪影的圆形或正方形。[0048]在步骤s04中，将图像信息从至少一个支持图像的至少一个差异区域传送到初始图像，以形成最终图像。其中，传送的图像信息是包含可以由颜色信息识别的图像内容的信息。[0049]因此，通过本发明，利用两个或更多个摄像头的存在来对捕捉图像中的图像伪影进行纠正。其中，支持图像中的一个图像的图像信息被使用并传送到目标摄像头的初始图像，从而替换初始图像中的损坏的图像信息。因此，最终图像是至少一个差异区域外的初始图像的图像信息和差异区域内的至少一个支持图像的图像信息的组合。因此，无需过多的计算工作或额外的硬件，就可以解决图像伪影，例如，目标摄像头上的镜头眩光、划痕或灰尘等。[0050]为了进一步减少必要的计算工作，根据图3所示的步骤s21，作为步骤s02的另一实施例，初始图像和至少一个支持图像的对准可以通过预设或预先计算的变换来执行。因为目标摄像头和至少一个支持摄像头的相对位置是固定的，所以可以预先确定变换，将其存储在多摄像头设备中并应用，以便将初始图像和至少一个支持图像对准。[0051]图4示出了对准步骤s02的另一详细实施例；其中，首先，在步骤s21中，通过预设变换来执行初始图像和至少一个支持图像的对准的粗略变换。在步骤s22中，确定额外的对准变换，用于将初始图像和至少一个支持图像之间的一个或多个差异区域的位置对准。其中，首先，根据步骤s21执行通过预设变换的粗略对准。随后，根据步骤s03识别一个或多个差异区域，接着是步骤s22的精细对准。每次执行该方法时，都可以执行步骤s22的这种额外的精细对准。替选地，为了减少计算量，如果多摄像头设备和要捕捉的(现实世界)物体之间的距离比预设阈值更近，则可以执行步骤s22的额外精细对准。在这种情况下，单独的粗略对准的预先计算的或预设的变换不再适用，并且会由于初始图像和至少一个支持图像的未对准而导致最终图像中的伪影。因此，如果要捕捉的物体和多摄像头设备之间的距离小于预设阈值，则执行步骤s22的精细对准，以避免在最终图像中引入额外的图像伪影。[0052]图5示出了根据本发明的用于去除镜头光斑或其他图像伪影的方法的示意图。因此，如图5(1)所示，由支持摄像头(左)和目标摄像头(右)捕捉至少两个图像，其中，目标摄像头是用户选择的摄像头或者将提供最终图像的设备。其中，应当注意到，由目标摄像头捕捉的初始图像包括镜头光斑，如图7(中)中详细示出的。此外，支持图像还显示了图像伪影，如图7(左)中进一步所示，显示为镜头光斑和图像中降低的对比度(“雾度”)。[0053]在图5(2)所示的第二步骤中，将初始图像和支持图像对准。由于摄像头的相对位置是在某个设备上预先定义的，因此不需要每次拍摄图像时都计算变换矩阵。这已经通过用三脚架捕捉大量图像并观察到变换矩阵保持不变来验证。这的确节省了时间和计算。然而，当要捕捉的场景或物体比某个距离更远时，情况确实如此。如果场景或物体离摄像头太近，则变换矩阵与预先计算的不同。因此，图像对准不正确的信息的传送可能会产生伪影。因此，如图5(3)所示，在计算对应于一个或多个差异区域的初始眩光掩模之后，执行精细对准。其中，使用一个或多个差异区域周围的区域计算新的变换矩阵，并重新配准图像。一旦图像完全对准，即使眩光掩模不正确，传送的信息也不会造成任何伪影。此外，由于处理区域相对较小，因此相比于计算整个图像的变换要有效得多。[0054]一旦图像对准，对图像进行比较以揭示图像伪影的位置，如图5(3)所示。本发明可以使用任何比较方案，并且本发明不限于比较对准图像的具体方式。图5(3)示出了lab颜色空间中图像的a通道的比较。使用任何颜色空间和通道(或任何组合)以及任何其他比较方法都是可能的。因为图像是同时拍摄的，所以对准的图像具有微小的差异，任何强烈的差异都指示了伪影的位置，例如，本示例中的眩光。通过基于各个a通道的差异图像对图6(左)中的差异图像使用区域检测算法，获得图6(右)中所示的差异区域。然而，提案也没有定义或限制这种方法。尽管任何复杂的区域检测算法都是适用的，但是根据用于比较的方法，简单的阈值处理也可以工作。[0055]如上所述，在图6(右)的差异图像上使用区域检测算法，以便提取伪影的区域。在本示例中，使用了“最大稳定极值区域”(mser)算法。此外，还使用检测到的区域的额外特征或取决于要去除的伪影种类的现有知识，以便从最终掩模中消除不合格的区域，例如，其形状、大小、彼此之间的相对距离等。此外，可以使用一些运动估计算法来解决由于图像对准不准确而产生的区域(例如，如图6(右)所示，本示例中的树区域或烟囱边界的差异)。已知这种算法在考虑小的摄像头运动时是有效的，因为它们的目标是检测更大的物体运动。[0056]一旦如图5(4)所示获得作为掩模的差异区域，就可以执行图像信息在一个或多个差异区域内从支持图像到初始图像的传送，以便形成最终图像。其中，一个或多个差异区域可以实现为可调掩模区域，以便更平滑地将图像信息从至少一个支持图像传递到最终图像，并且不会在最终图像中引入的图像信息中产生尖锐的边缘。[0057]为了实现如图5(5)所示的无眩光图像，lab颜色空间的a通道和b通道从广角图像传送到超广角图像。至于l通道，保持原样，并对任何剩余的可见眩光应用对比度增强(见图7(右))。其中，由于两个图像的亮度可能显著不同，所以不传送与亮度相关的l通道(例如，参见图7(左)和7(右))。相反，l通道中的差异用作对比度增强强度的度量。一旦校正了所有的l、a和b通道，就获得了作为最终图像的无眩光图像(分别参见图7(右)和图5(5))。[0058]由于每个摄像头的视场不同，它们的白平衡也可能不同。因此，在将任何颜色信息从一幅图像传送到另一幅图像之前，可以对它们的白平衡进行匹配。其中，可以直接从设备中获得白平衡增益，例如，从自动白平衡(automaticwhitebalance，awb)算法中获得。本发明不限定或限制要使用的方法。[0059]当然，根据所使用的颜色空间，可以使用不同的颜色通道在支持图像和初始图像之间传送。本发明不限于lab颜色空间的特定使用。然而，由于对亮度和颜色信息的不同处理，使用同样具有亮度值的可比颜色空间是有利的。[0060]因此，通过根据本发明的方法，提出了一种利用在用一个设备的不同摄像头同时捕捉的图像之间传送图像信息的可能性来去除用移动电话摄像头捕捉的图像中不期望的伪影的方法。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
