1.本公开大体上涉及使用光学设备的方法，并且更具体地，涉及对由图案投影仪照射的场景的图像的处理。
背景技术：
：：2.立体相机装置是由两个相机单元组成并组装在立体模块中的元件。立体视觉(也称为“立体视觉学”或“3d成像”)是一种用于借助于立体影像确定图像深度的技术。换句话说，是具有正常双眼视觉的人用双眼观看场景时感知到的深度印象，双眼视觉导致由于眼睛/相机的不同位置而在双眼中创建场景的两个略微不同的图像。3.主动立体视觉是立体视觉的一种形式，其主动采用诸如激光二极管之类的发光器件或被配置为发出结构光(例如，图案光)的设备以便简化立体匹配问题。4.与该类型的技术相关联的问题之一是边缘检测，这是检测对象边界的重要因素，这些对象包括在使用立体相机装置检索到的图像中。对边缘边界进行检测可以改进从两个相机检索到的图像之间的匹配过程，由于匹配窗口可能被边缘边界裁剪(位于边缘边界之外的像素可能属于位于不同深度或视差处的对象/环境)，因此它将不会与匹配窗口内存在的像素一起进行匹配，假定匹配窗口内存在的像素在其之间具有非常相似的深度或视差。此外，边缘可用于后处理阶段，以改进获得的最终3d深度图。5.存在许多与主动立体图像中的边缘的这种处理相关联的问题。仅举几例，边缘强度随着距相机装置的距离的增大而减小，在应用被配置为发出结构光的设备时检索到的图像中包括的大多数边缘属于投影图案而不是对象的边缘，图案密度太低以至于无法以像素分辨率指定对象边界。解决该问题的选择之一是使用具有增强背景光强度的投影仪以能够检测主动图像中的边缘。6.为了解决边缘检测问题，本领域已经提出了许多解决方案。这些解决方案中的一些如下所述。7.us20120114225公开了一种图像处理装置，其通过将边缘检测算法应用于深度图像来检测深度图像内的对象之间的遮挡边界。该图像处理装置使用遮挡边界的深度梯度矢量方向将遮挡边界分类为前景区域边界和背景区域边界，并且使用前景区域边界提取输入的深度图像的遮挡区域。8.us20120269458描述了一种使用边缘信息对分辨率降低的深度图像进行插值和滤波以恢复高分辨率深度图像的方法，其中，每个深度图像包括各位置处的像素的阵列，并且其中，每个像素具有深度。首先对减少的深度图像进行上采样，通过重复最近邻深度值对缺失的位置进行插值。接下来，将移动窗口应用于经上采样的深度图像中的像素。窗口覆盖以每个像素为中心的像素集。窗口所覆盖的像素是根据它们与深度边缘的相对偏移来选择的，并且只有在中心像素的深度边缘的同一侧内的像素才用于滤波过程。9.然而，需要解决的问题是在主动立体实现方式中检测由图案投影仪照射的场景的捕获图像中包括的边缘。10.本发明提出了一种在这种情况下实现新的边缘检测机制的解决方案。技术实现要素：11.可以通过参考所附权利要求来概括公开内容。12.本公开的一个目的是提供一种方法和装置，其能够从正在处理的图像中去除投影图案，同时保留正在处理的图像中的边缘位置。13.本公开的另一个目的是提供一种用于检测包括背景图案的图像内的对象的边缘的方法和装置。14.本公开的另一个目的是提供一种用于生成三维深度图的方法和装置，该三维深度图具有包括在该图像中的对象的高质量边缘。15.本公开的另一个目的是提供一种用于消除与投影图案相关联的数据的方法和装置，该投影图案作为由立体装置捕获的场景的一部分而包括在内。16.本发明的其他目的将从以下的描述中变得显而易见。17.根据本公开的第一实施例，提供了一种用于生成三维深度图的方法，包括以下步骤：18.(i)通过具有背景强度的图案投影仪或通过一起操作的泛光投影仪和不具有背景强度的图案投影仪的组合来照射目标；19.(ii)捕获至少一个图像，该至少一个图像包括存在于经照射的目标处的一个或多个对象；20.(iii)将至少一个捕获到的图像转换为数据；21.(iv)对从该至少一个捕获到的图像的转换中接收到的数据进行处理，并从处理后的数据中滤除投影图案；22.(v)检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘；以及23.(vi)生成三维深度图，该三维深度图包括该一个或多个对象中边缘已被确定的至少一个对象。24.本文中，术语“具有背景强度”在整个说明书和权利要求书中与投影仪相关联地使用时应被理解为与一投影仪有关，该投影仪能够以非零强度发出背景照射。25.本文中，在整个说明书和权利要求书中使用的术语“主动立体图像”应被理解为涵盖主动立体图像和/或结构光图像两者。26.根据本公开，在去除包括于图像捕获设备捕获到的图像中的投影图案(例如，斑点图案、线条纹图案等)之后，使用背景强度检测边缘。换句话说，背景强度以像素分辨率提供边缘。27.根据另一实施例，检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘的步骤通过检测包括在该至少一个图像中的非图案边缘来执行。28.根据另一实施例，步骤(iv)通过应用一算法来执行，该算法被配置为检测包括在该至少一个图像中的团迹(blob)。29.本文中，在整个说明书和权利要求书中使用的术语“团迹”用于表示被图案投影仪强烈照射的像素的连接分量(与被弱照射的背景相反)。团迹的形状不限于圆形，而是可以为任何适用的形状。应根据该形状选择相应的算法，该算法将如通过本说明书描述的那样来实现。30.通过又一实施例，步骤(iv)还包括填充属于每个图案团迹的投影图案的像素，并且确定包括在这种团迹中的所有像素的最小值。31.根据又一实施例，提供的方法还包括针对包括在特定团迹中的每个像素的以下步骤：32.(a)收集与包括在位于像素周围的方形窗口内的所有像素有关的数据；33.(b)从收集到的数据中去除与灰度值高于包括在该特定团迹中的所有像素的最小值的像素有关的所有数据；34.(c)对步骤(b)中未去除的收集到的数据应用双边滤波器；以及35.(d)对整个捕获到的图像执行以下步骤：36.(d1)对获得的结果应用算子，其中，该算子被配置为实现从捕获到的图像中去除投影图案，同时保留捕获到的图像中的边缘位置。这种算子可以是例如适用的开算子；以及37.(d2)在无图案数据上应用边缘检测算子(例如，canny边缘检测器)以检测捕获到的图像中的各种边缘。38.根据又一实施例，提供的方法还包括确定主动照射图像中的关键点(例如，在图案背景中检测到的线(例如，直线)的交点等)的步骤。可以将直线拟合成适合这种拟合的边缘线(例如，边缘几乎是线性的)，以便检测直线对象上合适的直线边缘。附加地或替代地，通过例如使直线相交，可以在具有特定的限定图案的图像内检测关键点(也称为关注点)。实现关键点检测方法的优点在于，其允许帧的及时配准。该问题在应对主动立体系统时会出现问题，因为图案会随着投影仪移动，这意味着标识不同帧中的关键点是相当大的挑战。关键点检测方法能够实现本公开的另一实施例，通过该实施例，通过使用主动立体图像中的背景强度来检测关注点(例如，边缘点、关键点)。39.根据本公开的另一方面，提供了一种用于生成三维深度图的装置，其中，该装置包括：40.至少一个投影仪，该至少一个投影仪是具有背景强度的图案投影仪或被配置为一起操作的泛光投影仪和不具有背景强度的图案投影仪的组合，适用于照射目标，同时在目标处投影图案，在该目标处存在一个或多个对象；41.至少一个图像捕获传感器，被配置为捕获至少一个图像，该至少一个图像包括存在于经照射的目标处的一个或多个对象；以及42.至少一个处理器，被配置为对由该至少一个图像捕获传感器捕获到的该至少一个图像进行操作，并且被配置为：43.(a)处理至少一个捕获到的图像并将其转换为数据；44.(b)从处理后的数据中滤除投影图案；45.(c)检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘；以及46.(d)生成三维深度图，该三维深度图包括该一个或多个对象中边缘已被检测到的至少一个对象。47.如本领域技术人员将理解的，通常当在使用主动立体装置的同时实现本发明提供的解决方案时，将使用两个相机传感器，而当在使用结构光装置的同时实现本发明提供的解决方案时，将使用一个相机传感器。48.根据另一实施例，该至少一个处理器被配置为通过应用算法从处理后的数据中滤除投影图案，该算法可操作用于检测包括在该至少一个图像中的团迹。根据又一实施例，该至少一个处理器被配置为针对包括在特定团迹中的每个像素执行以下步骤：49.(a)收集与包括在位于该像素周围的方形窗口内的所有像素有关的数据；50.(b)从收集到的信息中去除与灰度值高于包括在所述特定团迹中的所有像素的最小值的像素有关的所有数据；51.(c)对步骤(b)中未去除的收集到的数据应用双边滤波器，以利用临时值填充团迹；以及52.(d)该处理器还被配置为对整个捕获到的图像执行以下步骤：53.(d1)对获得的结果应用算子，其中，该算子被配置为实现从捕获到的图像中去除投影图案，同时保留捕获到的图像中的边缘位置；以及54.(d2)在无图案数据上应用边缘检测算子以检测捕获到的图像中的各种边缘。55.根据本公开的该方面的另一实施例，该至少一个处理器还被配置为确定经主动照射的无图案图像中的关键点。例如，关键点是在投影图案的背景中检测到的线(例如，直线)的交点。附图说明56.为了更完整地理解本发明，现参考以下结合附图的详细描述，其中：57.图1示出了由立体图像捕获装置捕获的场景的示例；58.图2是通过对图1中描绘的图像应用对数变换获得的结果；59.图3例示了根据依照本发明所解释的实施例的通过对收集到的数据应用双边滤波器以得到团迹的填充值而获得的结果；60.图4例示了最终的边缘图；61.图5例示了对图1中例示的图像内的关注区域的放大；62.图6例示了输入图像的第二示例；63.图7例示了图6中描绘的示例的最终边缘图；64.图8示出了对图6内的关注区域的放大；以及65.图9示出了对图6的关注区域的放大。具体实施方式66.在本公开中，术语“包括”旨在具有开放式含义，使得当第一要素被陈述为包括第二要素时，该第一要素还可以包括一个或多个其他要素，这些其他要素不一定在本文中被标识或描述，或被记载在权利要求书中。67.在以下描述中，出于解释的目的，阐述了许多具体细节以便通过示例的方式提供对本发明更好的理解。然而，应该清楚的是，可以在没有这些具体细节的情况下实践本发明。68.已知图案通常由结构光传感器或主动立体传感器投影到场景上。在出现于传感器相机上的情况下，这些已知图案在图案撞击表面时的变形允许视觉系统计算场景中存在的对象的深度和表面信息，例如，如在结构光3d扫描仪中使用的那样。69.图案投影仪可以包括光源、一个或多个光学组件和封壳(外壳)。该设备的目的是投影光图案。这通常可以通过操控从光源或光源阵列发出的光，并将其整形为所需强度下的期望图案来实现。在许多投影仪模块中，使用激光器或激光器阵列，可选地，使用透镜和图案成形元件、微结构光学元件(例如，漫射器或doe)。70.本公开解决的主要问题是检测包括在场景的捕获图像中的边缘，该场景由主动立体的图案投影仪或结构光投影仪来照射。这些边缘的检测可以通过在立体匹配过程中考虑边缘或作为后处理清洁阶段来帮助细化通过使用主动立体或结构光获得的深度图的边缘。71.为此，本发明建议使用投影仪的背景强度。某些投影仪将该背景强度作为“内置”功能包括在内，而对于其他没有这种背景强度功能的投影仪，可以使用泛光投影仪添加背景强度。72.为解决该问题必须解决的主要事项如下：73.1、近边缘和远边缘两者的检测，74.2、忽略/消除斑点边缘，以及75.3、如果投影仪的图案在处理捕获图像时被“去除”，则必须以不会给图像引入新边缘的方式进行。此外，任何图案去除过程应优选地避免使背景边缘的位置移动，或者以其他方式尽可能少地使它们移动。76.如已经解释的，本发明提供的解决方案的基本思想是检测包括在立体图像中的边缘，该立体图像具有由图案投影仪产生的图案。有许多方法可以用于实现该想法。例如，一种直观的方法可以是在被动图像和主动图像之间交替，或者在包括投影图案的图像与泛光投影仪运行的同时生成的图像之间交替，并且然后从图像中去除边缘，而没有斑点。然而，这种方法的固有缺点在于，在连续帧之间可能存在对象的运动，因此为了针对这种情况实现上述解决方案，需要包括用于存储帧的存储器并消除其中的运动影响。显然，这种解决方案在硬件系统中实现起来相当复杂。77.图1呈现了由立体图像捕获装置捕获的场景的示例。该场景(即，图像)将在用于实现根据本发明的实施例解释的处理技术的以下描述中使用。78.优选地，为了检测边缘并相应地处理图像的图像处理可以通过使用如本发明所要求保护的装置来完成，该装置包括两个图像捕获设备和处理器(例如，在芯片上)。替代地，在从图像捕获设备中检索到图像之后，如果图像捕获设备包括处理单元，则可以在图像捕获设备(相机设备)内执行，或者通过应用软件同时使用计算机(例如，膝上型计算机、台式计算机等)来执行。应当理解，所有这些选择都包含在本发明的范围内。79.图2展示了通过对图1中描绘的图像应用对数变换获得的结果，以便检测包括在该图像中的边缘的相对强度。80.本发明提供的解决方案所基于的一般方法是滤除投影图案。由于正在处理的图像中描绘的大多数边缘属于投影图案而不是对象的边缘(如图1所示)，因此执行该滤波。滤波阶段是结合将适当的算法与投影图案进行协调来执行的。81.以下是根据本公开的实施例解释的方法的示例，通过该方法，首先对图像应用对数变换以检测相对强度边缘的强度，如图2所示。接下来，对获得的结果应用分割算法以检测图案的斑点团迹，例如，mser(maximallystableextremalregions，最大稳定极值区域)算法。所选的算法应是被配置为实现图像中的团迹检测的算法。在整个说明书和权利要求书中使用的术语“团迹检测”用于表示一种方法，该方法旨在检测图像的数字表示中与周围区域相比时在性质(例如，亮度或颜色)上不同的区域。通常，团迹是图像中某些性质恒定或近似恒定的区域，并且在某种意义上可以认为团迹中的所有点彼此相似。82.接下来，填充每个图案团迹中的图案像素，并找到团迹中所有像素的最小值。83.现在，对于每个团迹像素，执行以下步骤：84.(i)收集与包括在位于该像素周围的方形窗口内的所有像素有关的信息；85.(ii)从收集到的信息中去除与灰度值高于已找到的团迹中所有像素的最小值的像素有关的所有信息。该步骤旨在确保仅使用非图案像素；86.(iii)对步骤(ii)中未去除的收集到的信息应用双边过滤器，以获得填充值(图3)。87.接下来，可选地，所提供的方法还可以包括对整个捕获到的图像执行的以下步骤，即，如下所述。88.使用反谐波滤波器对获得的结果应用开算子，例如，如在以下文献中公开的：jesusangulo，“morphologicalbilateralfiltering(形态双边滤波)”，siamj.ofimagingsciences(影像科学学报)，2013年7月。89.可选地，灰度算子是：[0090][0091]如使用开算子时所需要的，滤波器优选地应用两次，一次使用-p(软最小值，腐蚀)，并且一次使用 p(软最大值，膨胀)，以获得对图像的“软开(softopening)”操作。该操作使图案中的斑点消失，同时保留边缘位置。[0092]在无图案数据上应用边缘检测算子(例如，canny边缘检测器的某种变型)以检测捕获到的图像中的各种边缘。[0093]根据本发明的另一实施例，所提供的方法还包括确定正在处理的图像中的关键点的步骤。这种关键点的示例可以是例如无图案图像中的直线的交点。[0094]在本技术的说明书和权利要求书中，动词“包括”、“包含”和“具有”中的每一个及其变位词用于表示动词的宾语(或多个宾语)不一定是动词的主语(或多个主语)的成员、组成部分、要素或部件的完整列表。[0095]已经使用本发明的实施例的详细描述对本发明进行了描述，这些实施例以示例的方式提供，而不旨在以任何方式限制本发明的范围。所描述的实施例包括不同的特征，并非所有的特征在本发明的所有实施例中都是必需的。本发明的一些实施例仅利用一些特征或特征的可能组合。本领域技术人员将想到所描述的本发明的实施例的变型以及包括所描述的实施例中指出的特征的不同组合的本发明的实施例。本发明的范围仅受所附权利要求限制。当前第1页12当前第1页12
背景技术：
：：2.立体相机装置是由两个相机单元组成并组装在立体模块中的元件。立体视觉(也称为“立体视觉学”或“3d成像”)是一种用于借助于立体影像确定图像深度的技术。换句话说，是具有正常双眼视觉的人用双眼观看场景时感知到的深度印象，双眼视觉导致由于眼睛/相机的不同位置而在双眼中创建场景的两个略微不同的图像。3.主动立体视觉是立体视觉的一种形式，其主动采用诸如激光二极管之类的发光器件或被配置为发出结构光(例如，图案光)的设备以便简化立体匹配问题。4.与该类型的技术相关联的问题之一是边缘检测，这是检测对象边界的重要因素，这些对象包括在使用立体相机装置检索到的图像中。对边缘边界进行检测可以改进从两个相机检索到的图像之间的匹配过程，由于匹配窗口可能被边缘边界裁剪(位于边缘边界之外的像素可能属于位于不同深度或视差处的对象/环境)，因此它将不会与匹配窗口内存在的像素一起进行匹配，假定匹配窗口内存在的像素在其之间具有非常相似的深度或视差。此外，边缘可用于后处理阶段，以改进获得的最终3d深度图。5.存在许多与主动立体图像中的边缘的这种处理相关联的问题。仅举几例，边缘强度随着距相机装置的距离的增大而减小，在应用被配置为发出结构光的设备时检索到的图像中包括的大多数边缘属于投影图案而不是对象的边缘，图案密度太低以至于无法以像素分辨率指定对象边界。解决该问题的选择之一是使用具有增强背景光强度的投影仪以能够检测主动图像中的边缘。6.为了解决边缘检测问题，本领域已经提出了许多解决方案。这些解决方案中的一些如下所述。7.us20120114225公开了一种图像处理装置，其通过将边缘检测算法应用于深度图像来检测深度图像内的对象之间的遮挡边界。该图像处理装置使用遮挡边界的深度梯度矢量方向将遮挡边界分类为前景区域边界和背景区域边界，并且使用前景区域边界提取输入的深度图像的遮挡区域。8.us20120269458描述了一种使用边缘信息对分辨率降低的深度图像进行插值和滤波以恢复高分辨率深度图像的方法，其中，每个深度图像包括各位置处的像素的阵列，并且其中，每个像素具有深度。首先对减少的深度图像进行上采样，通过重复最近邻深度值对缺失的位置进行插值。接下来，将移动窗口应用于经上采样的深度图像中的像素。窗口覆盖以每个像素为中心的像素集。窗口所覆盖的像素是根据它们与深度边缘的相对偏移来选择的，并且只有在中心像素的深度边缘的同一侧内的像素才用于滤波过程。9.然而，需要解决的问题是在主动立体实现方式中检测由图案投影仪照射的场景的捕获图像中包括的边缘。10.本发明提出了一种在这种情况下实现新的边缘检测机制的解决方案。技术实现要素：11.可以通过参考所附权利要求来概括公开内容。12.本公开的一个目的是提供一种方法和装置，其能够从正在处理的图像中去除投影图案，同时保留正在处理的图像中的边缘位置。13.本公开的另一个目的是提供一种用于检测包括背景图案的图像内的对象的边缘的方法和装置。14.本公开的另一个目的是提供一种用于生成三维深度图的方法和装置，该三维深度图具有包括在该图像中的对象的高质量边缘。15.本公开的另一个目的是提供一种用于消除与投影图案相关联的数据的方法和装置，该投影图案作为由立体装置捕获的场景的一部分而包括在内。16.本发明的其他目的将从以下的描述中变得显而易见。17.根据本公开的第一实施例，提供了一种用于生成三维深度图的方法，包括以下步骤：18.(i)通过具有背景强度的图案投影仪或通过一起操作的泛光投影仪和不具有背景强度的图案投影仪的组合来照射目标；19.(ii)捕获至少一个图像，该至少一个图像包括存在于经照射的目标处的一个或多个对象；20.(iii)将至少一个捕获到的图像转换为数据；21.(iv)对从该至少一个捕获到的图像的转换中接收到的数据进行处理，并从处理后的数据中滤除投影图案；22.(v)检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘；以及23.(vi)生成三维深度图，该三维深度图包括该一个或多个对象中边缘已被确定的至少一个对象。24.本文中，术语“具有背景强度”在整个说明书和权利要求书中与投影仪相关联地使用时应被理解为与一投影仪有关，该投影仪能够以非零强度发出背景照射。25.本文中，在整个说明书和权利要求书中使用的术语“主动立体图像”应被理解为涵盖主动立体图像和/或结构光图像两者。26.根据本公开，在去除包括于图像捕获设备捕获到的图像中的投影图案(例如，斑点图案、线条纹图案等)之后，使用背景强度检测边缘。换句话说，背景强度以像素分辨率提供边缘。27.根据另一实施例，检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘的步骤通过检测包括在该至少一个图像中的非图案边缘来执行。28.根据另一实施例，步骤(iv)通过应用一算法来执行，该算法被配置为检测包括在该至少一个图像中的团迹(blob)。29.本文中，在整个说明书和权利要求书中使用的术语“团迹”用于表示被图案投影仪强烈照射的像素的连接分量(与被弱照射的背景相反)。团迹的形状不限于圆形，而是可以为任何适用的形状。应根据该形状选择相应的算法，该算法将如通过本说明书描述的那样来实现。30.通过又一实施例，步骤(iv)还包括填充属于每个图案团迹的投影图案的像素，并且确定包括在这种团迹中的所有像素的最小值。31.根据又一实施例，提供的方法还包括针对包括在特定团迹中的每个像素的以下步骤：32.(a)收集与包括在位于像素周围的方形窗口内的所有像素有关的数据；33.(b)从收集到的数据中去除与灰度值高于包括在该特定团迹中的所有像素的最小值的像素有关的所有数据；34.(c)对步骤(b)中未去除的收集到的数据应用双边滤波器；以及35.(d)对整个捕获到的图像执行以下步骤：36.(d1)对获得的结果应用算子，其中，该算子被配置为实现从捕获到的图像中去除投影图案，同时保留捕获到的图像中的边缘位置。这种算子可以是例如适用的开算子；以及37.(d2)在无图案数据上应用边缘检测算子(例如，canny边缘检测器)以检测捕获到的图像中的各种边缘。38.根据又一实施例，提供的方法还包括确定主动照射图像中的关键点(例如，在图案背景中检测到的线(例如，直线)的交点等)的步骤。可以将直线拟合成适合这种拟合的边缘线(例如，边缘几乎是线性的)，以便检测直线对象上合适的直线边缘。附加地或替代地，通过例如使直线相交，可以在具有特定的限定图案的图像内检测关键点(也称为关注点)。实现关键点检测方法的优点在于，其允许帧的及时配准。该问题在应对主动立体系统时会出现问题，因为图案会随着投影仪移动，这意味着标识不同帧中的关键点是相当大的挑战。关键点检测方法能够实现本公开的另一实施例，通过该实施例，通过使用主动立体图像中的背景强度来检测关注点(例如，边缘点、关键点)。39.根据本公开的另一方面，提供了一种用于生成三维深度图的装置，其中，该装置包括：40.至少一个投影仪，该至少一个投影仪是具有背景强度的图案投影仪或被配置为一起操作的泛光投影仪和不具有背景强度的图案投影仪的组合，适用于照射目标，同时在目标处投影图案，在该目标处存在一个或多个对象；41.至少一个图像捕获传感器，被配置为捕获至少一个图像，该至少一个图像包括存在于经照射的目标处的一个或多个对象；以及42.至少一个处理器，被配置为对由该至少一个图像捕获传感器捕获到的该至少一个图像进行操作，并且被配置为：43.(a)处理至少一个捕获到的图像并将其转换为数据；44.(b)从处理后的数据中滤除投影图案；45.(c)检测存在于经照射的目标处的一个或多个对象中的至少一个的边缘；以及46.(d)生成三维深度图，该三维深度图包括该一个或多个对象中边缘已被检测到的至少一个对象。47.如本领域技术人员将理解的，通常当在使用主动立体装置的同时实现本发明提供的解决方案时，将使用两个相机传感器，而当在使用结构光装置的同时实现本发明提供的解决方案时，将使用一个相机传感器。48.根据另一实施例，该至少一个处理器被配置为通过应用算法从处理后的数据中滤除投影图案，该算法可操作用于检测包括在该至少一个图像中的团迹。根据又一实施例，该至少一个处理器被配置为针对包括在特定团迹中的每个像素执行以下步骤：49.(a)收集与包括在位于该像素周围的方形窗口内的所有像素有关的数据；50.(b)从收集到的信息中去除与灰度值高于包括在所述特定团迹中的所有像素的最小值的像素有关的所有数据；51.(c)对步骤(b)中未去除的收集到的数据应用双边滤波器，以利用临时值填充团迹；以及52.(d)该处理器还被配置为对整个捕获到的图像执行以下步骤：53.(d1)对获得的结果应用算子，其中，该算子被配置为实现从捕获到的图像中去除投影图案，同时保留捕获到的图像中的边缘位置；以及54.(d2)在无图案数据上应用边缘检测算子以检测捕获到的图像中的各种边缘。55.根据本公开的该方面的另一实施例，该至少一个处理器还被配置为确定经主动照射的无图案图像中的关键点。例如，关键点是在投影图案的背景中检测到的线(例如，直线)的交点。附图说明56.为了更完整地理解本发明，现参考以下结合附图的详细描述，其中：57.图1示出了由立体图像捕获装置捕获的场景的示例；58.图2是通过对图1中描绘的图像应用对数变换获得的结果；59.图3例示了根据依照本发明所解释的实施例的通过对收集到的数据应用双边滤波器以得到团迹的填充值而获得的结果；60.图4例示了最终的边缘图；61.图5例示了对图1中例示的图像内的关注区域的放大；62.图6例示了输入图像的第二示例；63.图7例示了图6中描绘的示例的最终边缘图；64.图8示出了对图6内的关注区域的放大；以及65.图9示出了对图6的关注区域的放大。具体实施方式66.在本公开中，术语“包括”旨在具有开放式含义，使得当第一要素被陈述为包括第二要素时，该第一要素还可以包括一个或多个其他要素，这些其他要素不一定在本文中被标识或描述，或被记载在权利要求书中。67.在以下描述中，出于解释的目的，阐述了许多具体细节以便通过示例的方式提供对本发明更好的理解。然而，应该清楚的是，可以在没有这些具体细节的情况下实践本发明。68.已知图案通常由结构光传感器或主动立体传感器投影到场景上。在出现于传感器相机上的情况下，这些已知图案在图案撞击表面时的变形允许视觉系统计算场景中存在的对象的深度和表面信息，例如，如在结构光3d扫描仪中使用的那样。69.图案投影仪可以包括光源、一个或多个光学组件和封壳(外壳)。该设备的目的是投影光图案。这通常可以通过操控从光源或光源阵列发出的光，并将其整形为所需强度下的期望图案来实现。在许多投影仪模块中，使用激光器或激光器阵列，可选地，使用透镜和图案成形元件、微结构光学元件(例如，漫射器或doe)。70.本公开解决的主要问题是检测包括在场景的捕获图像中的边缘，该场景由主动立体的图案投影仪或结构光投影仪来照射。这些边缘的检测可以通过在立体匹配过程中考虑边缘或作为后处理清洁阶段来帮助细化通过使用主动立体或结构光获得的深度图的边缘。71.为此，本发明建议使用投影仪的背景强度。某些投影仪将该背景强度作为“内置”功能包括在内，而对于其他没有这种背景强度功能的投影仪，可以使用泛光投影仪添加背景强度。72.为解决该问题必须解决的主要事项如下：73.1、近边缘和远边缘两者的检测，74.2、忽略/消除斑点边缘，以及75.3、如果投影仪的图案在处理捕获图像时被“去除”，则必须以不会给图像引入新边缘的方式进行。此外，任何图案去除过程应优选地避免使背景边缘的位置移动，或者以其他方式尽可能少地使它们移动。76.如已经解释的，本发明提供的解决方案的基本思想是检测包括在立体图像中的边缘，该立体图像具有由图案投影仪产生的图案。有许多方法可以用于实现该想法。例如，一种直观的方法可以是在被动图像和主动图像之间交替，或者在包括投影图案的图像与泛光投影仪运行的同时生成的图像之间交替，并且然后从图像中去除边缘，而没有斑点。然而，这种方法的固有缺点在于，在连续帧之间可能存在对象的运动，因此为了针对这种情况实现上述解决方案，需要包括用于存储帧的存储器并消除其中的运动影响。显然，这种解决方案在硬件系统中实现起来相当复杂。77.图1呈现了由立体图像捕获装置捕获的场景的示例。该场景(即，图像)将在用于实现根据本发明的实施例解释的处理技术的以下描述中使用。78.优选地，为了检测边缘并相应地处理图像的图像处理可以通过使用如本发明所要求保护的装置来完成，该装置包括两个图像捕获设备和处理器(例如，在芯片上)。替代地，在从图像捕获设备中检索到图像之后，如果图像捕获设备包括处理单元，则可以在图像捕获设备(相机设备)内执行，或者通过应用软件同时使用计算机(例如，膝上型计算机、台式计算机等)来执行。应当理解，所有这些选择都包含在本发明的范围内。79.图2展示了通过对图1中描绘的图像应用对数变换获得的结果，以便检测包括在该图像中的边缘的相对强度。80.本发明提供的解决方案所基于的一般方法是滤除投影图案。由于正在处理的图像中描绘的大多数边缘属于投影图案而不是对象的边缘(如图1所示)，因此执行该滤波。滤波阶段是结合将适当的算法与投影图案进行协调来执行的。81.以下是根据本公开的实施例解释的方法的示例，通过该方法，首先对图像应用对数变换以检测相对强度边缘的强度，如图2所示。接下来，对获得的结果应用分割算法以检测图案的斑点团迹，例如，mser(maximallystableextremalregions，最大稳定极值区域)算法。所选的算法应是被配置为实现图像中的团迹检测的算法。在整个说明书和权利要求书中使用的术语“团迹检测”用于表示一种方法，该方法旨在检测图像的数字表示中与周围区域相比时在性质(例如，亮度或颜色)上不同的区域。通常，团迹是图像中某些性质恒定或近似恒定的区域，并且在某种意义上可以认为团迹中的所有点彼此相似。82.接下来，填充每个图案团迹中的图案像素，并找到团迹中所有像素的最小值。83.现在，对于每个团迹像素，执行以下步骤：84.(i)收集与包括在位于该像素周围的方形窗口内的所有像素有关的信息；85.(ii)从收集到的信息中去除与灰度值高于已找到的团迹中所有像素的最小值的像素有关的所有信息。该步骤旨在确保仅使用非图案像素；86.(iii)对步骤(ii)中未去除的收集到的信息应用双边过滤器，以获得填充值(图3)。87.接下来，可选地，所提供的方法还可以包括对整个捕获到的图像执行的以下步骤，即，如下所述。88.使用反谐波滤波器对获得的结果应用开算子，例如，如在以下文献中公开的：jesusangulo，“morphologicalbilateralfiltering(形态双边滤波)”，siamj.ofimagingsciences(影像科学学报)，2013年7月。89.可选地，灰度算子是：[0090][0091]如使用开算子时所需要的，滤波器优选地应用两次，一次使用-p(软最小值，腐蚀)，并且一次使用 p(软最大值，膨胀)，以获得对图像的“软开(softopening)”操作。该操作使图案中的斑点消失，同时保留边缘位置。[0092]在无图案数据上应用边缘检测算子(例如，canny边缘检测器的某种变型)以检测捕获到的图像中的各种边缘。[0093]根据本发明的另一实施例，所提供的方法还包括确定正在处理的图像中的关键点的步骤。这种关键点的示例可以是例如无图案图像中的直线的交点。[0094]在本技术的说明书和权利要求书中，动词“包括”、“包含”和“具有”中的每一个及其变位词用于表示动词的宾语(或多个宾语)不一定是动词的主语(或多个主语)的成员、组成部分、要素或部件的完整列表。[0095]已经使用本发明的实施例的详细描述对本发明进行了描述，这些实施例以示例的方式提供，而不旨在以任何方式限制本发明的范围。所描述的实施例包括不同的特征，并非所有的特征在本发明的所有实施例中都是必需的。本发明的一些实施例仅利用一些特征或特征的可能组合。本领域技术人员将想到所描述的本发明的实施例的变型以及包括所描述的实施例中指出的特征的不同组合的本发明的实施例。本发明的范围仅受所附权利要求限制。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
