一种基于立体视觉的无人机测距方法与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种基于立体视觉的无人机测距方法。


背景技术：

2.无人机的测距方案中，精度最高的是激光雷达，但其成本也很高。而超声波雷达测距感知范围窄、精度低，只适用于无人机相对高度的测量。计算机视觉技术在无人机上的应用，使无人机以较低的成本和较高的性能，实现通过摄像机感知周围的环境。基于立体视觉的无人机测距方法，可以提高无人机的环境感知能力，从而提高飞行的安全性，其可以应用于无人机影像三维重建、无人机自主巡航等多个领域。
3.基于立体视觉的深度估计旨在从多个相机姿态已知的图像中建立密集对应关系，从而恢复参考视角下的稠密几何结构。基于块匹配（patchmatch）的多视图视觉方法一般不受场景规模的限制，可扩展性强，因此，这类方法在实际应用中较为广泛。
4.块匹配算法具有快速的全局近邻搜索能力，通过随机地初始化深度值，然后迭代地进行采样传播来优化初始解。由于基于块匹配的多视图立体视觉方法可以在 gpu 上并行执行，因此这些方法极大地减少了深度图估计的时间成本。通常来说，这类方法遵循一个流行的四步骤流程来为每幅输入图像估计深度图，其中包括：随机初始化、传播、多视图匹配代价评估以及细化。给定多幅输入图像和它们对应的相机参数，算法会轮流地将每幅图像作为参考图像，其他图像作为源图像来为当前的参考图像估计深度图和法向图。首先，随机初始化将随机地为参考图像的每个像素生成一个三维平面假设。其次，传播步骤通过采样邻域像素的假设来增广每个像素的假设空间，以此考虑邻域像素的平滑性约束。然后，基于像素当前的假设空间，多视图匹配代价评估通过计算多视图的相似性来挑选出当前的最优假设。最后，细化步骤通过引入扰动和进一步的随机假设来优化当前的假设。在这四个步骤中，最后三个步骤将被迭代进行以使算法收敛。
5.基于块匹配的方法可以进行逐图像逐像素估计，一般不会受到场景规模的限制，因此这类方法可扩展性强，易于并行。这类方法通过为每个像素都执行传播扩展策略，可以高效地生成稠密的连续估计。因此，这类方法在实际应用中较为广泛。然而，尽管这种多视图深度估计方法能够高效率地估计出高分辨率深度图，弱纹理区域的几何信息估计不准确仍是有待解决的关键问题。对于纹理丰富的区域，局部匹配度量函数一般能取得比较好的相似性度量，得到比较准确的几何信息估计。然而，在处理歧义性区域（如弱纹理表面）的几何信息估计时，局部匹配度量函数往往失效，造成这些区域的几何信息估计不准确，使得其很难在实际中进行应用。


技术实现要素：

6.本发明针对现有技术中存在的技术问题，提供一种基于立体视觉的无人机测距方法，以解决现有的方法在弱纹理区域的深度估计不准确的技术问题。
7.根据本发明的第一方面，提供了一种基于立体视觉的无人机测距方法，包括：步骤1，选取参考图像及n-1幅邻域图像，为所述参考图像随机生成一个局部平面的假设，以所述领域图像为源图像，基于所述局部平面到每个源图像对应的匹配代价计算得到每个所述假设的初始多视图聚合匹配代价；随机生成的局部平面的假设为对所述参考图像随机初始化的深度图和法向图；步骤2，选择多个邻域假设传播到当前待估像素，将各个所述领域假设和原本的假设共同构成当前待估像素的候选假设集合；通过光度一致性定义的多视图聚合匹配代价来度量多视图相似性，从所述候选假设集合中确定最佳假设；步骤3，在每次对所述假设进行更新之后，引入扰动和随机假设生成额外的候选假设集合，计算所述候选假设集合的代价，从所述候选假设集合中挑选出代价最小的假设，如果该代价最小的假设的代价值比当前假设的代价小，将选定该代价最小的假设作为当前最优假设；步骤4，从所述最佳假设中选择代价小的对应点阈值化操作来生成稀疏的可靠对应点，利用所述稀疏对应点生成平面模型；采用ransac方法拟合深度神经网络检测出全局平面先验，采用德劳内三角剖分法建模局部平面先验，生成全局-局部联合优化的平面模型；步骤5，结合平面模型和光度一致性，使用平面先验辅助的多视图聚合匹配代价更新假设；执行步骤3对假设进行细化；步骤6，使用所述参考图像获得的深度图和法向图进行初始化，使用几何一致性引导的多视图匹配代价更新假设；执行步骤3对假设进行细化；步骤7，通过对每一幅图像迭代地执行所述步骤1-步骤6，生成每一幅图像的深度图和法向图。
8.在上述技术方案的基础上，本发明还可以作出如下改进。
9.可选的，所述步骤1包括：步骤101，为所述参考图像的每个像素l随机生成一个局部平面的假设，其中为三维平面到坐标原点的距离，为法向量；步骤102，计算所述局部平面到每个所述源图像对应的匹配代价，选取前k个最小的所述匹配代价并计算其平均值，得到每个所述假设的所述初始多视图聚合匹配代价。
10.可选的，所述步骤2包括：步骤201，采用v形和长条形区域来自适应地选取局部最优假设进行传播，将八个最优的邻域假设传播到当前待估像素，将各个所述领域假设和原本的假设共同构成当前待估像素的候选假设集合；步骤202，采用多假设联合视图选择策略对所述匹配代价进行加权；通过光度一致性定义的多视图聚合匹配代价来度量多视图相似性，从所述候选假设集合中确定最佳假设。
11.可选的，所述步骤202中，采用蒙特-卡洛采样计算得到每幅源图像的权重为
，像素p关于假设的多视图聚合光度一致性代价为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，为假设对应的所述匹配代价。
12.可选的，所述步骤4包括：步骤401，采用阈值化操作过滤匹配代价高的深度估计，生成稀疏的可靠对应点；步骤402，对于给定参考图像的稀疏可靠对应点，进行德劳内三角化，以自适应地生成不同大小的三角基元，并计算三角基元的平面参数，构建局部平面模型；步骤403，采用ransac方法拟合深度神经网络检测出的全局平面先验，构建全局平面模型；步骤404，将整个空间划分为不相交的局部面和全局平面区域，显式地建模出全局-局部平面先验模型。
13.可选的，所述步骤5包括：步骤501，将步骤1-步骤3生成的深度图设置为初始深度图。
14.步骤502，执行所述步骤201进行假设传播；步骤503，计算5x5块的方差var，定义纹理复杂度系数为：
ꢀꢀꢀꢀꢀꢀ
（2）其中，和为设置的参数；步骤504，通过平面先验辅助的纹理复杂度相关的多视图聚合匹配代价来度量多视图相似性，从候选假设集合中确定最佳假设；给定平面先验假设为，定义平面先验为：
ꢀꢀꢀꢀꢀ
（3）其中，是一个常数，和分别是假设包含的深度假设和法向假设，和分别是平面先验假设包含的深度假设和法向假设，是深度差异的带宽，是法向差异的带宽；平面先验辅助的纹理复杂度相关的多视图聚合匹配代价为：
ꢀꢀ
（4）其中，为纹理复杂度相关系数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）
其中，是一个常数，k是一个常数。
15.步骤505，执行步骤3对假设进行细化。
16.可选的，所述步骤6包括：步骤601，设置最新生成的深度图为初始深度图；步骤602，执行所述步骤201进行假设传播；步骤603，使用几何一致性引导的多视图匹配代价再次更新假设，该代价为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）其中，为参考图像和源图像关于第i个假设的重投影误差计算为，为平衡两项代价的权重因子；步骤604，执行步骤3对假设进行细化。
17.本发明提供的一种基于立体视觉的无人机测距方法，通过将整个空间划分为不相交的局部面和大的全局平面区域，明确地建模了全局-局部平面先验模型，能够更充分地捕捉低纹理区域的局部和全局平面信息；为了平衡光度一致性与平面兼容性，本方法提出了一种基于平面先验的纹理复杂度相关的动态多视图聚合方法，既可以更好地反映纹理良好区域的深度变化，又可以在弱纹理区域获得更可靠地深度估计，从而获得更加精准的深度图。
附图说明
18.图1为本发明提供的一种基于立体视觉的无人机测距方法的流程图；图2为本发明提供的一种基于立体视觉的无人机测距方法整体架构示意图。
具体实施方式
19.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
20.为了克服背景技术中的缺陷和问题，将整个空间划分为不相交的局部面和大的全局平面区域，显式地建模了全局和局部地平面先验结构，能够更充分地捕捉低纹理区域的局部和全局平面信息；提出了一种基于平面先验的纹理复杂度相关的动态多视图聚合方法，平面兼容性限制了预测深度估计在适当的深度范围内，而光度一致性可以更好地反映纹理良好区域的深度变化，均衡地考虑了光度一致性与平面兼容性。
21.图1为本发明提供的一种基于立体视觉的无人机测距方法流程图，如图1所示，方法包括：步骤1，选取参考图像及n-1幅邻域图像，为参考图像随机生成一个局部平面的假设，以领域图像为源图像，基于局部平面到每个源图像对应的匹配代价计算得到每个假设的初始多视图聚合匹配代价；随机生成的局部平面的假设为对参考图像随机初始化的深度图和法向图；步骤2，选择多个邻域假设传播到当前待估像素，将各个领域假设和原本的假设共同构成当前待估像素的候选假设集合；通过光度一致性定义的多视图聚合匹配代价来度量
多视图相似性，从候选假设集合中确定最佳假设；步骤3，在每次对假设进行更新之后，引入扰动和随机假设生成额外的候选假设集合，计算候选假设集合的代价，以此对当前被选假设进行细化。从候选假设集合中挑选出代价最小的假设，如果该代价最小的假设的代价值比当前假设的代价还要小，将选定该代价最小的假设作为当前最优假设；步骤4，从最佳假设中选择代价小的对应点阈值化操作来生成稀疏的可靠对应点，利用稀疏对应点生成平面模型；采用ransac方法拟合深度神经网络检测出全局平面先验，采用德劳内三角剖分法建模局部平面先验，生成全局-局部联合优化的平面模型；步骤5，结合平面模型和光度一致性，使用平面先验辅助的多视图聚合匹配代价更新假设；执行步骤3对假设进行细化；步骤6，使用参考图像获得的深度图和法向图进行初始化，使用几何一致性引导的多视图匹配代价更新假设；执行步骤3对假设进行细化；步骤7，通过对每一幅图像迭代地执行步骤1-步骤6的假设采样与传播、假设更新以及细化，生成每一幅图像的深度图和法向图。
22.本发明通过将整个空间划分为不相交的局部面和大的全局平面区域，明确地建模了全局-局部平面先验模型，能够更充分地捕捉低纹理区域的局部和全局平面信息；为了平衡光度一致性与平面兼容性，本方法提出了一种基于平面先验的纹理复杂度相关的动态多视图聚合方法，既可以更好地反映纹理良好区域的深度变化，又可以在弱纹理区域获得更可靠地深度估计，从而获得更加精准的深度图。
23.实施例1本发明提供的实施例1为本发明提供的一种基于立体视觉的无人机测距方法的实施例，如图2所示为本发明提供的一种基于立体视觉的无人机测距方法整体架构示意图，结合图1和图2可知，该无人机测距方法的实施例包括：步骤1，选取参考图像及n-1幅邻域图像，为参考图像随机生成一个局部平面的假设，以领域图像为源图像，基于局部平面到每个源图像对应的匹配代价计算得到每个假设的初始多视图聚合匹配代价；随机生成的局部平面的假设为对参考图像随机初始化的深度图和法向图。
24.在一种可能的实施例方式中，步骤1包括：步骤101，为参考图像的每个像素l随机生成一个局部平面的假设，其中为三维平面到坐标原点的距离，为法向量；步骤102，计算局部平面到每个源图像对应的匹配代价，选取前k个最小的匹配代价并计算其平均值，得到每个假设的初始多视图聚合匹配代价。
25.具体实施中，可以采用zncc（zero-mean normalization cross correlation，零均值归一化交叉相关）函数计算局部平面到每个源图像对应的匹配代价为zncc匹配代价。
26.步骤2，选择多个邻域假设传播到当前待估像素，将各个领域假设和原本的假设共同构成当前待估像素的候选假设集合；通过光度一致性定义的多视图聚合匹配代价来度量多视图相似性，从候选假设集合中确定最佳假设。
27.在一种可能的实施例方式中，步骤2包括：
步骤201，采用v形和长条形区域来自适应地选取局部最优假设进行传播，将八个最优的邻域假设传播到当前待估像素，将各个领域假设和原本的假设共同构成当前待估像素的候选假设集合。
28.步骤202，采用多假设联合视图选择策略对匹配代价进行加权；通过光度一致性定义的多视图聚合匹配代价来度量多视图相似性，从候选假设集合中确定最佳假设。
29.在一种可能的实施例方式中，步骤202中，采用蒙特-卡洛采样计算得到每幅源图像的权重为，像素p关于假设的多视图聚合光度一致性代价为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，为假设对应的匹配代价。
30.步骤3，在每次对假设进行更新之后，引入扰动和随机假设生成额外的候选假设集合，计算候选假设集合的代价，以此对当前被选假设进行细化。从候选假设集合中挑选出代价最小的假设，如果该代价最小的假设的代价值比当前假设的代价还要小，将选定该代价最小的假设作为当前最优假设。
31.步骤4，从最佳假设中选择代价小的对应点阈值化操作来生成稀疏的可靠对应点，利用稀疏对应点生成平面模型；采用ransac方法拟合深度神经网络检测出全局平面先验，采用德劳内三角剖分法建模局部平面先验，生成全局-局部联合优化的平面模型。
32.在一种可能的实施例方式中，步骤4包括：步骤401，采用阈值化操作过滤匹配代价高的深度估计，生成稀疏的可靠对应点。
33.通过步骤1-步骤3生成的当前最优假设即为初始深度图和代价图。
34.步骤402，对于给定参考图像的稀疏可靠对应点，进行德劳内三角化（delaunay triangulation），以自适应地生成不同大小的三角基元，并计算三角基元的平面参数，构建局部平面模型。
35.步骤403，采用ransac方法拟合深度神经网络检测出的全局平面先验，构建全局平面模型。
36.步骤404，将整个空间划分为不相交的局部面和大的全局平面区域，显式地建模出全局-局部平面先验模型。
37.步骤5，结合平面模型和光度一致性，使用平面先验辅助的多视图聚合匹配代价更新假设；执行步骤3对假设进行细化。
38.在一种可能的实施例方式中，步骤5包括：步骤501，将步骤1-步骤3生成的深度图设置为初始深度图。
39.步骤502，执行步骤201进行假设传播。
40.步骤503，计算5x5像块的方差var，定义纹理复杂度系数为：
ꢀꢀꢀꢀꢀꢀ
（2）其中，和为设置的参数。
41.步骤504，通过平面先验辅助的纹理复杂度相关的多视图聚合匹配代价来度量多视图相似性，从候选假设集合中确定最佳假设；给定平面先验假设为，定义平面先验为：
ꢀꢀꢀꢀꢀ
（3）其中，是一个常数，和分别是假设包含的深度假设和法向假设，和分别是平面先验假设包含的深度假设和法向假设，是深度差异的带宽，是法向差异的带宽；平面先验辅助的纹理复杂度相关的多视图聚合匹配代价为：
ꢀꢀ
（4）其中，为纹理复杂度相关系数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）其中，是一个常数，k是一个常数。
42.步骤505，执行步骤3对假设进行细化。
43.步骤6，使用参考图像获得的深度图和法向图进行初始化，使用几何一致性引导的多视图匹配代价更新假设；执行步骤3对假设进行细化。
44.在一种可能的实施例方式中，步骤6包括：步骤601，设置最新生成的深度图为初始深度图。
45.步骤602，执行步骤201进行假设传播。
46.步骤603，使用几何一致性引导的多视图匹配代价再次更新假设，该代价为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）其中，为参考图像和源图像关于第i个假设的重投影误差计算为，为平衡两项代价的权重因子。
47.步骤604，执行步骤3对假设进行细化。
48.步骤7，通过对每一幅图像迭代地执行步骤1-步骤6的假设采样与传播、假设更新以及细化，生成每一幅图像的深度图和法向图。
49.本发明实施例提供的一种基于立体视觉的无人机测距方法，首先，本发明明确地建模了局部和全局结构。该方法通过将整个空间划分为不相交的局部面和大的全局平面区
域，能够更充分地捕捉低纹理区域的局部和全局平面信息；其次，为了平衡光度一致性与平面兼容性，本方法提出了一种基于平面先验的纹理复杂度相关的动态多视图聚合方法。平面兼容性限制了预测深度估计在适当的深度范围内，而光度一致性可以更好地反映纹理良好区域的深度变化。
50.需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
51.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
52.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
53.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
54.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
55.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
56.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。