一种大结构体复杂表面多视觉三维测量网络节点布局方法与流程

1.本发明一种大结构体复杂表面多视觉三维测量网络节点布局方法涉及机器视觉技术领域。


背景技术：

2.在光学测量中，多目立体视觉摄影测量由于其测量精度高、测量速度快、适应性好等特点，广泛用于大型工业结构体的制造领域，如汽车、航空、航天等。由于不同结构体表面形貌的复杂程度及曲率不同，而单个视觉传感器测量区域有限，因此针对大型复杂结构体需要多个视觉传感器组成测量网络，将每个视觉传感器所获得的数据进行融合而获得结构体完整的三维数据。
3.目前在对多个视觉传感器进行组网过程中，通常是基于先验知识获取一个良好的初始网络专家，而测量网络节点布局需要专业素质较高的技术人员根据经验进行给定和操作，这存在一定的不合理性和盲目性，容易造成冗余测量和遗漏测量，使测量过程耗时长，测量成本高。


技术实现要素：

4.针对上述问题，本发明公开了一种大结构体复杂表面多视觉三维测量网络节点布局方法，该方法能够解决传统方法对大型结构体进行三维测量时，通过人工调整测量节点布局所导致的测量过程耗时长、成本高和精准度较低的问题。
5.本发明的目的是这样实现的：
6.一种大结构体复杂表面多视觉三维测量网络节点布局方法，包括以下步骤：
7.步骤a、利用深度融合技术获得待测结构体点云数据的三角网格模型，所述三角网格模型用于表征待测结构体的空间几何信息；
8.步骤b、根据预设的多视觉三维测量网络测量节点布局算法，对步骤a所述三角网格模型的几何数据进行测量节点布局计算；所述测量节点布局计算根据待测结构体的几何信息及最优可见性初步布局，建立初始椭球形测量网络模型，椭球参数决定待测结构体的几何信息，再基于椭球基线设置每个测量节点位姿；
9.步骤c、在确定符合预设的算法终止条件时，将步骤b计算得到的所有测量节点确定为相机对所述待测结构体进行整体三维测量时的测量网络节点集合。
10.上述的一种大结构体复杂表面多视觉三维测量网络节点布局方法，步骤b所述的预设的多视觉三维测量网络测量节点布局算法，包括以下步骤：
11.步骤b1、将待测结构体离散成均匀的点云，并求出中心点坐标[x0,y0,z0]
t
，导入三角网格模型，计算每个三角网格区域的单位法向量[n1,n2,n3]
t
；
[0012]
步骤b2、根据相机视场大小为m*m和待测曲面的投影面积s，估算出相机个数n>2s/m；
[0013]
步骤b3、将相机密集排放在椭球模型表面；
[0014]
步骤b4、对相机位姿的方位角和高低角参数x
j
＝[α
j
,β
j
]
t
，相机外参矩阵的旋转向量 r＝[α
j
,π
‑
β
j
,π/2]
t
，相机外参矩阵的平移向量t＝[0,0,d]
t
进行二进制编码，产生新个体；
[0015]
步骤b5、将步骤b4得到的新个体分为子种群a和子种群b；
[0016]
步骤b6、根据约束条件，分别计算子种群a的适应度函数f(a)和子种群b的适应度函数 f(b)，初始产生的子种群a和子种群b的最优个体x
opt
，除所述最优个体x
opt
外，其他新个体均被下一代替换；
[0017]
步骤b7、判断平均适应度值f
ave
/f(x
opt
)是否超过阈值fit，如果：
[0018]
未超过阈值fit，返回步骤b4；
[0019]
超过阈值fit，迭代结束，解码出最优个体x
opt
，得到初始网络节点布局；
[0020]
步骤b8、根据相机覆盖率，将测量节点按照覆盖率降序排列，删除覆盖率低的冗余测量节点，更新测量网络；所述覆盖率为测量网络中被测量节点获取到的有效点数与被测表面离散点总数的百分比；
[0021]
步骤b9、当所述的被测区域点云的所有点均被合理覆盖时，终止更新测量网络；所述合理覆盖是有三个测量节点能测量到被测区域的一个点，超过三个测量节点为不合理覆盖。
[0022]
上述的一种大结构体复杂表面多视觉三维测量网络节点布局方法，在步骤a之前，还包括以下步骤：获取待测结构体点云数据，计算三角网格区域内的法向量，验证点云数据中每个点的可见性。
[0023]
上述的一种大结构体复杂表面多视觉三维测量网络节点布局方法，所述约束条件至少包括以下约束中的一种：可视性约束、视场角约束、入射角约束、景深约束、共视约束、曲率约束、空集约束；
[0024]
所述约束条件具体为：
[0025]
可视性约束：待测结构体存在的任意曲面上的任一点p，且摄像机光轴通过p点，记为测量网络节点布局约束条件为：当法向量和光轴夹角大于等于90
°
时，相机对于该曲面清晰可见；
[0026]
视场角约束：两条射线自相机镜头起，沿着镜头最大可包含的物像作为边界形成的夹角即为视场角约束；为相机的光轴单位方向向量，ρ表示相机视场角，测量网络节点布局约束条件为：
[0027][0028]
入射角约束：定义为光轴和法向量之间可接受的最大夹角为θ，测量网络节点布局约束条件为：
[0029][0030]
景深约束：定义为相机镜头能够对待测目标前后距离清晰成像而界定的范围；定义δl1为前景深，δl2为后景深，f为相机光圈，δ为容许弥散圆直径，l为拍摄距离，f为相机焦距，测量网络节点布局约束条件为：
[0031][0032]
共视约束：在多视点视觉测量过程中，空间中任意一点p，至少被两个以上相机同时观测，定义ω
i
(i＝1,2,
…
n)为第i个相机的有效成像区域，测量网络节点布局约束条件为：
[0033]
ω
d
＝ω1∩ω2∩
…
∩ω
n
[0034]
曲率约束：待测目标结构体的曲率复杂程度决定相机空间位姿(α,β,d)，曲率与相机空间位姿的映射关系即为曲率约束，ρ
i
是第i个站位点的相机对应的待测目标结构体的曲率，测量网络节点布局约束条件为：
[0035]
(ρ
i
)
→
(α,β,d)
[0036]
空集约束：为保证多视点测量组网中每个视点的独立性，避免视点重叠增大计算量，还需要限制每个视点的重叠部分λ，称为空集约束，定义φ为各个视点的测量区域的交集；n为规划中视点的总数；测量网络节点布局约束条件为：
[0037]
φ＝λ1∩λ2∩
…
∩λ
n
。
[0038]
有益效果：
[0039]
本发明大结构体复杂表面多视觉三维测量网络节点布局方法，在获取待测结构体的三角网络模型之后，基于测量网络节点布局算法对三角网格模型中的区域点云数据进行节点布局计算，分别计算多视觉三维传感器对待测结构体进行三维测量时，在空间中各节点的位置和姿态，对多视觉测量网络进行优化设计与布局；通过测量网络节点布局算法计算节点分布，可以大大提高三维测量过程的效率，降低测量成本。
附图说明
[0040]
图1为本法发明大结构体复杂表面多视觉三维测量网络节点布局方法的流程图。
[0041]
图2为预设的多视觉三维测量网络测量节点布局算法的流程图。
[0042]
图3为三角网格模型和法向量示意图。
[0043]
图4为测量网络节点最优可见性算法流程图。
[0044]
图5为被测结构体。
[0045]
图6为椭球形初始测量网络节点分布模型示意图。
[0046]
图7为优化后的多视觉三维测量网络节点布局示意图。
[0047]
图8为可见性约束示意图。
[0048]
图9为视场角约束示意图。
[0049]
图10为入射角约束示意图。
[0050]
图11为景深约束示意图。
[0051]
图12为共视约束示意图。
具体实施方式
[0052]
下面结合附图对本发明具体实施方式作进一步详细介绍。
[0053]
具体实施方式一
[0054]
本实施方式下的大结构体复杂表面多视觉三维测量网络节点布局方法，流程图如图1所示，该方法包括以下步骤：
[0055]
步骤a、利用深度融合技术获得待测结构体点云数据的三角网格模型，所述三角网格模型用于表征待测结构体的空间几何信息；
[0056]
步骤b、根据预设的多视觉三维测量网络测量节点布局算法，对步骤a所述三角网格模型的几何数据进行测量节点布局计算；所述测量节点布局计算根据待测结构体的几何信息及最优可见性初步布局，建立初始椭球形测量网络模型，椭球参数决定待测结构体的几何信息，再基于椭球基线设置每个测量节点位姿；
[0057]
步骤c、在确定符合预设的算法终止条件时，将步骤b计算得到的所有测量节点确定为相机对所述待测结构体进行整体三维测量时的测量网络节点集合。
[0058]
具体实施方式二
[0059]
本实施方式下的大结构体复杂表面多视觉三维测量网络节点布局方法，在具体实施方式一的基础上，对步骤b所述的预设的多视觉三维测量网络测量节点布局算法做进一步限定，所述预设的多视觉三维测量网络测量节点布局算法流程图如图2所示，该方法包括以下步骤：
[0060]
步骤b1、将待测结构体离散成均匀的点云，并求出中心点坐标[x0,y0,z0]
t
，导入三角网格模型，计算每个三角网格区域的单位法向量[n1,n2,n3]
t
；
[0061]
步骤b2、根据相机视场大小为m*m和待测曲面的投影面积s，估算出相机个数n>2s/m；
[0062]
步骤b3、将相机密集排放在椭球模型表面；
[0063]
步骤b4、对相机位姿的方位角和高低角参数x
j
＝[α
j
,β
j
]
t
，相机外参矩阵的旋转向量 r＝[α
j
,π
‑
β
j
,π/2]
t
，相机外参矩阵的平移向量t＝[0,0,d]
t
进行二进制编码，产生新个体；
[0064]
步骤b5、将步骤b4得到的新个体分为子种群a和子种群b；
[0065]
步骤b6、根据约束条件，分别计算子种群a的适应度函数f(a)和子种群b的适应度函数 f(b)，初始产生的子种群a和子种群b的最优个体x
opt
，除所述最优个体x
opt
外，其他新个体均被下一代替换；
[0066]
步骤b7、判断平均适应度值f
ave
/f(x
opt
)是否超过阈值fit，如果：
[0067]
未超过阈值fit，返回步骤b4；
[0068]
超过阈值fit，迭代结束，解码出最优个体x
opt
，得到初始网络节点布局；
[0069]
步骤b8、根据相机覆盖率，将测量节点按照覆盖率降序排列，删除覆盖率低的冗余测量节点，更新测量网络；所述覆盖率为测量网络中被测量节点获取到的有效点数与被测表面离散点总数的百分比；
[0070]
步骤b9、当所述的被测区域点云的所有点均被合理覆盖时，终止更新测量网络；所述合理覆盖是有三个测量节点能测量到被测区域的一个点，超过三个测量节点为不合理覆盖。
[0071]
具体实施方式三
[0072]
本实施方式下的大结构体复杂表面多视觉三维测量网络节点布局方法，在具体实施方式一的基础上，进一步限定在步骤a之前，还包括以下步骤：获取待测结构体点云数据，计算三角网格区域内的法向量，验证点云数据中每个点的可见性。
[0073]
具体实施方式四
[0074]
本实施方式下的大结构体复杂表面多视觉三维测量网络节点布局方法，在具体实施方式二的基础上，进一步限定所述约束条件至少包括以下约束中的一种：可视性约束、视场角约束、入射角约束、景深约束、共视约束、曲率约束、空集约束；
[0075]
其中，所述约束条件具体为：
[0076]
可视性约束：待测结构体存在的任意曲面上的任一点p，且摄像机光轴通过p点，记为测量网络节点布局约束条件为：当法向量和光轴夹角大于等于90
°
时，相机对于该曲面清晰可见；
[0077]
视场角约束：两条射线自相机镜头起，沿着镜头最大可包含的物像作为边界形成的夹角即为视场角约束；为相机的光轴单位方向向量，ρ表示相机视场角，测量网络节点布局约束条件为：
[0078][0079]
入射角约束：定义为光轴和法向量之间可接受的最大夹角为θ，测量网络节点布局约束条件为：
[0080][0081]
景深约束：定义为相机镜头能够对待测目标前后距离清晰成像而界定的范围；定义δl1为前景深，δl2为后景深，f为相机光圈，δ为容许弥散圆直径，l为拍摄距离，f为相机焦距，测量网络节点布局约束条件为：
[0082][0083]
共视约束：在多视点视觉测量过程中，空间中任意一点p，至少被两个以上相机同时观测，定义ω
i
(i＝1,2,
…
n)为第i个相机的有效成像区域，测量网络节点布局约束条件为：
[0084]
ω
d
＝ω1∩ω2∩
…
∩ω
n
[0085]
曲率约束：待测目标结构体的曲率复杂程度决定相机空间位姿(α,β,d)，曲率与相机空间位姿的映射关系即为曲率约束，ρ
i
是第i个站位点的相机对应的待测目标结构体的曲率，测量网络节点布局约束条件为：
[0086]
(ρ
i
)
→
(α,β,d)
[0087]
空集约束：为保证多视点测量组网中每个视点的独立性，避免视点重叠增大计算量，还需要限制每个视点的重叠部分λ，称为空集约束，定义φ为各个视点的测量区域的交
集；n为规划中视点的总数；测量网络节点布局约束条件为：
[0088]
φ＝λ1∩λ2∩
…
∩λ
n
。
[0089]
具体实施方式五
[0090]
本实施方式下的大结构体复杂表面多视觉三维测量网络节点布局方法，流程图如图1所示，该方法包括以下步骤：
[0091]
步骤a、利用深度融合技术获得待测结构体点云数据的三角网格模型，所述三角网格模型用于表征待测结构体的空间几何信息；具体的，利用增量式视觉运动结构恢复技术生成被测结构体的点云，使用meshlab软件生成三角网格模型，如图3所示为本实施方式下提供的一种三维结构体三角网格模型示意图；
[0092]
步骤b、根据预设的多视觉三维测量网络测量节点布局算法，对步骤a所述三角网格模型的几何数据进行测量节点布局计算；所述测量节点布局计算根据待测结构体的几何信息及最优可见性初步布局，建立初始椭球形测量网络模型，椭球参数决定待测结构体的几何信息，再基于椭球基线设置每个测量节点位姿；
[0093]
步骤c、在确定符合预设的算法终止条件时，将步骤b计算得到的所有测量节点确定为相机对所述待测结构体进行整体三维测量时的测量网络节点集合。
[0094]
其中，在步骤a之前，获取待测结构体点云数据，计算三角网格区域内的法向量，验证点云数据中每个点的可见性。本实施方式下所提供的待测结构体如图5所示。
[0095]
其中，步骤b所述的预设的多视觉三维测量网络测量节点布局算法流程图如图2所示，包括以下步骤：
[0096]
步骤b1、将待测结构体离散成均匀的点云，并求出中心点坐标[x0,y0,z0]
t
，导入三角网格模型，计算每个三角网格区域的单位法向量[n1,n2,n3]
t
；然后利用法向量计算点的可见性，其中，最优可见性算法的流程图如图4所示。
[0097]
步骤b2、根据相机视场大小为m*m和待测曲面的投影面积s，估算出相机个数n>2s/m；在本步骤中，相机视场大小为1000mm*1000mm，待测曲面的投影面积为s＝0.07m2，可估算出相机个数n>2s/m＝14.2，则所需相机个数要多于15，为获得更好的优化效果，取初始相机数40；
[0098]
步骤b3、将相机密集排放在椭球模型表面；其中，椭球形初始测量网络节点分布模型示意图如图6所示；具体的，本实施例的椭球基线中心坐标为(136,105,101)，由视觉传感器分布的最佳距离和轨道角决定，最佳距离是指传感器距离待测物最远距离和最近距离的平均值，测量节点姿态由相机的光轴和相机间基线的夹角所决定，为减小误差，夹角取值在20
°
～50
°
之间；
[0099]
步骤b4、对相机位姿的方位角和高低角参数x
j
＝[α
j
,β
j
]
t
，相机外参矩阵的旋转向量 r＝[α
j
,π
‑
β
j
,π/2]
t
，相机外参矩阵的平移向量t＝[0,0,d]
t
进行二进制编码，产生新个体；其中，对相机位姿的方位角和高低角参数进行估计，方位角和高低角最优设置为α∈[25
°
,45
°
]u[115
°
,135
°
]u[205
°
,225
°
]u[295
°
,315
°
]，β∈[10
°
，70
°
]∪[
‑
70
°
，
‑
10
°
]，平移量 d＝247.5mm；
[0100]
步骤b5、将步骤b4得到的新个体分为子种群a和子种群b；
[0101]
步骤b6、根据约束条件，分别计算子种群a的适应度函数f(a)和子种群b的适应度函数 f(b)，初始产生的子种群a和子种群b的最优个体x
opt
，除所述最优个体x
opt
外，其他新
个体均被下一代替换；
[0102]
步骤b7、判断平均适应度值f
ave
/f(x
opt
)超过阈值fit，如果：
[0103]
未超过阈值fit，返回步骤b4；
[0104]
超过阈值fit，迭代结束，解码出最优个体x
opt
，得到初始网络节点布局；
[0105]
步骤b8、根据相机覆盖率，将测量节点按照覆盖率降序排列，删除覆盖率低的冗余测量节点，更新测量网络；所述覆盖率为测量网络中被测量节点获取到的有效点数与被测表面离散点总数的百分比；
[0106]
步骤b9、当所述的被测区域点云的所有点均被合理覆盖时，终止更新测量网络；所述合理覆盖是有三个测量节点能测量到被测区域的一个点，超过三个测量节点为不合理覆盖。
[0107]
优化后的多视觉三维测量网络节点布局示意图如图7所示，优化后的相机数为22个。
[0108]
在步骤b6中，所述约束包括可视性约束、视场角约束、入射角约束、景深约束、共视约束、曲率约束和空集约束；
[0109]
其中，所述约束条件具体为：
[0110]
可视性约束：待测结构体存在的任意曲面上的任一点p，且摄像机光轴通过p点，记为测量网络节点布局约束条件为：当法向量和光轴夹角大于等于90
°
时，相机对于该曲面清晰可见；
[0111]
可见性约束示意图如图8所示；
[0112]
视场角约束：两条射线自相机镜头起，沿着镜头最大可包含的物像作为边界形成的夹角即为视场角约束；为相机的光轴单位方向向量，ρ表示相机视场角，测量网络节点布局约束条件为：
[0113][0114]
视场角约束示意图如图9所示；
[0115]
入射角约束：定义为光轴和法向量之间可接受的最大夹角为θ，测量网络节点布局约束条件为：
[0116][0117]
入射角约束示意图如图10所示；
[0118]
景深约束：定义为相机镜头能够对待测目标前后距离清晰成像而界定的范围；定义δl1为前景深，δl2为后景深，f为相机光圈，δ为容许弥散圆直径，l为拍摄距离，f为相机焦距，测量网络节点布局约束条件为：
[0119][0120]
景深约束示意图如图11所示；
[0121]
共视约束：在多视点视觉测量过程中，空间中任意一点p，至少被两个以上相机同时观测，定义ω
i
(i＝1,2,
…
n)为第i个相机的有效成像区域，测量网络节点布局约束条件为：
[0122]
ω
d
＝ω1∩ω2∩
…
∩ω
n
[0123]
共视约束示意图如图12所示；
[0124]
曲率约束：待测目标结构体的曲率复杂程度决定相机空间位姿(α,β,d)，曲率与相机空间位姿的映射关系即为曲率约束，ρ
i
是第i个站位点的相机对应的待测目标结构体的曲率，测量网络节点布局约束条件为：
[0125]
(ρ
i
)
→
(α,β,d)
[0126]
空集约束：为保证多视点测量组网中每个视点的独立性，避免视点重叠增大计算量，还需要限制每个视点的重叠部分λ，称为空集约束，定义φ为各个视点的测量区域的交集；n为规划中视点的总数；测量网络节点布局约束条件为：
[0127]
φ＝λ1∩λ2∩
…
∩λ
n
。
[0128]
根据本发明实施例提供的多视觉三维测量网络节点布局方法，在建立待测结构体三角网格模型后，基于网络节点布局算法对三角网格模型的几何数据进行测量节点布局计算，然后分别计算点的可见性和覆盖率，确定合理测量网络节点。通过测量网络节点布局算法优化网络节点分布，能够提高整个大结构体三维测量过程的效率，降低大型结构体三维测量成本。