基于弧形散斑结构光RGB-D的三维人脸建模方法

本公开涉及三维视觉、神经网络图像特征配准和三维数字化建模，具体涉及基于弧形散斑结构光rgb-d的三维人脸建模方法。

背景技术：

1、rgb-d深度相机能够获得彩色图像和深度图像。散斑结构光深度相机通过向目标表面投射散斑编码图案、并对散斑形变进行解码获得深度，适合获取人脸曲面信息。单台相机难以同时覆盖左右侧脸、耳部和面部外轮廓，因此可将多台相机沿人脸轮廓弧形设置，以获得存在重叠区域的多视角rgb-d数据。

2、多台主动散斑结构光rgb-d深度相机同时投射时可能产生散斑串扰，依次采集又使不同视角数据处于不同采集时刻；受试者的轻微转动、平移、眨眼、嘴部运动或面颊变化会使静态外参不能直接给出满足建模精度的点云对齐结果。

3、现有多视角人脸配准通常利用人脸关键点、手工特征或相机位姿进行初始配准，再采用点云配准方法细化。人脸左右近似对称、侧脸透视变化明显、局部纹理弱以及表情或遮挡变化时，容易产生错误对应，进而影响点云配准精度。

4、通用学习式图像匹配若在整幅图像内搜索，也易在人脸对称区域或相似皮肤纹理之间形成误匹配。因此，需要利用已知相机几何关系限制rgb学习特征的搜索范围，并对匹配可靠性进行评价，使网络获得可用于三维配准的稳定跨视角对应。

技术实现思路

1、为至少解决上述技术问题之一，本发明提供如下技术方案。

2、一种基于弧形散斑结构光rgb-d的三维人脸建模方法，包括以下步骤：

3、步骤s1：获取由沿人脸轮廓弧形设置的三台rgb-d深度相机分时依次采集的左视角、正面视角和右视角的连续多帧rgb-d数据，基于各相机的内参及相机间外参将各视角的点云数据变换至以正面视角为基准的统一坐标系，形成各视角的初始点云；

4、步骤s2：利用外参约束的跨视角rgb特征配准网络，对所述左视角、正面视角和右视角的rgb图像提取视角不变人脸特征，并在由所述相机间外参限定的候选搜索区域内建立跨视角特征对应，输出各特征对应的匹配置信度；

5、步骤s3：将所述跨视角特征对应中的对应像素，依据其对应的深度值提升为三维对应点，融合所述相机间外参的约束与所述三维对应点的约束进行加权鲁棒位姿求解，得到左视角和右视角分别相对于正面视角的粗配准变换；

6、步骤s4：利用三视角刚性与非刚性联合精配准网络，基于经所述粗配准变换后的左视角、正面视角和右视角点云，输出刚性位姿修正量、局部形变修正量及对应关系不确定度；

7、步骤s5：施加所述刚性位姿修正量和所述局部形变修正量以修正各视角点云，依据所述对应关系不确定度对各视角点云进行加权融合，再经孔洞补齐、特征保持平滑及rgb纹理附着，输出三维人脸模型。

8、进一步地，所述步骤s1中，所述分时依次采集包括按照第一正面帧组、左侧帧组、第二正面帧组、右侧帧组和第三正面帧组的顺序执行连续多帧采集，任一主动深度采集时段仅启用对应相机的散斑投射。

9、进一步地，所述步骤s2中，所述外参约束的跨视角rgb特征配准网络包括参数共享的多尺度特征提取主干、视角条件调制层、稳定区域加权层和跨视角特征匹配层；所述多尺度特征提取主干对三个视角的rgb图像提取不同尺度的学习特征图；所述视角条件调制层根据各像素的相机成像射线方向、相机相对姿态编码及归一化像素位置，对所述学习特征图进行条件调制；所述稳定区域加权层预测各像素属于稳定面部区域的概率，并对所述学习特征图进行加权。

10、进一步地，所述步骤s2中，所述候选搜索区域按照以下方式构建：当源视角中的待匹配像素具有有效深度值时，依据源相机内参将所述待匹配像素反投影至三维空间，再依据源相机到目标相机的外参得到所述待匹配像素在目标视角中的预测位置，结合外参标定误差、深度测量不确定度及投影雅可比形成各向异性的二维投影不确定度，据此建立所述候选搜索区域；当所述待匹配像素不具有可靠深度值时，根据相机内外参形成目标图像中的极线，将所述极线附近预定宽度的带状区域作为所述候选搜索区域。

11、进一步地，所述步骤s2中，所述建立跨视角特征对应包括：对于源视角中的待匹配像素，在所述候选搜索区域内的各候选位置计算特征相似度，将几何偏差作为附加惩罚项，经归一化后得到各候选位置属于真实对应位置的条件概率，选取概率最大的候选位置作为离散对应位置或对候选位置按所述条件概率加权求和得到亚像素对应位置；根据所述候选搜索区域内的匹配概率分布计算匹配不确定度，所述匹配不确定度采用匹配熵的形式，当多个候选位置具有接近的匹配概率时所述匹配不确定度增大，当真实对应位置形成单峰高概率分布时所述匹配不确定度减小。

12、进一步地，所述步骤s2中，所述建立跨视角特征对应还包括：对于通过前向匹配获得的对应位置，以所述对应位置为目标视角的源位置执行反向匹配，若反向匹配结果不能返回至原始待匹配像素附近，则剔除该对应位置或降低其权重；对于左视角、正面视角和右视角均具有共同可见区域的特征，检查左视角至正面视角、正面视角至右视角及反向映射之间的传递一致性或循环一致性以剔除歧义对应；仅与正面视角存在共同可见区域的侧脸特征，采用以正面视角为公共参考的双向一致性校验。

13、进一步地，所述稳定区域加权层预测的所述稳定面部区域包括额头、鼻梁、颧骨和颞部，所述稳定区域加权层输出的稳定概率取值范围为0至1，用于作为特征匹配和匹配置信度计算的权重，使相对稳定的面部区域对粗配准的贡献大于易形变区域。

14、进一步地，所述步骤s3中，所述加权鲁棒位姿求解的目标函数包括rgb学习特征匹配约束项和外参先验约束项，其中所述rgb学习特征匹配约束项基于所述三维对应点的综合匹配置信度加权，所述外参先验约束项基于标定重投影误差和重复标定误差确定的外参质量矩阵加权，通过平衡因子调节两项约束的相对权重，使高置信度学习对应的三维残差最小化的同时抑制位姿修正量偏离可信外参。

15、进一步地，所述步骤s4中，所述三视角刚性与非刚性联合精配准网络包括几何特征编码模块、以正面视角为公共参考的跨视角特征融合模块、刚性位姿修正分支、局部形变修正分支和不确定度分支；所述刚性位姿修正分支基于人脸稳定区域的特征预测刚性位姿修正量；所述局部形变修正分支基于人脸易形变区域的特征预测局部形变修正量；所述不确定度分支输出逐点的对应关系不确定度。

16、一种基于弧形散斑结构光rgb-d的三维人脸建模系统，包括：

17、数据获取模块，被配置为获取由沿人脸轮廓弧形设置的三台rgb-d深度相机分时依次采集的左视角、正面视角和右视角的连续多帧rgb-d数据，基于各相机的内参及相机间外参将各视角的点云数据变换至以正面视角为基准的统一坐标系，形成各视角的初始点云；

18、特征匹配模块，被配置为利用外参约束的跨视角rgb特征配准网络，对所述左视角、正面视角和右视角的rgb图像提取视角不变人脸特征，并在由所述相机间外参限定的候选搜索区域内建立跨视角特征对应，输出各特征对应的匹配置信度；

19、粗配准模块，被配置为将所述跨视角特征对应中的对应像素，依据其对应的深度值提升为三维对应点，融合所述相机间外参的约束与所述三维对应点的约束进行加权鲁棒位姿求解，得到左视角和右视角分别相对于正面视角的粗配准变换；

20、精配准模块，被配置为利用三视角刚性与非刚性联合精配准网络，基于经所述粗配准变换后的左视角、正面视角和右视角点云，输出刚性位姿修正量、局部形变修正量及对应关系不确定度；

21、融合输出模块，被配置为施加所述刚性位姿修正量和所述局部形变修正量以修正各视角点云，依据所述对应关系不确定度对各视角点云进行加权融合，再经孔洞补齐、特征保持平滑及rgb纹理附着，输出三维人脸模型。

22、进一步地，所述数据获取模块被配置为：按照第一正面帧组、左侧帧组、第二正面帧组、右侧帧组和第三正面帧组的顺序执行连续多帧采集，任一主动深度采集时段仅启用对应相机的散斑投射。

23、进一步地，所述特征匹配模块中的所述外参约束的跨视角rgb特征配准网络包括参数共享的多尺度特征提取主干、视角条件调制层、稳定区域加权层和跨视角特征匹配层；所述多尺度特征提取主干被配置为对三个视角的rgb图像提取不同尺度的学习特征图；所述视角条件调制层被配置为根据各像素的相机成像射线方向、相机相对姿态编码及归一化像素位置，对所述学习特征图进行条件调制；所述稳定区域加权层被配置为预测各像素属于稳定面部区域的概率，并对所述学习特征图进行加权。

24、进一步地，所述特征匹配模块被配置为：当源视角中的待匹配像素具有有效深度值时，依据源相机内参将所述待匹配像素反投影至三维空间，再依据源相机到目标相机的外参得到所述待匹配像素在目标视角中的预测位置，结合外参标定误差、深度测量不确定度及投影雅可比形成各向异性的二维投影不确定度，据此建立所述候选搜索区域；当所述待匹配像素不具有可靠深度值时，根据相机内外参形成目标图像中的极线，将所述极线附近预定宽度的带状区域作为所述候选搜索区域。

25、进一步地，所述特征匹配模块被配置为：对于源视角中的待匹配像素，在所述候选搜索区域内的各候选位置计算特征相似度，将几何偏差作为附加惩罚项，经归一化后得到各候选位置属于真实对应位置的条件概率，选取概率最大的候选位置作为离散对应位置或对候选位置按所述条件概率加权求和得到亚像素对应位置；根据所述候选搜索区域内的匹配概率分布计算匹配不确定度，所述匹配不确定度采用匹配熵的形式，当多个候选位置具有接近的匹配概率时所述匹配不确定度增大，当真实对应位置形成单峰高概率分布时所述匹配不确定度减小。

26、进一步地，所述特征匹配模块还被配置为：对于通过前向匹配获得的对应位置，以所述对应位置为目标视角的源位置执行反向匹配，若反向匹配结果不能返回至原始待匹配像素附近，则剔除该对应位置或降低其权重；对于左视角、正面视角和右视角均具有共同可见区域的特征，检查左视角至正面视角、正面视角至右视角及反向映射之间的传递一致性或循环一致性以剔除歧义对应；仅与正面视角存在共同可见区域的侧脸特征，采用以正面视角为公共参考的双向一致性校验。

27、进一步地，所述稳定区域加权层预测的所述稳定面部区域包括额头、鼻梁、颧骨和颞部，所述稳定区域加权层输出的稳定概率取值范围为0至1，用于作为特征匹配和匹配置信度计算的权重。

28、进一步地，所述粗配准模块进行所述加权鲁棒位姿求解的目标函数包括rgb学习特征匹配约束项和外参先验约束项，其中所述rgb学习特征匹配约束项基于所述三维对应点的综合匹配置信度加权，所述外参先验约束项基于标定重投影误差和重复标定误差确定的外参质量矩阵加权，通过平衡因子调节两项约束的相对权重。

29、进一步地，所述精配准模块中的所述三视角刚性与非刚性联合精配准网络包括几何特征编码模块、以正面视角为公共参考的跨视角特征融合模块、刚性位姿修正分支、局部形变修正分支和不确定度分支；所述刚性位姿修正分支基于人脸稳定区域的特征预测刚性位姿修正量；所述局部形变修正分支基于人脸易形变区域的特征预测局部形变修正量；所述不确定度分支输出逐点的对应关系不确定度。

30、有益效果：

31、本公开通过利用相机几何先验限定搜索区域和rgb学习特征判定真实对应的方式，减少全图搜索中的对称误匹配和无效候选，并通过稳定区域权重及匹配不确定度提高粗配准可靠性。分时依次采集的时序方案有效避免了多台散斑结构光相机同时投射时的光学串扰。刚性-非刚性联合精配准网络在同一模型中联合估计头部刚体运动与面部表情非刚性形变，并输出逐点不确定度用于后续加权融合，进一步提高了多视角三维人脸建模的精度和完整性。本公开具有人脸三维建模成本低、速度快、建模精度高、模型更完整的特点。