基于多视角肤纹闭合的三维成像方法及系统与流程

本发明涉及三维视觉成像，具体为基于多视角肤纹闭合的三维成像方法及系统。

背景技术：

1、随着多光谱成像、偏振成像、光学相干层析成像、结构光三维重建和深度学习技术的发展，皮肤图像分析已由二维表面特征识别逐步扩展至皮肤纹理、组织层次、光学响应和三维形貌的联合检测。通过融合不同波段图像、空间深度信息和生理参数，可对皮肤表面纹理、内部结构及区域差异进行数字化表征，并为皮肤状态评估、生物特征提取和三维成像提供数据基础。

2、例如，公开号为cn120913249a的申请提出一种评估面部皮肤衰老的方法及其系统，通过多光谱成像获取可见光、紫外反射和近红外光谱图像，经预处理提取皮肤纹理、色斑和毛细血管网络参数；构建三维面部皮肤模型，结合力学传感器测量皮肤弹性参数；将上述参数输入深度学习衰老评估模型，输出包含皮肤生理年龄、弹性等级和区域衰老差异指数的综合评估报告，并提供个性化衰老防护建议。

3、例如，公开号为cn120340071a的申请提出一种生物秘钥生成方法及存储介质，方法包括：通过光学相干层析成像系统采集指尖指纹图像；提取指尖指纹图像中内部指纹；获取内部指纹中心点坐标，并根据中心点坐标选择内部指纹的中心区域；根据内部指纹的中心区域，通过卷积神经网络提取指纹表皮层上下边界的厚度；将提取的指纹表皮层上下边界的厚度转换为预设灰度值的线性图像。使用基于光学相干层析成像系统的指尖皮肤内部指纹的中心区域引导的三维表皮层厚度的线性图像作为新型生物特征密钥，大大提高了信息加密的安全性，增加了加密结构的复杂性，为新的图像或信息加密技术提供了参考。

4、然而，现有技术主要针对裸露皮肤的表面纹理、内部组织结构或综合生理参数进行成像和分析，在皮肤表面覆盖透明敷料、凝胶或其他透明介质时，膜层反射、偏振响应和折射偏移会叠加至皮肤真实纹理信息中，难以准确区分膜面坐标与皮肤基底坐标，容易造成肤纹三维坐标偏移、局部形貌失真和跨视角重建不一致。

5、因此，针对以上问题，亟待需要基于多视角肤纹闭合的三维成像方法及系统。

技术实现思路

1、解决的技术问题

2、针对现有技术的不足，本发明提供了基于多视角肤纹闭合的三维成像方法及系统，解决了透明介质覆盖皮肤时膜层反射与折射干扰难以分离，导致肤纹三维坐标偏移、皮肤基底形貌失真且三维成像准确性不足的问题。

3、技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：基于多视角肤纹闭合的三维成像方法，包括：s1，构建肤纹三维坐标系，控制交叉成像光路在平行偏振状态和交叉偏振状态下采集双偏振相移图像，取得平行偏振支路三维坐标值、交叉偏振支路三维坐标值和同名肤纹点记录；s2，基于同名肤纹点记录生成支路中点坐标值和校正支路差向量，构建基础肤纹闭合面元，沿各基础肤纹闭合面元累加边交换增量值，得到肤纹交换环量值和单位周长交换环量值；s3，基于闭合面元邻接记录构建第零级至第三级闭合链，识别首断闭合层，筛选使切口扣除残差值不超过单位周长环量上限值的连续边段，生成首断膜层切口和膜层干扰边界；s4，基于膜层干扰边界确定膜面候选坐标值，构建膜内投射射线和膜内接收射线，取得皮肤基底三维坐标值，并基于剥膜残差向量完成闭合验证，按照基础肤纹闭合面元的三角连接关系输出皮肤基底三角网格曲面。

5、进一步地，构建肤纹三维坐标系，控制交叉成像光路在平行偏振状态和交叉偏振状态下采集双偏振相移图像的具体步骤如下：以皮肤三维检测装置的检测窗口几何中心为坐标原点，以检测窗口横向方向、纵向方向和检测窗口开口平面法向朝向受检皮肤的方向分别为x轴正方向、y轴正方向和z轴正方向，构建肤纹三维坐标系；沿检测窗口周向设置四个成像站，每个成像站配置相移结构光投射器、偏振相机和偏振切换器，将每个相移结构光投射器分别与相邻两个偏振相机组成交叉成像光路，并记录投射器内参矩阵、投射器位姿矩阵、相机内参矩阵和相机位姿矩阵；将未覆盖透明介质的三维肤纹标定片放置于检测窗口内，按照各交叉成像光路和两种偏振状态采集标定相移图像；控制各交叉成像光路在平行偏振状态和交叉偏振状态下分别投射三组不同空间频率的行向四步相移条纹和列向四步相移条纹，采集零度、九十度、一百八十度和二百七十度相移图像，并记录投射站编号、接收站编号、偏振状态编码值、空间频率值和相移序号。

6、进一步地，取得平行偏振支路三维坐标值、交叉偏振支路三维坐标值和同名肤纹点记录的具体步骤如下：针对同一相机像素、偏振状态及各空间频率的行向、列向四步相移图像，分别取得相位调制幅值；各相位调制幅值均不低于相位调制幅值下限值时，按照空间频率由低到高取得行向展开相位值和列向展开相位值，根据两项展开相位值确定投射器行列坐标，建立投射器射线和相机像素射线，将两条射线的最短连接线段的中点写入偏振支路三维坐标值；对交叉偏振状态下全部相移图像的像素亮度值取平均，在平均亮度图中提取毛孔中心点、细纹谷底点、细纹分叉点和皮沟交汇点；以每个肤纹点为中心，按照极角由小到大记录最近n个相邻肤纹点的类型编码值和邻接距离值，组成肤纹固有载体码；在不同交叉成像光路中，选取类型编码值相同且肤纹固有载体码差异最小的肤纹点，写入同名肤纹点记录，并关联各肤纹点的像素坐标值、平行偏振支路三维坐标值和交叉偏振支路三维坐标值，并将两种偏振状态下全部相移图像的平均亮度值分别写入平行偏振亮度值和交叉偏振亮度值。

7、进一步地，基于同名肤纹点记录生成支路中点坐标值和校正支路差向量，构建基础肤纹闭合面元的具体步骤如下：根据标定相移图像取得各标定点的平行偏振支路三维坐标值和交叉偏振支路三维坐标值；将各交叉成像光路中编号相同的标定点的平行偏振支路三维坐标值减去交叉偏振支路三维坐标值，得到标定支路差向量，并按标定点的x坐标值和y坐标值分别建立各交叉成像光路的标定支路差向量格网；将每个同名肤纹点的两项偏振支路三维坐标值相加后除以二，得到支路中点坐标值，将平行偏振支路三维坐标值减去交叉偏振支路三维坐标值，得到皮肤支路差向量；按照支路中点坐标值的x坐标值和y坐标值从标定支路差向量格网插值取得标定支路差向量，并从皮肤支路差向量中扣减标定支路差向量，得到校正支路差向量；根据全部同名肤纹点的支路中点坐标值的x坐标值和y坐标值执行德洛内三角剖分，删除长度超过邻接边长度中位数与两倍四分位距之和的连接边；将保留三条连接边的每个德洛内三角形确定为基础肤纹闭合面元，按照顺时针方向记录三个肤纹点编号、三条连接边和闭合面元周长值，并根据两个基础肤纹闭合面元是否共享连接边建立闭合面元邻接记录。

8、进一步地，沿各基础肤纹闭合面元累加边交换增量值，得到肤纹交换环量值和单位周长交换环量值的具体步骤如下：针对每个基础肤纹闭合面元，由三个肤纹点的支路中点坐标值确定局部切平面，将各连接边向量及连接边两端校正支路差向量的平均向量投影至局部切平面，将投影后的连接边向量单位化后与投影后的平均向量点乘，得到边交换增量值；按照顺时针方向累加三条连接边的边交换增量值，得到肤纹交换环量值，并将肤纹交换环量值的绝对值除以闭合面元周长值，得到单位周长交换环量值。

9、进一步地，基于闭合面元邻接记录构建第零级至第三级闭合链，识别首断闭合层的具体步骤如下：遍历闭合面元邻接记录，将单位周长交换环量值不超过单位周长环量上限值且相邻基础肤纹闭合面元的单位周长交换环量值超过单位周长环量上限值的基础肤纹闭合面元确定为第零级闭合链；从单位周长交换环量值超过单位周长环量上限值的相邻基础肤纹闭合面元中选取共享边长度最大的闭合面元并入第零级闭合链，删除共享连接边，形成第一级闭合链，再连续两次从与当前闭合链外边界共享连接边的未并入基础肤纹闭合面元中选取共享边长度最大者，每次并入后删除共享连接边，形成第二级闭合链和第三级闭合链；沿各级闭合链外边界累加边交换增量值，将累加结果的绝对值除以对应外边界周长值，得到各级闭合链的单位周长交换环量值；第零级闭合链的单位周长交换环量值不超过单位周长环量上限值，且第一级至第三级闭合链的单位周长交换环量值均超过单位周长环量上限值时，将第一级闭合链确定为首断闭合层，并将第一级闭合链相对于第零级闭合链新增的连接边沿第一级闭合链外边界顺序排列为候选切口边序列。

10、进一步地，筛选使切口扣除残差值不超过单位周长环量上限值的连续边段，生成首断膜层切口和膜层干扰边界的具体步骤如下：依次截取候选切口边序列中的连续边段，将连续边段对应的边交换增量值之和从首断闭合层的肤纹交换环量值中扣除，并将扣除结果的绝对值除以首断闭合层周长值，得到切口扣除残差值；从切口扣除残差值不超过单位周长环量上限值的连续边段中，依次选取连接边数量最少、累计边长值最小的连续边段，写入首断膜层切口；将具有共享端点的首断膜层切口按照共享端点拼接为连续切口边序列；对于未共享端点的首断膜层切口，从两端点之间的肤纹连接路径中，保留路径内各连接边的边交换增量值符号相同的连接路径，并选取累计边长值最小的连接路径；将首断膜层切口和连接路径围成膜层干扰边界，并将膜层干扰边界内部的同名肤纹点写入双界面待反演点集。

11、进一步地，基于膜层干扰边界确定膜面候选坐标值，构建膜内投射射线和膜内接收射线，取得皮肤基底三维坐标值的具体步骤如下：针对双界面待反演点集中的每个同名肤纹点，将两项偏振支路三维坐标值中z坐标值较小者写入膜面候选坐标值；将z坐标值较大支路对应的三维坐标值重投影至同名肤纹点记录中除当前交叉成像光路的接收相机以外的各接收相机，取重投影像素坐标与同名肤纹点像素坐标的最大距离为跨视角重投影距离值；筛选两项偏振亮度值的差值绝对值超过裸肤偏振差上限值，且跨视角重投影距离值不超过跨视角重投影距离上限值的膜面候选坐标值；利用筛选后的膜面候选坐标值拟合连续膜面曲面，读取同名肤纹点的投射器射线和相机像素射线，将相机像素射线反向作为接收相机反向射线；分别将投射器射线和接收相机反向射线沿各自正向延伸方向与连续膜面曲面的首个交点确定为折射起点，根据交点法向量、空气折射率值和敷料折射率值取得膜内投射射线和膜内接收射线；求取膜内投射射线与膜内接收射线的最短连接线段，保留最短连接线段长度不超过皮肤三维检测装置轴向分辨率两倍的交叉成像光路；同一同名肤纹点具有不少于两条保留光路时，分别取各最短连接线段中点的x坐标中位数、y坐标中位数和z坐标中位数，得到皮肤基底三维坐标值，少于两条保留光路时不写入皮肤基底三维坐标值。

12、进一步地，基于剥膜残差向量完成闭合验证，按照基础肤纹闭合面元的三角连接关系输出皮肤基底三角网格曲面的具体步骤如下：膜面候选坐标值属于平行偏振支路时，将膜面候选坐标值减去皮肤基底三维坐标值，得到坐标差向量；膜面候选坐标值属于交叉偏振支路时，将皮肤基底三维坐标值减去膜面候选坐标值，得到坐标差向量；将坐标差向量从校正支路差向量中扣减，得到剥膜残差向量，根据剥膜残差向量取得单位周长交换环量值，根据皮肤基底三维坐标值取得跨视角重投影距离值；膜层干扰边界内各同名肤纹点均取得皮肤基底三维坐标值，且全部单位周长交换环量值和跨视角重投影距离值均不超过单位周长环量上限值和跨视角重投影距离上限值，以皮肤基底三维坐标值替换对应支路中点坐标值，按照基础肤纹闭合面元的三角连接关系形成皮肤基底三角网格曲面；否则向外并入一层相邻基础肤纹闭合面元，对新增同名肤纹点重新确定膜面候选坐标值和皮肤基底三维坐标值，再次执行闭合验证。

13、本发明第二方面提供了基于多视角肤纹闭合的三维成像系统，包括：双偏振支路采集模块、肤纹环量值构建模块、膜层首断切口链模块和基底双界面反演模块，其中：双偏振支路采集模块，用于构建肤纹三维坐标系，控制交叉成像光路在平行偏振状态和交叉偏振状态下采集双偏振相移图像，取得平行偏振支路三维坐标值、交叉偏振支路三维坐标值和同名肤纹点记录；肤纹环量值构建模块，用于基于同名肤纹点记录生成支路中点坐标值和校正支路差向量，构建基础肤纹闭合面元，沿各基础肤纹闭合面元累加边交换增量值，得到肤纹交换环量值和单位周长交换环量值；膜层首断切口链模块，用于基于闭合面元邻接记录构建第零级至第三级闭合链，识别首断闭合层，筛选使切口扣除残差值不超过单位周长环量上限值的连续边段，生成首断膜层切口和膜层干扰边界；基底双界面反演模块，用于基于膜层干扰边界确定膜面候选坐标值，构建膜内投射射线和膜内接收射线，取得皮肤基底三维坐标值，并基于剥膜残差向量完成闭合验证，按照基础肤纹闭合面元的三角连接关系输出皮肤基底三角网格曲面。

14、有益效果

15、本发明具有以下有益效果：

16、（1）基于多视角肤纹闭合的三维成像方法及系统，通过平行偏振状态和交叉偏振状态下的双偏振相移采集，结合肤纹固有载体码完成跨视角同名肤纹点匹配，使不同交叉成像光路中的三维坐标值、像素坐标值和偏振亮度值能够统一关联，为后续膜层干扰识别和皮肤基底反演提供稳定的数据基础。

17、（2）基于多视角肤纹闭合的三维成像方法及系统，利用三维肤纹标定片建立标定支路差向量格网，并从两项偏振支路差异中扣减光路固有偏差，再将校正支路差向量沿基础肤纹闭合面元进行环量计算，使透明膜层引起的局部偏振与几何扰动能够从设备误差和视角差异中分离，提高膜层干扰识别的可靠性。

18、（3）基于多视角肤纹闭合的三维成像方法及系统，基于单位周长交换环量值构建第零级至第三级闭合链，通过首断闭合层和切口扣除残差值筛选首断膜层切口，并连接形成膜层干扰边界，避免仅依赖单点阈值或局部亮度异常判断，使膜层干扰范围能够沿肤纹拓扑关系连续确定，降低边界断裂和误扩展概率。

19、（4）基于多视角肤纹闭合的三维成像方法及系统，利用膜面候选坐标值拟合连续膜面曲面，结合膜内投射射线和膜内接收射线恢复皮肤基底三维坐标值，并通过剥膜残差向量、单位周长交换环量值和跨视角重投影距离值执行闭合验证，最终形成皮肤基底三角网格曲面，从而减小透明介质反射和折射造成的三维坐标偏移与局部形貌失真。