机器学习辅助变焦-畸变耦合的共轴光学三维重建方法及系统

本发明属于光学测量，涉及光学精密测量与人工智能交叉应用技术，尤其涉及机器学习辅助变焦-畸变耦合的共轴光学三维重建方法及系统。

背景技术：

1、随着半导体、mems、微纳加工、精密光学、生物芯片产业发展，微结构尺寸降至微米、纳米量级，器件侧壁高度、沟槽深度、表面粗糙度、三维轮廓直接决定产品性能，而仅二维显微成像无法完成几何尺寸定量检测，因此，微观三维形貌测量成为精密质检、材料表征的刚需技术。现有的微观三维测量设备如共聚焦显微镜存在测量速度慢、成本高的问题。传统的结构光技术虽然速度快，但在微观领域面临两大瓶颈：一是物理遮挡导致的投影阴影；二是显微镜变焦过程中的畸变规律极其复杂，传统的数学建模难以在全倍率范围内保持高精度，且每次手动标定极其耗时。

2、随着ai技术的发展，利用神经网络强大的非线性拟合能力来优化光学系统标定成为了一种新的可能，但目前尚缺乏针对共轴显微三维系统的成熟ai标定方案。

技术实现思路

1、针对现有技术中存在的问题，本发明提供了机器学习辅助变焦-畸变耦合的共轴光学三维重建方法及系统，解决了微小物体三维测量中存在的投影阴影多、变焦标定精度不稳定的问题。

2、为了实现上述目的，本发明采取的技术方案是：

3、机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，包括如下步骤：

4、步骤1，将投影仪的照明光轴耦合进显微镜的主物镜公共光轴中，实现同轴或近同轴耦合；

5、步骤2，通过显微镜目镜采集多个离散放大倍率节点下的微观标定板图像，识别和提取不同倍率下微观标定板的亚像素角点特征，解算出各放大倍率节点下相机的内参矩阵k、非线性畸变系数矩阵d以及双目相对外参矩阵r、t，构建全倍率标定数据集；

6、步骤3，构建变焦-畸变演化标定模型并采用全倍率标定数据集进行训练，显微镜变倍机构的机械刻度或编码器反馈的变焦值z作为输入特征，对应的标定参数集作为输出标签；

7、步骤4，实际测量时，采集投影仪向微观样品表面投射的多步相移正弦条纹及辅助解包裹图案，获取完整的变形条纹图像序列；利用变焦-畸变演化标定模型得到的当前状态下的标定参数完成图像的极线校正，并在绝对相位一致性约束下完成亚像素级立体匹配；完成微观高精度三维点云重建。

8、进一步的，所述耦合采用分光棱镜实现，所述分光棱镜设置在显微镜的主物镜与待测物体之间。

9、进一步的，显微镜双目接口处装配双工业相机，所述步骤4中，通过双工业相机采集图像。

10、进一步的，所述双工业相机在硬触发信号控制下，实现与投影仪投射帧的微秒级同步。

11、进一步的，所述步骤4之前，还包括：投影仪预投射灰度图提取全场反光掩模以自适应调节投影亮度。

12、进一步的，所述步骤4中，利用变焦-畸变演化标定模型得到的当前状态下的标定参数完成图像的极线校正包括：

13、根据当前的变倍刻度或变焦数值，变焦-畸变演化标定模型实时输出当前状态下的标定参数，利用标定参数完成图像的极线校正与畸变去除。

14、进一步的，所述步骤4中，获取完整的变形条纹图像序列之后，还包括绝对相位解算：利用采集到的相移变形条纹图像，通过相移算法计算出主值被截断的包裹相位图；结合同步采集的辅助图案解码得到每个像素的条纹级数，将条纹级数与包裹相位进行叠加，完成相位展开操作，分别获取左、右视图的连续绝对相位图。

15、进一步的，所述步骤4中，在绝对相位一致性约束下完成亚像素级立体匹配包括：

16、在经过极线校正的左右视图中，基于极线约束和绝对相位一致性约束寻找同名像素点；通过线性插值算法实现亚像素级的立体精准匹配以获取视差。

17、进一步的，所述步骤4中，微观高精度三维点云重建包括：结合变焦-畸变演化标定模型输出的相机内外参数据，利用多频外差相移算法获取包裹相位，结合标定参数，通过空间三角测量原理精准各匹配点的三维空间坐标，重构出微观样本的三维点云。

18、本发明还公开了机器学习辅助变焦-畸变耦合的共轴光学三维重建系统，包括体视显微镜、分光棱镜、工业相机、dlp投影仪、微控制器，所述分光棱镜设置在体视显微镜物镜与待测物体之间，将dlp投影仪的光轴与显微镜双目观测光轴实现同轴或近同轴耦合，所述工业相机设置在显微镜物镜目镜上，所述微控制器与工业相机和dlp投影仪连接，并实现机器学习辅助变焦-畸变耦合的共轴光学三维重建方法中步骤2-4。

19、与现有技术相比，本发明具有如下优点和有益效果：

20、1. 本发明巧妙利用分光棱镜，将微型投影仪的照明光路与体视显微镜主物镜光路实现了同轴或近同轴集成，避免传统旁轴结构光在微小物体的近距离测量中极易产生的严重物理遮挡和投影阴影，实现了微观场景下的无阴影全视场测量。这保证了高频结构光能够垂直且无遮挡地投射到微观复杂样品表面，结合双目工业相机无遮挡无盲区的同步采集，实现了全视场形貌获取。

21、2. 提出基于ai的变焦-畸变演化标定模型，实现了全倍率下的一次标定和实时动态补偿。引入ai演化模型后，用户在切换显微镜倍率时无需重新标定，系统自动补偿畸变，实现了真正意义上的全倍率动态重建，大幅提升了操作效率。这不仅免除了繁琐的重复标定工作，极大降低了对操作人员的专业门槛，还使得系统具备了在连续变倍过程中进行不间断三维测量的动态适应能力。

22、3. 基于高精度标定，本发明能够实现显微镜放大光路带来的非线性畸变校正，结合微观尺度下的高频条纹投射实现精准相位解算。

23、4. 本发明方法能够动态调整投影仪输出，确保在金属反光或生物半透明样本上均能获取高质量的条纹图像，能够应对微观表面复杂材质带来的过曝问题。

24、5. 本发明系统架构改造成本低，普适性强。其中光路集成设计无需破坏现有体视显微镜的内部核心光学结构，仅通过在外部光路附加分光组件和标准工业相机即可完成从二维观察到三维测量的系统升级。该方案大大降低了微观高精度三维测量设备的硬件门槛和改造成本，具有极高的灵活性和可移植性，易于在科研实验室和微机械制造企业中大规模推广应用。

1.机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，所述耦合采用分光棱镜实现，所述分光棱镜设置在显微镜的主物镜与待测物体之间。

3.根据权利要求1所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，显微镜双目接口处装配双工业相机，所述步骤4中，通过双工业相机采集图像。

4.根据权利要求3所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，所述双工业相机在硬触发信号控制下，实现与投影仪投射帧的微秒级同步。

5.根据权利要求1所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，所述步骤4之前，还包括：投影仪预投射灰度图提取全场反光掩模以自适应调节投影亮度。

6.根据权利要求1所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，所述步骤4中，利用变焦-畸变演化标定模型得到的当前状态下的标定参数完成图像的极线校正包括：

7.根据权利要求1所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，所述步骤4中，获取完整的变形条纹图像序列之后，还包括绝对相位解算：利用采集到的相移变形条纹图像，通过相移算法计算出主值被截断的包裹相位图；结合同步采集的辅助图案解码得到每个像素的条纹级数，将条纹级数与包裹相位进行叠加，完成相位展开操作，分别获取左、右视图的连续绝对相位图。

8.根据权利要求7所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，所述步骤4中，在绝对相位一致性约束下完成亚像素级立体匹配包括：

9.根据权利要求1所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法，其特征在于，所述步骤4中，微观高精度三维点云重建包括：结合变焦-畸变演化标定模型输出的相机内外参数据，利用多频外差相移算法获取包裹相位，结合标定参数，通过空间三角测量原理精准各匹配点的三维空间坐标，重构出微观样本的三维点云。

10.机器学习辅助变焦-畸变耦合的共轴光学三维重建系统，其特征在于，包括体视显微镜、分光棱镜、工业相机、dlp投影仪、微控制器，所述分光棱镜设置在体视显微镜物镜与待测物体之间，将dlp投影仪的光轴与显微镜双目观测光轴实现同轴或近同轴耦合，所述工业相机设置在显微镜物镜目镜上，所述微控制器与工业相机和dlp投影仪连接，并实现权利要求1-9中任意一项所述的机器学习辅助变焦-畸变耦合的共轴光学三维重建方法中步骤2-4。