煤矿场景下红外与可见光双摄像机的标定方法与流程

本发明属于智能煤矿行业及机器视觉，具体公开了一种耐高温、抗粉尘、自动化程度高、精度与实时性兼顾的红外与可见光双摄像机标定方法，应用煤矿井下高粉尘、低光照的复杂环境，

背景技术：

1、在煤矿安全生产领域，井下环境的实时监测是保障作业人员生命安全、设备稳定运行及隐患提前预警的核心环节。煤矿井下空间封闭、工况复杂，普遍存在高粉尘浓度、低光照强度典型环境特征，用过双光相机可提高监管力度和检测准确性，保证井下的生产安全。对于双光融合技术已形成诸多成熟理论，如直接线性标定法、非线性摄像机标定法等在不同场景中得到应用。然而，在实际井下工程应用中，可直接部署、操作便捷且能同时适配红外与可见光双摄像机的标定工具仍较为匮乏，尤其针对煤矿井下等高粉尘、恶劣工况环境的专用标定系统尚未见成熟产品，因此，深入研究红外热成像原理与摄像机标定技术，开发简单实用、环境适应性强的红外与可见光双摄像机标定系统，具有重要的工程实践意义。

2、在红外摄像机标定的前期研究中，部分学者已尝试通过改进标定装置实现红外图像的特征提取与参数求解。例如，vidas s等人提出基于掩膜的红外摄像机几何标定方法，该方法以纸板为金属发热薄板制作掩膜，通过定位掩膜特征区域的角点完成红外热像仪内外参数标定，虽在一定程度上解决了红外图像特征不明显的问题，但掩膜制作流程复杂，且金属薄板的热分布均匀性难以控制，导致标定精度受限；张小玉等人则设计了专用标定箱，其前面板采用热良导体并开设规则圆孔，后面板及箱体采用隔热材料，通过对箱体均匀加热形成红外可识别的特征图案，进而完成长波红外摄像机标定，该方案虽提升了红外特征的稳定性，但标定箱体积较大，不便于狭小空间（如煤矿井下巷道）的部署，且加热过程耗时较长，难以满足实时标定需求。上述方法均存在标定装置制作复杂、环境适应性差或标定精度不足的问题，无法直接应用于煤矿井下等恶劣工况场景。

技术实现思路

1、为解决现有技术存在的技术问题，本发明提供了一种耐高温、抗粉尘、自动化程度高、精度与实时性兼顾的红外与可见光双摄像机标定系统及方法，基于 opencv 开源计算机视觉库，利用井下便携设备制作简易标定装置，开发高效的双光标定系统，该系统通过优化角点检测算法、自适应图像增强模块，实现了煤矿井下红外与可见光摄像机的快速、准确实时标定，标定结果可直接应用于煤矿井下设备温度监测、人员定位、隐患识别等场景的双光图像融合，为煤矿安全生产提供可靠的可视化监测支持。

2、为实现上述目的，本发明所采用的技术方案为：煤矿场景下红外与可见光双摄像机的标定方法，利用可见光和热成像的像素级特征融合，实现煤矿井下高粉尘、低光照等复杂环境的监测，对违规和危险情况进行实时监管，进而提高煤矿企业管理效率，具体步骤如下：

3、步骤一、标定装置部署，利用井下便携式工具，制作简易标定板，并放置于煤矿井下待标定区域，确保标定装置位于红外与可见光摄像机的共同视场范围内，利用手心温度将标定板角点温度稳定在在，以区别于环境温度；

4、步骤二、图像采集：通过上位机控制图像采集模块，确保棋盘格图像充满摄像机视场的，采集组不同角度的红外与可见光图像，每组图像采集时保持标定装置和摄像机位置固定；

5、步骤三、求解最佳局部角点：通过手动选择标定板所有角点区域，利用图像增强和最优角点检测算法，获取每组可见光和热成像的角点位置属性，并将对应组的信息进行绑定；

6、步骤四、匈牙利匹配算法：在可见光与热成像图像的特征角点匹配任务中，通过构建代价矩阵（以角点间欧氏距离等为代价），再通过行约减、列约减、寻找增广路径等步骤，找到使总匹配代价最小的最优指派方案。

7、步骤五、先确定两相机坐标系关系，以其中一相机为世界坐标系原点，将其特征点坐标作为世界坐标，另一相机特征点坐标作为图像坐标；随后采用pnp算法，结合相机内参，通过最小化重投影误差，解算另一相机相对世界坐标系的旋转与平移参数。

8、步骤六、重投影误差分析：将热成像角点通过两相机外参投影到对应可见光图像平面，计算投影点与实际特征点的像素距离，若平均误差较小（如小于像素），则外参精度较优；若平均误差较大，则重新进行步骤二。

9、步骤七、双光融合：以两相机外参为依据，将热成像图像从其相机坐标系投影至可见光相机坐标系，使两者像素坐标系对齐，消除空间姿态差异。投影时需结合相机内参校正畸变，确保热成像图像与可见光图像在尺寸、视角上精准匹配。随后采用加权融合算法进行图像融合。

10、其中，步骤一的具体步骤如下：

11、步骤s11、制作简易标定板：为满足低成本、便捷化的标定需求，可自制一款简易标定板。在材质选择上，应优先选用铜片、铝箔、薄钢板等导热性能优异的金属材质，这类材料能快速响应温度变化，可通过手心等热源轻松实现局部控温；标定板的外形无需局限于规则形状，可利用现场便携式工具作为标定工具（如灵活设计为三角形、五边形、不规则多边形），便携式工具只需确保板体角点清晰、无明显变形，且至少保留个易于识别的特征角点（如锐利的转角、标注的标记点），以便后续在红外与可见光图像中精准定位，从而简化加工流程，降低制作难度。

12、步骤s12、标定板的摆放规则：于煤矿井下待标定区域放置标定板时，将简易标定板放置于红外与可见光两台摄像机的有效视场范围，并保证标定板角点不被遮挡，且尽量保证清晰，避免因视场偏差导致标定数据缺失，保障标定流程的准确性。

13、其中，步骤二的具体步骤如下：

14、步骤s21、通过上位机系统对接图像采集模块，开启实时预览功能，观察预览画面中棋盘格标定板的成像效果（需确保棋盘格图像在摄像机视场中占据的比例），这一比例既能避免因视场占比过小导致标定特征点提取精度不足，又能防止占比过高造成棋盘格边缘超出视场、特征信息缺失。

15、步骤s22、在确认视场占比符合要求后，启动图像采集程序，按不同角度覆盖原则采集组红外与可见光同步图像，标定板角度调整需保证在双光共同视场范围内。每组图像采集时，利用手掌温度提高标定板角点温度，以满足标定板在热成像画面中的清晰度，同时通过上位机同步触发红外与可见光摄像机，保证两类图像的采集时间完全一致，避免因时间差造成的图像错位问题。

16、其中，步骤三的具体步骤为：

17、步骤s31、手动选择标定板角点区域：在获取每组可见光与热成像图像后，先进入角点区域选择模式。操作时需基于简易标定板的形状特征，手动框选所有角点对应的局部区域：对于可见光图像，依据标定板边缘清晰度，精准框选每个交叉角点周围的区域；对于热成像图像，结合标定板角点的温度特征（此前已通过手心控温稳定在，与环境形成温差），在热成像图中定位标定板角点区域，对应框选角点范围。此步骤需避免框选区域过大（导致背景干扰增多）或过小（丢失角点边缘特征），为后续算法检测奠定精准的初始范围基础。

18、步骤s32、提升特征提取精度：针对不同类型图像的特性，先执行针对性图像增强处理，对于可见光图像，若存在井下光线昏暗、对比度低的问题，通过灰度拉伸、直方图均衡化或高斯滤波算法，增强黑白格边界的清晰度，减少粉尘、微弱光线造成的噪声干扰；对于热成像图像，因可能存在温度梯度模糊、边缘虚化的情况，采用自适应阈值分割、形态学膨胀/腐蚀算法，强化角点温度特征与周围环境的差异，凸显角点区域的轮廓。

19、完成增强后，调用最优角点检测算法（harris角点检测算法）对框选区域进行精准计算：算法将通过分析区域内像素的灰度变化梯度，识别出灰度变化最剧烈的像素点（即角点核心位置），并输出角点的具体位置属性。同时，需设置算法参数阈值（响应阈值k值设为），以过滤伪角点（如粉尘干扰形成的虚假边缘点），确保提取的角点均为标定板真实交叉点。

20、步骤s33、建立跨模态数据关联：在获取单组可见光图像的角点位置属性与热成像图像的角点位置属性后，需执行组内信息绑定操作，建立两类图像角点的一一对应关系。将角点信息（含两类图像的角点坐标）存储为统一格式的标定数据文件（如xml、txt格式），并在文件名中标注对应图像组的编号，确保后续标定算法调用时，可快速关联同一组的可见光与热成像角点数据，避免跨组混淆。

21、其中，步骤四的具体步骤为：

22、步骤s41、代价矩阵构建：在可见光与热成像图像的特征角点匹配任务中，代价矩阵的构建是关键步骤之一，其准确性直接影响到最终的匹配结果，以角点间的欧氏距离作为代价来构建代价矩阵，具体方法如下：

23、假设从可见光图像中提取到的特征角点集合为，从热成像图像中提取到的特征角点集合为，通常以保证匹配的一致性。对于任意一对角点和，计算它们之间的欧氏距离作为代价，公式为：

24、

25、其中，为可见光第i个角点与热成像第j个角点的欧氏距离（匹配代价）；分别为可见光图像第i个特征角点的横向、纵向像素坐标；分别为热成像图像第j个特征角点的横向、纵向像素坐标；分别为可见光、热成像特征角点的序列编号。

26、将所有角点对的欧氏距离组成一个的矩阵，即代价矩阵，其中为单张图像提取的有效特征角点总数量。

27、除了欧氏距离，还可以考虑其他距离度量方式，如曼哈顿距离、切比雪夫距离等，曼哈顿距离的计算公式为：

28、

29、切比雪夫距离的计算公式为：

30、

31、不同的距离度量方式对代价矩阵及匹配结果有着显著的影响，欧氏距离反映的是两点之间的直线距离，它在空间上具有直观的几何意义，能够较好地衡量角点在位置上的接近程度。当图像中的噪声较小，且角点的位置相对稳定时，欧氏距离构建的代价矩阵能够有效地反映角点之间的相似性，从而得到较为准确的匹配结果。

32、步骤s42、矩阵预处理：

33、步骤s421、行约减：行约减是匈牙利算法中对代价矩阵进行预处理的重要步骤之一。其操作过程为：对于构建好的代价矩阵，逐行遍历矩阵；对于每一行，首先找出该行中的最小元素，然后将该行的每个元素都减去这个最小元素，即：

34、

35、其中，为行约减后的矩阵，为原始代价矩阵中第i行第j列的元素；为原始代价矩阵第i行的所有元素最小值；为行约减后代价矩阵第i行第j列的元素。

36、行约减的目的主要有以下两点：其一，通过行约减操作，使得每一行中至少有一个零元素；其二，行约减操作不会改变原问题的最优解。在指派问题中，最优解是通过比较不同行和列之间的元素组合来确定的，这种相对关系的不变性保证了行约减后的矩阵在寻找最优解时与原矩阵是等价的。通过行约减，简化了代价矩阵的形式，减少了后续计算的复杂度。

37、步骤s422、列约减：在完成行约减操作后，紧接着进行列约减步骤。列约减的具体操作是：对行约减后的矩阵，逐列进行处理。对于每一列，找出该列中的最小元素，然后将该列的每个元素都减去这个最小元素，即：

38、

39、其中，为经过行约减和列约减后的最终矩阵。

40、列约减的作用是进一步优化代价矩阵，使得每一列也至少有一个零元素。这与行约减使每行有零元素的目的类似，在寻找最优匹配时，列中的零元素同样表示在该列所对应的任务（或热成像图像角点）中，选择该行所对应的执行者（或可见光图像角点）时，代价为零，提供了一种最佳的匹配可能性。通过列约减，在代价矩阵中引入更多的零元素，增加了找到最优匹配的机会，使得后续寻找独立零元素（即最优匹配）的过程更加高效。

41、同时，列约减操作也不会改变原问题的最优解。如同行约减一样，在同一列中减去相同的常数，只是对列中元素的相对大小进行了调整，而不影响它们之间的相对顺序和差异，从而保证了在寻找最优解时，列约减后的矩阵与原矩阵的等价性。行约减和列约减这两个预处理步骤相互配合，共同对代价矩阵进行优化，大大提高了算法的效率和准确性。

42、步骤s43、寻找增广路径与最优匹配：

43、步骤s431、寻找独立零元素，在经过行约减和列约减后的代价矩阵中，寻找独立零元素是确定最优匹配的关键步骤之一，独立零元素是指位于不同行、不同列的零元素，它们的位置对应着最优指派方案中的匹配关系。

44、寻找独立零元素的方法如下：从代价矩阵的第一行开始，逐行检查。对于每一行，找到该行中第一个零元素，将其标记为独立零元素，并同时标记该零元素所在的列，表示该列已被占用，后续行中再出现该列的零元素不再考虑为独立零元素。然后继续检查下一行，重复上述操作，直到所有行都检查完毕。

45、当找到的独立零元素数量等于矩阵的维度（即行数或列数，因为代价矩阵通常是方阵）时，说明已经找到了最优解。这是因为在指派问题中，每个任务（或特征角点）都找到了对应的执行者（或匹配的角点），且这种匹配方式使得总匹配代价最小，即在可见光与热成像图像特征角点匹配中，如果找到了与角点数量相同的独立零元素，那么这些零元素所在的行和列就分别对应了可见光图像角点和热成像图像角点的最优匹配对，完成了特征角点的匹配任务。

46、然而，如果找到的独立零元素数量小于矩阵维度，则说明当前的匹配不是最优解，还需要进一步对矩阵进行处理，通过寻找增广路径来优化匹配，以达到找到最优解的目的。

47、步骤s432、最少直线覆盖零元素，当独立零元素数量小于矩阵维度时，需要用最少数量的水平线和垂直线来覆盖矩阵中所有的零元素，这一步骤是为后续调整矩阵做准备。

48、具体的实现方法如下：首先，对没有找到独立零元素的行进行标记。然后，检查这些标记行中零元素所在的列，对这些列进行标记。接着，再检查标记列中零元素所在的行，如果这些行之前没有被标记，则对其进行标记。重复上述过程，直到没有新的行或列可以被标记为止。最后，根据标记情况，画出所有未被标记行和已标记列的直线，这些直线就能够覆盖矩阵中所有的零元素。

49、确定最少直线数量的原理基于匈牙利算法的理论基础。根据二分图匹配的相关理论，最少直线覆盖零元素的数量与最大匹配数之间存在密切关系。当最少直线数量等于矩阵维度时，说明当前矩阵中的零元素分布已经能够构成最大匹配，即找到了最优解；而当最少直线数量小于矩阵维度时，意味着还存在可以优化的空间，需要通过调整矩阵来增加独立零元素的数量，从而找到最优匹配。通过这种方法，可以准确地判断当前匹配的状态，并为后续的矩阵调整提供明确的方向，确保算法能够朝着找到最优解的方向进行迭代。

50、步骤s433、调整矩阵与迭代，当覆盖零元素的直线数小于矩阵维度时，需要对矩阵进行调整，以增加独立零元素的数量，从而找到最优解，具体的调整方法如下：

51、首先，找出未被覆盖的元素中的最小元素，对未被覆盖的元素进行处理，将它们都减去，这是因为这些元素在当前匹配中相对代价较高，通过减去最小元素，可以降低它们的代价，增加出现零元素的可能性，从而为找到更多的独立零元素创造条件。同时，对于被两条线覆盖的元素（即直线交叉点的元素），将它们加上。这是因为这些元素在之前的行约减和列约减过程中，已经被多次调整，为了保持矩阵的相对代价关系不变，需要对它们进行反向调整。

52、经过上述调整后，得到一个新的矩阵。然后，再次重复寻找增广路径的步骤，即重新寻找独立零元素和用最少直线覆盖零元素；如果在新的矩阵中，独立零元素数量仍然小于矩阵维度，则继续按照上述方法调整矩阵，直到找到的独立零元素数量等于矩阵维度，即找到最优解为止。

53、在可见光与热成像图像特征角点匹配的实际应用中，这种迭代调整的过程不断优化代价矩阵，使得匹配结果逐渐逼近最优解。每一次迭代都根据当前矩阵的状态进行针对性的调整，逐步增加匹配的准确性和效率，最终实现可见光与热成像图像特征角点的高效、精准匹配，为跨模态图像融合等后续应用提供可靠的基础。

54、其中，步骤五的具体步骤为：

55、步骤s51、坐标系定义与参数初始化，首先明确世界坐标系（以相机a光学中心为原点，x轴沿相机a成像平面水平向右，y轴沿成像平面垂直向下，z轴沿相机a光轴方向）、相机b的图像坐标系，（以图像左上角为原点，x轴水平向右，y轴垂直向下，单位为像素）；然后读取相机b的内参矩阵，导入匹配后的特征点集与，设置迭代终止条件（如重投影误差平方和小于，或迭代次数达到50次）。

56、步骤s52、初始位姿估计（基于dlt算法），采用directlineartransformation（dlt）算法作为pnp算法的初始解算步骤，通过线性方程组求解初始旋转矩阵与平移向量：

57、将投影公式展开为线性方程：对每个特征点与，代入投影公式并消去尺度因子，得到2个线性方程；当特征点数量时，构建超定线性方程组（其中a为的系数矩阵，x为的参数向量，包含与t的元素）；通过奇异值分解（svd）求解方程组的最小二乘解，得到初始位姿参数与，并对进行正交化处理（确保其满足旋转矩阵的正交性约束：

58、。

59、其中，为相机相对位姿初始旋转矩阵；为相机相对位姿初始平移向量；为单位矩阵；为旋转矩阵的转置矩阵。

60、步骤s52、基于lm算法的位姿优化（最小化重投影误差）采用levenberg-marquardt算法对初始位姿参数进行迭代优化，实现重投影误差的最小化：

61、误差函数构建：以所有特征点的重投影误差平方和作为误差函数，其中，由当前位姿参数与计算得到；

62、雅可比矩阵计算：对误差函数求偏导，构建雅可比矩阵（矩阵，每行对应1个特征点的误差对6个位姿参数（r的3个欧拉角、t的3个分量）的偏导数）；

63、迭代更新：根据lm算法的迭代公式，计算位姿参数的增量，更新位姿参数、，并计算更新后的误差函数值终止判断：若（为预设阈值，如），或迭代次数达到上限，则停止迭代，输出最优位姿参数与；否则返回步骤2，继续迭代。

64、步骤s53、位姿参数验证与输出将最优位姿参数代入投影公式，计算所有特征点的重投影误差，若平均重投影误差小于5像素，则判定位姿解算有效；若误差超出阈值，需重新检查特征点匹配结果或相机内参，重复步骤；输出：将（向量）与（向量）存储为二进制文件，并关联相机编号、标定时间、特征点数量等元数据，供后续跨模态图像融合、目标空间定位等应用调用。

65、其中，步骤六的具体步骤为：以可见光相机坐标系为世界坐标系，红外（热成像）相机为待验证外参的相机b，基于已解算的外参与可见光相机内参，建立热成像角点到可见光图像平面的投影模型，具体原理如下：

66、步骤s61、热成像角点的三维坐标转换：设热成像图像中已匹配的特征角点为（像素坐标），结合热成像相机内参，通过逆透视变换将其转换为热成像相机坐标系下的三维射线向量，公式为：

67、

68、取（射线方向向量），解得。

69、其中：分别为热成像特征角点横向、纵向像素坐标；分别为红外相机坐标系下三维点的三轴坐标；为红外相机深度尺度因子；为矩阵转置运算。

70、步骤s62、跨相机坐标系的三维坐标映射：利用已解算的外参，将热成像相机坐标系下的射线向量转换至世界坐标系（可见光相机坐标系）下的三维点，公式为：

71、

72、其中，分别为世界坐标系（可见光相机坐标系）下三维点的三轴坐标。

73、步骤s63、可见光图像平面的投影计算：基于可见光相机内参，将世界坐标系下的三维点投影至可见光图像平面，得到理论投影坐标，公式为：

74、

75、其中，为可见光图像的投影尺度因子，通过（世界坐标系下的深度信息）归一化后，解得，（，为可见光相机等效焦距，、为主点坐标），分别为特征角点投影至可见光图像的理论横向、纵向像素坐标；为可见光相机深度尺度因子。

76、步骤s64、单角点重投影误差计算：对比理论投影坐标与可见光图像中对应的实际特征角点坐标，采用欧氏距离计算单角点的重投影误差，公式为：

77、

78、其中，步骤七的具体步骤为：

79、步骤s7、加权融合算法，采用自适应加权融合策略，根据图像局部特征动态分配可见光与热成像图像的权重，避免固定权重导致的细节丢失，具体步骤如下：

80、步骤s71、局部特征权重计算：对可见光图像与投影校正后的热成像图像，在每个像的邻域内计算以下特征：

81、

82、其中，，避免分母为零，为可见光图像权重，为热成像图像权重；

83、梯度幅值：

84、

85、温度对比度：

86、

87、步骤s72、基于特征值计算自适应权重：

88、像素级融合计算：融合图像的像素值由两类图像加权求和得到：

89、

90、对无效像素，采用邻域权重均值补全，即（n为有效邻域像素数），确保融合图像完整性；

91、步骤s73、融合后增强：对执行伽马校正提升暗区细节，通过中值滤波（核）去除融合噪声，最终输出兼具纹理与温度特征的双光融合图像。

92、本发明与现有技术相比，具体有益效果体现在：

93、一、算法对比效益：本发明针对井下高粉尘、低光照导致的特征提取模糊问题，通过手心控温角点区分和图像增强算法，使标定板角点识别准确率提升至以上，较传统依赖自然特征的标定方法，角点提取偏差减少；同时，结合 pnp 算法的lm迭代优化与重投影误差反馈机制，将双相机外参解算的平均重投影误差控制在1像素以内，较现有未优化的 pnp 标定方法（平均误差常达像素），外参精度提升以上，确保后续双光融合图像的像素级对齐，避免因标定偏差导致的监测数据误判。

94、二、社会效益：本发明通过高精度标定实现双光融合监测，使井下电气设备故障（如电缆过热、电机轴承磨损）的预警准确率提升至  以上，较现有单一模态监测（红外监测易因定位偏差漏判，可见光监测无法识别早期发热隐患），故障漏判率降低；同时，融合图像可清晰区分人员与设备轮廓，结合温度监测判断人员健康状态，在人员误入危险区域、体温异常时，能提前秒触发警报。