一种智能集成的船舶配件表面处理缺陷识别调度方法与流程

本发明涉及船舶配件表面检测，具体为一种智能集成的船舶配件表面处理缺陷识别调度方法。

背景技术：

1、船舶配件完成喷涂、覆膜及其他表面处理后，需要检测涂层覆盖不足、涂层局部堆积及其他表面异常。现有检测方法通常采集配件表面图像，通过图像特征提取和分类模型确定缺陷类型。由于船舶配件表面存在反光、凝露和松散附着物，采集图像中的亮斑、暗斑及不规则区域可能与实体缺陷具有相近的外观特征，容易影响缺陷识别结果

2、公布号为cn112950584a、公布日期为2021.06.11的中国发明专利申请中，公开了一种基于深度学习的涂层表面缺陷识别方法，通过特征提取网络提取涂层表面缺陷图像的特征，并利用分类器输出缺陷识别结果，从而对涂层表面缺陷自动识别；但是，该发明专利申请主要根据采集图像中的外观特征进行缺陷识别。当被检测表面的成像状态受到光照条件、现场环境及表面附着物影响时，非质量缺陷产生的图像特征可能与真实缺陷相近，导致缺陷类型判断不准确。此外，现有检测方法通常侧重于输出识别结果，缺少对检测结果、后续处置和生产进度的统一安排，难以兼顾检测准确性与处理及时性。

3、为此，本发明提供了一种智能集成的船舶配件表面处理缺陷识别调度方法。

技术实现思路

1、（一）解决的技术问题

2、针对现有技术的不足，本发明提供了一种智能集成的船舶配件表面处理缺陷识别调度方法，通过依次进行偏振及照明位置变化判断、受控升温判断、气流扰动判断和膜厚检测，区分反光干扰、凝露干扰、松散附着物及实体缺陷，并根据识别结果生成对应处理任务和设备核验任务，实现船舶配件表面处理缺陷的准确识别和任务调度。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：一种智能集成的船舶配件表面处理缺陷识别调度方法，包括：

5、s1、获取配件标识、三维表面模型、设备运行参数及历史有效检测记录，采集平行偏振图像、交叉偏振图像、第一照明图像和第二照明图像；

6、s2、提取候选异常区域，根据偏振亮度衰减比例、照明特征距离、表面迁移距离及镜面反射夹角形成反光干扰记录和待环境干扰判断记录；

7、s3、针对待环境干扰判断记录，根据表面露点余量和三项单位温升数据形成凝露干扰记录和待附着状态判断记录；

8、s4、针对待附着状态判断记录，根据区域紧实度、区域灰度标准差、异常中心位移量、异常面积减少比例及区域重合比例形成松散附着物记录和稳定实体异常记录；

9、s5、针对稳定实体异常记录，根据膜厚检测结果、偏低区域重合比例、偏高区域重合比例及膜厚差形成涂层覆盖不足记录、涂层局部堆积记录和设备共同异常记录；

10、s6、根据反光干扰记录、凝露干扰记录、松散附着物记录、涂层覆盖不足记录、涂层局部堆积记录和设备共同异常记录生成并执行对应任务，并更新历史有效检测记录。

11、优选的，获取船舶配件的配件标识、三维表面模型、基体材质、涂层类型、涂层颜色、表面处理设备标识、处理材料批次、涂层处理完成时间及下一生产工序开始时限；

12、获取横向焦距、相机纵向焦距、主点横坐标、主点纵坐标、三维表面模型各表面点在相机坐标系中的三维坐标和表面法向、膜厚检测探头的有效测量直径、图像定位误差上限、温度传感器重复测量误差最大值、允许检测温度上限及允许吹扫压力上限；

13、获取船舶配件对应的设备运行参数，设备运行参数包括材料输出端开始输出涂层材料至停止输出涂层材料之间的材料供给压力、单位时间材料输出量、材料输出端与船舶配件表面之间的距离及材料输出端相对于船舶配件表面的移动速度；

14、将基体材质、涂层类型和涂层颜色均相同的船舶配件记为同类配件，将同类配件中处理材料批次相同的船舶配件记为同批次配件；

15、控制相机依次对船舶配件表面进行拍摄，将每次拍摄的图像所对应的船舶配件表面范围记为一个图像采集区；依次设置各图像采集区，使相邻图像采集区具有重合部分，直至各图像采集区覆盖船舶配件的待检测表面；针对各图像采集区，保持相机与船舶配件的位置不变，将光源偏振方向与检偏器透振方向调整为平行并采集平行偏振图像，将光源偏振方向与检偏器透振方向调整为垂直并采集交叉偏振图像；保持光源偏振方向与检偏器透振方向垂直，分别将光源移动至第一照明位置和第二照明位置，对同一图像采集区采集第一照明图像和第二照明图像，并记录第一照明位置和第二照明位置的光源中心在相机坐标系中的三维坐标；同步获取船舶配件表面温度和露点温度；

16、针对各图像中的每个像素，将该像素的横坐标减去主点横坐标，再除以相机横向焦距，得到射线的横向分量；将该像素的纵坐标减去主点纵坐标，再除以相机纵向焦距，得到射线的纵向分量；将射线的前向分量设为一，由横向分量、纵向分量和前向分量确定从相机光心出发的射线方向；

17、从相机光心沿所述射线方向延伸至三维表面模型，将射线与三维表面模型的交点中距离相机光心最近的交点确定为该像素对应的表面点，并读取该表面点在相机坐标系中的三维坐标和表面法向，作为该像素对应的三维表面位置和表面法向；

18、针对图像中的任一区域，分别计算该区域内全部像素对应三维坐标的三个坐标分量平均值，在三维表面模型中选取与三个坐标分量平均值所表示位置距离最近的表面点，并将该表面点记为区域中心表面点；将两个图像区域的区域中心表面点之间沿三维表面模型的最短路径长度记为表面迁移距离；

19、获取同类配件对应的历史有效检测记录；历史有效检测记录包括配件标识、基体材质、涂层类型、涂层颜色、处理材料批次、表面处理设备标识、涂层处理完成时间、检测图像、设备运行参数及检测结果。

20、优选的，将交叉偏振图像输入图像分割模型，依次缩小图像特征尺寸以提取边缘特征、纹理特征和区域形状特征，在恢复图像特征尺寸时融合尺寸相同的浅层特征与深层特征，得到与交叉偏振图像尺寸相同的末级图像特征；

21、计算平行偏振图像与交叉偏振图像在相同像素位置的亮度差，形成偏振差异图；以各像素值减去偏振差异图最小像素值，再除以最大像素值与最小像素值之差，得到偏振响应值，最大像素值与最小像素值相等时将偏振响应值设为零；将偏振响应值与末级图像特征逐像素相乘，再与末级图像特征逐像素相加，将相加结果输入像素分类层，输出候选异常区域；

22、利用图像分割模型提取第一照明图像中的异常区域，将与候选异常区域投影位置重合面积最大的异常区域作为第一候选异常区域；未得到重合区域时形成待光学复核记录；

23、以第一候选异常区域的区域中心表面点为中心，将与该区域中心表面点之间沿三维表面模型的最短路径长度不大于检测结果为反光干扰的历史有效检测记录中表面迁移距离最大值的表面范围作为反光搜索区域；

24、利用图像分割模型提取第二照明图像中的异常区域，并读取位于反光搜索区域内的异常区域；针对读取的各异常区域，根据第二照明位置与该异常区域的区域中心表面点确定入射方向，将入射方向关于该区域中心表面点的表面法向进行镜像，得到预测反射方向，计算预测反射方向与由该区域中心表面点指向相机光心的方向之间的镜面反射夹角；删除镜面反射夹角大于检测结果为反光干扰的历史有效检测记录中镜面反射夹角最大值的异常区域。

25、优选的，计算剩余各异常区域与第一候选异常区域之间的表面迁移距离，将该表面迁移距离与检测结果为反光干扰的历史有效检测记录中表面迁移距离中位数之差的绝对值最小的异常区域作为第二候选异常区域；绝对值相同时选取镜面反射夹角最小的异常区域；不存在剩余异常区域时形成待光学复核记录；

26、分别截取第一候选异常区域和第二候选异常区域的图像，将两幅图像调整为相同尺寸后，分别输入图像分割模型的特征提取部分，读取恢复图像特征尺寸前输出的图像特征，将两个图像特征分别转换为长度相同的特征向量，并计算两个特征向量之间的欧氏距离，得到照明特征距离；

27、以平行偏振图像中第一候选异常区域的平均亮度减去交叉偏振图像中相同位置的平均亮度，再除以平行偏振图像中第一候选异常区域的平均亮度，得到偏振亮度衰减比例；

28、将检测结果为反光干扰的历史有效检测记录中的偏振亮度衰减比例最小值、照明特征距离最小值和表面迁移距离最小值分别作为反光衰减比例下限、反光特征距离下限和反光迁移距离下限，将镜面反射夹角最大值作为反光夹角上限；将检测结果为实体缺陷的历史有效检测记录中的照明特征距离最大值作为实体特征距离上限；

29、偏振亮度衰减比例不小于反光衰减比例下限、照明特征距离不小于反光特征距离下限、表面迁移距离不小于反光迁移距离下限且镜面反射夹角不大于反光夹角上限时，形成反光干扰记录；未满足偏振亮度衰减比例不小于反光衰减比例下限、照明特征距离不小于反光特征距离下限、表面迁移距离不小于反光迁移距离下限且镜面反射夹角不大于反光夹角上限，且照明特征距离不大于实体特征距离上限、表面迁移距离不大于图像定位误差上限时，形成待环境干扰判断记录；其余情况形成待光学复核记录。

30、优选的，针对待环境干扰判断记录，将候选异常区域边界沿三维表面向外扩展一个膜厚检测探头有效测量直径，删除与其他候选异常区域重合的部分，将剩余区域作为邻近正常区域；不存在剩余区域时，选取距离候选异常区域最近且未被识别为异常的表面区域；仍不存在可用区域时形成待光学复核记录；

31、以船舶配件表面温度减去露点温度得到表面露点余量；表面露点余量位于检测结果为凝露干扰的历史有效检测记录中表面露点余量最小值与最大值之间时执行受控升温，未位于两个界限之间时形成待附着状态判断记录；

32、执行受控升温时，将检测结果为升温检测合格的历史有效检测记录中升温幅度和升温后保持时间的中位数分别作为每级升温幅度和保持时间，将允许检测温度上限与历史有效检测记录中最高表面温度最大值中的较低值作为升温停止温度；每级升温后保持相机、船舶配件和照明位置不变，连续三次表面温度读数的最大值与最小值之差不大于温度传感器重复测量误差最大值时采集升温响应图像；

33、将升温前候选异常区域投影至升温响应图像，将重合面积最大的异常区域作为升温后候选异常区域；

34、以升温前候选异常区域面积减去升温后候选异常区域面积，再除以升温前候选异常区域面积，得到异常面积减小比例；计算升温后候选异常区域边界各点至升温前候选异常区域边界的最短表面距离，并将位于升温前候选异常区域内部的距离记为正值，将位于外部的距离记为负值，对各边界点对应距离取平均值，得到边界内移量；以升温前异常区域与邻近正常区域之间的亮度差减去升温后对应亮度差，得到亮度差减小量；

35、将异常面积减小比例、边界内移量及亮度差减小量分别除以当前温升值，得到单位温升面积减小比例、单位温升边界内移量及单位温升亮度差减小量；

36、三项单位温升数据均位于检测结果为凝露干扰的历史有效检测记录中相应数据的最小值与最大值之间时，形成凝露干扰记录并生成延时复检任务；未同时满足且表面温度低于升温停止温度时继续升温；达到升温停止温度后仍未同时满足时停止升温并等待温度恢复；

37、当前表面温度与升温前表面温度之差不大于温度传感器重复测量误差最大值时，保持相机和照明位置不变并重新采集交叉偏振图像；将重新采集的交叉偏振图像输入图像分割模型，提取异常区域；升温前候选异常区域对应的三维表面范围内存在提取到的异常区域时，形成待附着状态判断记录；未存在提取到的异常区域时，生成一次延时复检任务；延时复检仍未出现异常时确认凝露干扰，重新出现异常时形成待附着状态判断记录。

38、优选的，针对待附着状态判断记录，计算候选异常区域面积与该候选异常区域最小外接凸包面积的比值，得到区域紧实度；计算候选异常区域内各像素灰度值的标准差，得到区域灰度标准差；

39、区域紧实度位于检测结果为松散附着物的历史有效检测记录中区域紧实度最小值与最大值之间，且区域灰度标准差位于所述历史有效检测记录中区域灰度标准差最小值与最大值之间时，执行气流扰动；未同时满足两个条件时，形成稳定实体异常记录；

40、执行气流扰动时，将检测结果为吹扫检测合格的历史有效检测记录中气流喷口至船舶配件表面的距离、气流作用时间和相邻两级气流压力差值的中位数分别作为当前喷口距离、单次作用时间和每级压力增加量，将检测结果为松散附着物的历史有效检测记录中能够使异常区域产生位移的气流压力最小值作为起始气流压力；

41、将气流喷口朝向候选异常区域的区域中心表面点，并使气流方向与该区域中心表面点的表面法向之间的夹角为九十度，向候选异常区域施加定向气流，每级气流停止后采集气流响应图像，气流压力不超过允许吹扫压力上限；

42、将气流作用前候选异常区域投影至气流响应图像，将重合面积最大的异常区域作为气流作用后候选异常区域；未得到重合区域时形成松散附着物记录；

43、存在气流作用后候选异常区域时，将气流作用前后两个候选异常区域的表面迁移距离作为异常中心位移量；以气流作用前候选异常区域面积减去气流作用后候选异常区域面积，再除以气流作用前候选异常区域面积，得到异常面积减少比例；以两个候选异常区域的重合面积除以气流作用前候选异常区域面积，得到区域重合比例；

44、将检测结果为松散附着物的历史有效检测记录中的异常中心位移量最小值、异常面积减少比例最小值及区域重合比例最大值分别作为松散位移量下限、松散面积减少比例下限及松散重合比例上限；将检测结果为实体缺陷的历史有效检测记录中的异常中心位移量最大值、异常面积减少比例最大值及区域重合比例最小值分别作为实体位移量上限、实体面积减少比例上限及实体重合比例下限；

45、异常中心位移量不小于松散位移量下限和异常面积减少比例不小于松散面积减少比例下限中的至少一项成立，且区域重合比例不大于松散重合比例上限时，形成松散附着物记录；

46、未形成松散附着物记录，且异常中心位移量不大于实体位移量上限、异常面积减少比例不大于实体面积减少比例上限、区域重合比例不小于实体重合比例下限时，形成稳定实体异常记录；

47、区域重合比例大于松散重合比例上限且小于实体重合比例下限时，将气流作用前候选异常区域减去重合区域所得部分记录为松散附着物，将重合区域形成稳定实体异常记录；其余情况形成待附着状态复核记录。

48、优选的，针对稳定实体异常记录，在稳定实体异常区域和邻近正常区域内布置膜厚检测点，相邻检测点之间沿三维表面的距离不大于膜厚检测探头有效测量直径的一半；以各检测点为中心，以有效测量直径的一半为表面距离半径生成膜厚检测覆盖区；

49、将检测结果为膜厚合格的历史有效检测记录中膜厚检测结果最小值和最大值分别作为合格膜厚范围下限和合格膜厚范围上限；将膜厚均低于合格膜厚范围下限的相互重合覆盖区合并，将膜厚均高于合格膜厚范围上限的相互重合覆盖区合并，将膜厚均位于合格膜厚范围内的相互重合覆盖区合并；

50、将膜厚低于合格膜厚范围下限的覆盖区合并为膜厚偏低区域，将膜厚高于合格膜厚范围上限的覆盖区合并为膜厚偏高区域；以稳定实体异常区域与膜厚偏低区域的重合面积除以稳定实体异常区域面积，得到偏低区域重合比例；以稳定实体异常区域与膜厚偏高区域的重合面积除以稳定实体异常区域面积，得到偏高区域重合比例；以稳定实体异常区域膜厚中位数减去邻近正常区域膜厚中位数，得到膜厚差；

51、将检测结果为实体缺陷且实体缺陷类型为涂层覆盖不足的历史有效检测记录中的偏低区域重合比例最小值作为覆盖不足重合比例下限；将检测结果为实体缺陷且实体缺陷类型为涂层局部堆积的历史有效检测记录中的偏高区域重合比例最小值作为局部堆积重合比例下限；

52、偏低区域重合比例不小于覆盖不足重合比例下限且膜厚差小于零时，形成涂层覆盖不足记录；偏高区域重合比例不小于局部堆积重合比例下限且膜厚差大于零时，形成涂层局部堆积记录；稳定实体异常区域内各膜厚检测结果均位于合格膜厚范围内时，形成待复核实体缺陷记录；其余情况形成待膜厚复核记录并增加膜厚检测点；

53、标准样件是指基体材质、涂层类型和涂层颜色均与船舶配件相同，并经外观检测和膜厚检测确认合格的样件；

54、将同一表面处理设备自最近一次标准样件膜厚检测合格后处理的同批次配件按照涂层处理完成时间排列，形成同批次检测序列；相邻记录连续出现相同缺陷类型且膜厚差正负符号相同时累计连续记录数量，出现合格记录、不同缺陷类型记录及膜厚差正负符号不同的记录时重新计数；

55、将检测结果为设备异常的历史有效检测记录中设备异常被确认前的连续记录数量最小值作为设备异常连续数量下限；当前连续记录数量达到设备异常连续数量下限时形成设备共同异常记录，未达到时形成待关联实体缺陷记录；不存在检测结果为设备异常的历史有效检测记录时，直接形成待关联实体缺陷记录；

56、以当前船舶配件下一生产工序开始时限减去历史有效检测记录中标准样件处理用时平均值和膜厚检测用时平均值，得到最迟样件核验时刻；到达最迟样件核验时刻时，后续检测记录仍不足以使连续记录数量达到设备异常连续数量下限的，采用当前处理材料批次和当前设备运行参数处理标准样件；

57、标准样件出现相同缺陷类型且膜厚差正负符号相同时形成设备共同异常记录，未出现相同缺陷类型时形成单件实体缺陷记录，出现相同缺陷类型但膜厚差正负符号不同时形成待设备复核记录。

58、优选的，根据反光干扰记录生成照明调整任务和补充采集任务；补充采集后异常消失时确认反光干扰，补充采集前后两个异常区域的表面迁移距离不大于图像定位误差上限时传递至s3；

59、根据待光学复核记录生成光学复核任务；复核确认反光时结束任务，复核前后两个异常区域的表面迁移距离不大于图像定位误差上限时传递至s3，无法确认时禁止对应船舶配件进入下一生产工序；

60、根据凝露干扰记录生成延时复检任务，复检后异常消失时确认凝露干扰，异常仍存在时重新采集交叉偏振图像并传递至s4；

61、根据松散附着物记录生成表面清洁任务和清洁后采集任务；清洁后异常消失时确认松散附着物，异常仍存在时形成稳定实体异常记录并传递至s5；

62、根据待附着状态复核记录生成附着状态复核任务；确认松散附着物时执行表面清洁任务，确认复核前后两个异常区域的表面迁移距离不大于图像定位误差上限时传递至s5，无法确认时禁止对应船舶配件进入下一生产工序；

63、根据涂层覆盖不足记录、涂层局部堆积记录和单件实体缺陷记录，分别生成局部补充处理任务、局部修整任务和局部返工任务，并在处理后执行膜厚复测；根据待膜厚复核记录增加检测点并复测；根据待复核实体缺陷记录生成质量复核任务，质量复核确认不存在实体缺陷时生成放行记录，确认存在实体缺陷时根据确认的缺陷类型生成局部补充处理任务、局部修整任务或者局部返工任务；

64、将最近一次标准样件膜厚检测合格后由同一设备处理的全部同批次配件记为关联配件；根据设备共同异常记录生成设备核验任务，暂停设备接收后续同批次配件；

65、针对各设备运行参数，设备运行参数小于检测结果为设备运行合格的历史有效检测记录中相应设备运行参数最小值时，将该设备运行参数调整为相应设备运行参数的中位数；设备运行参数大于相应设备运行参数最大值时，将该设备运行参数调整为相应设备运行参数的中位数；利用调整后的设备运行参数处理标准样件；

66、标准样件的外观检测结果和膜厚检测结果均合格时，恢复设备运行并重新检测关联配件；标准样件不合格以及关联配件继续出现相同设备共同异常时，保持设备暂停并生成设备检修任务；

67、膜厚复测合格时生成下一生产工序放行记录，仍不合格时生成质量复核任务；质量复核确认能够继续返工时重新生成相应局部处理任务，确认不能继续返工时生成不合格品处置任务；

68、按照照明调整先于补充采集、延时等待先于复检、表面清洁先于清洁后采集、局部处理先于膜厚复测、设备核验先于关联配件放行的顺序执行任务，前序任务均完成的任务按照下一生产工序开始时限由早至晚执行；

69、当前处理材料批次使用期间，保持s2至s5中根据历史有效检测记录确定的各判断下限、判断上限和中位数不变；当前处理材料批次结束后，将已经取得最终复核结果、膜厚复测结果和设备核验结果中的一项，且相应检测数据完整的当前检测记录加入历史有效检测记录；

70、新增检测数据小于当前对应最小值或大于当前对应最大值时，经人工核验确认检测数据和检测结果均有效后加入历史有效检测记录。

71、（三）有益效果

72、本发明提供了一种智能集成的船舶配件表面处理缺陷识别调度方法，具备以下有益效果：

73、1、通过平行偏振图像、交叉偏振图像、第一照明图像和第二照明图像提取候选异常区域，并结合偏振亮度衰减比例、照明特征距离、表面迁移距离及镜面反射夹角判断反光干扰，减少反光区域被识别为实体缺陷的情况。

74、2、根据表面露点余量和三项单位温升数据判断凝露干扰，并根据区域紧实度、区域灰度标准差及气流作用前后的异常区域变化判断松散附着物，使凝露干扰、松散附着物和稳定实体异常能够依次区分。

75、3、对稳定实体异常区域进行膜厚检测，根据偏低区域重合比例、偏高区域重合比例及膜厚差确定涂层覆盖不足和涂层局部堆积，并结合连续记录数量和标准样件确定设备共同异常，进而生成对应处理任务、设备核验任务及放行记录，实现缺陷识别结果与任务执行的衔接。