集装箱残损检测方法、系统、电子设备及介质与流程

本发明涉及数字化门检，尤其涉及一种集装箱残损检测方法、系统、电子设备及介质。

背景技术：

1、随着铁路货运量的持续增长，铁路货运场站对货物集装箱的检测需求日益增加。传统的视觉识别技术虽在一定程度上实现了箱损的自动检测，但在复杂环境下，例如金属反光、阴影、恶劣天气等条件下，其识别准确率和鲁棒性受到严重影响。因此，提升铁路货运场站门检设备的箱损识别能力，成为当前亟待解决的技术问题。

技术实现思路

1、本发明的主要目的在于提供一种集装箱残损检测方法、系统、电子设备及介质，旨在解决上述技术问题的至少之一。

2、第一方面，本发明实施例提供了一种集装箱残损检测方法，包括：

3、基于激光雷达获取集装箱的三维点云数据；

4、基于图像采集设备获取集装箱的箱体表面图像；

5、对所述三维点云数据和箱体表面图像进行标定对齐，得到变换关系；

6、根据所述变换关系和异质模态融合网络对所述三维点云数据和箱体表面图像进行融合缺陷检测，得到缺陷检测结果；

7、根据所述缺陷检测结果生成箱损检测报告。

8、在一些实施例中，所述对所述三维点云数据和箱体表面图像进行标定对齐，得到变换关系，包括：

9、根据所述三维点云数据进行轮廓分割与特征提取，得到目标集装箱的箱体轮廓以及关键承载结构的三维坐标信息；

10、根据所述三维坐标信息、激光雷达-相机联合标定板以及外参标定算法，对所述三维点云数据和箱体表面图像进行联合标定，以确定激光坐标系与相机像素坐标系之间的变换关系。

11、在一些实施例中，所述根据所述三维点云数据进行轮廓分割与特征提取，得到目标集装箱的箱体轮廓以及关键承载结构的三维坐标信息，包括：

12、对所述三维点云数据进行自动识别并过滤噪声点与虚假目标，得到有效点云；

13、基于高度滤波、欧式聚类与ransac平面拟合算法对所述有效点云进行去噪处理，分离出目标集装箱的点云簇；

14、提取所述目标集装箱的点云簇的轮廓以及关键承载结构的三维坐标信息。

15、在一些实施例中，所述对所述三维点云数据进行自动识别并过滤噪声点与虚假目标，得到有效点云，包括：

16、分析所述三维点云数据的空间密度分布、回波强度连续性以及几何合理性，得到分析结果；

17、基于机器学习算法和所述分析结果识别并过滤虚假点云与虚假目标，得到去噪处理后的纯净点云数据；

18、将所述去噪处理后的纯净点云数据作为有效点云。

19、在一些实施例中，所述根据所述变换关系和异质模态融合网络对所述三维点云数据和箱体表面图像进行融合缺陷检测，得到缺陷检测结果，包括：

20、基于所述变换关系根据所述三维点云数据和箱体表面图像构建像素级对齐的多模态融合数据；

21、将所述多模态融合数据输入异质模态融合网络，同步分析几何形变特征与视觉纹理特征，得到缺陷检测结果。

22、在一些实施例中，所述基于所述变换关系根据所述三维点云数据和箱体表面图像构建像素级对齐的多模态融合数据，包括：

23、将所述三维点云数据的深度值与回波强度信息作为额外特征通道；

24、基于所述变换关系将所述额外特征通道叠加至所述箱体表面图像的rgb通道，构建包括几何信息与视觉纹理信息的多模态融合数据。

25、在一些实施例中，所述根据所述缺陷检测结果生成箱损检测报告，包括：

26、根据所述缺陷检测结果得到激光雷达检测结果与视频图像检测结果；

27、基于规则引擎与加权投票结合的决策逻辑，综合所述激光雷达检测结果与视频图像检测结果生成箱损检测报告。

28、第二方面，本发明实施例提供了一种集装箱残损检测系统，包括：

29、激光点云获取模块，用于基于激光雷达获取集装箱的三维点云数据；

30、视频图像获取模块，用于基于图像采集设备获取集装箱的箱体表面图像；

31、对齐模块，用于对所述三维点云数据和箱体表面图像进行标定对齐，得到变换关系；

32、融合缺陷检测模块，用于根据所述变换关系和异质模态融合网络对所述三维点云数据和箱体表面图像进行融合缺陷检测，得到缺陷检测结果；

33、多模态融合决策模块，用于根据所述缺陷检测结果生成箱损检测报告。

34、第三方面，本发明实施例提供了一种电子设备，包括：

35、一个或多个处理器；

36、存储器，用于存储一个或多个程序；

37、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上文中任一所述方法。

38、第四方面，本发明实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文中任一所述方法中的步骤。

39、本发明提供了一种集装箱残损检测方法，包括：基于激光雷达获取集装箱的三维点云数据；基于图像采集设备获取集装箱的箱体表面图像；对所述三维点云数据和箱体表面图像进行标定对齐，得到变换关系；根据所述变换关系和异质模态融合网络对所述三维点云数据和箱体表面图像进行融合缺陷检测，得到缺陷检测结果；根据所述缺陷检测结果生成箱损检测报告。本发明中通过激光点云与视频图像标定对齐的像素级关联、激光-视觉深度融合缺陷检测等关键技术，在复杂环境下稳定运行箱损判定，通过激光点云与视频图像双路并行检测结合后融合决策，实现高精度量化与全天候鲁棒检测，显著提升复杂环境下集装箱残损识别的准确性与效率。

1.一种集装箱残损检测方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述对所述三维点云数据和箱体表面图像进行标定对齐，得到变换关系，包括：

3.如权利要求2所述的方法，其特征在于，所述根据所述三维点云数据进行轮廓分割与特征提取，得到目标集装箱的箱体轮廓以及关键承载结构的三维坐标信息，包括：

4.如权利要求3所述的方法，其特征在于，所述对所述三维点云数据进行自动识别并过滤噪声点与虚假目标，得到有效点云，包括：

5.如权利要求1所述的方法，其特征在于，所述根据所述变换关系和异质模态融合网络对所述三维点云数据和箱体表面图像进行融合缺陷检测，得到缺陷检测结果，包括：

6.如权利要求5所述的方法，其特征在于，所述基于所述变换关系根据所述三维点云数据和箱体表面图像构建像素级对齐的多模态融合数据，包括：

7.如权利要求1至6中任一项所述的方法，其特征在于，所述根据所述缺陷检测结果生成箱损检测报告，包括：

8.一种集装箱残损检测系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读介质，所述计算机可读介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述方法中的步骤。