检测工作部件缺失情况的方法、装置、作业机械及介质与流程

本技术涉及作业机械，具体地涉及一种检测工作部件缺失情况的方法、装置、作业机械及介质。

背景技术：

1、挖掘机、装载机等工程机械的工作部件（如斗齿、铲齿）直接接触作业物料，承担挖掘、破碎等重要功能。在矿山、建筑等复杂作业工况下，工作部件长期承受物料的冲击与摩擦，易发生磨损、松动甚至脱落。若未能及时检测发现，脱落的工作部件可能随物料进入后续破碎系统，导致设备堵塞甚至损毁，造成严重经济损失。

2、目前，工作部件缺失检测主要采用人工目视巡检方式，即作业间隙由维护人员目测检查。该方式存在以下缺陷：一是需停机检查，影响作业效率；二是矿山等场景粉尘大、光线复杂，人工难以清晰观察所有工作部件状态，漏检、误检率高。现有技术中也提出了利用传感器进行自动检测的方案，但受限于复杂作业工况，单一传感器难以兼顾检测精度与可靠性。例如，基于可见光图像的检测方案在粉尘或低光环境下容易失效。

3、因此，现有技术中所采用的工作部件缺失检测方法存在检测结果准确性较低的问题。

技术实现思路

1、本技术实施例的目的是提供一种检测工作部件缺失情况的方法、装置、作业机械及机器可读存储介质，用以解决现有技术中所采用的工作部件缺失检测方法存在检测结果准确性较低的问题。

2、为了实现上述目的，本技术第一方面提供一种检测工作部件缺失情况的方法，应用于作业机械，方法包括：

3、获取工作部件的可见光图像、红外图像，以及承载工作部件的执行机构的姿态数据；

4、基于姿态数据，从可见光图像中确定可见光目标区域，以及从红外图像中确定红外目标区域；

5、根据可见光目标区域确定第一识别结果；

6、根据红外目标区域确定第二识别结果；

7、将第一识别结果与第二识别结果进行融合处理，得到工作部件缺失情况的目标检测结果。

8、在本技术实施例中，根据可见光目标区域确定第一识别结果，包括：

9、将可见光目标区域输入预构建的可见光目标检测模型；

10、通过可见光目标检测模型逐层提取可见光目标区域中工作部件的视觉特征，并根据视觉特征对工作部件的每个部位进行缺失状态识别，得到工作部件各部位的缺失状态及对应的置信度；

11、将工作部件各部位的缺失状态及对应的置信度作为第一识别结果。

12、在本技术实施例中，根据红外目标区域确定第二识别结果，包括：

13、将红外目标区域输入预构建的红外目标检测模型；

14、通过红外目标检测模型逐层提取红外目标区域中工作部件的温度分布特征，并根据温度分布特征对工作部件的每个部位进行缺失状态识别，得到工作部件各部位的缺失状态及对应的置信度；

15、将工作部件各部位的缺失状态及对应的置信度作为第二识别结果。

16、在本技术实施例中，基于姿态数据，从可见光图像中确定可见光目标区域，以及从红外图像中确定红外目标区域，包括：

17、根据姿态数据解算得到执行机构的空间位姿信息；

18、根据空间位姿信息和采集设备的成像参数，在可见光图像中确定工作部件的可见光目标区域，以及在红外图像中确定工作部件的红外目标区域。

19、在本技术实施例中，根据空间位姿信息和采集设备的成像参数，在可见光图像中确定工作部件的可见光目标区域，以及在红外图像中确定工作部件的红外目标区域，包括：

20、将空间位姿信息从世界坐标系分别转换至可见光采集设备坐标系和红外采集设备坐标系；

21、根据可见光采集设备的相机内参，将可见光采集设备坐标系下的坐标投影至对应的像素坐标系，得到工作部件在可见光图像中的第一像素坐标映射；以及根据红外采集设备的相机内参，将红外采集设备坐标系下的坐标投影至像素坐标系，得到工作部件在红外图像中的第二像素坐标映射；

22、根据工作部件的几何尺寸参数以及第一像素坐标映射和第二像素坐标映射，分别确定工作部件在可见光图像和红外图像中的覆盖范围，得到可见光目标区域和红外目标区域。

23、在本技术实施例中，在基于姿态数据，从可见光图像中确定可见光目标区域，以及从红外图像中确定红外目标区域之前，方法还包括：

24、基于姿态数据判断执行机构的当前姿态是否满足预设提取条件；

25、在满足预设提取条件的情况下，执行基于姿态数据，从可见光图像中确定可见光目标区域，以及从红外图像中确定红外目标区域的步骤；

26、其中，预设提取条件为工作部件位于采集设备的视场角范围内，且执行机构的底板与竖直方向的夹角小于预设角度阈值。

27、在本技术实施例中，将第一识别结果与第二识别结果进行融合处理，得到工作部件缺失情况的目标检测结果，包括：

28、获取作业机械的当前作业工况信息；

29、根据作业工况信息确定第一识别结果与第二识别结果的融合权重；

30、按照融合权重对第一识别结果和第二识别结果进行加权融合，得到综合置信度；

31、根据综合置信度输出目标检测结果。

32、在本技术实施例中，根据综合置信度输出目标检测结果，包括：

33、在综合置信度大于或等于第一预设阈值的情况下，确定目标检测结果为工作部件缺失；

34、在综合置信度小于第一预设阈值且大于或等于第二预设阈值的情况下，确定目标检测结果为工作部件疑似缺失；

35、在综合置信度小于第二预设阈值的情况下，确定目标检测结果为工作部件正常；

36、其中，第一预设阈值大于第二预设阈值。

37、本技术第二方面提供一种检测工作部件缺失情况的装置，包括：

38、数据获取模块，用于获取工作部件的可见光图像、红外图像，以及承载工作部件的执行机构的姿态数据；

39、第一确定模块，用于基于姿态数据，从可见光图像中确定可见光目标区域，以及从红外图像中确定红外目标区域；

40、第二确定模块，用于，根据可见光目标区域确定第一识别结果；

41、第三确定模块，用于根据红外目标区域确定第二识别结果；

42、融合处理模块，用于将第一识别结果与第二识别结果进行融合处理，得到工作部件缺失情况的目标检测结果。

43、本技术第三方面提供一种作业机械，包括：

44、工作部件；

45、上述的检测工作部件缺失情况的装置。

46、本技术第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的检测工作部件缺失情况的方法。

47、通过上述技术方案，首先，获取工作部件的可见光图像、红外图像，以及承载工作部件的执行机构的姿态数据，然后基于姿态数据，从可见光图像中确定可见光目标区域，以及从红外图像中确定红外目标区域，与此同时根据可见光目标区域确定第一识别结果，接着根据红外目标区域确定第二识别结果，最后将第一识别结果与第二识别结果进行融合处理，得到工作部件缺失情况的目标检测结果。本技术通过同时获取可见光图像、红外图像和姿态数据，利用姿态数据辅助快速精准定位两种图像中的目标区域，分别基于可见光和红外目标检测模型独立识别后，再进行融合处理，实现了复杂工况下工作部件缺失的实时、精准、抗干扰检测。

48、本技术实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。