基于多模态数据融合的电铲装车质量实时评估方法及系统与流程

本发明涉及矿山装备智能化与安全生产监管，特别涉及一种基于多模态数据融合的电铲装车质量实时评估方法及系统。

背景技术：

1、在露天开采中，电铲为矿用卡车装载是核心生产环节。现有作业质量与效率较多依赖电铲司机的经验判断，不同司机对于装满、装平以及卸料位置的判断标准存在差异，可能造成欠载、过载、反复补铲、物料局部分布不均以及铲斗与车厢碰撞等问题，也不利于生产统计和操作复盘。

2、现有称重系统通常在装载结束后给出总重量，难以在卸料过程中反映车厢内物料的空间分布；传统二维视觉方案容易受到光照、扬尘和阴影影响；单一姿态或载荷传感器又难以同时反映车厢空间状态、铲斗动作和异常冲击。部分监控系统虽然能够记录作业数据，但多种异构数据之间缺少统一的时间、坐标和特征接口，难以形成可直接用于作业阶段识别、空间质量评价和现场反馈的处理链。

3、因此，需要一种能够将三维点云、运动姿态、载荷变化、图像和声音数据进行时间对齐、分模态处理和特征融合，并根据作业阶段执行对应质量评价和反馈的方法及系统。

技术实现思路

1、本发明的目的在于提供一种基于多模态数据融合的电铲装车质量实时评估方法及系统，使多源异构作业数据形成连续、可执行的处理链，并利用作业阶段驱动的评价机制在卸料过程中提供空间质量评价和操作提示。

2、为实现上述目的，本发明提供一种基于多模态数据融合的电铲装车质量实时评估方法，包括：

3、控制设置于电铲上的三维感知传感器、惯性测量单元、压力传感器、图像采集装置和声音采集装置，实时采集三维点云数据、运动姿态数据、载荷变化数据、视觉图像数据和声音数据，得到多模态作业数据；

4、以边缘计算单元的统一时钟为基准对多模态作业数据进行时间对齐和预处理，分别利用对应编码器提取各模态特征，将同一时间窗内的特征向量进行维度映射和拼接融合，形成多模态融合特征序列；

5、根据运动姿态数据特征和载荷变化数据特征识别当前装车作业的作业阶段，并以作业阶段作为对应质量评价任务的启动条件；

6、在卸料阶段，将三维点云数据映射至由空载标准车厢建立的基准坐标模型，基于车厢内部空间栅格形成共享高度矩阵，并根据共享高度矩阵获得装载分布均匀性、物料表面平整度和车厢填充率评价数据；在各作业阶段获得动作规范性评价数据，在一个完整装车循环结束后获得循环效率评价数据；

7、利用反馈规则库将质量评价数据转换为质量评价结果并生成操作指导信息，将操作指导信息反馈给电铲司机，并存储多模态作业数据、质量评价数据、质量评价结果和反馈记录。

8、进一步地，三维感知传感器为毫米波雷达或激光雷达；惯性测量单元用于获取铲斗或执行机构的姿态和运动参数；压力传感器用于获取表征铲斗载荷变化的压力时序数据；图像采集装置用于辅助识别车厢边界和相对位置；声音采集装置用于提取碰撞声和异常冲击声特征。

9、进一步地，分模态编码包括点云编码、时序编码、图像编码和声音编码，各编码结果经维度映射后按同一时间窗拼接，并经全连接融合层形成多模态融合特征序列。

10、进一步地，作业阶段包括挖掘阶段、满斗回转阶段、卸料阶段、空斗回摆阶段和定位阶段；动作规范性评价任务在各作业阶段持续运行，空间质量评价任务在卸料阶段运行，循环效率评价任务在完整装车循环结束后运行。

11、进一步地，在系统初始化时扫描空载标准车厢并建立基准坐标模型，将卸料阶段三维点云转换至基准坐标模型，去除车厢外点和离群点，将车厢内部划分为空间栅格，并根据各空间栅格内物料点相对于车厢底板的平均高度形成共享高度矩阵。

12、进一步地，根据共享高度矩阵在车厢长度方向和宽度方向的区域平均高度及离散程度获得装载分布均匀性评价数据，根据相邻栅格高度差形成的局部梯度或表面粗糙度获得物料表面平整度评价数据，根据共享高度矩阵计算当前装载体积并获得车厢填充率评价数据。

13、进一步地，循环效率评价数据在定位阶段结束并确认完整装车循环完成后，根据循环总时长和各作业阶段之间的衔接间隔相对于同车型、同矿岩工况基准值的归一化结果获得。

14、进一步地，压力时序数据作为载荷变化特征参与作业阶段识别和动作规范性评价，不直接作为物料重量测量值。

15、进一步地，机器学习模型的训练目标包括由共享高度矩阵计算生成的空间质量目标、由循环时长生成的效率目标以及由统一量表人工标注生成的动作规范性目标；采用均方误差加权和作为训练损失，采用平均绝对误差作为验证和测试指标。

16、进一步地，反馈规则库采用互斥评分区间和规则优先级；多条规则同时满足时，紧急风险信息优先于严重偏差信息、一般偏差信息和循环总结信息。

17、进一步地，操作指导信息通过人机交互界面（human-machine interface，hmi）和语音反馈，hmi包括实时引导区和结果展示区，实时引导区显示车厢填充热力图及方向提示，结果展示区显示循环结束后的评价数据和作业建议。

18、本发明还提供一种基于多模态数据融合的电铲装车质量实时评估系统，包括数据采集层、边缘计算层和应用反馈层；数据采集层采集多模态作业数据，边缘计算层执行时间同步、分模态编码、特征融合、作业阶段识别、共享高度矩阵构建和质量评价，应用反馈层执行规则判定、hmi及语音输出和数据存储。

19、本发明取得了如下有益效果：

20、本发明将不同采样频率和不同数据形式的三维点云、运动姿态、载荷变化、图像和声音数据按照统一时间窗形成融合特征序列，使作业阶段识别结果与后续评价任务之间形成明确的启动关系，有助于减少无关阶段数据对评价的干扰。

21、本发明在卸料阶段将三维点云统一映射至空载标准车厢基准坐标，并以同一共享高度矩阵生成装载分布均匀性、物料表面平整度和车厢填充率评价数据，能够减少重复空间建模，并为车厢内较高或较低区域的方向提示提供统一数据基础。

22、本发明将数值化质量评价数据与互斥规则区间及优先级结合，使过程调整提示、紧急告警和循环结束总结按照不同作业状态输出，有助于降低司机在连续装车作业中理解复杂评价数据的负担，并减少反馈冲突。

23、本发明采用边缘计算层完成当前装车循环的实时处理，并可将评价结果、异常数据片段和反馈记录上传至监管平台，用于后续统计、复核和经验证的模型更新，有助于提高系统在不同司机、车型和矿岩工况下的适应性。

24、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在申请文件中所特别指出的结构来实现和获得。

25、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

1.一种基于多模态数据融合的电铲装车质量实时评估方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述三维感知传感器为毫米波雷达或激光雷达，用于获取卡车车厢及车厢内物料的三维点云数据；所述惯性测量单元用于获取铲斗或电铲执行机构的姿态角、角速度和加速度；所述压力传感器设置于铲斗液压回路或提升机构，用于获取表征铲斗载荷变化的压力时序数据；所述图像采集装置用于辅助识别车厢边界和铲斗与车厢的相对位置；所述声音采集装置用于提取碰撞声和异常冲击声特征。

3.根据权利要求1所述的方法，其特征在于，所述分模态编码包括：采用点云编码器对三维点云数据进行编码，采用时序编码器对运动姿态数据和载荷变化数据进行编码，采用图像编码器对视觉图像数据进行编码，采用声音编码器对声音数据进行编码；将各编码器输出的特征向量映射至预设维度后按时间窗拼接，并经全连接融合层形成所述多模态融合特征序列，其中，点云编码器采用pointnet或三维卷积神经网络，时序编码器采用长短期记忆网络或transformer模型，图像编码器和声音编码器采用卷积神经网络。

4.根据权利要求1所述的方法，其特征在于，所述作业阶段包括挖掘阶段、满斗回转阶段、卸料阶段、空斗回摆阶段和定位阶段；通过作业阶段识别模型输出各作业阶段的状态概率，并根据状态概率、预设持续时长和阶段转移顺序确定当前作业阶段；动作规范性评价任务在各作业阶段持续运行，基于共享高度矩阵的空间质量评价任务仅在卸料阶段运行，循环效率评价任务在定位阶段结束并确认一个完整装车循环完成后运行。

5.根据权利要求1所述的方法，其特征在于，基于所述共享高度矩阵获得装载分布均匀性评价数据、物料表面平整度评价数据和车厢填充率评价数据，包括：在系统初始化时扫描空载标准车厢，建立以车厢长度方向、宽度方向和高度方向为坐标轴的基准坐标模型，并确定车厢底板、侧壁边界和标准容积；

6.根据权利要求1所述的方法，其特征在于，所述动作规范性评价数据根据运动姿态数据、载荷变化数据和声音数据确定，用于表征回转平稳性、卸料高度、卸料速度以及是否存在铲斗与车厢异常冲击；所述压力时序数据作为载荷变化特征参与作业阶段识别和动作规范性评价，不直接作为物料重量测量值；

7.根据权利要求3所述的方法，其特征在于，机器学习模型的训练数据以完整装车循环为样本单位并覆盖不同司机、不同车型和不同矿岩工况；装载分布均匀性、物料表面平整度和车厢填充率的训练目标由共享高度矩阵的计算结果生成，循环效率的训练目标由循环总时长和衔接间隔的归一化结果生成，动作规范性的训练目标由多名具有电铲作业经验的标注人员按照统一量表评分并取中位数生成；

8.根据权利要求1所述的方法，其特征在于，所述反馈规则库按照互斥评分区间将质量评价数据转换为正常、一般偏差、严重偏差和紧急风险的质量评价结果；当多条规则同时满足时，按照紧急风险、严重偏差、一般偏差和循环总结的顺序输出；所述操作指导信息通过人机交互界面（human-machine interface，hmi）和语音输出，其中，hmi的实时引导区显示车厢填充热力图及指向平均高度较低区域的方向提示，结果展示区在完整装车循环结束后显示各项质量评价数据、质量评价结果和作业建议。

9.一种基于多模态数据融合的电铲装车质量实时评估系统，其特征在于，包括：

10.根据权利要求9所述的系统，其特征在于，还包括数据通信模块和告警模块，所述数据通信模块用于将质量评价结果、异常数据片段和反馈记录上传至矿区监管平台；所述告警模块用于在检测到铲斗与车厢异常冲击、严重分布偏差或填充率超过上限阈值时，以语音和醒目标识优先输出告警；所述边缘计算层仅在通过验证后加载新的模型版本，并保留当前模型版本以供回滚。