一种井下运输车辆无人驾驶决策控制方法及系统

本发明涉及煤矿井下智能辅助运输与无人驾驶控制，尤其涉及一种井下运输车辆无人驾驶决策控制方法及系统。

背景技术：

1、煤矿井下运输车辆是井下辅助运输系统的重要组成部分，主要包括无轨胶轮车、矿用运输车、人员运输车、材料运输车和设备转运车辆等。其中，无轨胶轮车因具有机动灵活、运输效率高、适应巷道环境能力强等特点，已成为煤矿井下人员接送、物料运输和设备转运的重要装备。随着煤矿智能化建设的推进，实现井下运输车辆特别是无轨胶轮车的无人驾驶，对于降低井下作业人员安全风险、提高辅助运输效率和提升矿山智能化水平具有重要意义。

2、目前，现有煤矿井下运输车辆无人驾驶系统，尤其是无轨胶轮车无人驾驶系统，普遍采用模块化架构，将系统划分为感知模块、定位模块、规划模块和控制模块，各模块独立设计、独立优化，并通过预定义接口进行信息传递。该类架构虽然具有结构清晰、便于工程开发等优点，但在井下复杂工况下仍存在明显不足：一方面，前级感知或定位误差会沿规划和控制链路逐级传递，造成误差累积；另一方面，模块间主要依赖结构化结果传递，容易造成原始感知信息和场景上下文信息损失，影响系统整体决策效果。同时，各模块之间耦合关系复杂，参数调试和系统维护难度较大，难以实现面向复杂井下运输场景的整体优化。

3、近年来，端到端自动驾驶方法通过深度学习模型建立从传感器输入到车辆控制输出的直接映射，为简化无人驾驶系统架构提供了新的技术路径。随着大语言模型和多模态大模型的发展，利用大模型的多模态表征、语义理解和逻辑推理能力实现端到端驾驶决策逐渐成为研究热点。然而，现有端到端大模型多面向地面开放道路场景，直接应用于煤矿井下运输车辆仍存在适应性不足的问题。煤矿井下无gnss信号，光照条件差，粉尘、水雾和车辆振动干扰严重，巷道空间狭窄且弯道、坡道、会车区域较多，对车辆实时控制、安全约束和环境鲁棒性提出了更高要求。

4、此外，井下无轨胶轮车的控制周期较短，而大模型通常参数规模大、推理计算量高，难以直接满足车载端实时运行需求；井下存在瓦斯、人员车辆混行、会车空间受限等高安全风险，端到端模型输出的不确定性也需要有效约束；同时，井下驾驶数据采集成本高、标注难度大，难以形成大规模高质量训练数据集。因此，亟需一种面向煤矿井下运输车辆，尤其是无轨胶轮车的无人驾驶决策控制方法及系统，以兼顾实时性、安全性和复杂井下环境适应性。

技术实现思路

1、本方案针对上文提出的问题和需求，提出一种井下运输车辆无人驾驶决策控制方法及系统，由于采取了如下技术特征而能够实现上述技术目的，并带来其他多项技术效果。

2、本发明的一个目的在于提出一种井下运输车辆无人驾驶决策控制方法，包括如下步骤：

3、s10：采集井下运输车辆的多源传感器数据，并对所述多源传感器数据进行预处理，得到标准化多源感知数据；

4、s20：构建视觉-语言-动作端到端决策控制模型并进行训练，将所述标准化多源感知数据、车辆状态信息、井下场景知识、运输任务指令以及井下安全规则输入训练后的视觉-语言-动作端到端决策控制模型，生成初始车辆控制指令；

5、s30：根据井下运输车辆安全约束条件对所述初始车辆控制指令进行安全性校验，并在所述初始车辆控制指令不满足所述井下运输车辆安全约束条件时，对其进行安全裁剪或触发安全保护控制，得到最终可执行控制指令；

6、s40：将最终可执行控制指令下发至井下运输车辆底盘执行机构，并记录人工接管、安全约束触发、异常工况和控制指令修正对应的关键场景数据；基于所述关键场景数据对所述视觉-语言-动作端到端决策控制模型进行离线增量训练和轻量化更新。

7、在本发明的一个示例中，在步骤s10中，对所述多源传感器数据进行预处理包括：

8、对激光雷达点云数据进行虚假回波滤除、离群点剔除和多帧一致性滤波；对摄像头图像数据进行低照度增强、去雾处理和畸变校正；对毫米波雷达数据进行杂波抑制和目标检测；对惯性测量单元数据和车辆can总线状态数据进行滤波、异常值剔除和归一化处理；其中，所述多源传感器数据包括：安装于所述井下运输车辆上的激光雷达点云数据、摄像头图像数据、毫米波雷达数据、惯性测量单元数据和车辆can总线状态数据中的至少两种。

9、在本发明的一个示例中，在步骤s20中，视觉-语言-动作端到端决策控制模型包括：多模态融合编码模块、跨模态语义投影模块、语言推理模块和动作解码模块；

10、所述多模态融合编码模块配置为用于提取所述标准化多源感知数据中的多源感知特征，并生成统一场景表征；

11、所述跨模态语义投影模块配置为用于将所述统一场景表征映射至语言推理模块的语义嵌入空间；

12、所述语言推理模块配置为用于结合车辆状态信息、井下场景知识、运输任务指令和井下安全规则生成驾驶决策表征；

13、所述动作解码模块配置为用于将所述驾驶决策表征转换为车辆控制指令。

14、在本发明的一个示例中，所述多模态融合编码模块用于将激光雷达点云数据、摄像头图像数据和毫米波雷达数据转换至鸟瞰图平面，分别得到点云bev特征、图像bev特征和雷达bev特征，并对所述点云bev特征、图像bev特征和雷达bev特征进行特征级融合，得到统一bev融合特征图。

15、在本发明的一个示例中，在步骤s20中，对所述视觉-语言-动作端到端决策控制模型进行训练，包括如下步骤：

16、 s21：构建井下运输车辆驾驶数据集；所述数据集包括人工驾驶采集数据、安全规则修正数据和井下场景图文配对数据；其中，人工驾驶采集数据包括多源传感器数据、车辆状态数据及对应的人工驾驶控制指令；安全规则修正数据包括：安全约束触发片段和控制指令修正片段，以安全修正控制指令作为监督信号；井下场景图文配对数据包括多源感知数据及其对应的自然语言场景描述；所述井下运输车辆驾驶数据集经数据划分后形成训练集和验证集；

17、s22：通过训练集进行第一阶段跨模态语义对齐训练：基于井下场景图文配对数据，对多模态融合编码模块和跨模态语义投影模块进行跨模态语义对齐训练；通过对比学习损失约束视觉嵌入与对应文本语义嵌入之间的距离，使匹配的视觉-文本特征相互接近，不匹配的视觉-文本特征相互远离；

18、s23：通过训练集进行第二阶段端到端联合训练：基于人工驾驶采集数据和安全规则修正数据，对视觉-语言-动作端到端决策控制模型进行联合训练，将多源感知数据、车辆状态数据、井下场景知识提示词、运输任务指令和井下安全规则提示词输入视觉-语言-动作端到端决策控制模型，经多模态融合编码模块、跨模态语义投影模块、语言推理模块和动作解码模块输出纵向加速度、转向角和挡位指令；训练过程中，以人工驾驶控制指令和安全修正控制指令作为监督信号，使模型学习从井下多源感知输入到安全约束下车辆控制输出的映射关系；

19、s24：训练完成后，基于验证集对视觉-语言-动作端到端决策控制模型进行性能评估，评估指标包括纵向加速度预测误差、转向角预测误差、挡位分类准确率和安全违约率。

20、在本发明的一个示例中，步骤s30具体包括如下步骤：

21、s31：构建实时安全约束边界：根据初始车辆控制指令、当前井下环境状态、车辆状态和井下安全规则，构建当前时刻的实时安全约束边界；

22、s32：对初始车辆控制指令进行安全性与可行性校验：

23、所述初始车辆控制指令为：

24、

25、其中，表示纵向加速度，表示转向角，表示挡位指令；

26、校验内容包括：判断纵向加速度是否超过车辆允许加速或制动范围；判断转向角是否超过最大转向角或最小转弯半径约束；判断挡位指令是否与当前车速、行驶方向和运输任务状态一致；判断根据初始控制指令预测得到的车辆运动轨迹是否偏离可通行区域；判断车辆与人员、车辆、障碍物或巷道边界之间的距离是否小于安全阈值；判断当前瓦斯浓度、能见度和路面状态是否允许车辆继续执行该控制指令；

27、若初始车辆控制指令满足实时安全约束边界，则进入步骤s35；若初始车辆控制指令超出实时安全约束边界，则进入步骤s33；

28、s33：对控制指令进行安全裁剪与修正：当初始车辆控制指令超出实时安全约束边界时，对其进行安全裁剪与修正；

29、对于纵向加速度，当模型输出的加速度可能导致车辆超过当前最大允许车速时，将其修正为保持安全速度或减速的控制量；当前方人员、车辆或障碍物距离小于最小安全距离时，将纵向加速度修正为制动控制量；

30、对于转向角，当模型输出的转向角可能导致车辆靠近巷道边界、支护结构或偏离可通行区域时，将转向角限制在安全转向范围内，使车辆保持在安全通行区域内；

31、对于挡位指令，当模型输出的挡位与当前车辆状态或运输任务不一致时，对挡位进行修正；

32、s34：触发安全保护控制策略：当检测到高风险工况，或者初始车辆控制指令无法通过安全裁剪满足井下运输车辆安全行驶要求时，触发安全保护控制策略；

33、s35：生成最终可执行控制指令：若初始车辆控制指令满足实时安全约束边界，则将初始车辆控制指令作为最终可执行控制指令；若初始车辆控制指令存在安全风险，则将步骤s33得到的安全修正控制指令，或步骤s34安全保护控制策略生成的控制指令，作为最终可执行控制指令。

34、在本发明的一个示例中，在步骤s30中，所述井下运输车辆安全约束条件包括最小安全距离、最大允许车速、巷道边界安全距离、人员车辆避让规则、会车避让规则、弯道减速规则、坡道行驶规则、装卸区域低速通行规则、瓦斯浓度阈值、能见度阈值和车辆动力学约束中的至少一种。

35、在本发明的一个示例中，在步骤s30中，当所述初始车辆控制指令不满足所述井下运输车辆安全约束条件时，执行以下至少一种处理：

36、限制车辆纵向加速度或车速、限制车辆转向角、修正车辆挡位、触发减速控制、紧急制动、停车保持、声光报警、远程提示和人工接管请求。

37、在本发明的一个示例中，在步骤s40中，基于所述关键场景数据对所述视觉-语言-动作端到端决策控制模型进行离线增量训练和轻量化更新，具体包括如下步骤：

38、s41：对视觉-语言-动作端到端决策控制模型进行轻量化处理：针对井下运输车辆车载计算平台算力、存储空间、功耗和实时控制周期约束，对视觉-语言-动作端到端决策控制模型进行轻量化处理；

39、s42：将轻量化模型部署至车载端：将轻量化后的模型部署至井下运输车辆车载计算平台，车载端接收标准化多源感知数据集合d，并按照步骤s20的推理流程生成初始车辆控制指令a，再经步骤s30安全校验后生成最终可执行控制指令；

40、s43：记录关键场景数据：在车辆运行过程中，车载端自动记录关键场景数据，所述关键场景数据包括人工接管片段、安全约束触发片段、控制指令被修正片段、异常工况片段、感知不可靠片段和模型输出置信度较低片段；

41、s44：将关键场景数据回传至地面训练中心：关键场景数据通过井下至地面的通信链路回传至地面训练中心；地面训练中心接收数据后，对数据进行清洗、筛选、标注和场景归类，形成增量训练样本库；

42、s45：对模型进行离线增量训练：基于增量训练样本库，对视觉-语言-动作端到端决策控制模型进行离线增量训练，对于人工接管片段，以人工接管后的控制指令作为监督信号；对于安全约束触发片段，以经安全校验修正后的控制指令作为参考信号；对于异常工况片段，通过补充场景描述和安全规则提示词，提高模型对复杂巷道环境、异常交通状态和高风险场景的理解与决策能力；

43、s46：对增量训练后的模型进行安全验证和版本管理：增量训练完成后，对更新后的模型进行安全验证，安全验证内容包括场景理解准确性、控制指令合理性、碰撞风险、限速符合性、巷道边界保持能力、人员车辆避让能力、会车场景处理能力、弯道坡道通行能力以及异常环境下的安全响应能力；当更新后的模型通过预设安全测试指标后，生成可部署模型版本；

44、s47：将通过安全验证的模型更新至车载端：通过安全验证的模型版本通过通信链路或ota方式下发至井下运输车辆车载端，车载端接收更新包后，对模型文件进行完整性校验和版本校验，确认无误后完成模型更新。

45、本发明的另一个目的在于提出一种井下运输车辆无人驾驶决策控制系统，其特征在于，包括：

46、多源数据采集与预处理模块，配置为用于采集井下运输车辆的多源传感器数据，并对所述多源传感器数据进行预处理，得到标准化多源感知数据；

47、端到端决策控制模块，配置为用于构建视觉-语言-动作端到端决策控制模型并进行训练，将所述标准化多源感知数据、车辆状态信息、井下场景知识、运输任务指令以及井下安全规则输入训练后的视觉-语言-动作端到端决策控制模型，生成初始车辆控制指令；

48、安全校验与保护控制模块，配置为用于根据井下运输车辆安全约束条件对所述初始车辆控制指令进行安全性校验，并在所述初始车辆控制指令不满足所述井下运输车辆安全约束条件时，对其进行安全裁剪或触发安全保护控制，得到最终可执行控制指令；

49、底盘执行模块，配置为用于将最终可执行控制指令下发至井下运输车辆底盘执行机构，并记录人工接管、安全约束触发、异常工况和控制指令修正对应的关键场景数据；基于所述关键场景数据对所述视觉-语言-动作端到端决策控制模型进行离线增量训练和轻量化更新。

50、相较于现有技术，本发明具有如下有益效果：

51、本发明能够在不改变井下运输车辆底盘执行机构基本结构的前提下，将多源感知、场景理解、任务推理、安全规则约束和车辆控制统一到端到端决策控制框架中，降低传统模块化无人驾驶架构中的误差累积和信息损失。同时，通过安全校验与保护控制机制，避免模型输出异常控制指令直接作用于车辆底盘，提高煤矿井下无轨胶轮车等运输车辆在复杂巷道运输环境中的实时决策能力、安全控制能力和环境适应能力。

52、下文中将结合附图对实施本发明的最优实施例进行更加详尽的描述，以便能容易理解本发明的特征和优点。