一种用于无人机自主作业的控制方法及装置与流程
本发明涉及无人机人工智能，具体而言，涉及一种用于无人机自主作业的控制方法及装置。
背景技术：
1、工业无人机，特别是氢能源无人机，已在光伏板巡检与清洗、建筑幕墙清洗、电力巡线等多种工业场景中得到应用。现阶段，这类无人机的智能化主要依赖于针对特定场景训练的单一视觉检测模型，用以识别如光伏板上的鸟粪、裂纹等少数预定义的目标。
2、然而，这种传统方案存在显著的不足。首先，每当面临新的作业场景或新的目标类型时，都必须重新采集和标注大量数据以训练新模型，这导致场景拓展的成本高昂且周期漫长。其次，现有模型通常只能识别其在训练阶段见过的特定目标类别，缺乏对复杂工业场景的深层语义理解能力。例如，模型或许能检测到“污渍”，但无法区分该“污渍”是普通的泥点还是因密封胶老化所致，而这两种情况需要截然不同的处理策略。
3、此外，现有方案在检测到目标后，其后续的决策过程，如判断不同目标的处理优先级、选择合适的作业方式和参数等，仍然严重依赖人工干预。这限制了无人机作业的自主化程度和整体效率。
4、近年来，以多模态视觉语言大模型为代表的新一代人工智能技术，在开放场景理解和复杂推理方面展现出巨大潜力。然而，将这类通用大模型直接应用于工业无人机面临着严峻挑战，包括通用模型缺乏特定工业领域的专业知识、模型巨大的计算量难以在资源受限的机载平台上实时运行，以及模型固有的“幻觉”问题可能在要求高可靠性的工业场景中引发严重的安全风险。因此，如何有效克服上述挑战，将多模态大模型的能力安全、高效地适配到工业无人机上，以实现真正的自主作业，是本领域亟待解决的技术问题。
技术实现思路
1、为了解决现有技术中无人机自主作业能力有限、场景泛化性差、且难以理解复杂工业场景语义的问题，本发明提供了一种用于无人机自主作业的控制方法及装置，旨在通过结合多模态模型与领域知识，实现无人机在复杂工业场景下的深度语义理解与自主决策。
2、本发明提供的一种用于无人机自主作业的控制方法，包括：基于无人机采集的第一场景图像，利用微调后的基础多模态模型生成所述场景的宏观上下文信息；根据所述宏观上下文信息，利用所述微调后的基础多模态模型，识别与待作业区域对应的第二场景图像中的多个待处理目标，并为每个所述待处理目标生成目标属性信息；基于所述目标属性信息和所述无人机的续航资源参数，确定所述多个待处理目标的作业优先级；基于所述宏观上下文信息、所述作业优先级和实时飞行约束，生成包含作业序列和作业参数的作业计划；将所述作业计划转换为所述无人机的飞行控制系统可执行的底层控制指令。
3、在一些实施中，在对所述基础多模态模型进行微调之前，所述方法还包括：通过为场景图像和自然语言作业指令配对专家标注的语义标签，来构建领域特定的指令数据集，其中，所述指令数据集是用于微调基础多模态模型的训练数据。通过构建并使用领域特定的指令数据集进行微调，能够将工业领域的专业知识注入基础多模态模型，使其更好地理解特定作业场景。
4、在一些实施例中，所述语义标签包括目标类别、缺陷类型、严重程度和推荐作业方式中的至少一种。这种细粒度的语义标签有助于模型学习到更深层次的场景信息，从而做出更精准的判断。
5、在一些实施例中，所述宏观上下文信息包括场景类型和推荐的总体作业模式。这使得无人机能够从全局视角规划作业，例如先判断整个区域是“鸟粪污染为主”还是“灰尘覆盖为主”，从而选择“重点清洗”或“全面清扫”等不同的宏观策略。
6、在一些实施例中，所述目标属性信息包括所述待处理目标的位置坐标、类别和严重程度评分；所述确定所述多个待处理目标的作业优先级的步骤具体包括：结合所述严重程度评分和所述续航资源参数对所述多个待处理目标进行优先级评定。该方式能够实现对作业任务的智能排序，例如优先处理严重程度高且在当前续航能力范围内的目标。
7、在一些实施例中，所述作业计划包括作业航点序列以及每个所述作业航点对应的作业方式和作业参数。这种结构化的作业计划能够清晰地指导无人机的每一步行动，包括去哪里、做什么以及怎么做。
8、在一些实施例中，为了提高作业的安全性，在将所述作业计划转换为所述底层控制指令之后，所述方法还包括：对所述底层控制指令进行安全校验，以检查所述底层控制指令是否违反预设的安全规则。该步骤为自主决策增加了一道安全防线，确保生成的指令不会导致危险行为。
9、在一些实施例中，所述安全规则包括无人机最低安全高度、地理禁飞区边界或已知障碍物位置中的至少一种。这些具体的安全规则确保了无人机的飞行活动始终在安全边界内进行。
10、此外，本发明还提供一种人机协同的安全机制，该方法还包括：基于基础多模态模型的输出熵值，计算决策置信度分数；当所述决策置信度分数低于预设阈值时，将决策相关信息发送至远程终端以供确认或修正；将所述远程终端确认或修正后的决策相关信息回传并存入数据库，用于对所述基础多模态模型进行迭代优化。该机制在保证安全性的同时，能够收集高质量的人工反馈数据，使模型在应用中持续进化，形成良性循环。
11、相应地，本发明还提供了一种用于无人机自主作业的控制装置，包括：场景分析模块，用于利用微调后的基础多模态模型，基于无人机采集的第一场景图像，生成所述场景的宏观上下文信息；目标识别模块，用于根据所述宏观上下文信息，利用所述微调后的基础多模态模型，识别与待作业区域对应的第二场景图像中的多个待处理目标，并为每个所述待处理目标生成目标属性信息；优先级确定模块，适于基于所述目标属性信息和所述无人机的续航资源参数，确定所述多个待处理目标的作业优先级；计划生成模块，用于基于所述宏观上下文信息、所述作业优先级和实时飞行约束，生成包含作业序列和作业参数的作业计划；指令转换模块，用于将所述作业计划转换为所述无人机的飞行控制系统可执行的底层控制指令。
12、与现有技术相比，本发明提供的技术方案具有以下有益效果：
13、1.提升了场景泛化能力：通过采用参数高效微调方法对基础多模态模型进行领域适配，仅需少量领域数据即可快速部署于新场景，显著缩短了新场景的适应周期，降低了应用成本。
14、2.实现了深度语义理解：本发明不仅能检测目标，更能理解目标的具体类型、严重程度，并推断出相应的处理策略，例如能够区分需要不同清洗方式的污渍类型，实现了从“感知”到“认知”的跃迁。
15、3.增强了决策的自主性和合理性：通过融合宏观上下文、目标属性、续航资源和实时飞行约束等多维度信息进行综合决策，能够生成全局最优的作业计划，避免了因续航不足而中断关键任务等问题。
16、4.保障了作业的安全可控：通过指令转换后的安全校验以及针对低置信度决策引入的人在回路机制，为大模型的自主决策提供了有效的安全兜底，确保了在复杂工业环境中的应用可靠性，同时实现了模型的持续迭代优化。
1.一种用于无人机自主作业的控制方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在对所述基础多模态模型进行微调之前，所述方法还包括：通过为场景图像和自然语言作业指令配对专家标注的语义标签，来构建所述领域特定的指令数据集，其中，所述指令数据集是用于微调基础多模态模型的训练数据。
3.根据权利要求2所述的方法，其特征在于，所述语义标签包括目标类别、缺陷类型、严重程度和推荐作业方式中的至少一种。
4.根据权利要求1所述的方法，其特征在于，所述宏观上下文信息包括场景类型和推荐的总体作业模式。
5.根据权利要求1所述的方法，其特征在于，所述目标属性信息包括所述待处理目标的位置坐标、类别和严重程度评分；所述确定所述多个待处理目标的作业优先级的步骤具体包括：结合所述严重程度评分和所述续航资源参数对所述多个待处理目标进行优先级评定。
6.根据权利要求1所述的方法，其特征在于，所述作业计划包括作业航点序列以及每个所述作业航点对应的作业方式和作业参数。
7.根据权利要求1所述的方法，其特征在于，在将所述作业计划转换为所述底层控制指令之后，所述方法还包括：对所述底层控制指令进行安全校验，以检查所述底层控制指令是否违反预设的安全规则。
8.根据权利要求7所述的方法，其特征在于，所述安全规则包括无人机最低安全高度、地理禁飞区边界或已知障碍物位置中的至少一种。
9.根据权利要求1所述的方法，其特征在于，还包括：
10.一种用于无人机自主作业的控制装置，其特征在于，包括：