基于认知智能体驱动的多源信息协同融合感知方法及装置

本技术涉及多源信息融合与智能体感知领域，特别涉及一种基于认知智能体驱动的多源信息协同融合感知方法及装置。

背景技术：

1、多模态传感数据融合是指对来自不同传感器或不同信息源的数据进行联合建模与协同处理，以获得较单一模态更为完整、稳定且准确的环境感知结果。常见的多模态数据包括文本描述、可见光rgb（red green blue，红绿蓝）图像、红外图像、事件相机数据、多光谱图像及lidar点云数据等，各类模态在成像机理、信息表达及适用场景上存在差异：可见光图像具有丰富的纹理、颜色及语义信息，但在低照度、强逆光及复杂天气条件下易发生退化；红外图像能够反映目标热辐射分布，但在细粒度语义表达方面存在不足；事件相机数据适用于高速运动场景，但其数据稀疏且缺乏完整外观信息；多光谱图像能够反映材料属性及光谱响应差异，但其空间分辨率及实时处理能力受限；lidar点云数据能够提供几何结构及距离信息，但在语义类别及纹理表达方面存在局限；文本信息能够描述任务需求及先验知识，但不能替代实际传感观测。因此，多模态融合的关键在于建立不同模态之间的有效协同关系，以实现信息互补与表达统一。

2、相关技术中，多模态融合方法主要包括数据级融合、特征级融合及决策级融合，其中，数据级融合通常在输入阶段对多源数据进行拼接或映射处理；特征级融合通过卷积神经网络、transformer结构或跨模态注意力机制实现多模态特征联合编码；决策级融合则分别获取各模态预测结果，并通过加权或后处理方式获得最终输出。

3、然而，上述方法本质上均属于基于固定结构的非智能体融合范式，其融合过程依赖预设网络结构或静态参数配置，难以根据实际环境变化进行自适应调整。具体而言，一方面，现有方法缺乏对模态状态的动态感知与调度能力，无法根据光照条件、遮挡程度、噪声分布及传感器有效性等因素调整模态参与顺序及权重分配，易导致低质量模态信息对融合结果产生干扰；另一方面，现有方法缺乏显式的跨模态认知推理与冲突处理机制，对于模态间存在的时空错位、分辨率差异及语义冲突，通常依赖隐式学习方式进行处理，难以实现融合过程的可解释性与结果的可追溯性，亟需解决。

技术实现思路

1、本技术提供一种基于认知智能体驱动的多源信息协同融合感知方法及装置，以解决多模态信息在复杂场景下的动态决策与协同调度问题。

2、本技术第一方面实施例提供一种基于认知智能体驱动的多源信息协同融合感知方法，包括以下步骤：

3、获取多源异构输入数据和任务指令，并对所述多源异构输入数据进行跨模态特征对齐与语义建模，生成多模态特征和全局语义嵌入；

4、将所述多模态特征和任务指令输入至调度智能体，并由所述调度智能体执行跨模态认知解析，识别场景状态，并根据所述场景状态进行多模态数据可靠性评估，以基于所述场景状态和多模态可靠性评估结果生成认知状态向量，同时对所述任务指令进行语义解析，得到任务目标；

5、基于所述调度智能体，根据所述场景状态和所述全局语义嵌入推理建立多模态间的关联关系，并对所述多模态特征进行协同校正，以基于校正后的多模态特征、所述全局语义嵌入、所述任务目标和所述认知状态向量生成融合控制策略；

6、基于所述融合控制策略对应调用专家智能体，并利用所述专家智能体基于所述融合控制策略对所述多模态特征进行融合处理，得到多模态融合特征，并基于所述任务目标对所述多模态融合特征进行认知引导调制，生成视觉表征结果。

7、根据本技术的一个实施例，所述由所述调度智能体执行跨模态认知解析，识别场景状态，包括：

8、基于所述调度智能体，通过跨模态注意力机制建立所述多模态特征与所述任务指令之间的语义关联；

9、基于所述语义关联对所述多模态特征进行场景认知解析，自主识别所述场景状态。

10、根据本技术的一个实施例，所述基于所述融合控制策略对应调用专家智能体，并利用所述专家智能体基于所述融合控制策略对所述多模态特征进行融合处理，得到多模态融合特征，包括：

11、根据所述融合控制策略中的融合权重，确定目标模态集合和对应的专家智能体调用策略；

12、基于所述融合权重，对第一目标权重模态数据分配计算资源并调用对应的专家智能体，并对第二目标权重模态数据进行抑制处理；

13、利用所述专家智能体按照所述融合控制策略对应的目标顺序和融合权重对所述多模态特征进行融合处理，得到所述多模态融合特征。

14、根据本技术的一个实施例，所述获取多源异构输入数据，包括：

15、获取多源异构传感数据；

16、对所述多源异构传感数据进行格式解析，并对解析后的多源异构传感数据添加时间标记、空间标记和模态类型标记，得到所述多源异构输入数据。

17、根据本技术的一个实施例，所述对所述多源异构输入数据进行跨模态特征对齐与语义建模，生成多模态特征和全局语义嵌入，包括：

18、将所述多源异构输入数据映射至统一表征空间，并通过跨模态注意力机制在所述统一表征空间中建立多源异构输入数据之间的语义对应关系，得到多模态特征；

19、基于所述多模态特征提取全局上下文信息，并基于所述全局上下文信息和语义聚合生成所述全局语义嵌入。

20、根据本技术的一个实施例，所述基于所述任务目标对所述多模态融合特征进行认知引导调制，生成视觉表征结果，包括：

21、基于所述任务目标确定所述多模态融合特征的调制参数，并利用所述调制参数对所述多模态融合特征进行语义调制；

22、对调制后的多模态融合特征进行多尺度特征重构和上下文信息整合，并将整合后的多模态融合特征映射至统一表征空间，生成所述任务目标对应的视觉表征结果。

23、根据本技术实施例的基于认知智能体驱动的多源信息协同融合感知方法，对多源异构输入数据进行跨模态特征对齐与语义建模，生成多模态特征和全局语义嵌入；将多模态特征和任务指令输入至调度智能体执行跨模态认知解析，识别场景状态并进行可靠性评估，以基于场景状态和评估结果生成认知状态向量，同时对任务指令进行语义解析，得到任务目标；根据场景状态和全局语义嵌入建立多模态间的关联关系，并基于校正后的多模态特征、全局语义嵌入、任务目标和认知状态向量生成融合控制策略，然后对应调用专家智能体对多模态特征进行融合处理，得到多模态融合特征，由任务目标对多模态融合特征进行认知引导调制，生成视觉表征结果。由此，解决了多模态信息在复杂场景下的动态决策与协同调度问题，通过引入多模态大模型与认知驱动智能体机制，将多源异构融合过程由传统静态特征融合转变为动态调度与协同决策过程，实现了多模态信息的统一语义建模与自适应融合。

24、本技术第二方面实施例提供一种基于认知智能体驱动的多源信息协同融合感知装置，包括：

25、获取模块，用于获取多源异构输入数据和任务指令，并对所述多源异构输入数据进行跨模态特征对齐与语义建模，生成多模态特征和全局语义嵌入；

26、评估模块，用于将所述多模态特征和任务指令输入至调度智能体，并由所述调度智能体执行跨模态认知解析，识别场景状态，并根据所述场景状态进行多模态数据可靠性评估，以基于所述场景状态和多模态可靠性评估结果生成认知状态向量，同时对所述任务指令进行语义解析，得到任务目标；

27、第一生成模块，用于基于所述调度智能体，根据所述场景状态和所述全局语义嵌入推理建立多模态间的关联关系，并对所述多模态特征进行协同校正，以基于校正后的多模态特征、所述全局语义嵌入、所述任务目标和所述认知状态向量生成融合控制策略；

28、第二生成模块，用于基于所述融合控制策略对应调用专家智能体，并利用所述专家智能体基于所述融合控制策略对所述多模态特征进行融合处理，得到多模态融合特征，并基于所述任务目标对所述多模态融合特征进行认知引导调制，生成视觉表征结果。

29、根据本技术的一个实施例，所述评估模块，包括：

30、构建单元，用于基于所述调度智能体，通过跨模态注意力机制建立所述多模态特征与所述任务指令之间的语义关联；

31、第一解析单元，用于基于所述语义关联对所述多模态特征进行场景认知解析，自主识别所述场景状态。

32、根据本技术的一个实施例，所述第二生成模块，包括：

33、确定单元，用于根据所述融合控制策略中的融合权重，确定目标模态集合和对应的专家智能体调用策略；

34、调用单元，用于基于所述融合权重，对第一目标权重模态数据分配计算资源并调用对应的专家智能体，并对第二目标权重模态数据进行抑制处理；

35、特征融合单元，用于利用所述专家智能体按照所述融合控制策略对应的目标顺序和融合权重对所述多模态特征进行融合处理，得到所述多模态融合特征。

36、根据本技术的一个实施例，所述获取模块，包括：

37、第一获取单元，用于获取多源异构传感数据；

38、第二解析单元，用于对所述多源异构传感数据进行格式解析，并对解析后的多源异构传感数据添加时间标记、空间标记和模态类型标记，得到所述多源异构输入数据。

39、根据本技术的一个实施例，所述获取模块，包括：

40、第二获取单元，用于将所述多源异构输入数据映射至统一表征空间，并通过跨模态注意力机制在所述统一表征空间中建立多源异构输入数据之间的语义对应关系，得到多模态特征；

41、第一生成单元，用于基于所述多模态特征提取全局上下文信息，并基于所述全局上下文信息和语义聚合生成所述全局语义嵌入。

42、根据本技术的一个实施例，所述第二生成模块，包括：

43、调制单元，用于基于所述任务目标确定所述多模态融合特征的调制参数，并利用所述调制参数对所述多模态融合特征进行语义调制；

44、第二生成单元，用于对调制后的多模态融合特征进行多尺度特征重构和上下文信息整合，并将整合后的多模态融合特征映射至统一表征空间，生成所述任务目标对应的视觉表征结果。

45、根据本技术实施例的基于认知智能体驱动的多源信息协同融合感知装置，对多源异构输入数据进行跨模态特征对齐与语义建模，生成多模态特征和全局语义嵌入；将多模态特征和任务指令输入至调度智能体执行跨模态认知解析，识别场景状态并进行可靠性评估，以基于场景状态和评估结果生成认知状态向量，同时对任务指令进行语义解析，得到任务目标；根据场景状态和全局语义嵌入建立多模态间的关联关系，并基于校正后的多模态特征、全局语义嵌入、任务目标和认知状态向量生成融合控制策略，然后对应调用专家智能体对多模态特征进行融合处理，得到多模态融合特征，由任务目标对多模态融合特征进行认知引导调制，生成视觉表征结果。由此，解决了多模态信息在复杂场景下的动态决策与协同调度问题，通过引入多模态大模型与认知驱动智能体机制，将多源异构融合过程由传统静态特征融合转变为动态调度与协同决策过程，实现了多模态信息的统一语义建模与自适应融合。

46、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于认知智能体驱动的多源信息协同融合感知方法。

47、本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的基于认知智能体驱动的多源信息协同融合感知方法。

48、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。