基于AI多模态融合的识别准确率提升系统及方法与流程

本发明涉及人工智能与多模态数据处理，具体为基于ai多模态融合的识别准确率提升系统及方法。

背景技术：

1、现有的分布式数据网络中，通常需要对底层节点的状态进行识别，以便为调度控制、资源分配或风险预警提供依据；相关技术中，可以利用单一的结构化业务数据对节点状态进行预测；或者，结合预设规则对节点的上报信息和执行情况进行判断，输出对应的识别结果；

2、但是在节点数量超出设定的网络节点规模阈值、外部环境扰动频繁且节点反馈存在波动的情况下，前一种方式对非结构化环境信息和行为变化的利用不足，容易导致识别结果受局部数据失真影响；后一种方式虽然具有一定稳定性和可解释性，但对复杂场景变化的响应时延超出预设的时间标准，难以及时反映节点真实状态；

3、因此，相关技术中的节点状态识别方法难以兼顾识别准确性、结果稳定性以及对动态风险的自适应能力。

技术实现思路

1、本发明的目的在于提供基于ai多模态融合的识别准确率提升系统及方法，解决以下技术问题：

2、避免系统在面临输入数据失真或存在环境链式传播扰动时，产生偏离节点实际执行能力的异常识别输出，且能通过深度强化学习智能体动态调整数据驱动预测模型与鲁棒优化规则模型的融合权重，实现短期高精度识别与长期系统数据流稳定性之间的自适应平衡。

3、本发明的目的可以通过以下技术方案实现：

4、基于ai多模态融合的识别准确率提升方法，包括：

5、获取基于网络图拓扑扩建的分布式数据网络的底层节点的多模态输入数据，并提取所述多模态输入数据的特征缺失率及时间延迟特征；其中，所述多模态输入数据包括节点结构化数据、非结构化环境数据以及节点行为反馈数据；

6、将所述多模态输入数据输入至多模态特征提取网络；其中，所述多模态特征提取网络包括主任务分支和隐性状态分支；

7、通过所述主任务分支提取主任务特征；

8、通过所述隐性状态分支融合所述多模态输入数据，计算输出信任熵向量；

9、结合基于所述多模态输入数据的特征缺失率及时间延迟特征评估得到的数据质量，通过多层感知机动态分配或预先配置的所述信任熵向量的各维度权重，对所述信任熵向量进行加权求和的聚合处理，得到对应的信任熵值；

10、判断所述信任熵值与预设的信任熵阈值的关系，其中，所述预设的信任熵阈值由系统基于历史周期中无异常状态下的节点信任熵均值计算确定；

11、基于所述关系约束所述深度强化学习智能体的动作空间，配置为：若所述信任熵值小于所述预设的信任熵阈值，则将所述动作空间限定为第一权重的数值高于或等于第二权重的数值的比例组合；否则，将所述动作空间限定为第二权重的数值高于或等于第一权重的数值的比例组合；

12、将所述信任熵向量作为状态空间输入至所述深度强化学习智能体，通过所述深度强化学习智能体在受约束的动作空间内动态输出所述第一权重和所述第二权重；其中，所述第一权重对应人工智能预测模型，所述第二权重对应鲁棒优化规则模型；

13、分别通过所述人工智能预测模型和所述鲁棒优化规则模型结合所述主任务特征，输出初步预测结果和初步规则结果；

14、根据所述第一权重和所述第二权重，对所述初步预测结果与所述初步规则结果进行加权融合，将得到的融合结果作为最终识别结果输出至所述底层节点，并基于所述底层节点对所述最终识别结果的反馈持续更新所述节点行为反馈数据。

15、作为本发明进一步的方案：

16、节点结构化数据包括节点库存时序数据和节点流转时序数据；

17、所述非结构化环境数据包括环境文本情感数据和传播拓扑图数据；

18、所述节点行为反馈数据包括历史指令执行偏差率数据。

19、作为本发明进一步的方案：

20、隐性状态分支包括图神经网络；

21、通过所述隐性状态分支融合所述多模态输入数据，计算输出信任熵向量，包括：

22、通过所述图神经网络融合所述节点结构化数据、所述非结构化环境数据以及所述节点行为反馈数据；

23、提取所述融合后的多模态输入数据中的节点间特征差异，结合所述底层节点在网络图拓扑中的连通路径跳数构建负指数形式的传播衰减函数，并基于所述节点间特征差异的传播衰减函数计算得到所述底层节点之间的异常传播影响度，并提取所述多模态输入数据的所述节点行为反馈数据中包含的实际执行结果与系统下发的预期指令的差值作为执行偏差量；

24、将所述异常传播影响度和所述执行偏差量进行拼接组合，生成所述信任熵向量。

25、作为本发明进一步的方案：

26、人工智能预测模型配置为基于深度神经网络构建的数据驱动型预测模型；

27、所述鲁棒优化规则模型配置为具有明确逻辑分支的可解释树模型，所述逻辑分支包含历史均值规则和地理临近性规则；其中，所述历史均值规则配置为：若所述底层节点当前周期的实际出库均值小于历史周期的实际出库均值的预设比例，则控制所述鲁棒优化规则模型输出偏向保守的初步规则结果；所述地理临近性规则配置为：若预设地理半径内存在备用底层节点且所述备用底层节点的库存高于所述底层节点的库存，则控制所述鲁棒优化规则模型输出偏向保守的初步规则结果。

28、作为本发明进一步的方案：

29、深度强化学习智能体包括动作空间，且所述深度强化学习智能体配置有奖励函数；

30、所述动作空间配置为动态调整所述第一权重和所述第二权重的比例关系；

31、在对所述深度强化学习智能体进行在线策略更新时，若所述信任熵值大于或等于所述预设的信任熵阈值，将所述奖励函数的优化目标从最小化当前预测误差切换为最小化节点输出异常的概率。

32、作为本发明进一步的方案：

33、在将融合结果作为最终识别结果输出至所述底层节点之后，还包括：

34、持续监控更新后的节点行为反馈数据对应的当前信任熵值；

35、判断所述当前信任熵值与所述预设的信任熵阈值的关系，配置为：若所述当前信任熵值小于所述预设的信任熵阈值，则按照预设步长递增所述第一权重的数值并按照预设步长递减所述第二权重的数值；否则，维持当前的第一权重和第二权重的数值比例。

36、基于ai多模态融合的识别准确率提升系统，包括：

37、数据采集模块，用于获取基于网络图拓扑扩建的分布式数据网络的底层节点的多模态输入数据，并提取所述多模态输入数据的特征缺失率及时间延迟特征；其中，所述多模态输入数据包括节点结构化数据、非结构化环境数据以及节点行为反馈数据；

38、特征提取模块，用于将所述多模态输入数据输入至多模态特征提取网络；其中，所述多模态特征提取网络包括主任务分支和隐性状态分支；通过所述主任务分支提取主任务特征；通过所述隐性状态分支融合所述多模态输入数据，计算输出信任熵向量，并结合基于所述多模态输入数据的特征缺失率及时间延迟特征评估得到的数据质量，通过多层感知机动态分配或预先配置的所述信任熵向量的各维度权重，对所述信任熵向量进行加权求和的聚合处理，得到对应的信任熵值；

39、权重动态调节模块，用于将所述信任熵向量作为状态空间输入至深度强化学习智能体，通过所述深度强化学习智能体动态输出第一权重和第二权重；其中，所述第一权重对应人工智能预测模型，所述第二权重对应鲁棒优化规则模型；

40、自适应输出模块，用于判断所述信任熵值与预设的信任熵阈值的关系，其中，所述预设的信任熵阈值由系统基于历史周期中无异常状态下的节点信任熵均值计算确定；基于所述关系约束所述深度强化学习智能体的动作空间，具体配置为：若所述信任熵值小于所述预设的信任熵阈值，则控制所述深度强化学习智能体输出的所述第一权重的数值高于或等于所述第二权重的数值；

41、否则，控制所述深度强化学习智能体输出的所述第二权重的数值高于或等于所述第一权重的数值；分别通过所述人工智能预测模型和所述鲁棒优化规则模型结合所述主任务特征，输出初步预测结果和初步规则结果；根据所述第一权重和所述第二权重，对所述初步预测结果与所述初步规则结果进行加权融合，得到最终识别结果；

42、反馈闭环模块，用于将所述最终识别结果输出至所述底层节点，并基于所述底层节点对所述最终识别结果的反馈持续更新所述节点行为反馈数据。

43、本发明的有益效果：

44、1、本发明通过同时获取节点结构化数据、非结构化环境数据及行为反馈数据，并利用主任务分支提取时序依赖关系，有效弥补了单一结构化数据对环境扰动和行为变化利用不足的缺陷；这种多维度信息的深度融合，能够更全面地刻画节点真实状态，显著降低了因局部数据失真导致的识别偏差，提升了在复杂动态场景下的识别精度；

45、2、本发明通过隐性状态分支中的图神经网络建模节点间的关联影响，计算异常传播影响度与执行偏差量，生成表征潜在风险的信任熵向量；该机制能够准确识别环境扰动的链式传播和系统性偏差，而非孤立的局部异常；通过信任熵值指导权重分配，在识别风险高于预设阈值时主动增加鲁棒优化规则模型的权重分配，确保了识别结果在极端数据波动状态下的稳定性和可解释性；

46、3、本发明引入深度强化学习智能体，根据信任熵状态空间动态调整人工智能预测模型与规则模型的融合权重；系统能够根据风险水平自动切换优化目标：在低风险时追求灵敏度，在高风险时转向最小化输出异常概率；这种基于实时状态的动态博弈机制，提升了系统针对节点状态波动的自适应反馈调节能力，使其能灵活应对节点反馈波动与外部环境的频繁扰动；

47、4、本发明通过反馈闭环模块持续监测节点的执行依从度，并根据信任熵的回落情况，采取预设步长递增第一权重的渐进式恢复策略；该设计避免了因状态好转而导致的输出结果在不同模型输出结果之间发生高频次的权重跳变，确保了系统从高风险保守模式平滑过渡回高精度识别模式，实现了短期防范风险与长期精度上限的有效兼顾。