一种基于深度学习的AI智能体系统自主决策方法与流程

摘要: 本发明涉及人工智能与智能体自主决策领域,尤其涉及一种基于深度学习的ai智能体系统自主决策方法。背景技术:1、随着人工智能技术的发展,ai智能体在机器人控制、智能...
一种基于深度学习的AI智能体系统自主决策方法与流程

本发明涉及人工智能与智能体自主决策领域,尤其涉及一种基于深度学习的ai智能体系统自主决策方法。

背景技术:

1、随着人工智能技术的发展,ai智能体在机器人控制、智能制造、智能运维、智能交互以及复杂流程调度等场景中被广泛应用。ai智能体自主决策的核心目标是在外部环境不断变化、信息来源复杂且具有时序依赖的条件下,基于对环境的感知结果形成可执行的行动指令,从而完成任务目标。在现有技术中,ai智能体自主决策通常依赖“环境感知—状态表示—策略生成—动作执行”的基本流程,其中状态表示的质量直接影响后续策略生成的可靠性与稳定性。

2、现有技术方案主要包括基于规则的决策方法、基于监督学习的策略拟合方法以及基于强化学习的策略优化方法。基于规则的决策方法依赖人工构建规则库与状态机,面对复杂环境容易出现规则爆炸,且规则之间冲突处理成本高;基于监督学习的策略拟合方法通常通过历史样本学习从观测到动作的映射关系,但其对样本覆盖范围依赖强,在环境分布发生变化时容易出现决策失效;基于强化学习的策略优化方法能够通过交互反馈提升策略性能,但在实际应用中仍面临环境输入高维、多源异构、跨模态融合困难、时序同步复杂等工程与算法问题。

技术实现思路

1、本发明的一个目的在于提出一种基于深度学习的ai智能体系统自主决策方法,本发明充分利用了多源异构环境数据采集与时间戳同步对齐、多通道张量映射的原始状态张量序列构建、跨模态状态编码的多尺度卷积特征提取与自注意力加权编码、以及分层认知记忆的三通道门控更新与记忆融合,实现从环境感知到策略生成再到行动价值评估与闭环反馈优化的自主决策闭环处理,具备状态表征一致性强、跨模态特征提取能力强、记忆融合稳定、决策准确性高和系统鲁棒性强的优点。

2、根据本发明实施例的一种基于云端协同的气象测风仪的气象数据回传方法,包括如下步骤:

3、构建ai智能体自主决策系统,所述ai智能体自主决策系统包括环境感知模块、跨模态状态编码模块、分层认知记忆模块、元策略生成模块、行动价值评估模块以及闭环反馈优化模块;

4、通过环境感知模块采集多源异构环境数据并按照时间戳进行同步对齐,构建原始状态张量序列;

5、通过跨模态状态编码模块对原始状态张量序列进行多尺度卷积特征提取和自注意力加权编码处理,生成高维状态嵌入向量;

6、将高维状态嵌入向量输入至分层认知记忆模块,生成增强型状态表征向量;

7、将增强型状态表征向量输入至元策略生成模块,得到目标执行策略;

8、将目标执行策略输入至行动价值评估模块,所述行动价值评估模块基于双重价值网络结构对目标执行策略进行状态-行动联合评估,输出对应的策略价值向量,并根据策略价值排序结果确定最优行动指令;

9、执行最优行动指令,并通过闭环反馈优化模块获取环境反馈信息,构建状态转移记录集合;

10、基于状态转移记录集合,通过对抗式策略扰动机制生成扰动样本,对元策略生成模块和行动价值评估模块进行联合参数更新,生成目标决策参数集。

11、可选的,在分布式计算平台上定义ai智能体系统的功能模块及接口规范,分别部署环境感知模块用于接入并采集多源异构环境数据,部署跨模态状态编码模块用于对同步后的多源数据进行统一张量化表示与特征编码,部署分层认知记忆模块用于对状态嵌入向量进行短时记忆写入、长期语义记忆检索及情境关联融合,部署元策略生成模块用于生成候选策略并输出目标执行策略,部署行动价值评估模块用于进行状态—行动价值估计并输出最优行动指令,部署闭环反馈优化模块用于记录状态转移数据并对策略网络与价值网络执行参数更新,并建立模块间数据流通路与参数更新通路。

12、可选的,所述原始状态张量序列的构建具体包括:

13、通过环境感知模块采集多源异构环境数据,所述多源异构环境数据包括传感器观测数据、系统运行数据、交互与任务数据和历史决策数据;

14、确定决策周期的起始时间、终止时间以及预设采样间隔,并基于所述起始时间、所述终止时间和所述预设采样间隔构建统一时间轴;

15、将多源异构环境数据按照统一时间轴进行时间戳同步对齐,生成对齐观测向量;

16、对统一时间轴中的每一时间步,将同一时间步内各数据源的对齐观测向量按照固定顺序进行拼接,得到时间步的统一特征向量;

17、设置多通道张量映射的通道数以及每通道特征槽位数,对统一时间轴中的每一时间步,通过多通道张量映射方法将时间步的统一特征向量构建为时间步的原始状态张量;

18、将原始状态张量按照时间先后顺序排列并组合,得到原始状态张量序列。

19、可选的,所述高维状态嵌入向量的生成具体包括:

20、将原始状态张量序列输入至跨模态状态编码模块,采用多卷积核尺寸对原始状态张量分别执行卷积运算,得到对应卷积核尺寸的多尺度卷积结果,并将所述多尺度卷积结果分别与对应偏置相加后输入非线性激活函数,得到对应卷积核尺寸的多尺度卷积特征;

21、将同一原始状态张量对应的多尺度卷积特征在特征维度进行拼接,得到原始状态张量对应的融合卷积特征;

22、对融合卷积特征执行展平处理得到序列表示,并对所述序列表示执行线性映射处理得到编码输入;

23、对编码输入执行自注意力加权编码处理,得到注意力输出;

24、对注意力输出执行聚合处理得到该原始状态张量对应的高维状态嵌入向量。

25、可选的,所述增强型状态表征向量的生成具体包括:

26、将高维状态嵌入向量输入至分层认知记忆模块,所述分层认知记忆模块包括短时记忆单元、长期语义记忆单元和情境关联记忆单元,通过从短时记忆单元获取上一时间步的短时记忆状态,从长期语义记忆单元获取上一时间步的长期语义记忆状态,从情境关联记忆单元获取上一时间步的情境关联记忆状态;

27、通过三通道门控更新机制分别生成短时门控向量、长期门控向量以及情境门控向量;

28、通过三通道门控更新机制分别更新短时记忆状态、长期语义记忆状态以及情境关联记忆状态;

29、将高维状态嵌入向量、更新后的短时记忆状态、更新后的长期语义记忆状态以及更新后的情境关联记忆状态按固定顺序进行向量拼接形成融合输入向量,对所述融合输入向量执行融合线性映射并叠加融合偏置得到增强型状态表征向量。

30、可选的,所述目标执行策略的得到具体包括:

31、将增强型状态表征向量输入至元策略生成模块,通过元策略生成模块的第一路径对增强型状态表征向量执行第一路径策略网络的前向计算,输出探索型候选策略的动作得分向量;

32、通过元策略生成模块的第二路径对增强型状态表征向量执行第二路径策略网络的前向计算,输出利用型候选策略的动作得分向量;

33、分别对探索型候选策略的动作得分向量与利用型候选策略的动作得分向量执行softmax归一化处理,得到探索型候选策略的动作概率向量与利用型候选策略的动作概率向量;

34、基于探索型候选策略的动作概率向量与利用型候选策略的动作概率向量构建候选策略集合,并分别计算候选策略集合中各动作概率向量对应的策略熵与策略置信度;

35、通过策略竞争选择机制从候选策略集合中确定目标执行策略。

36、可选的,所述最优行动指令的确定具体包括:

37、将目标执行策略输入至行动价值评估模块,建立动作嵌入矩阵,并根据目标执行策略生成策略动作嵌入向量;

38、构建状态-行动联合输入向量;

39、通过双重价值网络结构对状态-行动联合输入向量执行并行前向传播计算,所述双重价值网络结构包括第一价值网络与第二价值网络;

40、通过第一价值网络输出第一动作价值向量;

41、通过第二价值网络输出第二动作价值向量;

42、基于第一动作价值向量与第二动作价值向量生成策略价值向量;

43、根据策略价值向量确定最优行动指令。

44、可选的,所述状态转移记录集合的构建具体包括:

45、将最优行动指令发送至执行接口以驱动执行单元执行对应的动作;

46、在执行单元完成动作执行后,通过环境感知模块采集动作执行后的多源异构环境数据,并从所述多源异构环境数据中提取动作执行后的环境状态数据,作为下一时间步环境状态数据;

47、通过闭环反馈优化模块获取环境反馈信息,所述环境反馈信息包括回报值以及所述下一时间步环境状态数据;

48、将下一时间步环境状态数据依次输入环境感知模块、跨模态状态编码模块以及分层认知记忆模块,生成下一时间步的增强型状态表征向量,并获取当前时间步的增强型状态表征向量、当前时间步的最优行动指令以及当前时间步的回报值;

49、基于当前时间步的增强型状态表征向量、当前时间步的最优行动指令、当前时间步的回报值以及下一时间步的增强型状态表征向量生成状态转移记录集合。

50、可选的,所述目标决策参数集的生成具体包括:

51、将状态转移记录集合中各时间步的增强型状态表征向量输入元策略生成模块,得到对应时间步的目标执行策略的动作概率向量,基于所述动作概率向量构造同维度的扰动向量,将所述扰动向量与所述动作概率向量按元素相加得到扰动概率中间向量,对所述扰动概率中间向量执行非负截断,将负值分量置为零,对非负截断后的扰动概率中间向量执行归一化处理,得到扰动动作概率向量,将增强型状态表征向量、扰动动作概率向量、最优行动指令、回报值以及下一时间步的增强型状态表征向量组成扰动样本;

52、通过自适应优势估计更新机制计算优势估计值;

53、对元策略生成模块和行动价值评估模块进行联合参数更新并生成目标决策参数集,所述联合参数更新包括基于状态转移记录集合与扰动样本构建策略更新目标,所述策略更新目标包括策略损失项与扰动一致性项,基于状态转移记录集合构建价值更新目标,基于所述策略更新目标与所述价值更新目标对元策略生成模块的网络参数与行动价值评估模块的网络参数执行梯度更新,得到更新后的元策略生成模块网络参数与更新后的行动价值评估模块网络参数,并将所述更新后的元策略生成模块网络参数与所述更新后的行动价值评估模块网络参数组成目标决策参数集。

54、本发明的有益效果是:

55、本发明通过构建包含环境感知模块、跨模态状态编码模块、分层认知记忆模块、元策略生成模块、行动价值评估模块以及闭环反馈优化模块的ai智能体自主决策系统,形成从环境数据采集到策略优化更新的完整闭环结构,相较于现有技术中各功能模块相对独立、数据流不连续的实现方式,本发明在系统架构层面实现了模块间的数据结构统一与处理流程贯通,使多源异构环境数据在进入决策核心之前完成标准化、序列化与结构化处理,从而显著提升了整体系统的运行稳定性与可扩展性。

56、在环境数据处理方面,本发明通过对多源异构环境数据进行统一时间轴构建与时间戳同步对齐,并构建原始状态张量序列,使来自不同采样频率、不同数据格式的数据在同一时间尺度上完成结构化映射,避免了现有技术中由于时间错位或简单拼接造成的信息缺失与状态表达不一致问题。通过多通道张量映射形成统一维度的原始状态张量序列,为后续跨模态状态编码提供了稳定且可重复的输入结构,增强了模型训练与在线推理的一致性。

57、在状态表示能力方面,本发明通过多尺度卷积特征提取与自注意力加权编码处理生成高维状态嵌入向量,使模型既能够提取局部细粒度特征,又能够建模全局依赖关系,有效弥补了现有技术中单尺度特征提取或简单拼接带来的表达不足问题。同时,通过分层认知记忆模块对高维状态嵌入向量进行记忆融合,利用短时记忆单元、长期语义记忆单元与情境关联记忆单元的三通道门控更新机制,使当前状态能够在不同时间尺度上与历史信息进行受控融合,从而形成增强型状态表征向量。该结构避免了单一记忆结构易产生的信息衰减与噪声累积问题,提高了状态表示对历史任务上下文与情境变化的敏感性和连续性。

58、在策略生成与评估方面,本发明通过元策略生成模块构建目标执行策略,并结合行动价值评估模块中的双重价值网络结构对目标执行策略进行状态-行动联合评估,利用双网络输出的最小策略价值生成策略价值向量,有效降低了单网络估计偏差带来的过度估计问题,提高了策略评估的可靠性。在闭环反馈优化阶段,本发明通过状态转移记录集合对决策过程进行结构化存储,并结合对抗式策略扰动机制与自适应优势估计更新机制进行联合参数更新,使策略在优化过程中具备对扰动样本的鲁棒性,同时提高梯度估计的稳定性和样本利用效率。

59、综上,本发明在多源异构环境数据统一建模、跨模态状态表达增强、分层记忆稳定融合以及策略评估与参数更新鲁棒性等方面均优于现有技术,实现了状态表征更加充分、策略生成更加稳定、决策结果更加准确且对环境扰动更具适应性的自主决策效果,从而显著提升了ai智能体在复杂动态环境中的持续自主决策能力。