一种基于状态空间推理的智能体自主目标决策系统及方法与流程

本发明属于人工智能与认知计算，具体涉及一种基于状态空间推理的智能体自主目标决策系统及方法，可用于机器人、自动驾驶、智能决策系统等需要自主状态管理的应用场景。

背景技术：

1、现有智能体系统在状态管理和目标决策方面存在以下根本性局限：

2、（1）目标设定的被动性。现有智能体系统的目标通常由外部指令或预设任务指定，系统自身缺乏在动态环境中根据当前态势自主推理目标的能力。当外部指令缺失或环境发生变化时，系统无法自主确定“下一步应该走向什么状态”，只能维持当前状态或执行预设的默认策略。

3、（2）缺乏状态间因果关系的结构化表征。现有系统通常以黑箱方式（如神经网络）隐式地编码状态之间的关系，缺乏显式的、可解释的因果关系映射。这导致系统在未知情境下无法进行结构化的目标推理，也无法解释“为什么选择这个目标而不是那个目标”。

4、（3）目标选择的评估维度单一。现有系统在选择目标时通常仅基于单一维度（如奖励最大化或距离最小化），缺乏对状态确定度、情境适配度、安全边界等多维度的综合评估。在复杂动态环境中，单一维度的评估往往导致次优选择。

5、（4）缺乏从历史经验中学习目标偏好。现有系统虽然可以通过强化学习等方式优化策略，但通常需要大量试错和外部奖励信号。系统缺乏一种轻量级的、基于自身内部状态变化的偏好学习机制，无法在不依赖外部标注的情况下持续优化目标选择。

6、（5）缺乏从当前状态到目标状态的多步路径规划。现有系统在确定目标后，通常直接跳变到目标状态或仅规划单步转移，缺乏对多步演化路径的结构化规划能力。

7、申请日前，申请人的在先专利申请（如cn202610506445.x、cn202610601934.3等）已公开了基于六维能量向量的状态表征方法、六十四卦完备态势空间和能量演化机制。然而，上述在先申请主要关注“系统如何感知和收敛到目标状态”，尚未给出“系统在缺乏外部指令时如何自主推理目标状态、如何规划从当前状态到目标状态的演化路径、以及如何从历史经验中学习目标偏好”的完整技术方案。

技术实现思路

1、（一）发明目的

2、本发明的目的在于提供一种基于状态空间推理的智能体自主目标决策系统及方法，以解决现有技术中智能体系统缺乏自主目标推理能力、缺乏状态间因果关系的结构化表征、目标选择评估维度单一、缺乏轻量级偏好学习机制以及缺乏多步路径规划能力的技术问题。

3、具体目的包括：

4、（1）提供一种基于状态空间的结构化目标推理方法，使智能体能够根据当前状态和情境参数自主推理确定候选目标状态，无需外部指令。

5、（2）提供一种显式的状态间因果关系表征方法，通过状态转移规则库实现可解释的因果推理。

6、（3）提供一种多维度的候选目标评估方法，综合状态确定度、情境适配度、历史偏好和安全边界进行目标选择。

7、（4）提供一种基于系统内部状态变化的轻量级偏好学习方法，使系统能够从历史经验中持续优化目标选择，无需外部奖励信号。

8、（5）提供一种从当前状态到目标状态的多步路径规划方法，支持系统在状态空间中进行结构化演化路径规划。

9、（二）技术方案

10、为实现上述目的，本发明提供如下技术方案：

11、1. 系统架构

12、一种基于状态空间推理的智能体自主目标决策系统，包括处理器、存储器以及与所述处理器连接的传感器接口，所述处理器配置为通过执行所述存储器中存储的程序指令实现以下模块：

13、（1）状态空间存储模块

14、状态空间存储模块用于存储由六维二值编码构成的基础状态类型集合。

15、所述基础状态类型集合包含种基础状态类型。每种基础状态类型对应一个唯一的六维二值编码向量 。

16、所述六维二值编码向量的六个维度分别对应系统态势的六个基本方面：根基维度（系统基础是否稳固）、行动维度（是否需要积极行动）、信息维度（信息是否明确清晰）、资源维度（资源是否充足）、边界维度（安全边界是否清晰）、环境维度（外部环境是否有利）。所述六个维度构成系统状态空间的基本坐标系。

17、所述64种基础状态类型在数学上构成完备的状态空间——对于由所述六个维度描述的任何系统状态，都可以在所述空间中找到唯一对应的编码向量。

18、所述状态空间存储模块还存储各基础状态类型的语义描述信息，包括状态名称、状态属性和状态对应的推荐行动策略。

19、所述状态空间存储模块将所述基础状态类型集合和语义描述信息存储于所述存储器的非易失性存储区域中，在系统启动时加载至所述处理器的运行内存中供调用。

20、（2）状态感知模块

21、状态感知模块用于通过所述传感器接口获取传感器输入数据，将智能体当前状态表示为六维能量向量 e=(e1,e2,e3,e4,e5,e6)，其中 e_i∈[0,1]。

22、每个维度的取值表示系统在该维度上的倾向强度：取值越接近1表示该维度偏向阳性状态，取值越接近0表示该维度偏向阴性状态。系统初始状态为各维度均取0.5的中性态。

23、所述传感器输入数据包括但不限于：环境感知数据（摄像头、激光雷达、毫米波雷达）、定位数据（gps、惯性测量单元）、系统状态数据（电量、温度、运行模式）。

24、状态感知模块通过将所述六维能量向量按预设阈值0.5进行二值化，得到六维二值编码向量，然后与所述基础状态类型集合进行匹配，确定当前状态编码。

25、（3）目标推理模块

26、目标推理模块用于获取传感器输入数据和系统内部状态数据作为情境参数，根据所述当前状态编码和所述情境参数，从预设的状态转移规则库中确定候选目标状态集合，并通过候选评估函数计算各候选目标状态的优选分数。

27、所述状态转移规则库包含状态之间的因果关系映射，所述因果关系映射定义了从第一状态编码到第二状态编码的转移条件和转移方向。

28、所述因果关系映射至少包含以下信息：起始状态编码、目标状态编码、转移条件（包括情境参数条件）、转移方向标识（单向/双向）、转移权重。

29、所述状态转移规则库为预配置的可更新规则库，存储于所述存储器的非易失性存储区域中，支持通过外部配置文件进行规则的新增、修改或删除。

30、所述目标推理模块以可配置的推理深度执行多步推理：

31、- 当推理深度为一时，所述目标推理模块从当前状态编码出发，查询状态转移规则库中所有以当前状态编码为起始状态的因果映射，将对应的目标状态编码加入候选目标状态集合；

32、- 当推理深度大于一时，所述目标推理模块从当前状态编码出发，经一个或多个中间状态编码的传递后确定候选目标状态集合。具体地，对于推理深度 d（d>1），所述目标推理模块以当前状态编码为起点，执行 d 步状态转移推理：在第 k 步（1≤k≤d），以第 k-1 步到达的状态编码为起始状态，查询状态转移规则库中所有以该状态编码为起始状态的因果映射，将对应的目标状态编码加入第 k 步的候选集合；将第 d 步到达的所有状态编码作为候选目标状态集合。

33、所述目标推理模块在推理深度大于一时，对推理路径进行评分，选择评分最高的推理路径所对应的末端状态作为候选目标状态。所述推理路径的评分基于路径中各步状态转移的转移权重的乘积或加权和计算。

34、所述候选评估函数包括以下评估维度的至少一种：

35、- 状态确定度评估：基于当前状态编码与候选目标状态编码之间的汉明距离计算。汉明距离越小表示从当前状态转移到候选目标状态所需的改变越少，确定度越高；

36、- 情境适配度评估：基于情境参数向量与候选目标状态编码的关联度计算。所述情境参数包括但不限于任务类型、环境状态、资源可用性、时间约束、安全等级；

37、- 历史偏好评估：基于偏好学习模块生成的偏好调制参数计算；

38、- 安全边界评估：基于候选目标状态是否属于预设保守状态集合判定。若候选目标状态属于保守状态集合，则安全边界评估得分较高。

39、所述情境适配度评估的具体计算方式为：将所述情境参数向量转换为六维情境向量，计算所述六维情境向量与候选目标状态编码的点积，除以情境向量模长与状态向量模长的乘积，得到归一化的关联度值。具体公式为：

40、a(candidate) = (v_context · v_candidate) / (||v_context|| × ||v_candidate||)

41、其中v_context为情境参数转换得到的六维情境向量，v_candidate为候选目标状态编码向量，·表示向量点积。当情境参数与候选目标状态高度匹配时，关联度值趋近于1；当两者不匹配时，关联度值趋近于0。

42、所述候选评估函数为各评估维度的加权和：

43、score(candidate) = w1× d(candidate) + w1× a(candidate) + w1× p(candidate) + w1× s(candidate)

44、其中 d 为状态确定度评估值，a 为情境适配度评估值，p 为历史偏好评估值，s为安全边界评估值，w1、w2、w3、w5为各评估维度的权重，所述权重为可配置参数。

45、目标推理模块选择优选分数最高的候选目标状态作为目标状态。

46、（4）路径规划模块

47、路径规划模块用于根据所述当前状态编码、所选目标状态编码和所述状态转移规则库，规划从当前状态到目标状态的状态转移路径。

48、所述状态转移路径由一个或多个中间状态编码构成的序列表示：

49、path = [s0, s1, s2, ..., sn]

50、其中 s0为当前状态编码，sn为目标状态编码，s1至 sn-1为中间状态编码。

51、所述路径规划模块规划的所述状态转移路径满足以下约束：

52、- 路径中相邻两个状态编码之间的汉明距离为一（即每一步只改变一个维度的取值）；

53、- 路径中的每一步状态转移均满足所述状态转移规则库中定义的转移条件；

54、- 所述状态转移路径的长度n为从当前状态编码到目标状态编码所需的最少状态转移步数，或为满足预设路径长度约束的步数。

55、所述路径规划模块采用图搜索算法（优选为 a* 算法或 dijkstra 算法）在所述状态空间中进行路径搜索，以汉明距离为启发式函数，以状态转移规则库中的转移权重为边代价。

56、当动态环境发生变化导致原定路径不可行时，所述路径规划模块触发路径重规划，以当前实际到达的状态编码为起点重新执行路径搜索。

57、（5）偏好学习模块

58、偏好学习模块用于记录每次状态转移的起始状态编码、目标状态编码和转移结果，根据历史转移经验生成偏好调制参数，并将所述偏好调制参数叠加到所述候选评估函数的计算中。

59、所述转移结果包括本次转移的反馈信号。所述反馈信号由系统根据状态转移后所述六维能量向量的统计方差相对于转移前所述六维能量向量的统计方差的变化方向自动生成，不依赖任何外部标签或人工标注：

60、- 当转移后统计方差低于转移前统计方差时，判定为正向反馈（“好”），表示本次转移使系统状态趋于确定；

61、- 当转移后统计方差高于转移前统计方差时，判定为负向反馈（“坏”），表示本次转移使系统状态趋于不确定。

62、所述统计方差的定义为：

63、u = (1/6)∑(e_i - ē)^2

64、其中 ē 为六维能量向量的均值，u 值度量系统各维度之间的分歧程度。

65、所述偏好学习模块维护一个偏好矩阵 m，大小为 n×n（n=64），存储于所述存储器的非易失性存储区域中，其中 m[i,j] 存储从状态 i 到状态 j 的历史统计信息，包括：转移次数、正向反馈次数、负向反馈次数、最近转移时间。

66、所述偏好学习模块根据所述偏好矩阵计算偏好调制参数 p(candidate)：

67、对于从当前状态c到候选目标状态 t 的转移：

68、若 m[c,t] 的总转移次数小于预设阈值（优选为3次），则 p(candidate) = 0；

69、若 m[c,t] 的总转移次数不小于预设阈值，则：

70、p(candidate) = (正反馈次数/总转移次数-0.5)×2×r

71、其中r为预设偏好权重范围，优选取值0.2。p(candidate) 的取值范围为 [-0.2,0.2]。

72、所述偏好学习模块在每次状态转移完成后更新所述偏好矩阵：将本次转移的起始状态编码、目标状态编码、反馈信号（正/负）存入偏好矩阵；更新该转移路径的总转移次数和正/负反馈次数。

73、2. 方法流程

74、一种基于状态空间推理的智能体自主目标决策方法，包括以下步骤：

75、步骤s1：状态感知。

76、通过传感器接口获取传感器输入数据，将智能体的当前状态表示为六维能量向量e=(e1,e2,e3,e4,e5,e6)，其中 e_i∈[0,1]。

77、将所述六维能量向量按预设阈值0.5二值化，得到六维二值编码向量，与基础状态类型集合进行匹配，确定当前状态编码。所述基础状态类型集合包含 种基础状态类型，每种类型对应唯一的六维二值编码向量。

78、步骤s2：目标推理。

79、获取传感器输入数据和系统内部状态数据作为情境参数，根据所述当前状态编码和所述情境参数，查询预设的状态转移规则库，确定候选目标状态集合。

80、所述状态转移规则库包含状态之间的因果关系映射，所述因果关系映射定义了从第一状态编码到第二状态编码的转移条件和转移方向。所述状态转移规则库存储于所述存储器的非易失性存储区域中。

81、通过候选评估函数计算各候选目标状态的优选分数，选择优选分数最高的候选目标状态作为目标状态。

82、所述候选评估函数包括以下评估维度的至少一种：状态确定度评估、情境适配度评估、历史偏好评估、安全边界评估。所述候选评估函数为各评估维度的加权和，各评估维度的权重为可配置参数。

83、步骤s3：路径规划。

84、根据所述当前状态编码、所述目标状态编码和所述状态转移规则库，规划从当前状态到目标状态的状态转移路径。

85、所述状态转移路径由一个或多个中间状态编码构成的序列表示。路径中相邻两个状态编码之间的汉明距离为一。所述状态转移路径的长度为从当前状态编码到目标状态编码所需的最少状态转移步数，或为满足预设路径长度约束的步数。

86、步骤s4：状态转移执行与偏好学习。

87、执行状态转移，记录本次转移的起始状态编码、目标状态编码和转移结果，更新偏好学习参数。

88、所述转移结果包括本次转移的反馈信号。所述反馈信号由系统根据状态转移后所述六维能量向量的统计方差相对于转移前所述六维能量向量的统计方差的变化方向自动生成：当转移后统计方差低于转移前统计方差时判定为正向反馈，当转移后统计方差高于转移前统计方差时判定为负向反馈。

89、所述偏好学习参数根据正向反馈次数占总反馈次数的比例更新。

90、（三）有益效果

91、与现有技术相比，本发明具有以下有益效果：

92、（1）实现了智能体对目标状态的自主推理能力。本发明通过状态转移规则库和候选评估函数，使智能体能够在缺乏外部指令的情况下，根据当前状态和情境参数自主推理确定最优目标状态，摆脱了对外部指令的依赖。

93、（2）提供了显式的、可解释的状态间因果关系表征。本发明通过状态转移规则库显式地编码状态之间的因果关系映射，使系统的目标推理过程具有可解释性——系统可以追溯“为什么选择这个目标”，而非黑箱决策。

94、（3）实现了多维度的候选目标综合评估。本发明综合状态确定度、情境适配度、历史偏好和安全边界四个维度进行目标选择，避免了单一维度评估的片面性，提高了目标选择的鲁棒性和适应性。

95、（4）提供了基于系统内部状态变化的轻量级偏好学习机制。本发明的偏好学习模块以系统自身的确定度变化（u值下降/上升）作为反馈信号，无需外部奖励信号或人工标注，实现了完全自监督的偏好学习，使系统能够从历史经验中持续优化目标选择。

96、（5）实现了从当前状态到目标状态的多步路径规划。本发明通过路径规划模块在状态空间中进行图搜索，支持系统规划从当前状态到目标状态的多步演化路径，并支持动态环境下的路径重规划。

97、（6）推理深度可配置。本发明的目标推理模块支持可配置的推理深度，可根据应用场景的复杂度和实时性要求灵活调整推理步数，在推理深度和计算效率之间取得平衡。

98、（7）通用性强。本发明不依赖特定应用场景，可作为各类智能体系统（机器人、自动驾驶、智能决策系统等）的通用自主目标决策模块。

99、（8）部署灵活。本发明可部署于边缘计算设备中，所述边缘计算设备包括车载域控制器、机器人主控芯片或嵌入式智能处理单元。所述状态转移规则库和偏好矩阵存储于所述边缘计算设备的非易失性存储器中，在系统启动时加载至所述处理器的运行内存中供调用。