基于大模型智能体的异常行为多模态识别方法及系统与流程

本发明涉及异常行为识别领域，具体是涉及一种基于大模型智能体的异常行为多模态识别方法及系统。

背景技术：

1、随着安防监控、智慧交通、工业巡检等领域的快速发展，异常行为识别技术已成为保障公共安全与生产安全的重要手段。传统的异常行为识别方法主要分为两类：一类是基于手工特征提取与分类器的监督学习方法，该类方法依赖大量标注的异常样本进行训练，但异常行为具有偶发性和多样性，难以获取充足的标注数据，且无法识别未出现在训练集中的未知异常类型；另一类是基于重构误差或预测误差的无监督学习方法，该类方法通过构建正常行为基线，计算当前行为与基线之间的数值偏差来判定异常，无需标注异常样本，具有较强的泛化能力。然而，上述方法均存在一个共同的局限性：它们将异常行为识别视为单纯的数值计算问题，通过提取底层特征（如光流、轨迹、骨骼关键点等）构建特征空间，在该空间内计算距离或误差，这种处理方式丢失了行为的语义信息，无法理解行为发生的上下文和意图，例如，一个人在医院走廊快速奔跑，可能是急救（正常）也可能是斗殴（异常），仅靠运动特征无法区分；一个人在深夜进入实验室，可能是加班（正常）也可能是盗窃（异常），仅靠轨迹特征无法判断，这种“语义鸿沟”导致传统方法在复杂动态场景中误报率和漏报率居高不下。

2、近年来，大语言模型和多模态大模型展现出强大的语义理解与推理能力，为异常行为识别提供了新的技术路径，如何利用大模型理解行为语义、融合多模态信息、进行因果推理与对抗验证，构建具有可解释性的异常行为识别方法，是当前技术发展的重要方向。

3、现有异常行为识别方法将识别过程视为特征空间内的数值计算问题，通过提取底层特征构建正常基线并计算偏差，这种方法丢失了行为的语义信息与上下文关联，无法理解行为意图，难以区分语义相同但场景不同的行为，导致复杂动态场景下的误报率和漏报率居高不下，且判定结果缺乏可解释性。

技术实现思路

1、为解决上述技术问题，提供一种基于大模型智能体的异常行为多模态识别方法及系统，本技术方案解决了上述背景技术中提出的现有异常行为识别方法将识别过程视为特征空间内的数值计算，丢失了行为的语义信息与上下文关联，无法理解行为意图，难以区分语义相同但场景不同的行为问题。

2、为达到以上目的，本发明采用的技术方案为：

3、一种基于大模型智能体的异常行为多模态识别方法，包括：

4、构建大模型智能体架构，所述大模型智能体架构由感知智能体、反事实推理智能体、正方智能体、反方智能体及裁判智能体构成；

5、获取目标场景的多模态数据流，生成结构化行为语义序列，并将生成结构化行为语义序列的功能封装为感知智能体；

6、根据结构化行为语义序列中的前半段观测数据，生成预期结果语义描述，计算其与实际结果语义描述之间的语义偏离向量作为辩论锚点，并将生成预期结果语义描述和计算语义偏离向量的功能封装为反事实推理智能体；

7、根据辩论锚点，构建正方与反方的对抗辩论网络，生成行为正常假设与行为异常假设，进行多轮辩论，并将生成行为正常假设的功能封装为正方智能体，生成行为异常假设的功能封装为反方智能体；

8、根据辩论过程中产生的正方论点序列与反方论点序列，评估逻辑一致性、证据充分性及场景规则符合程度，裁决当前行为是否异常，并将裁决当前行为是否异常功能封装为裁判智能体；

9、输出裁决结果，并附带胜诉方在辩论过程中形成的完整证据链作为异常判定依据。

10、优选的，所述获取目标场景的多模态数据流，生成结构化行为语义序列包括：

11、获取目标场景的多模态数据流，所述多模态数据流包括但不限于：视觉数据、音频数据及文本数据；

12、将多模态数据流中的连续帧序列按时间顺序划分为若干个等长的时序窗口，提取每个窗口的多模态语义特征向量；

13、计算相邻窗口的多模态语义特征向量之间的语义突变度，将语义突变度超过动态阈值的时间点标记为语义事件边界；

14、根据语义事件边界进行跨模态语义锚点匹配，将满足互信息量阈值且时间差在预设窗口内的事件对标记为跨模态语义锚点；

15、以跨模态语义锚点为基准，对多模态数据流进行非线性对齐，消除多源传感器之间的时间偏移；

16、根据语义事件边界将对齐后的多模态数据流切分为原子行为片段；

17、对每个原子行为片段进行结构化语义标注，提取行为元组字段，形成结构化行为语义序列。

18、优选的，所述根据结构化行为语义序列中的前半段观测数据，生成预期结果语义描述，计算其与实际结果语义描述之间的语义偏离向量作为辩论锚点包括：

19、从结构化行为语义序列中提取当前行为前半段观测数据，所述前半段观测数据为从行为起始时间戳到当前时间戳的行为元组子集；

20、结合场景上下文信息执行因果推断，按照预设的文本模板，生成该行为在正常场景下应产生的预期结果语义描述；

21、所述场景上下文信息包括时间属性、空间属性、人物角色、设备状态及历史正常模式；

22、从结构化行为语义序列中提取当前行为完整观测数据对应的行为元组序列，按照预设的文本模板转换为自然语言描述，作为实际结果语义描述；

23、将预期结果语义描述编码生成第一语义嵌入向量，并与正常行为模板库中的语义嵌入向量进行相似度匹配，选取相似度最高的若干条模板，将选取的模板中的语义特征向量按照相似度加权融合，生成第一语义特征向量；

24、将实际结果语义描述编码生成第二语义嵌入向量，并与正常行为模板库中的语义嵌入向量进行相似度匹配，选取相似度最高的若干条模板，将选取的模板中的语义特征向量按照相似度加权融合，生成第二语义特征向量；

25、计算第一语义特征向量与第二语义特征向量之间的差值，得到语义偏离向量，并将该语义偏离向量作为辩论锚点。

26、优选的，所述根据辩论锚点，构建正方与反方的对抗辩论网络，生成行为正常假设与行为异常假设，进行多轮辩论包括：

27、以辩论锚点及场景上下文信息作为输入，基于辩论锚点中的偏离值，结合场景上下文信息生成行为正常假设，并检索结构化行为语义序列中支持该假设的多模态证据，生成正方论点；

28、以辩论锚点及场景上下文信息作为输入，基于辩论锚点中的偏离值，结合场景上下文信息生成行为异常假设，并检索结构化行为语义序列中支持该假设的多模态证据，生成反方论点；

29、按照预设的辩论协议进行多轮结构化辩论，每轮发言包含论点陈述及证据引用，反驳发言包含反驳陈述及反证引用；

30、当正方与反方连续两轮均无法提出新证据或新论点时，辩论提前终止。

31、优选的，所述根据辩论过程中产生的正方论点序列与反方论点序列，评估逻辑一致性、证据充分性及场景规则符合程度，裁决当前行为是否异常包括：

32、获取辩论过程中产生的正方论点序列与反方论点序列，每个论点序列包含若干轮次的论点及对应的证据引用；

33、分别对正方论点序列与反方论点序列进行逻辑一致性评估，所述逻辑一致性评估通过检测论点序列中是否存在自相矛盾的陈述实现；

34、分别对正方论点序列与反方论点序列进行证据充分性评估，所述证据充分性评估通过统计引用的多模态证据数量、证据与论点的相关性得分以及证据的时间覆盖度加权计算实现；

35、分别对正方论点序列与反方论点序列进行场景规则符合度评估，所述场景规则符合度评估通过将论点与外部知识库中存储的场景规则进行语义匹配实现；

36、将逻辑一致性得分、证据充分性得分与场景规则符合度得分进行加权求和，分别生成正方综合得分与反方综合得分；

37、比较正方综合得分与反方综合得分，若反方综合得分高于正方综合得分，则裁决当前行为为异常，否则裁决为正常。

38、进一步的，本方案提出一种基于大模型智能体的异常行为多模态识别系统，用于实现如上述的基于大模型智能体的异常行为多模态识别方法，包括：

39、智能体架构模块，所述智能体架构模块用于构建大模型智能体架构，所述大模型智能体架构由感知智能体、反事实推理智能体、正方智能体、反方智能体及裁判智能体构成；

40、智能体封装模块，所述智能体封装模块用于获取目标场景的多模态数据流，生成结构化行为语义序列，并将生成结构化行为语义序列的功能封装为感知智能体；根据结构化行为语义序列中的前半段观测数据，生成预期结果语义描述，计算其与实际结果语义描述之间的语义偏离向量作为辩论锚点，并将生成预期结果语义描述和计算语义偏离向量的功能封装为反事实推理智能体；根据辩论锚点，构建正方与反方的对抗辩论网络，生成行为正常假设与行为异常假设，进行多轮辩论，并将生成行为正常假设的功能封装为正方智能体，生成行为异常假设的功能封装为反方智能体；根据辩论过程中产生的正方论点序列与反方论点序列，评估逻辑一致性、证据充分性及场景规则符合程度，裁决当前行为是否异常，并将裁决当前行为是否异常功能封装为裁判智能体；

41、异常判定模块，所述异常判定模块用于输出裁决结果，并附带胜诉方在辩论过程中形成的完整证据链作为异常判定依据。

42、优选的，所述智能体封装模块包括：

43、感知智能体封装单元，所述感知智能体封装单元用于获取目标场景的多模态数据流，生成结构化行为语义序列，并将生成结构化行为语义序列的功能封装为感知智能体；

44、推理智能体封装单元，所述推理智能体封装单元用于根据结构化行为语义序列中的前半段观测数据，生成预期结果语义描述，计算其与实际结果语义描述之间的语义偏离向量作为辩论锚点，并将生成预期结果语义描述和计算语义偏离向量的功能封装为反事实推理智能体；

45、正反方智能体封装单元，所述正反方智能体封装单元用于根据辩论锚点，构建正方与反方的对抗辩论网络，生成行为正常假设与行为异常假设，进行多轮辩论，并将生成行为正常假设的功能封装为正方智能体，生成行为异常假设的功能封装为反方智能体；

46、裁判智能封装单元，所述裁判智能封装单元用于根据辩论过程中产生的正方论点序列与反方论点序列，评估逻辑一致性、证据充分性及场景规则符合程度，裁决当前行为是否异常，并将裁决当前行为是否异常功能封装为裁判智能体。

47、与现有技术相比，本发明的有益效果在于：

48、本发明提供一种基于大模型智能体的异常行为多模态识别方法及系统，本方案通过构建了感知、反事实推理、正方辩论、反方辩论及裁判裁决五位一体的大模型智能体架构，通过结构因果模型实现反事实预期推理，并以语义偏离向量作为辩论锚点驱动正反智能体开展多轮对抗论证，由裁判智能体依据逻辑一致性、证据充分性与场景规则符合性完成量化裁决，不仅有效提升复杂多模态环境下异常行为识别的准确性与鲁棒性，还实现了判决过程可解释、识别依据可追溯、证据链可留存，同时借助经验库实现历史案例复用与智能体能力持续迭代，有效解决了传统方法黑盒推理、可解释性差、易受干扰、泛化性弱及逻辑校验缺失等问题，具备更高的可靠性、实用性与场景适配能力。