视频行为解析与记忆写入方法、装置和计算机设备与流程

本发明涉及计算机视觉、流式数据处理与人工智能，尤其涉及一种视频行为解析与记忆写入方法、装置和计算机设备。

背景技术：

1、对多路视频数据流处理时，普遍采用固定窗口全量帧重算的处理模式，无法实现增量特征复用，存在大量重复计算，整体算力开销大、实时处理效率低。此外，现有技术缺乏分层记忆管控机制，未区分动态观测的临时事件假设与核验完成的可信事件，无法实现行为事件的分级存储与迭代更新。既无法对实时观测的候选事件进行动态留存优化，也不能对高可信稳定事件进行有效固化存储，缺失精细化的事件筛选与记忆管理逻辑，导致视频行为解析的实时性、稳定性和数据管理规范性难以满足实际场景使用需求。

技术实现思路

1、本发明实施例提供一种视频行为解析与记忆写入方法、装置、计算机设备及存储介质，以解决现有视频行为识别采用全量重算，算力开销大，缺少分层记忆管控机制，识别结果稳定性差且难以追溯的技术问题。

2、一种视频行为解析与记忆写入方法，包括：

3、对多路数据流进行解析处理，得到标准化帧序列，并对标准化帧序列进行滑动时间窗的增量解析，确定窗级特征；

4、确定标准化帧序列中每个主体对应的目标置信度和一致性分数；

5、根据目标置信度和短期工作记忆库，构建窗级特征关联的结构化候选事件；

6、对目标置信度和一致性分数进行门控判决，以将候选事件写入短期工作记忆库或长期工作记忆库。

7、在一个实施例中，对标准化帧序列进行滑动时间窗的增量解析，确定窗级特征，包括：确定滑动时间窗的窗口参数；窗口参数包括窗口长度和步长；按照窗口参数对标准化帧序列进行增量解析，将当前窗口与上一窗口的重叠部分复用已缓存的历史特征，并将上一窗口的窗级特征和历史特征进行融合，得到当前窗口的窗级特征；根据窗级特征随行为语义变化的动态分配情况，确定语义变化分值；根据语义变化分值对应的阈值区间对步长进行调整，以根据新的步长得到新的窗级特征。

8、在一个实施例中，确定标准化帧序列中每个主体对应的目标置信度和一致性分数，包括：对标准化帧序列进行多目标识别，得到识别结果；识别结果包括外观特征、运动特征、关键帧、轨迹片段、身份关联结果；通过外观特征、运动特征和上一窗口的历史置信度，得到当前窗口的目标置信度；根据识别结果构建跨窗证据图；跨窗证据图以不同窗口输出的识别结果作为节点，节点之间构建时间、空间、主体、语义类关系的边；根据跨窗证据图确定行为假设的一致性分数。

9、在一个实施例中，通过外观特征、运动特征和上一窗口的历史置信度，得到当前窗口的目标置信度，包括：将外观特征和运动特征进行特征融合，得到融合特征；对融合特征进行分类头的概率分布和修正处理，得到初始置信度；短期工作记忆库中存在主体关联的行为假设时，对上一窗口的历史置信度和当前窗口的初始置信度做时间平滑，得到当前窗口的目标置信度。

10、在一个实施例中，跨窗证据图中的边至少包括时间连续边、同主体边、空间邻接边、支持边及冲突边，每条边至少记录边类型、关系强度、产生窗口id和证据有效期；根据跨窗证据图确定行为假设的一致性分数，包括：确定跨窗证据图中支持边的聚合强度、冲突边的聚合强度、事件持续性；支持边表征时间连续、轨迹连续和动作阶段连续的边；冲突边表征身份不一致、动作互斥、位置不可迁移和相反场景状态的边；根据支持边的聚合强度、冲突边的聚合强度、事件持续性和各自对应的学习权重，确定行为假设的字段中的一致性分数。

11、在一个实施例中，根据目标置信度和短期工作记忆库，构建窗级特征关联的结构化候选事件，包括：获取标准化帧序列对应的识别结果；识别结果包括行为类型概率、身份_id、关键帧及局部事件质量；在短期工作记忆中库检索是否存在识别结果关联的行为假设；若存在，则将识别结果中的信息更新至行为假设的字段中，若不存在，则根据目标置信度新建行为假设；将跨窗证据图和一致性分数，与行为假设中的各项字段进行关联，并组装成与窗级特征相关联的结构化候选事件。

12、在一个实施例中，还包括：将同一主体关联的多路候选事件聚合成事件簇，并通过事件簇对跨窗证据图进行更新；事件簇的共识分数为多路场景的辅助判决因子。

13、在一个实施例中，对目标置信度和一致性分数进行门控判决，以将候选事件写入短期工作记忆库或长期工作记忆库，包括：获取门控信息；门控信息包括低置信阈值、高置信阈值、窗数阈值、一致性阈值；当目标置信度小于低置信阈值时，将候选事件丢弃或继续观察；当目标置信度属于低置信阈值和高置信阈值构成的区间时，将候选事件写入短期工作记忆库；当目标置信度大于高置信阈值，且候选事件关联的连续稳定窗数大于窗数阈值、一致性分数大于一致性阈值时，将候选事件写入长期工作记忆库。

14、在一个实施例中，长期工作记忆库的写入采用预提交、确认提交和补偿回滚的事务化过程；将候选事件写入长期工作记忆库，包括：在预提交阶段，为候选事件添加标识数据，生成预提交条目；标识数据包括事件标识event_id、父版本标识parent_version_id、证据图摘要、有效期ttl及提交令牌commit_token；在确认提交阶段，若有效期ttl内，新增窗口继续满足目标置信度和一致性分数的门控判决，将预提交条目升级为正式条目；正式条目包括版本哈希、最终起止时间、确认窗口集合、不可变证据索引；在补偿回滚阶段，出现高可信冲突证据时，将候选事件生成补偿条目；补偿条目用于触发回溯校正，推送候选事件的修正信息至短期工作记忆库。

15、在一个实施例中，长期工作记忆库采用结构化库存储事件明细，并写入向量摘要以支持语义检索、或按时间窗进行分片管理，包括：获取多个价值参数；价值参数包括目标置信度、一致性分数、偏离程度、影响程度、未来查询收益、存储空间和计算开销；根据多个价值参数和各自对应的权重，计算候选事件的记忆价值；根据记忆价值和预设值之间的大小，对候选事件关联的多种条目进行分层的结构化存储。

16、一种视频行为解析与记忆写入装置，包括：

17、流式预处理模块，用于对多路数据流进行解析处理，得到标准化帧序列；

18、滑动窗增量解析模块，用于对标准化帧序列进行滑动时间窗的增量解析，确定窗级特征；

19、行为假设管理模块，用于确定标准化帧序列中每个主体对应的目标置信度和一致性分数，并根据目标置信度和短期工作记忆库，构建窗级特征关联的结构化候选事件；

20、置信与一致性门控模块，用于对目标置信度和一致性分数进行门控判决；

21、工作记忆写入模块，用于将候选事件写入短期工作记忆库或长期工作记忆库。

22、一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述视频行为解析与记忆写入方法。

23、一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述视频行为解析与记忆写入方法。

24、上述视频行为解析与记忆写入方法、装置、计算机设备及存储介质，通过多路数据流预处理得到标准化帧序列，借助滑动时间窗增量解析计算窗级特征，复用历史特征减少重复计算，降低实时处理算力开销。针对各主体求解置信度与一致性分数，依托短期工作记忆库构建结构化候选事件；基于置信度、一致性分数实施门控判决，区分候选事件是存入短期记忆或晋升至长期记忆。因此，本方案实现了事件假设动态观测与可信事件持久固化分离，为事件后续事务化校验、版本追溯与分层存储提供基础，提升视频行为解析的稳定性与可追溯性。