基于视听资料的预定义行为认定方法、系统及装置与流程

本发明涉及计算机视觉与视听资料审查，尤其涉及一种基于视听资料的预定义行为认定方法、系统及装置。

背景技术：

1、当前，随着案件审查与证据核实过程中视听资料占比越来越高，如何快速、准确地对视听资料进行审核，并与现场勘查笔录、证人证言等证据交叉验证形成完整证据链条，是采取相应措施的重要决策依据。然而，当前对于视听资料的审查主要依靠检察官依据经验人工进行特定行为认定，一方面效率较低，尤其在视听资料量大且来源分散时，大量占用检察官的审查时长；另一方面，依靠人工经验同时完成多类资料的交叉比对往往需要反复核验，对经验及能力有较高要求，经验不足的检察官容易出现错漏。

2、随着基于计算机视觉的特定行为认定技术逐步成熟，其替代低效人工审查成为可能。然而，当前的技术方案在架构设计上普遍面临一个核心矛盾：如何同时满足检测的实时性需求与认定的高准确性要求。具体表现为：

3、（1）纯边缘计算方案：为满足时效性，通常在边缘设备部署轻量级模型。这类方案响应快、带宽占用低，但模型能力有限，在复杂场景（如严重遮挡、光线突变、行为模糊等）下，准确率显著下降，导致误报（如将嬉戏打闹判定为特定危害行为）和漏报频发。

4、（2）传统云边协同方案：为提升准确性，部分方案尝试将疑似事件对应的视频片段或图像帧直接上传云端，由大型模型进行深度分析。这种架构虽然能提高精度，但不加区分地传输原始图像或视频数据会占用巨额上行带宽，且云端大模型的高计算延迟导致系统整体响应变慢，无法满足对特定行为认定的快速响应需求。

5、（3）固定阈值检测方案：通过关键点检测和固定阈值来识别接触动作。这种方案代表了另一种常见思路，然而预设的固定识别阈值无法适应所有场景（如校园与商场的正常互动强度不同），在人员密集、检测框重叠时，难以有效区分一般碰撞与特定危害行为。

6、（4）依赖人工复核的方案：部分方案采用音视频融合检测，但在触发预警前需操作员进行二次判断。此方案试图在自动检测中引入人工判断以保证准确率，但却引入了新的问题：时效性差且可靠性存疑，人工复核环节严重拖慢响应速度，且在夜间或无人值守时段，该机制可能失效。同时，其准确性过度依赖操作员个人经验，缺乏稳定保障。

技术实现思路

1、本发明实施例提供一种应用于边缘端的基于视听资料的预定义行为认定方法，用以同时提升视听资料审核中预定义行为检测的实时性、认定的准确性和效率，并合理占用带宽，该方法包括：

2、利用预训练的目标检测模型对视听资料数据流进行预定义行为检测，输出初步类别判定结果；所述目标检测模型用于从视听资料数据中定位感兴趣区域，基于感兴趣区域确定初步类别判定结果；

3、评估初步类别判定结果的可靠性程度；

4、当可靠性程度高于设定阈值，根据初步类别判定结果输出最终检测结果；

5、当可靠性程度不高于设定阈值，基于初步类别判定结果关联的前后多帧连续视听资料数据形成感兴趣区域序列；

6、利用预先部署的端云语义对齐编码器对感兴趣区域序列进行逐帧编码，形成语义词元序列；所述语义词元包括基础层和增强层，基础层为第一语义表示，增强层为第二语义表示，第一语义表示的维度小于第二语义表示

的维度；所述端云语义对齐编码器与云端的词元映射升维模块预先完成端到端联合训练，所述词元映射升维模块的输出分布与云端大模型的输入分布相匹配；

7、将增强层缓存在边缘端，基础层上传至云端，以使云端：利用词元映射升维模块对基础层进行升维，得到升维词元；将升维词元输入至所述大模型，输出复核结论回传至边缘端；所述大模型先利用基础层的升维词元进行类别判定的第一级复核，当第一级复核的置信度低于预设仲裁阈值，云端向边缘端请求获取增强层，基于基础层和增强层的升维词元进行第二级复核，输出复核结论。

8、本发明实施例提供一种应用于云端的基于视听资料的预定义行为认定方法，用以同时提升视听资料审核中预定义行为检测的实时性、认定的准确性和效率，并合理占用带宽，该方法包括：

9、接收边缘端上传的语义词元序列的基础层；所述语义词元序列由边缘端利用端云语义对齐编码器对感兴趣区域序列逐帧编码得到，所述语义词元序列还包括缓存在边缘端的增强层；所述感兴趣区域序列是当边缘端对视听资料数据流进行预定义行为检测，输出的初步类别判定结果可靠性程度不高于设定阈值时，基于初步类别判定结果关联的前后多帧连续视听资料数据形成的；

10、利用词元映射升维模块对基础层进行升维，得到升维词元；所述词元映射升维模块与端云语义对齐编码器预先完成端到端联合训练，词元映射升维模块的输出分布与云端大模型的输入分布相匹配；

11、将升维词元不经解码还原直接输入至所述云端大模型进行类别判定的第一级复核；

12、当第一级复核的置信度低于预设仲裁阈值，向边缘端请求获取增强层；

13、基于基础层和增强层的升维词元进行第二级复核，输出复核结论回传至边缘端。

14、本发明实施例还提供一种基于视听资料的预定义行为认定系统，包括前述的边缘端和云端。

15、本发明实施例还提供一种基于视听资料的预定义行为认定装置，用以同时提升视听资料审核中预定义行为检测的实时性、认定的准确性和效率，并合理占用带宽，该装置应用于边缘端，该装置包括：

16、初步检测模块，用于利用预训练的目标检测模型对视听资料数据流进行预定义行为检测，输出初步类别判定结果；所述目标检测模型用于从视听资料数据中定位感兴趣区域，基于感兴趣区域确定初步类别判定结果；

17、初步检测结果评估模块，用于评估初步类别判定结果的可靠性程度；

18、结果输出模块，用于当可靠性程度高于设定阈值，根据初步类别判定结果输出最终检测结果；

19、语义词元编码模块，用于当可靠性程度不高于设定阈值，基于初步类别判定结果关联的前后多帧连续视听资料数据形成感兴趣区域序列；利用预先部署的端云语义对齐编码器对感兴趣区域序列进行逐帧编码，形成语义词元序列；所述语义词元包括基础层和增强层，基础层为第一语义表示，增强层为第二语义表示，第一语义表示的维度小于第二语义表示的维度；所述端云语义对齐编码器与云端的词元映射升维模块预先完成端到端联合训练，所述词元映射升维模块的输出分布与云端大模型的输入分布相匹配；

20、端云通信模块，用于将增强层缓存在边缘端，基础层上传至云端，以使云端：利用词元映射升维模块对基础层进行升维，得到升维词元；将升维词元输入至所述大模型，输出复核结论回传至边缘端；所述大模型先利用基础层的升维词元进行类别判定的第一级复核，当第一级复核的置信度低于预设仲裁阈值，云端向边缘端请求获取增强层，基于基础层和增强层的升维词元进行第二级复核，输出复核结论。

21、本发明实施例还提供一种基于视听资料的预定义行为认定装置，用以同时提升视听资料审核中预定义行为检测的实时性、认定的准确性和效率，并合理占用带宽，该装置应用于云端，该装置包括：

22、数据接收模块，用于接收边缘端上传的语义词元序列的基础层；所述语义词元序列由边缘端利用端云语义对齐编码器对感兴趣区域序列逐帧编码得到，所述语义词元序列还包括缓存在边缘端的增强层；所述感兴趣区域序列是当边缘端对视听资料数据流进行预定义行为检测，输出的初步类别判定结果可靠性程度不高于设定阈值时，基于初步类别判定结果关联的前后多帧连续视听资料数据形成的；

23、升维模块，用于利用词元映射升维模块对基础层进行升维，得到升维词元；所述词元映射升维模块与端云语义对齐编码器预先完成端到端联合训练，词元映射升维模块的输出分布与云端大模型的输入分布相匹配；

24、复合判定模块，用于将升维词元输入至大模型进行类别判定的第一级复核；当第一级复核的置信度低于预设仲裁阈值，向边缘端请求获取增强层；基于基础层和增强层的升维词元进行第二级复核，输出复核结论回传至边缘端。

25、本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于视听资料的预定义行为认定方法。

26、本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于视听资料的预定义行为认定方法。

27、本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述基于视听资料的预定义行为认定方法。

28、本发明实施例中先在边缘端利用目标检测模型进行初步的预定义行为判定，当初步类别判定结果可靠时，直接输出结果，当初步类别判定结果不可靠时，确定需要向云端大模型请求复核。首先提取感兴趣区域序列，然后利用预先部署的端云语义对齐编码器对感兴趣区域序列进行逐帧编码，形成语义词元序列，该语义词元包括基础层和增强层，且端云语义对齐编码器与云端的词元映射升维模块预先完成端到端联合训练，该词元映射升维模块的输出分布与云端大模型的输入分布相匹配，将增强层缓存在边缘端，基础层上传至云端，在云端利用词元映射升维模块对基础层进行升维，得到升维词元无需解码等操作，直接输入至大模型，大模型先利用基础层进行第一级复核，当第一级复核的置信度低于预设仲裁阈值，云端向边缘端请求获取增强层，基于基础层和增强层联合进行第二级复核。本发明实施例中仅在边缘端初步判定结果不可靠时上传云端数据，且并不是全部都上传到云端，而是编码基础层和增强层，首次仅将基础层上传至云端，当云端大模型判定需要增强层时，再上传增强层至云端，合理占用带宽，有助于提高处理效率。同时，本发明实施例中建立了免解码直连通路，通过在边缘端将视觉信息编码为与云端大模型嵌入空间对齐的语义视觉词元，使边缘端视觉信息经一次编码即可被云端视觉语言大模型直接理解，云端对上传数据零解码还原、零二次特征提取，直接提升了视听资料审核中预定义行为检测的实时性、认定的准确性和效率。