一种基于自然语言意图和AI日志的视频证据按需回拉及内容生成方法、系统、设备和介质与流程

本发明涉及视频智能分析、摄像头数据处理、mqtt消息接入、ai日志分析、智能任务编排、视频证据回拉、网页内容生成、对象存储和移动端推送，尤其涉及一种根据用户自然语言意图，在摄像头ai日志中筛选事件数据，按需拉取原始图片、关键帧或视频片段，并生成可由应用端访问的html结果文件的方法、系统、设备和介质。

背景技术：

1、现有视频监控和视频分析系统通常采用持续上传或集中存储原始视频的方式，以便用户后续检索和回看。该方式能够保存完整视频证据，但在摄像头数量较多、视频保存周期较长或移动端访问频繁时，会产生较高的带宽、存储、检索计算和隐私管理成本。

2、另一类系统由摄像头或边缘设备先执行ai分析，仅向平台上传ai日志，例如人脸、人形、车辆、移动侦测、云台事件、设备网络状态、存储卡状态、补光灯状态等日志。该方式能够降低上传数据量，但ai日志通常通过不同mqtt主题上报，字段结构和事件语义不完全一致，平台需要对不同主题的日志进行分类解析和统一建模，否则难以形成可读的事件链、故事线和证据组织方式。

3、在实际工程中，人脸、人形、车辆等ai日志除摄像头编号、事件时间、事件类型、全局唯一标识、开始时间和结束时间等基础字段外，还可能包含坐标框、目标属性、检测结果明细等原始上报内容。如果系统在日志入库、默认检索或候选事件生成阶段即对所有原始上报内容进行解析和运算，会在摄像头数量较多或上报频率较高时带来额外计算压力，影响日志写入、检索和事件筛选效率。

4、此外，现有系统多依赖固定筛选项完成查询，难以处理“帮我看看门口刚才发生了什么”“生成最近人员活动的故事剪辑”等自然语言请求。即使系统能够按时间回看视频，也通常缺少将生成内容、ai日志节点、摄像头编号、事件时间、全局唯一标识、图片、关键帧和视频片段绑定的机制，导致生成内容难以追溯。对于应用端而言，如果直接返回大量图片和视频文件，也会增加网络传输量和移动端渲染压力。

5、因此，需要一种能够在默认仅上传ai日志的基础上，对不同mqtt主题的日志进行统一解析，根据用户自然语言意图构建事件链，仅在需要生成故事剪辑、证据展示、目标标签提取或主题校验时按需解析原始ai日志源数据并回拉原始证据，并将大模型生成的结构化结果填充至html模板后通过对象存储链接提供给应用端的技术方案。

技术实现思路

1、本发明提供一种基于自然语言意图和ai日志的视频证据按需回拉及内容生成方法。摄像头或边缘设备默认通过不同mqtt主题上传ai日志，而非持续上传完整原始视频。平台接收用户在应用端输入的自然语言请求后，先根据用户权限确定可访问的摄像头集合，再通过智能任务编排流程对自然语言请求进行增强重写和意图解析，得到结构化意图参数。

2、本发明中的智能任务编排流程可以称为agent流程，但该agent流程并非限定为单一大模型或单一软件框架，而是部署于平台侧的一组任务处理模块或子流程集合。该集合可以包括自然语言增强重写、意图解析、检索条件生成、候选ai日志筛选、事件链构建、故事剪辑任务生成、证据回拉任务生成、大模型调用、json结果生成、html模板填充、主题一致性校验和推送决策中的一个或多个子流程。在实际系统中可以存在多个agent，本发明仅限定其中与视频证据按需回拉及内容生成相关的部分流程。

3、所述ai日志可以通过多个mqtt主题上传，例如云台事件主题、全景移动侦测主题、全景人形检测主题、云台人形检测主题、云台人脸检测主题、全景图片主题、设备网络状态主题、存储卡状态主题、补光灯信息主题、本地ai日志信息主题和云台跟踪事件主题。系统根据mqtt主题确定日志类型，并调用对应解析器将不同类型日志统一转换为事件单元。事件单元可以包括camera_id、event_time、event_type、u_id、start_time、end_time、target_type、confidence、device_status、topic_type、evidence_status和source等字段。其中，camera_id、event_time、event_type、u_id、start_time和end_time可以作为基础字段用于默认检索和候选事件生成，source字段用于存储ai日志的原始源数据，例如人形、人脸、车辆、移动侦测或云台跟踪日志中的坐标框、目标属性或检测结果明细。系统默认不对source字段进行全量解析，仅在需要进一步运算、目标标签提取、证据回拉、内容生成或主题一致性校验时按需解析，从而减少无关源数据处理量。

4、设备网络状态日志、存储卡状态日志和补光灯状态日志可以作为设备状态辅助信息使用。例如，在确定证据可回拉性、判断设备是否离线、识别文件不存在或存储异常原因、解释画面质量或补光状态时，系统可以结合上述设备状态日志，而不是将其作为必须生成故事剪辑的主体事件。

5、当自然语言请求缺少时间范围时，系统默认以当前时间作为结束时间，以当前时间向前预设时长作为开始时间，例如向前30分钟作为默认检索时间段。若除时间范围以外的描述仍不足以确定主题、空间范围或目标类型，系统向应用端请求用户补充信息，而不是在不明确范围内扩大数据处理。

6、系统根据结构化意图参数在权限范围内检索候选ai日志，对候选事件进行评分，并构建事件链。当事件链与用户主题匹配且需要生成故事剪辑时，系统根据关键事件节点生成证据回拉任务。证据回拉任务可以通过u_id定位唯一数据，也可以通过camera_id与event_time定位唯一数据。对于按固定分段周期存储的视频，系统向设备或存储服务传入开始时间和结束时间，拉取该时间范围内的一个或多个视频片段，并在后端合成。

7、回拉成功后，系统将图片、关键帧、视频片段等原始证据上传至对象存储服务，获得对应文件地址。系统调用大模型，根据预设提示词、事件链、ai日志、按需解析得到的source字段信息、证据地址和标签信息生成结构化json结果。随后，系统将json结果填充至预定义html模板，形成包含视频、图片、文字描述和标签信息的完整html文件，并将该html文件上传至对象存储服务。应用端仅接收html访问链接，从而减少移动端一次性接收大量视频、图片和结构化数据的带宽压力。

8、推送前，系统对html文件对应的主题与用户请求主题进行关键词或主题匹配校验。校验通过时，将html访问链接推送至应用端；校验未通过时，不主动重新生成内容，等待应用端用户点击重新生成后再次触发流程。当原始证据拉取失败时，系统记录设备离线、网络超时、文件不存在等失败类型，并在用户请求范围和权限范围内向应用端输出失败告知。

1.一种基于自然语言意图和ai日志的视频证据按需回拉及内容生成方法，其特征在于，包括：接收用户通过应用端输入的自然语言请求，并根据所述用户的权限范围确定可访问的摄像头集合；通过平台侧的智能任务编排流程对所述自然语言请求进行增强重写和意图解析，得到结构化意图参数，所述智能任务编排流程至少包括自然语言增强重写、意图解析、检索条件生成、候选事件筛选、事件链构建、故事剪辑任务生成、内容生成和主题一致性校验中的一个或多个子流程；根据所述结构化意图参数在所述可访问的摄像头集合对应的ai日志中检索候选事件；根据检索到的候选事件确定需要回拉原始证据的关键事件节点，并生成与所述关键事件节点对应的证据回拉任务；按照所述证据回拉任务按需拉取原始图片、关键帧或视频片段；根据所述候选事件、关键事件节点和按需拉取的原始证据生成结构化json结果；将所述结构化json结果填充至预定义html模板以生成完整html文件，将所述完整html文件上传至对象存储服务，并将对象存储服务返回的html访问链接推送至应用端。

2.根据权利要求1所述的方法，其特征在于，所述根据结构化意图参数在所述可访问的摄像头集合对应的ai日志中检索候选事件包括：不同类型的ai日志通过不同mqtt主题上传，并被统一解析为事件单元；对所述候选事件进行评分，并基于评分结果构建事件链和确定关键事件节点及其证据回拉优先级；当所述结构化意图参数指示需要生成故事剪辑时，根据所述关键事件节点生成证据回拉任务；按照所述证据回拉任务按需拉取原始图片、关键帧或视频片段，并将拉取到的原始证据与对应ai日志节点建立绑定关系；调用大模型根据所述事件链、ai日志节点、绑定的原始证据和预设提示词生成结构化json结果。

3.根据权利要求1所述的方法，其特征在于，所述ai日志包括人脸识别日志、人形识别日志、车辆识别日志、云台事件日志、移动侦测日志、设备网络状态日志、存储卡状态日志、补光灯状态日志、本地ai日志信息和云台跟踪事件日志中的至少一种；所述ai日志包括基础字段和源数据字段，所述基础字段包括camera_id、event_time、event_type、u_id、start_time和end_time中的一种或多种，其中u_id为事件或目标的全局唯一标识，所述源数据字段用于存储对应ai日志的原始载荷数据。

4.根据权利要求3所述的方法，其特征在于，所述源数据字段为source字段，所述source字段用于存储人形检测、人脸检测、车辆检测、移动侦测或云台跟踪ai日志中的坐标框、目标属性、检测结果明细或原始上报内容；系统在默认检索、候选事件生成或事件链构建阶段不解析或不完全解析所述source字段，并在需要进行进一步运算、证据回拉、目标标签提取、内容生成或主题一致性校验时，才对所述source字段进行按需解析。

5.根据权利要求2所述的方法，其特征在于，所述不同mqtt主题包括用于上传云台事件、全景移动侦测、全景人形检测、云台人形检测、云台人脸检测、全景图片、设备网络状态、存储卡状态、补光灯信息、本地ai日志信息和云台跟踪事件中的一个或多个主题；系统根据mqtt主题确定日志类型，并调用与所述日志类型对应的解析器将ai日志转换为统一事件单元；其中设备网络状态日志、存储卡状态日志和补光灯状态日志用于在候选事件筛选、证据可回拉性判断、失败原因识别或内容生成时提供设备状态辅助信息。

6.根据权利要求1所述的方法，其特征在于，所述结构化意图参数包括时间范围、空间范围、目标类型、事件主题、输出形式和用户权限约束中的一种或多种；当所述自然语言请求缺少时间范围时，以当前时间作为结束时间、以当前时间向前预设时长作为开始时间生成默认时间范围；当除时间范围以外的描述信息不足以确定检索主题或空间范围时，向应用端返回补充信息请求。

7.根据权利要求2所述的方法，其特征在于，对所述候选事件进行评分包括根据主题匹配度、时间匹配度、空间匹配度、事件类型匹配度、事件连续性、全局唯一标识关联关系、设备可用性、对象标签匹配度、场景标签匹配度和原始证据可回拉性中的一种或多种计算候选事件得分。

8.根据权利要求2所述的方法，其特征在于，构建事件链包括基于候选事件之间的时间连续性、摄像头位置关系、全局唯一标识、目标类型关联关系、设备状态关联关系和mqtt主题对应的日志类型关联关系，将多个ai日志节点组织为与所述自然语言请求对应的事件链。

9.根据权利要求1或2所述的方法，其特征在于，所述证据回拉任务根据u_id定位唯一数据，或者根据摄像头编号与事件时间定位唯一数据；所述视频片段由设备按预设分段周期存储，所述证据回拉任务包括开始时间和结束时间，系统根据所述开始时间和结束时间拉取该时间范围内的一个或多个视频片段，并在后端对所述一个或多个视频片段进行合成。

10.根据权利要求2所述的方法，其特征在于，将拉取到的原始证据与对应ai日志节点建立绑定关系包括建立html文件中的描述单元、标签单元、图片单元、视频单元、ai日志节点、摄像头编号、事件时间、事件类型、全局唯一标识、证据文件地址或证据索引之间的映射关系。

11.根据权利要求1所述的方法，其特征在于，所述完整html文件包括视频、图片、文字描述和标签信息；所述视频、图片或关键帧通过对象存储服务文件地址被所述html文件引用，所述标签信息包括风险状态标签、场景标签、主题标签和对象标签中的一种或多种。

12.根据权利要求1所述的方法，其特征在于，当原始图片、关键帧或视频片段拉取失败时，记录失败类型和证据缺失范围，向应用端输出失败提醒，且仅处理所述用户请求范围和权限范围内的数据；所述失败类型包括设备离线、网络超时和文件不存在中的一种或多种。

13.根据权利要求1所述的方法，其特征在于，在推送所述html访问链接之前，对所述完整html文件对应的内容主题与所述结构化意图参数中的事件主题进行关键词或主题匹配校验；当校验通过时推送所述html访问链接，当校验未通过时不主动重新生成，并等待应用端接收到用户重新生成指令后再次触发所述方法。

14.一种基于自然语言意图和ai日志的视频证据按需回拉及内容生成系统，其特征在于，包括：权限控制模块、mqtt日志接收模块、日志解析模块、自然语言增强重写和意图解析模块、候选事件检索模块、事件评分模块、事件链构建模块、证据回拉模块、证据绑定模块、大模型调用模块、html模板填充模块、对象存储上传模块、主题一致性校验模块和应用端推送模块；各模块被配置为执行权利要求1至13任一项所述的方法。

15.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现权利要求1至13任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13任一项所述的方法。