港口作业事件智能问答方法、电子设备、介质及程序产品与流程

本发明涉及港口智能管理领域，具体涉及一种港口作业事件智能问答方法、电子设备、介质及程序产品。

背景技术：

1、港口生产作业涉及集卡、岸桥、人员、吊具及作业单等多类对象，同一作业事件通常由存在时钟偏移的多个摄像头记录，并伴随设备状态、光学字符识别结果、门禁记录及版本化安全作业规范等多源异构数据。在构建视觉语言模型训练样本时，若仅依赖单帧图像和简短文本描述，模型难以区分同一事件中的不同摄像头视角、目标身份及时间区间；且在发生遮挡、跨摄像头切换或日志延迟等情况下，易将“未观察到”错误判定为“目标不存在”，或引用事件发生时已失效的规范版本。

2、现有技术中，视觉语言模型指令微调方案虽能改善通用指令遵循能力，但未要求回答中的摄像头标识、时间区间、目标定位及规范条款可回溯至统一的港口事件证据包；港口安防报警处理方案侧重于报警识别与误报抑制，其数据记录未构成面向视觉语言模型训练的统一证据接口；文本接地或视频时序定位技术虽解决了局部对齐问题，但在港口场景中仍缺乏对跨摄像头目标对应、统一时间轴、业务记录及规范版本有效性的综合处理机制。

3、因此，现有技术存在以下技术问题：其一，缺少以港口作业事件为中心、同时承载视频时空证据、业务记录和版本化规范的统一数据结构；其二，缺少将证据支持、证据冲突和证据缺失显式写入训练上下文的关系表示；其三，缺少使回答中的结论、定位、引用、规范版本和拒答原因能够共同校验的结构化输出机制。此外，若仅使用正常问答样本微调模型，模型在证据缺失、冲突、规范过期或请求越权时仍可能输出确定性结论；若异常样本仅改变标签而未重新校验证据状态，则会产生标签与证据不一致的噪声样本，导致模型输出的时空一致性、证据可追溯性及异常条件下的拒答可靠性不足。

技术实现思路

1、本发明提供了一种港口作业事件智能问答方法、电子设备、介质及程序产品。

2、根据本发明的一个方面，提供了一种港口作业事件智能问答方法，包括：响应于港口作业事件，获取港口作业环境在对应时间段内的多源数据，多源数据包括至少两个视频片段、目标定位信息、作业记录、设备状态及作业规范条款；获取各视频片段对应视频源相对于统一事件时钟的时间偏移，并按照时间偏移将多源数据映射至统一事件时间线，形成以港口作业事件的事件标识为索引的证据聚合包；基于证据聚合包构建图结构的显式证据链，显式证据链中的关系包括支持关系、冲突关系和缺失关系；根据任务模板和显式证据链生成结构化训练回答，结构化训练回答中包含结论、证据引用、时空定位信息、规范引用、拒答码和澄清信息，其中，基于显式证据链中的支持关系生成肯定性结论、基于显式证据链中的参与推理的节点生成证据引用、基于显式证据链中的视频证据节点和目标节点生成时空定位信息、基于显式证据链中的规范节点生成规范引用；对结构化训练回答执行基础质量校验；基于通过基础质量校验的结构化训练回答构造正常训练样本，通过改变正常训练样本对应证据聚合包中的证据状态或规范状态派生异常训练样本，并对异常训练样本进行复核，使异常训练样本的回答包含拒答码且不包含确定性结论；将正常训练样本以及复核通过的异常训练样本写入训练集；通过训练集对视觉语言模型进行证据约束微调；基于微调后的视觉语言模型进行港口作业事件的智能问答。

3、根据本发明的至少一个实施方式的港口作业事件智能问答方法，按照时间偏移将多源数据映射至统一事件时间线，包括：以统一事件时钟为基准记录每个视频源的时间偏移，并将视频源记录的原始时间与时间偏移进行累加运算。

4、根据本发明的至少一个实施方式的港口作业事件智能问答方法，基础质量校验包括：可解析性校验、时间区间校验、定位一致性校验以及规范有效性校验；其中，可解析性校验用于检查结构化训练回答中的证据引用是否能够唯一映射至证据聚合包中对应的证据节点、目标节点或规范节点；时间区间校验用于检查结构化训练回答的时空定位信息中记录的时间区间的起始时刻和结束时刻是否均位于证据聚合包中对应视频片段的统一事件时间范围内；定位一致性校验用于计算结构化训练回答的证据引用中包含的目标定位区域与经确认的目标定位区域之间的交并比，并判断交并比是否大于预设的定位阈值；规范有效性校验用于判断结构化训练回答的规范引用中包含的作业规范条款的生效时间是否早于或等于港口作业事件的事件发生时刻，且失效时间是否晚于港口作业事件的事件发生时刻。

5、根据本发明的至少一个实施方式的港口作业事件智能问答方法，对视觉语言模型在证据约束微调时使用的损失函数由监督文本生成损失项、视觉定位损失项、证据引用损失项、结构模式损失项和拒答损失项组成，其中，各损失项分别乘以取值为0或1的掩码，掩码用于动态启用对应损失项；其中，当结构化训练回答的时空定位信息中包含经确认的目标定位区域标注时，启动视觉定位损失项；当结构化训练回答中包含证据引用时，启动证据引用损失项；当结构化训练回答符合预设的结构化数据格式定义时，启动结构模式损失项；当正常训练样本或异常训练样本被标记为需进行拒答行为时，启动拒答损失项。

6、根据本发明的至少一个实施方式的港口作业事件智能问答方法，通过改变正常训练样本对应证据聚合包中的证据状态或规范状态派生异常训练样本，包括：构造证据缺失样本：通过屏蔽视频片段、目标定位信息或作业记录，并在显式证据链中增加缺失关系，使结构化训练回答包含证据缺失拒答码及指示缺少数据源的澄清信息；构造证据冲突样本：保留相互矛盾的视频片段对应的检测结果与作业记录或设备状态，并在显式证据链中标记冲突关系，使结构化训练回答包含证据冲突拒答码及指示需人工复核或补证的澄清信息；构造规范过期样本：将结构化训练回答中引用的作业规范条款替换为事件发生时刻已失效的版本，并保留版本冲突关系，使结构化训练回答包含规范过期拒答码；构造越权或提示注入样本：在任务指令中加入改变设备状态、删除作业记录、绕过权限或忽略安全约束的请求，使结构化训练回答包含越权或提示注入拒答码。

7、根据本发明的至少一个实施方式的港口作业事件智能问答方法，对异常训练样本进行复核，包括：校验异常状态与拒答码的逻辑一致性：确认拒答码准确表征导致无法生成确定性结论的证据缺失、证据冲突、作业规范过期或请求超出授权范围的状态；校验结论字段的抑制有效性：确认当拒答码非空时，结论字段为空或为非确定性表述，且不包含任何肯定性或否定性的确定性结论；校验澄清信息的有效性：确认澄清信息字段非空且明确指示待补充的证据来源、需人工复核的冲突事项或权限受限的具体范围；执行防泄漏校验：确认被改变证据状态或规范状态的证据内容未通过其他关联字段、隐含时间戳或标识符间接泄露，其中，其他关联字段为被改变证据状态或规范状态的证据内容之外的字段。

8、根据本发明的至少一个实施方式的港口作业事件智能问答方法，结构化训练回答满足以下约束条件：当拒答码不为空时，结论为空或为非确定性表述，且澄清信息非空；当规范引用存在时，规范引用中包含的规范标识、版本号和条款号能够唯一解析至证据聚合包中在港口作业事件对应时间段内处于有效状态的规范节点。

9、根据本发明的另一方面，提供了一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本发明任一实施方式的港口作业事件智能问答方法。

10、根据本发明的再一方面，提供了一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本发明任一实施方式的港口作业事件智能问答方法。

11、根据本发明的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本发明任一实施方式的港口作业事件智能问答方法。

12、本发明提高了模型回答的时空一致性、证据可追溯性及异常条件下的安全性。