基于实时视频分析与生产数据联动的可信展示方法

本发明涉及工业智能监控，更具体地说，本发明涉及基于实时视频分析与生产数据联动的可信展示方法。

背景技术：

1、在智慧工厂的建设中，通过监控视频实时掌握生产现场状况并与生产管理系统数据联动，是实现生产过程可视化、智能化管理的关键环节。现有技术方案往往将视频监控系统与生产管理系统作为两个独立的子系统运行，两者间的信息融合程度较低。通常的做法是简单地将生产数据面板与视频画面同屏并置显示，或对视频流进行分析后单独展示识别结果。这种方式存在信息割裂的问题，操作人员需要自行比对视频画面中的事件与生产数据系统中的状态，判断两者是否一致，这不仅增加了认知负荷，且在出现矛盾时难以快速定位问题根源。

2、现有技术中，有中国专利（公开号：cn120050397a）提出了一种工厂视频优化采集方法，通过对视频帧进行稀疏处理以实现压缩传输，其关注点在于缓解网络带宽压力并平衡视频质量，但未涉及视频内容与生产过程数据的关联分析与可信度判断。另有中国专利（公开号：cn120602556a）提出了一种基于边缘计算的实时视频分析系统，通过动态调度计算资源来优化视频流处理延迟，其核心在于提升边缘侧的计算效率与任务分配合理性，但同样未解决视频分析结果如何与结构化生产数据进行有效融合与可信度验证的问题。综上，现有技术难以自动、智能地验证视频分析结果与生产数据的一致性，并在出现不一致时提供可解释的溯源信息；

3、因此，针对上述问题提出基于实时视频分析与生产数据联动的可信展示方法。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的实施例提供基于实时视频分析与生产数据联动的可信展示方法，旨在解决现有工厂监控系统中视频信息与生产数据展示相互割裂、缺乏自动融合与可信度验证机制的问题。

2、为实现上述目的，本发明提供如下技术方案：一种基于实时视频分析与生产数据联动的可信展示方法，包括以下步骤：

3、s1.对工厂监控视频流进行分析，输出由事件类型、时间戳和置信度构成的视频语义事件，用于将非结构化的视频信息转化为可计算的结构化事件流；

4、s2.同步获取与所述监控视频流对应的、由设备标识、参数值和数据时间戳构成的生产数据，用于提供来自控制与信息系统的结构化状态与过程数据；

5、s3.将所述视频语义事件与所述生产数据进行时间和空间对齐，用于建立两类异构数据在时间和物理空间上的统一关联关系；

6、s4.基于关联映射规则库，对已对齐的所述视频语义事件与所述生产数据执行动态交叉验证，所述动态交叉验证包括用于检查视觉感知状态与传感器读数直接一致性的事实一致性验证、用于审查事件发生是否符合生产计划与工艺流程的工艺逻辑合理性验证、以及用于评估视频采集源自身可靠性的环境可靠性评估；

7、s5.根据所述动态交叉验证的结果，计算一个综合可信度c，用于量化表征经多维度校验后的融合信息的总体可靠性；

8、s6.响应于所述动态交叉验证发现不一致或所述综合可信度c低于第一预设阈值的情况，构建多源证据推理图以进行根因推理，并生成证据链摘要，用于自动化地对可信度不足的警报进行诊断并提供可解释的溯源依据；

9、s7.生成融合可视化视图；所述融合可视化视图在所述监控视频流的画面上，于所述视频语义事件对应的位置叠加显示图形标签，所述图形标签包含所述事件类型、关联的所述参数值以及所述综合可信度c的可视化表示；当所述综合可信度c低于第二预设阈值时，改变所述图形标签的显示样式以进行视觉突出，并可响应用户交互以展示所述证据链摘要，从而将验证、评估与诊断结果集成于统一的监控界面进行展示。

10、更进一步的，所述关联映射规则库包括确定性规则和统计关联规则；所述统计关联规则由系统在运行期间，通过分析所述视频语义事件与所述生产数据项在历史数据中的共现关系自动生成，用于自适应地挖掘并利用数据间的隐含关联以完善验证逻辑；每条规则关联一个置信度分值，用于在规则冲突时衡量不同规则的可靠程度。

11、更进一步的，所述工艺逻辑合理性验证包括：

12、s41.将所述视频语义事件中的事件类型、发生时间及位置信息，与当前生效的生产计划排程表进行比对，验证事件发生的计划符合性，用于判断事件是否被授权在特定时间和地点执行；

13、s42.将所述视频语义事件与生产工艺规程知识库中的工序流程进行比对，验证多个事件之间的时序合规性，用于检查事件序列是否符合既定的工艺顺序约束；

14、s43.当所述视频语义事件涉及物料、工具或人员时，将其识别出的实体标识与生产计划或物料清单中规定的标识进行比对，验证物料一致性，用于确保生产过程中使用的资源符合要求。

15、更进一步的，所述环境可靠性评估包括：

16、s44.对所述监控视频流进行质量分析，获得清晰度、光照均匀度和画面遮挡率的量化指标，用于客观评估视频源的信噪比与可用性；

17、s45.将所述量化指标与预设的质量标准阈值进行比较，用于判断视频采集条件是否满足分析的基本要求；

18、s46.根据比较结果生成修正因子，所述修正因子用于调整后续相关所述视频语义事件的初始置信度，从而降低因视频质量不佳导致的误判风险。

19、更进一步的，所述综合可信度c的计算公式为：，其中，为基于事实一致性验证结果计算的数据一致性分值，用于表征直接观测层面的一致程度；为基于工艺逻辑合理性验证结果计算的逻辑合理性分值，用于表征事件在业务逻辑层面的合规程度；为基于环境可靠性评估结果计算的环境可靠性分值，用于表征数据源本身的可信程度；、、为预设的权重系数，用于平衡不同维度验证结果对总体可信度的贡献。

20、更进一步的，构建所述多源证据推理图包括：

21、s61.将不一致或低可信度点标记为冲突点，用于定位需要深度诊断的问题；

22、s62.提取在冲突时间点前后设定时间窗口内的视频关键帧、视频语义事件的识别置信度、相关传感器数据序列、生产数据库状态变更日志及被触发的验证规则，作为证据节点，用于收集与冲突相关的多源异构原始信息；

23、s63.根据时序、逻辑或因果关系在所述证据节点之间建立有向边，形成推理图结构，用于形式化地表示证据之间的相互支持或矛盾关系；

24、s64.在所述推理图结构上进行概率传播分析，计算不同故障假设的概率，用于量化评估各种潜在根本原因的可能性；

25、s65.选取概率超过设定值的故障假设并回溯其关键证据路径，生成所述证据链摘要，用于提供以概率排序和关键证据支撑的诊断结论。

26、更进一步的，所述时间对齐具体为：采用动态时间规整算法，对所述视频语义事件流的时间戳序列与所述生产数据流的数据时间戳序列进行非线性匹配，用于补偿和校正因不同传输、处理链路造成的非固定时间延迟。

27、更进一步的，所述空间对齐具体为：根据摄像头标定参数及工厂数字模型，将所述视频语义事件在视频画面中的像素坐标转换为工厂世界坐标系下的坐标，进而确定对应的逻辑工位标识，并通过预定义的映射表将所述逻辑工位标识与所述生产数据中的设备标识进行关联，用于实现视频画面中的位置与物理世界中的设备或区域的精确映射。

28、更进一步的，还包括规则演化步骤：当发生验证冲突时，依据冲突裁决结果对相关规则的置信度分值进行更新，用于使规则库能够基于新的裁决证据进行自我修正；当统计关联规则的置信度分值持续高于升级阈值时，将其标注为可升级为确定性规则，用于将经过充分验证的数据驱动模式固化为领域知识。

29、更进一步的，还包括反馈执行步骤：

30、当所述多源证据推理图输出的主要故障假设为视频分析错误时，自动保存相关视频片段并加入模型再训练数据集，用于驱动视频分析模型的迭代优化以降低未来同类错误；

31、当所述主要故障假设为传感器数据异常时，在对应的数据监控界面中添加需人工核查的标记，用于引导维护人员对疑似故障的数据源进行针对性检查，从而形成从问题诊断到系统维护的闭环。

32、本发明的技术效果和优点：

33、本发明通过设计并执行一套动态交叉验证流程，将视频语义事件与多源生产数据进行时空对齐后，从事实、逻辑及数据源质量三个层面进行并行校验。首先，基于预定义规则库进行事实一致性验证，直接比对视觉事件与传感器读数是否矛盾。其次，引入生产计划与工艺知识库进行逻辑合理性验证，审查事件发生的时序、位置及物料是否符合既定规程。最后，通过实时分析视频流质量评估感知源头的可靠性。这三个层次的验证结果被量化为独立的分值，进而加权融合为一个综合可信度。这一过程使系统能够自动识别出单纯的传感器异常、违反工艺规程的操作或视频画面质量低下等不同性质的问题，为后续处理提供了分类依据。

34、当系统检测到事实冲突、逻辑不合理或综合可信度低于设定阈值时，自动触发多源证据推理图的构建与诊断过程。该方法以冲突点为中心，在特定时间窗口内提取相关的视频关键帧、原始数据序列、规则触发记录及知识库状态快照，构建为一个包含多种证据节点的推理网络。通过在该网络上进行概率传播计算，评估不同故障假设（如视频分析错误、传感器漂移等）的可能性，并输出概率最高的假设及其关键证据路径，形成结构化的证据链摘要。这一机制模仿了专家进行故障诊断时的推理过程，能够将分散的线索进行关联分析，为操作人员定位问题根源提供了证据可查的辅助信息。

35、本发明通过生成融合可视化视图将前述验证与诊断结果进行直观呈现。在原始视频画面上，于事件发生位置叠加图形标签，动态显示事件类型、关联数据及用颜色编码的综合可信度。当值过低时，标签的视觉样式会改变以引起注意，用户交互后可查看详细的证据链摘要。这种展示方式将经过校验的信息、其可信度量化指标以及可选的诊断分析结果进行了有机整合，有助于操作人员快速聚焦于可信度存疑的事件，并依据系统提供的证据辅助决策，从而改善从海量监控信息中识别真正异常情况的效率。

36、本发明所述方法通过闭环反馈机制对系统自身进行持续优化。根据多源证据推理图得出的诊断结论，若问题指向视频分析模型错误，相关视频片段会被自动收录用于模型再训练；若指向特定传感器数据异常，则会在该数据点上添加核查标记以提示维护。这种将在线诊断结果反馈至离线优化环节的设计，使系统能够从实际发生的误判或冲突中学习，有助于逐步减少同类问题的重复发生，从而改善整个监控与数据分析系统长期运行的稳定性和准确性。