一种基于视频信号的数据识别方法、装置、设备及介质与流程

本发明涉及显示，特别涉及一种基于视频信号的数据识别方法、装置、设备及介质。

背景技术：

1、大屏可视化系统在智慧园区、工业监控、数据中心等多类场景中广泛应用，用于将各类业务系统的运行数据以图表、数字等形式在大屏幕上集中展示，以便管理人员进行集中监控与决策。大屏可视化系统对接数据通常采用两种方式：一种是与客户数据库或数据源直接连接，取数后经清洗筛选进行可视化呈现；另一种是通过接口协议连接客户业务系统读取数据，落库积累后进行可视化展示。然而，上述两种方式均需客户提供数据库连接信息或业务系统接口，需要客户授权并提供相应的技术支持，存在数据安全及系统安全风险。且实际场景下，通常存在大量已无法维护的遗留系统，这类系统原厂商已停止技术支持，或系统本身已无源码及维护文档，无法提供任何数据接口或数据库访问权限。

2、针对无法通过软件接口对接的场景，现有技术中，通过hdmi/vga等显示通道进行抽帧，配合光学字符识别（ocr）技术提取屏幕文字数据。但是，抽帧结合ocr的方案在面对复杂版面、非标界面、表格及异构数据时识别准确性低。现有技术中还通过大模型进行识别，但是算力资源需求大、时延高。

3、因此，如何在不接入客户数据库与业务接口的前提下，用低算力消耗实现高可靠性的数据识别，是目前亟需解决的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于视频信号的数据识别方法、装置、设备及介质，能够在不接入客户数据库与业务接口的前提下，低成本且高效地实现视频信号数据识别。其具体方案如下：

2、第一方面，本申请公开了一种基于视频信号的数据识别方法，包括：

3、获取当前视频信号源对应的目标区域配置；所述目标区域配置为预先通过对视频信号源的画面进行识别确定出目标区域，并将所述目标区域的区域信息以及用于从所述目标区域中提取数据的提示词关联存储得到的；

4、按照所述目标区域配置，从所述当前视频信号源的视频帧中确定出目标区域图像；

5、根据所述目标区域配置中的提示词，利用多模态识别模型对所述目标区域图像进行识别，得到结构化数据并输出至可视化系统。

6、可选地，所述获取当前视频信号源对应的目标区域配置之前，还包括：

7、为每个视频信号源分配唯一的信号源标识；

8、对所述视频信号源进行画面识别，确定该视频信号源的画面中的目标区域；

9、将所述目标区域的区域信息和用于从所述目标区域中提取数据的提示词进行关联，得到所述视频信号源对应的目标区域配置；

10、构建所述信号源标识与所述目标区域配置的映射关系。

11、可选地，所述对所述视频信号源进行画面识别，确定该视频信号源的画面中的目标区域，包括：

12、利用分割模型对所述视频信号源的画面进行分割，得到多个候选框，并为各候选框添加序号标记；

13、将包含序号标记的画面输入至所述多模态识别模型，利用所述多模态识别模型分别对各序号标记对应的图像内容进行语义识别，从所述多个候选框中筛选出存在数据的候选框，并为筛选出的候选框添加语义标签、边界框信息和置信度，以得到候选区域；

14、对所述候选区域进行筛选和/或微调，得到所述目标区域。

15、可选地，所述提示词包含以下至少之一：所述目标区域的坐标信息、语义描述、数值范围约束、单位约束、输出格式约束。

16、可选地，所述得到结构化数据并输出至可视化系统之后，还包括：

17、根据所述提示词中的数值范围约束，和/或单位约束，和/或输出格式约束，对所述结构化数据进行校验；

18、若校验未通过，则放大所述目标区域图像得到新区域图像，并根据所述提示词对所述新区域图像进行重新识别和校验；

19、若重新校验未通过，则根据所述提示词对所述目标区域图像对应的视频帧进行重新识别和校验。

20、可选地，所述根据所述目标区域配置中的提示词，利用多模态识别模型对所述目标区域图像进行识别之前，还包括：

21、计算当前视频帧中目标区域图像，与上一视频帧中同一区域的目标区域图像之间的变化度；

22、若所述变化度超过预设变化度阈值，则执行所述根据所述目标区域配置中的提示词，利用多模态识别模型对所述目标区域图像进行识别的操作。

23、可选地，所述从所述当前视频信号源的视频帧中确定出目标区域图像，包括：

24、统计各视频信号源中各目标区域的变化频率；

25、根据所述变化频率调整所述视频信号源的识别频率；其中，变化频率与识别频率为正相关；

26、根据所述识别频率从所述当前视频信号源中抽取出目标视频帧，并从所述目标视频帧中确定出目标区域图像。

27、第二方面，本申请公开了一种基于视频信号的数据识别装置，包括：

28、目标区域配置获取模块，用于获取当前视频信号源对应的目标区域配置；所述目标区域配置为预先通过对视频信号源的画面进行识别确定出目标区域，并将所述目标区域的区域信息以及用于从所述目标区域中提取数据的提示词关联存储得到的；

29、目标区域图像确定模块，用于按照所述目标区域配置，从所述当前视频信号源的视频帧中确定出目标区域图像；

30、数据识别模块，用于根据所述目标区域配置中的提示词，利用多模态识别模型对所述目标区域图像进行识别，得到结构化数据并输出至可视化系统。

31、第三方面，本申请公开了一种电子设备，包括：

32、存储器，用于保存计算机程序；

33、处理器，用于执行所述计算机程序，以实现前述的基于视频信号的数据识别方法。

34、第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的基于视频信号的数据识别方法。

35、本申请中，获取当前视频信号源对应的目标区域配置；所述目标区域配置为预先通过对视频信号源的画面进行识别确定出目标区域，并将所述目标区域的区域信息以及用于从所述目标区域中提取数据的提示词关联存储得到的；按照所述目标区域配置，从所述当前视频信号源的视频帧中确定出目标区域图像；根据所述目标区域配置中的提示词，利用多模态识别模型对所述目标区域图像进行识别，得到结构化数据并输出至可视化系统。

36、由此，通过预先对视频信号源的画面进行识别，将确定出的目标区域的区域信息与提示词关联存储为目标区域配置；数据识别时按照预先存储的区域信息从当前视频帧中确定目标区域范围，并依据预先存储的提示词进行定点识别；相比每次对整帧画面进行全画面识别，单次识别仅处理目标区域图像中的内容，降低了识别的资源消耗与时延。同时，通过输出结构化数据至可视化系统，为可视化展示提供了可直接使用的标准格式数据。

1.一种基于视频信号的数据识别方法，其特征在于，包括：

2.根据权利要求1所述的基于视频信号的数据识别方法，其特征在于，所述获取当前视频信号源对应的目标区域配置之前，还包括：

3.根据权利要求2所述的基于视频信号的数据识别方法，其特征在于，所述对所述视频信号源进行画面识别，确定该视频信号源的画面中的目标区域，包括：

4.根据权利要求1所述的基于视频信号的数据识别方法，其特征在于，所述提示词包含以下至少之一：所述目标区域的坐标信息、语义描述、数值范围约束、单位约束、输出格式约束。

5.根据权利要求4所述的基于视频信号的数据识别方法，其特征在于，所述得到结构化数据并输出至可视化系统之后，还包括：

6.根据权利要求1至5任一项所述的基于视频信号的数据识别方法，其特征在于，所述根据所述目标区域配置中的提示词，利用多模态识别模型对所述目标区域图像进行识别之前，还包括：

7.根据权利要求6所述的基于视频信号的数据识别方法，其特征在于，所述从所述当前视频信号源的视频帧中确定出目标区域图像，包括：

8.一种基于视频信号的数据识别装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于视频信号的数据识别方法。