一种基于数据融合的视频图像处理实时系统的制作方法

摘要: 本发明属于新一代信息,尤其涉及一种基于数据融合的视频图像处理实时系统。背景技术:1、随着实时视频传输协议和标准的迭代发展,对视频图像的采集、处理和监测越来越广泛...
一种基于数据融合的视频图像处理实时系统的制作方法

本发明属于新一代信息,尤其涉及一种基于数据融合的视频图像处理实时系统。

背景技术:

1、随着实时视频传输协议和标准的迭代发展,对视频图像的采集、处理和监测越来越广泛地应用到生产和社会生活的各个领域。

2、与单幅照片不同,视频图像处理的研究对象是连续采集的图像序列,视频的核心特征在于时间维度上的连续性。每一帧画面不仅记录了某一瞬间的空间信息,还与前后帧共同构成数据流。这种关联使得视频处理的目标从单纯的识别画面内容扩展为理解内容的变化过程。在实际系统中,处理流程通常涵盖采集、压缩、增强、分析等多个环节。由于视频数据量远大于静态图像,处理过程中需要在存储、传输和计算之间进行持续权衡,这也决定了视频图像处理技术在方案设计时往往要优先考虑效率与资源占用问题。

3、与静态图像中的特征提取相比,视频处理更关注像素或区域在连续时间上的变化。目标跟踪技术则要求在更长的时间跨度内维持对特定对象的锁定。这些技术的实现难度随着视频分辨率和帧率的提升而增加。

4、另一方面,视频图像处理中的数据融合,通常是为了弥补单一信息源的不足。类似的思路也体现在同传感器多模式采集上,例如通过融合不同曝光参数下的画面来扩展动态范围,使高光和阴影区域同时保留可辨识的细节。在视频序列内部,相邻帧之间的信息互补也是一种融合形式,当某一帧因运动产生模糊时,可以借助前后帧的清晰内容进行修复。这些做法的共同目标并非追求某一通道的极致表现,而是通过多源信息的相互补充,获得比任何单一输入都更为可靠的输出。早期的融合方法多依赖人工设计的规则,而近年来的趋势是让系统通过样本学习自动调整融合策略。不过无论采用何种路径,核心挑战始终在于如何让来源各异、质量参差的信息在最终输出中协调一致,既发挥各自长处,又抑制各自的短板。从实现层面看,融合可以在像素层面直接进行,也可以在特征层面或决策层面展开,不同层级的融合各有其适用场景和计算开销,具体选择往往取决于系统对实时性和精度的综合要求。

5、但是,申请人在研究过程中发现,现有的视频图像处理系统中,对数据的融合往往仅仅是简单的图像处理过程信息融合,也即往往是遵循特定的数据融合算法或数据融合模型,通过较为固定的融合逻辑,利好神经网络或大模型的数据处理过程,对图像的多源采集考虑不足,也未在采集端提供足够多类型的基础数据集,导致数据融合停留在单纯的数据处理算法层面,对系统管理的实际意义不够,数据的前瞻采集和精细化处理也缺乏考量。

6、本发明提出了一种基于数据融合的视频图像处理实时系统,基于多径数据融合传输,在数字化视频图像采集场景基础上,通过对融合图像数据的实时处理,为视频图像数据流提供多维特征融合途径,达到更准确的场景理解级别与更精准的对象多模态监测。具体而言,本发明所请求保护的系统通过融合数据采集传感器、视频数据采集传感器及次级视频数据采集源传感器的多模联合采集,汇总图像数据与场景融合信息,并基于元数据为多个监测对象执行分离图像存储与节点级信息融合,并在信息融合处理部配置成帧,通过融合加密字段的节点级特征融合实现对不同对象的特征增强和独立视频监测,为视频图像的精细化处理提供依据。

技术实现思路

1、本发明旨在提供一种优于现有技术的基于数据融合的视频图像处理实时系统。

2、为了实现上述目的,本发明的技术方案如下:

3、一种基于数据融合的视频图像处理实时系统,所述系统至少包括:视频图像预配置信息化模块,用于将视频图像的图像处理场景数字化为图像处理三维数字模型,并将其内的监测对象数字化为采集网络中的多个数字孪生虚拟节点;

4、融合数据采集传感器,监测对象所在场景的融合信息数据结构fusionframe;

5、视频数据采集传感器,用于采集监测对象的视频图像数据captframe;

6、次级视频数据采集源传感器,用于采集视频数据采集源的基元数据signdata;

7、信息融合处理部,用于执行视频图像数据与融合信息数据结构、采集源的基元数据的融合成帧;

8、图像帧传输层,提供端到端的图像数据加密传输。

9、较佳地,所述视频图像预配置信息化模块,用于将视频图像的图像处理场景数字化为图像处理三维数字模型,并将其内的监测对象数字化为采集网络中的多个数字孪生虚拟节点,具体为:

10、图像处理场景中包括多个视频图像的监测对象,为图像处理场景建立数字孪生模型,并将多个后续被用于监测和数据采集的监测对象,配置监测对象的数据输入输出属性及系统参数,并转化为采集网络中的多个数字孪生虚拟节点,用以在数字孪生模型中重构图像处理场景。

11、较佳地,所述融合数据采集传感器,用于监测对象所在场景的融合信息数据结构fusionframe,至少包括:

12、所述融合数据采集传感器基于第一图像识别模型,识别图像处理场景中的非监测对象实体,也即不属于数字孪生虚拟节点的实体,提取非监测对象实体的图像特征,执行基于特征的数据融合,获取包括所有非监测对象实体融合信息的融合信息数据结构fusionframe。

13、较佳地,所述融合信息数据结构至少用于表征多个非监测对象实体相互关系的联合表征,辅助系统执行更高精度的图像处理场景理解;

14、所述第一图像识别模型为blip模型。

15、较佳地,所述视频数据采集传感器,用于采集监测对象的视频图像数据captframe,至少包括:采用多模态视频图像摄像头对图像处理场景中包括多个视频图像的监测对象执行视频采集,输出带有时间戳的视频图像流,也即视频图像数据captframe。

16、较佳地,所述次级视频数据采集源传感器,用于采集视频数据采集源的基元数据signdata,具体包括:所述次级视频数据采集源传感器基于视频数据采集传感器采集到的监测对象的视频图像数据captframe,利用语义神经网络确定captframe中包括监测对象在内的多个数字孪生虚拟节点,采集多个数字孪生虚拟节点的第一视频元数据及第二系统元数据。

17、较佳地,所述利用语义神经网络确定captframe中包括监测对象在内的多个数字孪生虚拟节点,采集多个数字孪生虚拟节点的第一视频元数据及第二系统元数据,至少包括:

18、基于语义神经网络搜索在captframe中出现的、图像处理场景数字孪生模型中的多个数字孪生虚拟节点nodei,i为序数,并分别为每个数字孪生虚拟节点建立视频图像子区块,存储对应数字孪生虚拟节点在captframe中的视频关键帧,作为数字孪生虚拟节点的第一视频元数据;向系统管理平台请求nodei的数据输入输出属性及系统参数,作为第二系统元数据,其中,所述数据输入输出属性及系统参数至少包括:nodei的数据输入输出规则、nodei在系统中稳态运行的节点关联关系与数据流向和数据封装配置、nodei的系统管理层级及系统数据读取和操作权限。

19、较佳地,所述信息融合处理部,用于执行视频图像数据与融合信息数据结构、采集源的基元数据的融合成帧,至少包括:

20、配置融合帧,所述融合帧包括:

21、融合帧头,用于配置帧传输参数;

22、图像数据负载字段,用于存储视频图像数据captframe;

23、融合加密字段,用于分段存储多个数字孪生虚拟节点的第一视频元数据及第二系统元数据,基于视频图像数据captframe、第一视频元数据及第二系统元数据为多个数字孪生虚拟节点分别执行图像特征融合,生成节点融合特征,所述节点融合特征为在单一视频图像流基础上,基于元数据与视频数据融合实现增强的节点图像特征、三维空间、时间动态、系统配置特征属性;

24、加密节点融合特征,配置与接收端一致的对称加密密钥。

25、较佳地,所述图像帧传输层,提供端到端的图像数据加密传输,至少包括:

26、将所述融合帧传输至图像的接收端,由接收端执行融合帧的解封装与数据解密。

27、与之同时,本发明还提出一种计算机可读存储介质,其存储用于电子数据处理的程序,其中,所述程序使得终端执行如上文任一项所述的基于数据融合的视频图像处理实时系统相应功能。

28、与之同时,本发明还提出一种计算机程序产品,所述计算机程序产品包含计算机指令,所述计算机指令通过处理器运行时执行如上文任一项所述的基于数据融合的视频图像处理实时系统相应功能。

29、本发明提出了一种基于数据融合的视频图像处理实时系统,基于多径数据融合传输,在数字化视频图像采集场景基础上,通过对融合图像数据的实时处理,为视频图像数据流提供多维特征融合途径,达到更准确的场景理解级别与更精准的对象多模态监测。具体而言,本发明所请求保护的系统通过融合数据采集传感器、视频数据采集传感器及次级视频数据采集源传感器的多模联合采集,汇总图像数据与场景融合信息,并基于元数据为多个监测对象执行分离图像存储与节点级信息融合,并在信息融合处理部配置成帧,通过融合加密字段的节点级特征融合实现对不同对象的特征增强和独立视频监测,为视频图像的精细化处理提供依据。