一种端边云协同的轻量化多视角数据自适应融合系统及方法

摘要: 本发明属于边缘智能、工业物联网、智慧水利信息化、自动化监测和多视角学习,具体涉及一种端边云协同的轻量化多视角数据自适应融合系统及方法,尤其涉及一种能够在复杂现场...
一种端边云协同的轻量化多视角数据自适应融合系统及方法

本发明属于边缘智能、工业物联网、智慧水利信息化、自动化监测和多视角学习,具体涉及一种端边云协同的轻量化多视角数据自适应融合系统及方法,尤其涉及一种能够在复杂现场条件下根据算力、带宽、时延和视角质量动态调整模型结构与任务位置的多视角融合技术。

背景技术:

1、随着工业物联网、智慧水利、城市基础设施监测和自动化巡检系统的发展,现场感知设备通常不再局限于单一传感器,而是由多个相机、多种在线传感器、不同安装角度的采集终端以及业务平台历史数据共同构成。多视角数据能够从不同角度刻画同一目标对象或同一监测场景,有助于降低遮挡、局部噪声、单点故障和环境扰动对识别结果的影响。

2、然而,现有多视角融合方法在工程部署中仍存在明显不足。第一,云端深度模型通常具有较强的全局建模能力和较高识别精度,但模型参数量大、计算开销高,并且依赖稳定网络传输,难以满足低时延监测、现场报警和应急响应的需求。第二,边缘端轻量模型虽然能够降低推理时延,但在强遮挡、异构视角、光照波动、传感器漂移和样本分布变化条件下容易出现精度损失。第三,现有方案通常将模型结构固定部署到边缘设备,不能根据实时算力、网络带宽和业务时延要求动态裁剪模型通道或调整任务分配。第四,边缘端新增样本和现场难例难以及时参与云端全局优化,导致模型长期运行后适应性下降。

3、因此,亟需一种端边云协同的轻量化多视角数据自适应融合系统及方法,使其能够在边缘侧快速完成多视角轻量融合和本地响应,在云端完成高精度全局建模和模型更新,并通过动态裁剪、任务调度和增量协同更新机制兼顾实时性、精度、带宽占用和持续学习能力。

技术实现思路

1、本发明的目的在于提供一种端边云协同的轻量化多视角数据自适应融合系统及方法,以解决现有多视角融合方法存在的精度与效率难以兼顾、边缘端泛化能力不足、云端响应延迟高、任务拆分不灵活以及边缘模型无法持续更新的问题。

2、为实现上述目的,本发明构建端侧感知节点、边缘计算网关和云端管控平台三级协同架构。端侧感知节点负责多视角数据同步采集和初始标识;边缘计算网关负责数据标准化、轻量特征提取、视角质量评估、跨视角自适应融合、动态裁剪、早退推理和本地应急响应;云端管控平台负责基于全量数据训练高精度教师模型、执行跨区域或长周期分析、完成知识蒸馏、聚合边缘增量信息并下发模型版本和调度策略。

3、进一步地,所述端侧感知节点从不同观测角度采集数据,所述采集数据为同一目标对象或监测区域的多视角图像、视频帧、时序传感数据和业务标签,并为采集数据附加时间戳、设备编号和视角标识;

4、所述边缘计算网关对所述采集数据执行时间同步、视角标定、噪声抑制、缺失视角标记和尺度归一化,形成多视角样本组,采用mobilenetv3-small对各视角数据提取轻量特征,根据遮挡比例、模糊程度、信噪比、光照稳定性、传感器状态和历史可靠性生成视角可靠性权重,通过dmvaf-net的跨视角注意力融合模块和动态门控融合模块生成融合表征,并根据剩余算力、网络带宽、业务时延要求和现场干扰强度生成通道保留率、视角分支掩码和早退阈值,以执行动态通道裁剪、低质量视角分支关闭和中间推理头早退输出;所述边缘计算网关将实时推理、本地告警和应急响应任务在边缘侧执行,并将全局分析、跨区域样本挖掘和模型优化任务调度至云端管控平台;所述云端管控平台采用swintransformer-base与cross-viewtransformer构成云端教师模型,对全量样本进行跨视角建模和异常样本复核,并通过软标签、注意力分布和中间特征对边缘端学生模型进行知识蒸馏;

5、所述云端管控平台接收边缘侧上传的本地增量样本摘要、难例样本索引、梯度摘要或参数摘要,完成聚合、验证和模型版本下发;

6、所述边缘计算网关输出目标识别结果、状态分类结果、异常等级、融合置信度、视角贡献度、调度决策和模型版本信息。

7、进一步地,所述端侧感知节点包括固定相机、移动巡检相机、无人机相机、红外或多光谱感知设备、在线传感器和边缘采集控制器中的一种或多种,相邻视角之间具有重叠观测区域或针对同一业务对象的时间关联关系。

8、进一步地,所述边缘计算网关采用滑动时间窗对不同视角的时间戳进行匹配;当多个视角的时间戳差值小于同步阈值时,将对应数据划入同一候选样本组;当存在轻微不同步时,通过线性插值、最近邻补帧或短时缓存等待进行对齐;当某一视角严重滞后时,为该视角写入延迟标记并降低其初始融合权重。

9、进一步地,所述dmvaf-net包括多视角轻量特征提取分支、视角质量评估分支、跨视角注意力融合模块、动态门控融合模块、动态通道裁剪模块以及完整推理输出头和至少一个早退推理头;所述多视角轻量特征提取分支共享或部分共享mobilenetv3-small骨干网络参数。

10、进一步地,所述视角质量评估分支将清晰度指标、遮挡与断流程度、信噪比指标、设备健康状态和历史稳定性汇聚为视角质量得分,并通过softmax归一化得到各视角可靠性权重;所述跨视角注意力融合模块基于查询、键和值映射计算不同视角特征之间的相关性,并利用所述视角可靠性权重对注意力结果进行再加权。

11、进一步地,所述动态通道裁剪模块根据边缘侧剩余算力、可用网络带宽、现场干扰强度和业务时延约束压力确定通道保留率,并根据视角可靠性权重与视角可靠性阈值确定视角分支掩码;当中间层置信度达到早退阈值时,由对应早退推理头输出结果,否则进入完整推理输出头。

12、进一步地,所述云端管控平台对云端教师模型执行分类蒸馏、特征蒸馏和注意力蒸馏,并对多个边缘计算网关上传的参数或参数摘要按照对应有效样本量进行加权聚合;在新模型版本通过精度回归验证、边缘资源占用回归验证和关键场景样本回放验证后进行灰度下发,在出现精度下降或时延超限时执行版本回滚。

13、进一步地,当边缘计算网关与云端管控平台通信异常时,所述边缘计算网关继续执行本地推理和本地告警,并按照业务价值分级缓存关键样本、结构化特征、视角权重、模型版本和推理结果;通信恢复后执行断点续传,所述云端管控平台对补传数据进行补诊断,并将补诊断结果与断网期间的边缘侧实时结果关联至同一业务对象时间轴。

14、进一步地,所述端边云任务调度采用候选调度方案集合进行选择,所述候选调度方案至少包括边缘独立执行、边缘初筛与云端复核、云端主判与边缘补充以及缓存后延迟上传,并综合端到端时延、边缘能耗、预计精度和网络传输开销确定当前任务的执行位置、上送数据类型和回退策略。

15、一种轻量化多视角数据自适应融合方法,包括:端侧同步采集同一目标对象或监测区域的多视角数据,并记录时间戳、设备编号和视角标识;在边缘侧对所述多视角数据进行时间同步、视角标定、噪声抑制、缺失视角标记和尺度归一化,形成多视角样本组;采用mobilenetv3-small提取各视角轻量特征,并根据图像质量、传感器状态、遮挡程度、信噪比和历史可靠性计算视角可靠性权重;利用dmvaf-net的跨视角注意力融合模块和动态门控融合模块生成融合表征;根据边缘算力、网络带宽、业务时延要求和现场干扰强度调整通道保留率、视角分支掩码和早退阈值,当某一视角可靠性权重低于阈值或存在遮挡、断流或强噪声时,降低该视角的融合贡献或关闭该视角分支;将实时推理、本地报警和应急响应任务保留在边缘侧,将全局分析、长周期趋势判断和模型优化任务调度至云端;由云端教师模型对全量样本进行跨视角建模,并向边缘端学生模型下发蒸馏监督或更新参数;边缘侧基于新增数据完成微调或难例筛选,将参数摘要上传至云端聚合,并输出融合结果、置信度、视角贡献度和模型版本。

16、本发明中,边缘端学生模型优选采用mobilenetv3-small与dmvaf-net组合构成。mobilenetv3-small用于在资源受限的边缘网关上提取轻量特征;dmvaf-net用于根据不同视角的可靠性和互补性生成动态融合表征。dmvaf-net包括多视角轻量特征提取分支、视角质量评估分支、跨视角注意力融合模块、动态通道裁剪模块和早退推理头。

17、云端教师模型优选采用swintransformer-base与cross-viewtransformer组合构成。swintransformer-base用于获得层次化高精度特征,cross-viewtransformer用于学习不同视角之间的长距离关联和全局互补关系。云端教师模型在训练阶段向边缘端学生模型提供软标签、注意力分布、中间特征和风险或状态分类监督,使边缘端轻量模型在保持较低计算量的同时获得更好的融合精度。

18、轻量化多视角融合模型由多个视角分支、质量评估分支、跨视角注意力模块、动态门控融合模块、动态通道裁剪模块和早退推理头构成。视角1至视角n的输入分别经mobilenetv3-small提取轻量特征,随后一部分特征送入视角质量评估模块生成可靠性得分,另一部分特征送入跨视角注意力模块计算互补关系;二者的输出共同进入动态门控融合模块形成融合表征,再经动态通道裁剪和早退推理机制输出分类、回归或异常识别结果。该图重点说明本发明并非简单拼接多视角特征,而是通过“质量评估+注意力交互+门控融合+动态裁剪”的联合结构完成自适应融合。

19、本发明的方法包括多视角采集、数据标准化、边缘轻量特征提取、视角质量评估、自适应跨视角融合、动态裁剪与早退推理、端边云任务拆分、云端教师诊断与知识蒸馏、增量更新和闭环输出等步骤。该方法能够根据现场算力、网络带宽、业务时延要求和干扰强度,动态选择视角分支、通道保留率和任务执行位置。