一种面向电力作业场景的多模态表征对齐与知识迁移方法、系统、设备及介质与流程

摘要: 本发明涉及计算机视觉与模型压缩,尤其涉及一种面向电力作业场景的多模态表征对齐与知识迁移方法、系统、设备及介质。背景技术:1、随着电网数字化转型的深入,利用人工智...
一种面向电力作业场景的多模态表征对齐与知识迁移方法、系统、设备及介质与流程

本发明涉及计算机视觉与模型压缩,尤其涉及一种面向电力作业场景的多模态表征对齐与知识迁移方法、系统、设备及介质。

背景技术:

1、随着电网数字化转型的深入,利用人工智能技术对电力作业现场进行智能监控与违章预警已成为保障安全生产的关键手段。当前主流方案采用“端云协同”架构:端侧设备负责实时视频采集与初步分析,云侧服务器负责处理复杂识别任务。该架构对端侧模型的实时性、轻量化及泛化能力提出了极高要求。

2、电力作业智能监控的核心挑战在于其任务的多模态与复杂性。一方面,作业规范以文本形式存在,传感器(如位置、姿态传感器)提供结构化时序数据,而监控视频则包含丰富的视觉信息。这些数据在模态、结构和语义上存在显著差异,直接进行融合分析难度大。另一方面,为了达到高精度识别,云端通常部署参数量大、计算复杂的多模态大模型,但其无法直接部署于资源受限的端侧。因此,需要将云端大模型的知识迁移至轻量化的端侧模型。

3、现有方法通常针对单一或双模态(如图像-文本)构建专家表征空间,或在大量数据上训练统一多模态空间。前者无法有效利用多源信息互补,后者则面临数据收集成本高、训练资源消耗巨大以及灾难性遗忘等问题。传统的知识蒸馏方法假设师生模型结构相似或特征层可对齐,在跨架构场景下直接迁移中间特征往往因语义不对齐而失效。

4、综上所述,现有技术难以在端侧有限资源约束下,构建一个能够深度融合多源信息、继承云端大模型高级语义、并能动态适应不同作业场景的轻量级视觉检测模型。因此,亟需一种创新的多模态表征对齐与知识迁移方法。

技术实现思路

1、鉴于上述现有存在的问题,本发明提供一种面向电力作业场景的多模态表征对齐与知识迁移方法、系统、设备及介质。

2、因此,本发明解决的技术问题是:在资源受限的端侧设备上,难以有效融合多源异构信息、无法将云端大模型的多模态语义知识精准迁移至轻量级模型且缺乏对不同作业场景动态自适应能力的问题。

3、为解决上述技术问题,本发明提供如下技术方案,一种面向电力作业场景的多模态表征对齐与知识迁移方法,包括:获取电力作业场景下的多源数据,使用预训练模型分别提取各模态的基础表征;基于预训练的统一空间,通过集成专家空间的知识,得到增强的统一空间;以增强的统一空间模型为教师模型,以端侧目标检测模型为学生模型,进行知识蒸馏;在所述学生模型的骨干网络中嵌入可适配模块,实现前向推理路径的动态调整。

4、作为本发明所述的一种面向电力作业场景的多模态表征对齐与知识迁移方法的一种优选方案,其中:所述得到增强的统一空间包括:对于每个专家空间,利用共享模态的数据表征,通过对比学习目标训练投影网络,将所述专家空间的特征映射到所述预训练的统一空间;

5、将对齐后的专家表征与原始统一空间表征进行自适应融合,得到增强后的统一空间表征;

6、使用多模态对比损失在融合后的表征与各模态基础表征之间进行联合训练,调整统一空间编码器及融合权重,得到增强的统一空间模型。

7、作为本发明所述的一种面向电力作业场景的多模态表征对齐与知识迁移方法的一种优选方案,其中:所述专家空间至少包括一个文本-传感器专家空间和一个图像-文本专家空间;

8、将所述文本-传感器专家空间的文本表征通过第一投影网络对齐到预训练的统一空间的文本表征,将所述图像-文本专家空间的图像表征和文本表征分别通过第二投影网络和第三投影网络对齐到预训练的统一空间的图像表征和文本表征;

9、对于每个多模态样本,通过可学习的融合权重将对齐后的文本侧专家表征与预训练的统一空间的文本表征进行加权融合得到增强的文本表征,将对齐后的图像侧专家表征与预训练的统一空间的图像表征进行加权融合得到增强的图像表征,并以增强的文本表征、增强的图像表征以及传感器基础表征进行多模态对比学习,调整预训练的统一空间的编码器及所述融合权重。

10、作为本发明所述的一种面向电力作业场景的多模态表征对齐与知识迁移方法的一种优选方案,其中:所述进行知识蒸馏包括:对于每个目标类别,利用教师模型处理属于当前类别的正样本,在所述增强的统一空间中计算当前类别的语义原型向量;

11、在学生模型中引入语义对齐模块,将学生模型提取的视觉特征映射到与教师语义原型空间兼容的语义空间,并通过语义对齐损失使学生特征向对应类别的教师语义原型对齐;联合学生模型原有的检测损失和所述语义对齐损失进行训练,得到蒸馏后的学生模型。

12、作为本发明所述的一种面向电力作业场景的多模态表征对齐与知识迁移方法的一种优选方案,其中:所述语义对齐模块被并行添加在学生模型特征金字塔网络输出的每个尺度特征之后,每个语义对齐模块将对应尺度的视觉特征映射到与教师语义原型向量相同维度的语义空间;

13、在训练过程中,对于每个与真实框匹配的候选区域,计算映射后的语义特征与所有类别教师语义原型向量的相似度分布,所述语义对齐损失以真实类别为监督信号,使候选区域的语义特征向真实类别的教师语义原型靠近。

14、作为本发明所述的一种面向电力作业场景的多模态表征对齐与知识迁移方法的一种优选方案,其中:还包括:通过样式编码器从输入图像中提取全局样式特征;

15、基于样式特征,通过参数生成网络动态生成低秩适配参数;

16、在模型前向传播过程中,将动态生成的适配参数与原始权重结合,得到适配后的权重进行卷积计算。

17、作为本发明所述的一种面向电力作业场景的多模态表征对齐与知识迁移方法的一种优选方案,其中:所述样式编码器由卷积层构成,所述参数生成网络为多层感知机;

18、所述可适配模块被嵌入学生模型骨干网络的选定卷积层中,样式编码器、参数生成网络与所述学生模型进行端到端联合训练,得到最终可部署的端侧模型;

19、当端侧设备在运行过程中持续检测到低于预设置信度阈值的预测结果时,将对应的匿名化图像数据回传至云端;云端利用匿名化图像数据对所述可适配模块中的样式编码器和参数生成网络进行增量调整,同时冻结学生模型的剩余参数;将调整后的参数加密下发至端侧设备进行更新。

20、本发明提供一种面向电力作业场景的多模态表征对齐与知识迁移系统。

21、作为本发明所述的一种面向电力作业场景的多模态表征对齐与知识迁移系统的一种优选方案,其中:包括多模态数据处理模块、云端空间增强与训练模块、语义蒸馏与模型优化模块、动态适配与端侧推理模块、协同更新管理模块;

22、所述多模态数据处理模块配置用于从现场作业视频监控系统获取并预处理作业规范文本、传感器时序数据及作业视频流数据;

23、所述云端空间增强与训练模块部署于算法平台云侧,配置用于执行所述统一表征空间增强,构建和训练增强的统一空间教师模型;

24、所述语义蒸馏与模型优化模块部署于算法平台,配置用于执行所述语义引导的跨架构蒸馏,利用所述教师模型对端侧学生模型进行蒸馏,产生蒸馏后的学生模型;

25、所述动态适配与端侧推理模块集成于端侧服务器,配置用于加载集成了所述可适配模块的最终端侧模型,并执行实时视频流的自适应违章识别;

26、所述协同更新管理模块配置用于管理端侧低置信度样本的回传、云端对可适配模块的增量微调及参数下发流程。

27、本发明提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现一种面向电力作业场景的多模态表征对齐与知识迁移方法的步骤。

28、本发明提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现一种面向电力作业场景的多模态表征对齐与知识迁移方法的步骤。

29、本发明的有益效果:通过将文本-传感器、图像-文本等专家空间的深度知识融入预训练统一空间,构建出语义更丰富、更贴合电力作业领域的多模态统一表征空间,为后续蒸馏提供了高质量的知识源。

30、通过语义原型对齐的蒸馏机制,让端侧模型的特征向教师模型的多模态语义原型靠拢,实现了跨架构的、语义级的知识迁移,弥合了异构模型间的语义鸿沟,保留了关键检测能力。

31、引入基于低秩参数生成的动态样式适配机制,使单一端侧模型能够根据输入场景风格动态调整,提升了模型在不同作业环境下的鲁棒性,且增加的参数量和计算开销极小。