基于跨模态注意力融合的计量时序文本数据协同表征方法与流程
本发明涉及电力计量数据智能分析,具体涉及基于跨模态注意力融合的计量时序文本数据协同表征方法。
背景技术:
1、电力计量系统在运行过程中持续产生两类性质不同的数据。一类是由智能电能表、集中器等计量设备采集的时序运行数据,包括三相电压、三相电流、有功功率、无功功率与功率因数等随时间连续变化的量化数据,从量的维度刻画设备的运行状态;另一类是由计量自动化系统与终端设备产生的告警报文文本数据,例如欠压告警、过流告警、失压告警、开盖事件等,从质的维度描述设备发生的功能事件。这两类数据从量化与质化两个互补维度共同描述同一台计量设备的运行状态,只有将二者协同表征,才能支撑对计量设备运行状态的准确评价与异常研判。
2、现有的计量数据分析方法通常将时序数据分析与文本告警处理割裂为两条独立的处理链路:时序数据由时间序列模型单独处理,文本告警由规则引擎或文本分类模型单独处理,二者的分析结果仅在决策末端进行简单的拼接或投票。这种割裂式处理难以捕捉时序波动与告警事件之间的深层语义关联,例如难以自动判别一段电压持续偏低的时序波形是否与一条欠压告警报文描述的是同一物理事件。为建立两类数据的语义关联,相关技术将跨模态注意力机制引入数据融合。公开号为cn115659279a的中国发明专利申请,公开了一种基于图文交互的多模态数据融合方法,该方法通过卷积神经网络提取图像特征、通过文本编码器提取设备状态文本特征,并采用多头注意力模块与多头交叉注意力模块生成图文联合表征。然而,该方案的跨模态注意力完全依赖学习到的语义权重对模态间关系进行加权,未引入任何独立于语义相似度的物理可信度判据;将该类跨模态注意力机制直接迁移到电力计量场景时,会暴露出一个未被现有技术充分意识到的问题。
3、计量系统中时序数据与告警文本在时间上往往并非严格对齐:受通信时延、时钟漂移与人工确认环节的影响,告警报文可能相对于时序波动存在延迟、超前,甚至因通信中断而缺失。在这种弱对齐、弱标注条件下,仅依赖语义权重的跨模态注意力容易在时序片段与告警报文之间建立大量“虚假语义关联”,即把在时间上偶然邻近、但在物理上并无因果联系的时序波动与告警报文强行对齐。这种虚假语义关联会污染协同表征,使下游状态评价出现误判;并且当某一模态数据缺失或延迟时,纯语义融合的表征会因缺乏支撑而剧烈退化。
4、现有技术之所以难以克服上述问题,其认知根源在于:本领域普遍将电力系统的物理守恒关系(如基尔霍夫电流定律、功率平衡关系、能量守恒关系)视为仅与数值计算或数据清洗相关的约束,认为其与跨模态语义表征无关,因而在设计跨模态融合模型时并未将物理守恒关系纳入语义关联的可信度判据。因此,如何在时序与文本模态存在对齐偏差、且模态可能缺失或延迟的电力计量场景下,抑制跨模态注意力产生的物理不可信的虚假语义关联,从而获得稳定可靠的协同表征,成为制约计量多模态数据智能分析的核心技术瓶颈。
技术实现思路
1、针对现有技术中电力计量多模态数据协同分析存在的、因跨模态注意力缺乏物理可信度约束而在弱对齐弱标注场景下产生虚假语义关联、进而导致协同表征不稳定的核心瓶颈,本发明提供基于跨模态注意力融合的计量时序文本数据协同表征方法,通过将电力物理守恒关系的残差反转为跨模态注意力的可信度门控信号,在时序与文本模态可能存在对齐偏差乃至缺失的约束前提下,从物理机理层面上抑制虚假语义关联,实现稳定可靠的跨模态协同表征。
2、本发明的技术方案为:基于跨模态注意力融合的计量时序文本数据协同表征方法,包括以下步骤:获取电力计量设备的时序运行数据与告警报文文本数据;将所述时序运行数据编码为时序特征序列、将所述告警报文文本数据编码为文本特征序列,并通过对比学习映射至统一语义空间,得到时序语义特征与文本语义特征;根据所述时序运行数据计算物理量守恒残差,并将所述物理量守恒残差映射为跨模态注意力的可信度门控系数;以一个模态的语义特征作为查询、以另一模态的语义特征作为键与值计算跨模态注意力权重,并采用所述可信度门控系数对所述跨模态注意力权重进行调制,得到调制后注意力权重;基于所述调制后注意力权重对源模态语义特征加权融合,得到协同表征向量并输出。本发明进一步提供对比学习统一语义空间的构建方式、物理量守恒残差的计算与归一化方式、多头分约束门控方式、含物理一致性正则项的联合训练方式,以及中期融合为主、物理引导晚期融合兜底的混合融合方式。
3、本发明的有益效果在于:其一,通过将物理量守恒残差与文本所指示的物理异常程度之间的匹配程度作为可信度门控系数去调制跨模态注意力权重,使物理上不可信的时序—文本组合被主动抑制,其机理在于电力守恒关系为“该跨模态关联是否物理可信”提供了独立于语义相似度的先验判据,从而在弱对齐弱标注场景下显著降低虚假语义关联;相较于采用纯语义加权跨模态注意力,本发明的协同表征在时间错位与噪声干扰下的稳定性得到提升。其二,通过基于额定容量的归一化处理,使门控系数在不同容量、不同台区的设备之间具有可比性,其机理在于消除了守恒残差随设备容量变化而产生的量纲与量级差异,避免门控在异构设备群体上失稳。其三,通过中期融合为主、物理引导晚期融合兜底的混合架构,在告警文本缺失或延迟时以物理量守恒残差构造伪文本语义特征参与融合,其机理在于物理残差本身携带了设备异常的可观测证据,使协同表征在单模态退化条件下仍能保持有效,从而兼顾理想条件下的深度融合精度与实际部署中的鲁棒性。上述效果并非各技术特征效果的简单叠加:物理门控在抑制虚假关联的同时,其副产物,可信度门控系数,被进一步复用为混合融合的自适应权重与联合训练的正则监督信号,形成一条从“物理判据”到“注意力调制”再到“融合决策”的协同增益链条,产生了单一特征无法实现的非线性协同效应。
1.基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述方法包括:
2.根据权利要求1所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述通过对比学习将所述时序特征序列与所述文本特征序列映射至统一语义空间,包括:
3.根据权利要求2所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述根据所述时序运行数据计算所述电力计量设备在对应时段的物理量守恒残差,以及将所述物理量守恒残差映射为跨模态注意力的可信度门控系数,包括:
4.根据权利要求3所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述将所述物理量守恒残差映射为跨模态注意力的可信度门控系数,还包括:
5.根据权利要求4所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述计算跨模态注意力权重采用多头跨模态注意力,其中:
6.根据权利要求5所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述方法还包括对所述模态对齐编码器与所述多头跨模态注意力进行联合训练,联合训练的总损失包括对比损失、下游任务损失以及物理一致性正则项;
7.根据权利要求6所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述得到协同表征向量包括在中期融合通道与晚期融合通道之间进行选择:
8.根据权利要求7所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述采用所述晚期融合通道,包括:
9.根据权利要求8所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述决策层加权中的权重根据所述可信度门控系数自适应确定,所述可信度门控系数越大,基于所述文本语义特征或所述伪文本语义特征得到的表征结果在所述决策层加权中所占的权重越大。
10.根据权利要求1所述的基于跨模态注意力融合的计量时序文本数据协同表征方法,其特征在于,所述方法还包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com