面向水质检测业务的图增强多模态指代分割方法及系统与流程

摘要: 本发明属于智慧水务、水环境监测、计算机视觉与自然语言处理交叉,尤其涉及一种面向水质检测业务的图增强多模态指代分割方法及系统。背景技术:1、现有水质检测业务通常依...
面向水质检测业务的图增强多模态指代分割方法及系统与流程

本发明属于智慧水务、水环境监测、计算机视觉与自然语言处理交叉,尤其涉及一种面向水质检测业务的图增强多模态指代分割方法及系统。

背景技术:

1、现有水质检测业务通常依赖ph、溶解氧、电导率、浊度、氨氮、叶绿素等传感器进行定点测量,并辅以人工巡检或视频监控。传感器能够提供数值变化,但难以直接给出藻华、漂浮垃圾、油膜、泡沫、浑浊带、异常水色区域或疑似排放区域的空间范围;人工查看视频则存在效率低、主观性强和难以连续值守的问题。传统图像分割方法通常针对固定类别进行训练,难以根据诸如分割进水口左侧黄绿色藻华区域、找出靠近排污口的两个泡沫区域或图中是否存在油膜等自然语言检测指令灵活定位零个、一个或多个目标。泛化指代表达分割能够依据检测人员输入的自然语言描述定位图像目标,但现有方法在水面反光、波纹、阴影、低对比度污染边界及多目标共存场景下,仍面临图文跨模态对齐困难、目标数量适应性不足以及无目标场景误报率较高的问题。

2、因此,由于水质检测中在复杂水面背景、多目标和无目标场景下无法精确分割的技术问题,需要设计一种面向水质检测业务的图增强多模态指代分割方法及系统。

3、需要说明的是,本背景技术部分中公开的以上信息仅用于理解本技术构思的背景技术,因此,并不认为上述描述构成现有技术的信息。

技术实现思路

1、本公开实施例至少提供一种面向水质检测业务的图增强多模态指代分割方法及系统。

2、第一方面,本公开实施例提供了一种图增强多模态指代分割方法,包括:

3、处理器获取水质检测场景图像以及对应的自然语言检测指令,以获取多尺度视觉特征图和语言特征;

4、处理器根据语言特征和可学习的区域嵌入,生成与水质异常目标相对应的区域特定初始查询;

5、处理器将区域特定初始查询和语言特征共同输入多模态解码器,与多尺度视觉特征图进行交互,使得水质场景视觉信息与检测指令语义信息的融合和区域语义细化,输出更新后的查询嵌入;

6、处理器根据更新后的查询嵌入生成水质异常目标的分割掩码,并根据所述分割掩码获得目标数量、面积占比、中心位置或边界信息,以用于水质异常告警、现场取样定位、巡检工单生成或水质传感器采样策略调整。

7、在一种可选的实施方式中,所述获取多尺度视觉特征图的方法包括:

8、处理器通过swin transformer提取水质检测场景图像的多尺度图像特征;

9、其中,ci为通道数;hi和wi分别为特征矩阵的长度和宽度;

10、在swin transformer的第一层中,将多梯度中心差分卷积与原卷积并行处理并融合输出,对于swin transformer的后续层,将输出的视觉特征建模为一个全连接图,其中节点特征由通过线性投影得到,通过残差图卷积网络对视觉特征进行更新:

11、;

12、其中,为基于节点特征之间的相似度计算获得的邻接矩阵;为可学习的权重矩阵;

13、更新后的视觉特征为:

14、。

15、在一种可选的实施方式中,所述语言特征为:

16、处理器对自然语言检测指令进行编码获取语言特征,即采用bert模型对自然语言检测指令进行编码,得到词元级语言特征,利用spacy提取每个词元的pos标签,将pos标签嵌入后与语言特征进行融合:

17、;

18、其中,;为词性标签的7类粗粒度one-hot表示; 和 为可学习参数;⊙为逐元素乘法;lp为与pos标签相关的特征矩阵;

19、所述自然语言检测指令包括:水质异常目标类别词、属性词和空间关系词;

20、所述水质异常目标类别词包括:藻华、漂浮垃圾、油膜、泡沫、浑浊带、异常水色区域、疑似排放区域或水生植物;

21、提取每个词元的词性标签,将词性标签嵌入后与所述语言特征进行融合,得到融合词性信息后的语言特征;

22、基于依存句法分析构建有向语言图,利用图卷积网络对所述有向语言图的节点特征进行更新,得到图增强后的语言特征。

23、在一种可选的实施方式中,所述生成与水质异常目标相对应的区域特定初始查询的方法包括:

24、处理器通过可学习的区域嵌入生成区域特定的初始查询;

25、在给定图增强文本特征的基础上,查询生成器沿文本维度对词元表示进行聚合,构建水质异常区域与检测指令特定查询:

26、

27、其中,表示投影函数;r为可学习的区域嵌入;l为语言特征;d为特征维度。

28、在一种可选的实施方式中,所述处理器将初始查询向量与原始语言嵌入共同输入多模态解码器,与多尺度视觉特征图进行交互,逐步实现水质场景视觉信息与检测指令语义信息的融合和异常区域语义细化;

29、在图层级上,跨模态表示和通过图注意力网络进行融合,将视觉和语言特征作为二分图节点,边权重由特征余弦相似度确定:

30、;

31、其中,为视觉和语言特征;gat表示图注意力网络;为融合后的特征;

32、在实体层级上,视觉特征和语言特征分别通过独立的卷积层投影到共享嵌入空间中,实体层级的跨模态注意力矩阵计算为:

33、;

34、融合注意力矩阵的语言特征表示为:

35、;

36、其中,为待学投影函数;

37、实体层级的多模态表示为:

38、;

39、其中, 为待学习的参数矩阵;

40、查询更新通过带掩码的交叉注意力机制实现:

41、;

42、其中,m为注意力掩码;为查询矩阵;表示实体及特征与图级特征的拼接;

43、利用自注意力建模模态内及跨模态依赖关系:

44、, ;

45、为查询特征与语言特征拼接而成的训练;

46、最后将融合后的特征输入前馈网络,并通过分割操作得到更新后的查询嵌入和语言嵌入:

47、。

48、在一种可选的实施方式中,所述水质异常目标包括:零个、一个或多个目标;

49、当检测指令所描述的目标在图像中不存在时,输出无目标判别结果;

50、当存在一个或多个目标时,分别输出各目标的分割掩码,并将所述分割掩码与摄像机标定信息、地理坐标或水域网格编号关联。

51、在一种可选的实施方式中,处理器通过自适应指代计数器对文本特征和查询特征分别沿序列维度进行平均池化,得到全局文本嵌入和全局查询嵌入,拼接后输入两层感知机,输出目标计数标签:

52、;

53、;

54、其中,l和q分别表示文本嵌入矩阵和查询矩阵;ap表示平均池化;||表示拼接操作;为拼接后的矩阵;为计数标签;

55、将视觉特征f划分为空间块,利用得到每个查询目标区域的二值分割掩码:

56、;

57、无目标分支利用查询嵌q、全局视觉特征向量和句子表示实现无目标判别;

58、无目标判别结果输出为:

59、;

60、其中为文本向量l通过全连接网络得到的句子级表示向量,表示全局视觉表示的的平均池化,。

61、在一种可选的实施方式中,处理器将查询生成模块生成的区域特定初始查询与语言特征共同输入多模态解码器,与多尺度视觉特征图进行交互,输出更新后的查询嵌入;

62、基于所述更新后的查询嵌入生成水质异常目标分割掩码,并对掩码进行连通域分析,得到目标数量、面积占比、中心坐标和外接边界;

63、将目标数量、面积占比、中心坐标或外接边界与同一水域的水质传感器数据进行关联;

64、当目标面积占比、目标持续时间或传感器测量值满足预设告警条件时,生成水质异常事件,并向水质监测平台发送告警信息、取样位置或巡检任务。

65、第二方面,本公开实施例还提供一种采用上述图增强多模态指代分割方法的系统,其特征在于,包括:

66、获取模块,其被配置为获取水质检测场景图像以及对应的自然语言检测指令,以获取多尺度视觉特征图和语言特征;

67、查询模块,其被配置为根据语言特征和可学习的区域嵌入,生成与水质异常目标相对应的区域特定初始查询;

68、融合模块,其被配置为将区域特定初始查询和语言特征共同输入多模态解码器,与多尺度视觉特征图进行交互,使得水质场景视觉信息与检测指令语义信息的融合和区域语义细化,输出更新后的查询嵌入;

69、调整模块,其被配置为根据更新后的查询嵌入生成水质异常目标的分割掩码,并根据所述分割掩码获得目标数量、面积占比、中心位置或边界信息,以用于水质异常告警、现场取样定位、巡检工单生成或水质传感器采样策略调整。

70、第三方面,本公开实施例还提供一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现上述图增强多模态指代分割方法的步骤。

71、本发明的有益效果是,本图增强多模态指代分割方法通过处理器获取水质检测场景图像以及对应的自然语言检测指令,以获取多尺度视觉特征图和语言特征;处理器根据语言特征和可学习的区域嵌入,生成与水质异常目标相对应的区域特定初始查询;处理器将区域特定初始查询和语言特征共同输入多模态解码器,与多尺度视觉特征图进行交互,使得水质场景视觉信息与检测指令语义信息的融合和区域语义细化,输出更新后的查询嵌入;处理器根据更新后的查询嵌入生成水质异常目标的分割掩码,并根据所述分割掩码获得目标数量、面积占比、中心位置或边界信息,以用于水质异常告警、现场取样定位、巡检工单生成或水质传感器采样策略调整,进而实现了面向水质检测业务,将水域图像、自然语言检测指令与后续告警、取样和巡检流程相衔接,并在复杂水面背景、多目标和无目标场景下实现精确分割。

72、本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

73、为使本发明的上述目的、特征和优点能更明显易懂,本文特举较佳实施例,并配合所附附图,作详细说明如下。