一种基于双证据建模的自然图像分割方法及系统

本技术涉及自然图像处理，特别涉及一种基于双证据建模的自然图像分割方法及系统。

背景技术：

1、自然图像分割是计算机视觉领域的重要基础任务，旨在将场景图像中的目标对象、背景区域和细粒度结构按照像素级语义或实例边界进行划分。该任务广泛应用于场景理解、目标识别、图像编辑、机器人感知和自动驾驶环境理解等自然图像分析场景。

2、现有的mean teacher方法通常由教师模型依赖softmax概率函数为未标注自然图像生成伪标签，再约束学生模型与教师模型预测保持一致。然而，在自然图像中常存在物体边界模糊、纹理相似、遮挡、光照变化和类别外观差异大等情况下，mean teacher方法的教师模型在为未标注自然图像生成伪标签时，softmax概率函数由于其仅能反映预测类别间相对响应的强弱，在上述复杂情况下难以识别高置信但错误的自然图像伪标签，导致meanteacher的教师模型在这些区域生成的伪标签不够可靠，这些错误的伪标签会直接参与模型训练，以供mean teacher中的学生模型不断学习并强化错误预测，使得训练后的模型在进行图像分割时出现分割边界偏移和类别混淆的问题，最终导致自然图像分割精度不足。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种基于双证据建模的自然图像分割方法及系统。

2、本发明采用下述技术方案：

3、本发明提供了一种基于双证据建模的自然图像分割方法，包括：

4、获取无标签的自然图像数据；

5、构建基于mean teacher模型的双证据分割网络模型；所述双证据分割网络模型包括：并行的fisher-edl分支和r-edl分支；所述fisher-edl分支和所述r-edl分支均包括并行的学生模型分支和教师模型分支；

6、将自然图像数据分别输入两分支的教师模型和学生模型，输出无标签自然图像中各像素的预测结果和像素级不确定性；并基于两分支教师模型的预测结果生成无标签自然图像中各像素的伪标签；

7、根据两分支教师模型输出的预测结果，确定两分支教师模型之间的预测一致性掩码和预测分歧；基于所述预测分歧和两分支教师模型输出的像素级不确定性，确定用于表征所述伪标签可靠程度的区域风险图，并利用所述预测一致性掩码将区域风险图映射为跨分支一致性损失权重；根据两分支教师模型和学生模型输出的预测结果和跨分支一致性权重，构建跨分支一致性损失函数，以对所述双证据分割网络模型进行训练；

8、将待分割自然图像输入至训练好的双证据分割网络模型，输出待分割自然图像的图像分割结果。

9、优选地，fisher-edl分支和r-edl分支的学生模型和教师模型均基于证据深度学习模型所构建；

10、其中，fisher-edl分支为在证据深度学习模型中引入fisher信息矩阵所获得的；所述r-edl分支是通过证据深度学习模型固定先验的dirichlet 分布参数中引入可调节的松弛先验参数获得的。

11、优选地，根据两分支教师模型输出的预测结果，确定两分支教师模型之间的预测一致性掩码和预测分歧，具体包括：

12、根据所述fisher-edl分支教师模型和所述r-edl分支教师模型对无标签自然图像各像素区域输出的预测结果，确定自然图像各像素区域的预测类别；

13、根据两分支教师模型对各像素区域的预测类别是否一致，生成两分支教师模型之间的预测一致性掩码；

14、根据两分支教师模型对各像素区域输出的预测结果之间的预测概率差值，确定所述预测分歧。

15、优选地，基于所述预测分歧和两分支教师模型输出的像素级不确定性，确定用于表征所述伪标签可靠程度的区域风险图，具体包括：

16、将fisher-edl分支教师模型和r-edl分支教师模型输出的像素级不确定性转换到统一尺度下，获得自然图像数据在两分支对应的统一尺度不确定性；

17、根据r-edl分支教师模型对应的统一尺度不确定性和所述预测分歧，确定fisher-edl分支教师模型的区域风险图；所述fisher-edl分支教师模型的区域风险图用于表征所述fisher-edl分支学生模型在学习所述r-edl分支教师模型对应伪标签时的可靠程度；

18、根据fisher-edl分支教师模型对应的统一尺度不确定性和所述预测分歧，确定r-edl分支教师模型的区域风险图；所述r-edl分支教师模型的区域风险图用于表征所述r-edl分支学生模型在学习所述fisher-edl分支教师模型对应伪标签时的可靠程度。

19、优选地，根据两分支教师模型和学生模型输出的预测结果和跨分支一致性权重，构建跨分支一致性损失函数，具体包括：

20、根据fisher-edl分支对应的跨分支一致性权重、fisher-edl分支学生模型输出的预测结果、r-edl分支教师模型输出的预测结果，构建fisher-edl分支对应的跨分支一致性损失函数，表达式为：

21、；

22、式中，为fisher-edl分支对应的跨分支一致性损失，为fisher-edl分支学生模型对自然图像数据输出的预测结果，为r-edl分支教师模型对自然图像数据输出的预测结果，为fisher-edl分支对应的跨分支一致性权重，为防止分母为零的极小正常数；

23、根据r-edl分支对应的跨分支一致性权重、r-edl分支学生模型输出的预测结果、fisher-edl分支教师模型输出的预测结果，构建r-edl分支对应的跨分支一致性损失函数，表达式为：

24、；

25、式中，为r-edl分支对应的跨分支一致性损失，为r-edl分支对应的跨分支一致性权重，为r-edl分支学生模型对自然图像数据输出的预测结果，为fisher-edl分支教师模型对自然图像数据输出的预测结果。

26、优选地，在对双证据分割网络模型进行训练时，还包括：

27、获取有标签的自然图像数据；

28、将有标签的自然图像数据输入至两分支的学生模型，分别输出两分支学生模型对应的类别证据；

29、根据所述类别证据，构造两分支的dirichlet分布参数；并根据所述dirichlet分布参数，确定两分支的学生模型对有标签自然图像的预测结果；

30、基于两分支的学生模型对有标签自然图像数据的预测结果与其对应的真实标签，分别构建dice损失函数和证据损失，以对两分支的学生模型进行有监督训练。

31、优选地，fisher-edl分支学生模型的证据损失构建过程，具体包括：

32、根据fisher-edl分支学生模型的dirichlet分布参数，构建fisher信息矩阵；

33、根据两分支的学生模型对有标签自然图像数据的预测结果与其对应的真实标签之间的差值以及fisher信息矩阵，确定fisher加权误差项；

34、引入kl正则项，并基于所述fisher加权误差项、fisher信息矩阵的行列式和kl正则项，构建fisher-edl分支学生模型的证据损失。

35、优选地，r-edl分支学生模型的证据损失构建过程，具体包括：

36、引入可调节的松弛先验参数，根据可调节的松弛先验参数和所述r-edl分支学生模型输出的类别证据，构造r-edl分支的dirichlet分布参数；

37、根据所述dirichlet分布参数确定所述r-edl分支学生模型对所述有标签自然图像的预测结果；

38、根据所述预测结果与所述有标签自然图像数据的真实标签之间的差异，确定投影概率误差项；

39、根据所述dirichlet分布参数和所述松弛先验参数，构造所述真实标签对应的松弛形式dirichlet参数；根据所述dirichlet分布参数与所述松弛形式dirichlet参数之间的kl散度，确定r-edl分支的kl正则项；

40、根据所述投影概率误差项和r-edl分支的kl正则项，构建r-edl分支学生模型的证据损失。

41、优选地，在对双证据分割网络模型进行训练时，还包括：

42、对于任一分支内的教师模型和学生模型，基于教师模型和学生模型输出的预测结果和像素级不确定性，构建分支内一致性损失，具体包括：

43、对于任一分支内的教师模型和学生模型，根据学生模型对自然图像数据的预测结果和教师模型对自然图像数据的预测结果，确定教师模型和学生模型的预测差异；

44、根据教师模型输出的像素级不确定性，构造该分支内的一致性权重；

45、根据所述分支内的预测差异和所述分支内的一致性权重，构建分支内一致性损失。

46、本发明提供了一种基于双证据建模的自然图像分割系统，包括：

47、数据获取模块，用于获取无标签的自然图像数据；

48、模型构建模块，用于构建基于mean teacher模型的双证据分割网络模型；所述双证据分割网络模型包括：并行的fisher-edl分支和r-edl分支；所述fisher-edl分支和所述r-edl分支均包括并行的学生模型分支和教师模型分支；

49、模型训练模块，用于将自然图像数据分别输入两分支的教师模型和学生模型，输出无标签自然图像中各像素的预测结果和像素级不确定性；并基于两分支教师模型的预测结果生成无标签自然图像中各像素的伪标签；根据两分支教师模型输出的预测结果，确定两分支教师模型之间的预测一致性掩码和预测分歧；基于所述预测分歧和两分支教师模型输出的像素级不确定性，确定用于表征所述伪标签可靠程度的区域风险图，并利用所述预测一致性掩码将区域风险图映射为跨分支一致性损失权重；根据两分支教师模型和学生模型输出的预测结果和跨分支一致性权重，构建跨分支一致性损失函数，以对所述双证据分割网络模型进行训练；

50、图像分割模块，用于获取待分割自然图像并输入至训练好的双证据分割网络模型，输出待分割自然图像的图像分割结果。

51、本发明提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现上述一种基于双证据建模的自然图像分割方法。

52、本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种基于双证据建模的自然图像分割方法。

53、本发明采用的上述至少一个技术方案能够达到以下有益效果：

54、本发明采用基于区域风险图映射得到的跨分支一致性损失权重构建的跨分支一致性损失函数对双证据分割网络模型进行训练时，其区域风险图通过两分支教师模型输出的预测分歧和像素级不确定性反映两分支教师模型对同一自然图像数据的预测结果一致性和各像素区域伪标签风险程度，以有效表征教师模型生成伪标签的可靠程度，经上述区域风险图映射得到的跨分支一致性损失权重在双分支证据网络模型训练时，能够在一个分支的学生模型与另一分支教师模型的预测保持一致时对自然图像中不同像素区域的伪标签监督强度进行自适应差异化控制，即对预测分歧小一致且不确定性低的低风险像素区域的可靠伪标签赋予高权重以供跨分支的学生模型充分学习，同时对于预测分歧大或不确定性高的高风险像素区域的不可靠伪标签赋予低权重以抑制教不可靠伪标签对学生模型学习的负面作用，从而有效解决了错误伪标签参与模型训练而导致的分割边界偏移和类别混淆问题，有效提高了自然图像的分割精度。

55、另外，本发明通过fisher-edl分支基于fisher信息矩阵对预测误差进行自适应加权并融合kl正则项构建证据损失以及r-edl分支基于松弛先验参数与kl正则项构建证据损失，使得模型在有标注数据监督训练过程中，fisher-edl分支能够根据证据分布的信息量调整学习过程，在可靠区域形成更稳定明确的判别性证据表达，同时r-edl分支能够避免证据不足区域因方差最小化约束而导致dirichlet分布过度尖锐，以在不确定区域保持更保守的证据分布，从而使得两个分支在训练初期即建立起差异化的可靠证据建模能力，为无标签数据的训练提供具有互补优势的像素级不确定性估计。