基于数据扰动的跨域自适应语义分割方法及装置与流程

技术特征：
1.一种基于数据扰动的跨域自适应语义分割方法，其特征在于，包括：获取待处理数据以及添加数据扰动后的语义分割特征；基于所述待处理数据以及所述语义分割特征确定损失函数；基于所述损失函数通过误差反向传播算法训练模型得到跨域自适应语义分割模型。2.根据权利要求1所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述获取待处理数据以及添加数据扰动后的语义分割特征包括：获取待处理数据，所述待处理数据包括：有标签的源域数据有标签的目标域数据和无标签的目标域数据其中，n
s
、n
t
和n
u
分别依次表示源域数据的数量、有标签的目标域的数量以及无标签的目标域数据的数量；对所述无标签的目标域数据添加随机扰动，得到扰动后的目标域图像数据基于所述待处理数据以及所述目标域图像数据处理得到各自对应的语义分割特征；所述语义分割特征包括：有标签的源域数据特征f
s
＝g(x
s
)，有标签的目标域数据特征f
t
＝g(x
t
)，无标签的目标域数据特征f
u
＝g(x
u
)以及扰动后的目标域图像数据特征f
a
＝g(x
a
)。3.根据权利要求2所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述数据扰动包括以下至少一种：颜色抖动处理、高斯模糊处理以及亮度处理。4.根据权利要求1所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述基于所述待处理数据以及所述语义分割特征确定损失函数包括：将基于所述有标签的源域数据特征f
s
＝g(x
s
)以及无标签的目标域数据特征f
u
＝g(x
u
)传入到领域判别器网络，得到数据来源结果；所述判别器网络用于判别输出的特征来自于源数据或目标域数据；基于所述数据来源结果构建对抗损失函数：基于所述数据来源结果构建对抗损失函数：其中，e表示期望，p(x)表示数据x来自于分布p(x)。5.根据权利要求1所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述基于所述待处理数据以及所述语义分割特征确定损失函数包括：基于有标签的源域数据以及有标签的目标域数据构造基于标签监督信息的语义分割损失：其中l
seg
表示交叉熵损失，并且在数据x和标签y之间的定义为：且在数据x和标签y之间的定义为：h、w表示图像长和宽并且c代表分割类别总数；构造基于原型分类器的迁移损失，所述迁移损失包括：类别层面的适应损失其中和分别表示基于源域数据和目标域数据得到的类别原型；任务层面对齐损失：l
task
(x
u
)＝d
kl
(p
s
(g,x
u
)||p
t
(g,x
u
))，d
kl
表示kl散度约
束；基于有标签的源域数据构造出基于有监督的语义分割损失其中，h，w，c分别表示图像的长宽以及类别；基于无标签的目标域数据构造语义一致性损失l
s_cyc
(g)＝d
kl
p
u
(g,x
u
)||p
a
(g,x
a
)。6.根据权利要求1至5任一项所述的基于数据扰动的跨域自适应语义分割方法，其特征在于，所述基于所述损失函数通过误差反向传播算法训练模型得到跨域自适应语义分割模型包括：将训练样本输入到待训练模型，计算待训练模型的各层输出数据；基于所述损失函数计算待训练模型的网络输出误差，得到各层误差信息；基于所述各层误差信息调整待训练模型各层权值，直到网络总误差是否达到预设条件。7.一种基于数据扰动的跨域自适应语义分割装置，其特征在于，包括：数据获取模块，用于获取待处理数据以及添加数据扰动后的语义分割特征；损失确定模块，用于基于所述待处理数据以及所述语义分割特征确定损失函数；模型训练模块，用于基于所述损失函数通过误差反向传播算法训练模型得到跨域自适应语义分割模型。8.根据权利要求7所述的基于数据扰动的跨域自适应语义分割装置，其特征在于，所述数据获取模块包括：第一单元，用于获取待处理数据，所述待处理数据包括：有标签的源域数据有标签的目标域数据和无标签的目标域数据其中，n
s
、n
t
和n
u
分别依次表示源域数据的数量、有标签的目标域的数量以及无标签的目标域数据的数量；第二单元，用于对所述无标签的目标域数据添加随机扰动，得到扰动后的目标域图像数据第三单元，用于基于所述待处理数据以及所述目标域图像数据处理得到各自对应的语义分割特征；所述语义分割特征包括：有标签的源域数据特征f
s
＝g(x
s
)，有标签的目标域数据特征f
t
＝g(x
t
)，无标签的目标域数据特征f
u
＝g(x
u
)以及扰动后的目标域图像数据特征f
a
＝g(x
a
)。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于数据扰动的跨域自适应语义分割方法的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述基于数据扰动的跨域自适应语义分割方法的步骤。

技术总结
本发明提供的一种基于数据扰动的跨域自适应语义分割方法及装置，该方法包括，获取待处理数据以及添加数据扰动后的语义分割特征；基于所述待处理数据以及所述语义分割特征确定损失函数；基于所述损失函数通过误差反向传播算法训练模型得到跨域自适应语义分割模型，通过对目标域中大量无标签数据，本发明对这部分数据随机加入扰动，并保证经过扰动处理的图像能够保持语义的一致性，从数据扰动和跨域原型分类器两个角度解决了源域和目标域之间的领域不一致问题，并且针对在现实应用中更具实际应用价值的少量监督问题做了针对性的设计，并在基于对抗的学习框架下，取得了优秀的分割性能，将现有的标注样本的知识迁移到新数据模型中。型中。型中。


技术研发人员：张兆翔 宋纯锋 王玉玺
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2021.06.18
技术公布日：2021/11/8