图像分割方法、训练方法、装置、电子设备以及存储介质与流程

技术特征：
1.一种图像分割方法，包括：对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图；基于所述共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果；以及根据所述车道线分割结果、所述路面环境分割结果和所述路面障碍物分割结果，得到针对所述待分割道路图像的分割结果。2.根据权利要求1所述的方法，其中，所述基于所述共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果，包括：基于所述共用特征图，得到与所述车道线相关的第一语义分割结果和第一像素特征表征；根据所述第一语义分割结果和所述第一像素特征表征，得到所述车道线分割结果；基于所述共用特征图，得到与所述路面环境相关的第二语义分割结果和第二像素特征表征；根据所述第二语义分割结果和所述第二像素特征表征，得到所述路面环境分割结果；基于所述共用特征图，得到与所述路面障碍物相关的第三语义分割结果和第三像素特征表征；以及根据所述第三语义分割结果和所述第三像素特征表征，得到所述路面障碍物分割结果。3.根据权利要求2所述的方法，其中，所述根据所述第一语义分割结果和所述第一像素特征表征，得到所述车道线分割结果，包括：根据所述第一语义分割结果和所述第一像素特征表征，得到第一对象区域特征表征；确定所述第一语义分割结果和所述第一对象区域特征表征之间的第一关系矩阵；根据所述第一关系矩阵和所述第一对象区域特征表征，得到第一对象上下文特征表征；将所述第一像素特征表征和所述第一对象上下文特征表征进行拼接，得到第一对象增强上下文特征表征；以及将所述第一对象增强上下文特征表征确定为所述车道线分割结果。4.根据权利要求2或3所述的方法，其中，所述根据所述第二语义分割结果和所述第二像素特征表征，得到所述路面环境分割结果，包括：根据所述第二语义分割结果和所述第二像素特征表征，得到第二对象区域特征表征；确定所述第二语义分割结果和所述第二对象区域特征表征之间的第二关系矩阵；根据所述第二关系矩阵和所述第二对象区域特征表征，得到第二对象上下文特征表征；将所述第二像素特征表征和所述第二对象上下文特征表征进行拼接，得到第二对象增强上下文特征表征；以及将所述第二对象增强上下文特征表征确定为所述路面环境分割结果。5.根据权利要求2～4中任一项所述的方法，其中，所述根据所述第三语义分割结果和
所述第三像素特征表征，得到所述路面障碍物分割结果，包括：根据所述第三语义分割结果和所述第三像素特征表征，得到第三对象区域特征表征；确定所述第三语义分割结果和所述第三对象区域特征表征之间的第三关系矩阵；根据所述第三关系矩阵和所述第三对象区域特征表征，得到第三对象上下文特征表征；将所述第三像素特征表征和所述第三对象上下文特征表征进行拼接，得到第三对象增强上下文特征表征；以及将所述第三对象增强上下文特征表征确定为所述路面障碍物分割结果。6.根据权利要求1～5中任一项所述的方法，其中，所述共用特征图是利用图像分割模型包括的主干网络处理所述待分割道路图像数据得到的；其中，所述车道线分割结果是利用所述图像分割模型包括的车道线分支网络处理所述共用特征图得到的；其中，所述路面环境分割结果是利用所述图像分割模型包括的路面环境分支网络处理所述共用特征图得到的；其中，所述路面障碍物分割结果是利用所述图像分割模型包括的障碍物分支网络处理所述共用特征图得到的。7.一种图像分割模型的训练方法，包括：对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图；基于所述样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果；以及利用与所述样本道路图像对应的分割标签、所述样本车道线分割结果、所述样本路面环境分割结果和所述样本路面障碍物分割结果训练预设模型，得到所述图像分割模型。8.根据权利要求7所述的方法，其中，所述预设模型包括主干网络；所述对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图，包括：利用所述主干网络处理所述样本道路图像的样本道路图像数据，得到所述样本共用特征图。9.根据权利要求7或8所述的方法，其中，所述预设模型包括车道线分支网络、路面环境分支网络和路面障碍物分支网络；所述基于所述样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果，包括：利用所述车道线分支网络处理所述样本共用特征图，得到所述样本车道线分割结果；利用所述路面环境分支网络处理所述样本共用特征图，得到所述样本路面环境分割结果；以及利用所述路面障碍物分支网络处理所述样本共用特征图，得到所述路面障碍物分割结果。10.根据权利要求7～9中任一项所述的方法，其中，与所述样本道路图像对应的分割标签包括与所述样本道路图像中的车道线对应的第一分割标签、与所述样本道路图像中的路
面环境对应的第二分割标签和与所述样本道路图像中的障碍物对应的第三分割标签；所述利用与所述样本道路图像对应的分割标签、所述样本车道线分割结果、所述样本路面环境分割结果和所述样本路面障碍物分割结果训练预设模型，得到所述图像分割模型，包括：基于集合相似度损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第一输出值；基于所述集合相似度损失函数，根据所述第二分割标签和所述路面环境分割结果，得到第二输出值；基于所述集合相似度损失函数，根据所述第三分割标签和所述路面障碍物分割结果，得到第三输出值；基于交叉熵损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第四输出值；基于所述交叉熵损失函数，根据所述第二分割标签和所述路面环境分割结果，得到第五输出值；基于所述交叉熵损失函数，根据所述第三分割标签和所述路面障碍物分割结果，得到第六输出值；根据输出值，调整所述预设模型的模型参数，直至所述输出值收敛，其中，所述输出值包括所述第一输出值、所述第二输出值、所述第三输出值、所述第四输出值、所述第五输出值和所述第六输出值；以及将在所述输出值收敛的情况下得到的预设模型确定为所述图像分割模型。11.根据权利要求10所述的方法，其中，所述车道线包括以下至少一个类别：实线、虚线、导流线、斑马线和停止线；所述路面环境包括以下至少一个类别：路面、栅栏、隔离带、绿化带、行人道路、机动车道、非机动车道和应急车道；所述障碍物包括以下至少一个类别：机动车、非机动车、行人、车内物体和高架桥；所述方法还包括：基于类别均衡策略，确定与所述车道线包括的每个类别对应的类别权重、与所述路面环境包括的每个类别对应的类别权重和与所述路面障碍物包括的每个类别对应的类别权重；所述基于集合相似度损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第一输出值，包括：基于所述集合相似度损失函数，根据与所述车道线包括的每个类别对应的类别权重、所述第一分割标签和所述车道线分割结果，得到所述第一输出值；所述基于所述集合相似度损失函数，根据所述第二分割标签和所述路面环境分割结果，得到第二输出值，包括：基于所述集合相似度损失函数，根据与所述路面环境包括的每个类别对应的类别权重、所述第二分割标签和所述路面环境分割结果，得到所述第二输出值；所述基于所述集合相似度损失函数，根据所述第三分割标签和所述路面障碍物分割结果，得到第三输出值，包括：
基于所述集合相似度损失函数，根据与所述障碍物包括的每个类别对应的类别权重、所述第三分割标签和所述路面障碍物分割结果，得到所述第三输出值。12.根据权利要求11所述的方法，其中，所述基于交叉熵损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第四输出值，包括：基于所述交叉熵损失函数，根据与所述车道线包括的每个类别对应的类别权重、所述第一分割标签和所述车道线分割结果，得到所述第四输出值；所述基于所述交叉熵损失函数，根据所述第二分割标签和所述路面环境分割结果，得到第五输出值，包括：基于所述交叉熵损失函数，根据与所述路面环境包括的每个类别对应的类别权重、所述第二分割标签和所述路面环境分割结果，得到所述第五输出值；所述基于所述交叉熵损失函数，根据所述第三分割标签和所述路面障碍物分割结果，得到第六输出值，包括：基于所述交叉熵损失函数，根据与所述障碍物包括的每个类别对应的类别权重、所述第三分割标签和所述路面障碍物分割结果，得到所述第六输出值。13.根据权利要求11或12所述的方法，其中，所述基于类别均衡策略，确定与所述车道线包括的每个类别对应的类别权重、与所述路面环境包括的每个类别对应的类别权重和与所述障碍物包括的每个类别对应的类别权重，包括：根据所述样本道路图像中的每个类别的像素点的数目，确定与所述车道线包括的每个类别对应的类别权重、与所述路面环境包括的每个类别对应的类别权重和与所述障碍物包括的每个类别对应的类别权重。14.根据权利要求10所述的方法，还包括：以每隔预设行数的方式从所述样本道路图像中提取与所述车道线对应的多个目标像素点；所述基于集合相似度损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第一输出值，包括：基于所述集合相似度损失函数，根据与所述多个目标像素点对应的第一分割标签和样本车道线分割结果，得到所述第一输出值；所述基于交叉熵损失函数，根据所述第一分割标签和所述样本车道线分割结果，得到第四输出值，包括：基于交叉熵损失函数，根据与所述多个目标像素点对应的第一分割标签和样本车道线分割结果，得到所述第四输出值。15.根据权利要求7～14中任一项所述的方法，其中，所述预设模型是经过预训练后得到的模型。16.一种图像分割装置，包括：第一提取模块，用于对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图；第一获得模块，用于基于所述共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果；以及
第二获得模块，用于根据所述车道线分割结果、所述路面环境分割结果和所述路面障碍物分割结果，得到针对所述待分割道路图像的分割结果。17.一种图像分割模型的训练装置，包括：第二提取模块，用于对样本道路图像的样本道路图像数据进行特征提取，得到样本共用特征图；第三获得模块，用于基于所述样本共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到样本车道线分割结果、样本路面环境分割结果和样本路面障碍物分割结果；以及第四获得模块，用于利用与所述样本道路图像对应的分割标签、所述样本车道线分割结果、所述样本路面环境分割结果和所述样本路面障碍物分割结果训练预设模型，得到所述图像分割模型。18.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～6中任一项或权利要求7～15中任一项所述的方法。19.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～6中任一项或权利要求7～15中任一项所述的方法。20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～6中任一项或权利要求7～15中任一项所述的方法。

技术总结
本公开提供了一种图像分割方法、训练方法、装置、电子设备以及存储介质，涉及涉及人工智能技术领域，尤其涉及计算机视觉和深度学习技术。具体实现方案为：对待分割道路图像的待分割道路图像数据进行特征提取，得到共用特征图；基于共用特征图，分别进行与车道线相关的语义分割、与路面环境相关的语义分割和与路面障碍物相关的语义分割，得到车道线分割结果、路面环境分割结果和路面障碍物分割结果；以及，根据车道线分割结果、路面环境分割结果和路面障碍物分割结果，得到针对待分割道路图像的分割结果。的分割结果。的分割结果。


技术研发人员：何悦
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.10.29
技术公布日：2022/1/25