一种串状果实图像的语义解析与困难样本训练方法及系统与流程

本发明涉及图像数据处理，特别涉及一种串状果实图像的语义解析与困难样本训练方法及系统。

背景技术：

1、串状果实（如葡萄、番茄、荔枝、龙眼等）的机械化采摘是农业自动化领域的重要研究方向。采摘机器人需要从田间环境中准确识别目标果实、区分非目标果实以及定位果柄、花萼等连接结构，才能完成后续的切割和抓取操作。因此，对果实及连接结构进行精确的图像语义解析是实现自动化采摘的核心技术环节。

2、现有技术中，已有基于rgb图像的语义分割方法应用于果实识别。这类方法通过卷积神经网络对图像像素进行类别标注，能够在一定程度上区分果实与背景。然而，rgb图像仅提供颜色和纹理信息，在果实与叶片颜色相近、果实相互遮挡或光照条件复杂的情况下，分割稳定性不足，尤其对于果柄、花萼等像素占比小、视觉差异不显著的细小连接结构，分割精度往往无法满足采摘作业要求。

3、部分现有技术尝试引入深度图辅助分割。深度图能够提供空间距离信息，有助于区分视觉上邻近但空间位置不同的物体。然而，这些技术通常仅将rgb图像和深度图进行简单的通道拼接或特征相加，未充分考虑多尺度特征的上下文增强和细节结构增强，导致果实边界和连接结构的分割精度仍有限。

4、在训练策略方面，现有方法对不同样本和不同像素区域采用统一的损失权重和采样策略。实际采摘场景中，远距离小目标果实和细小连接结构在图像中像素面积很小，深度传感器在透明表面、遮挡区域或远距离处常存在测量失效，不同采集设备和光照条件还导致域偏移问题。现有技术缺乏针对上述困难样本和困难像素区域的差异化训练机制，限制了模型在复杂场景下的泛化能力。

5、此外，现有语义解析网络通常仅输出像素级别的语义分类结果，未对深度信息的可靠性进行预测和评估。下游三维点云生成和抓取位姿估计模块依赖深度信息完成空间定位，若深度信息不可靠将直接影响后续操作成功率。现有技术缺乏对深度信息质量的在线评估机制，无法为下游任务提供除语义类别外的辅助质量提示信息。

6、综上，现有技术中存在以下问题：rgb与深度图的融合利用不充分，缺乏多尺度特征的上下文增强和细节结构增强，分割精度不足；缺乏针对小目标、细小连接结构、低有效深度样本及跨域样本的差异化训练策略，泛化能力受限；网络输出信息单一，未包含深度信息可靠性评估，无法为下游任务提供更丰富的感知信息。

技术实现思路

1、为解决以上至少一个技术问题，本发明实施例提供了一种串状果实图像的语义解析与困难样本训练方法及系统。

2、一方面，本发明实施例提供了一种串状果实图像的语义解析与困难样本训练方法，包括：

3、步骤s1、获取训练样本集，所述训练样本集包括多个串状果实的样本数据，每个样本数据至少包括rgb图像、与所述rgb图像对齐的深度图、用于标识像素所属类别的语义标注以及样本来源标识；

4、步骤s2、针对所述训练样本集中的每个样本数据，根据rgb图像和深度图生成rgb-d四通道输入张量，并根据深度图生成有效深度辅助信息；

5、步骤s3、针对所述训练样本集中的每个样本数据，根据对应的语义标注、有效深度辅助信息、样本来源标识中的至少一项，判定样本数据是否为困难样本或是否存在困难像素区域，获得判定结果；

6、步骤s4、在每一次迭代训练时，针对当前迭代所采样到的样本数据，将其rgb-d四通道输入张量进行数据增强后输入至语义解析网络，在所述语义解析网络中通过上下文增强和细节结构增强对输入张量的特征进行增强优化；根据增强优化后的特征，通过所述语义解析网络对输入张量对应的各像素进行类别解析和有效深度预测，输出对应的语义结构解析结果和有效深度辅助预测结果；根据样本数据对应的语义标注、有效深度辅助信息、语义结构解析结果、有效深度辅助预测结果以及对应的判定结果，对所述语义解析网络进行迭代训练。

7、优选的，所述步骤s2包括针对所述训练样本集中的每个样本数据执行如下操作：

8、对rgb图像进行归一化处理，得到归一化rgb三通道数据；

9、对深度图按深度尺度进行转换或归一化处理，得到归一化深度通道数据；

10、将归一化rgb三通道数据与归一化深度通道数据在通道维度上拼接，生成rgb-d四通道输入张量；

11、根据深度图中的无效值、异常值、空洞区域或深度边界，生成有效深度区域指示信息或深度置信度信息，作为所述有效深度辅助信息。

12、优选的，所述步骤s4中在所述语义解析网络中通过上下文增强和细节结构增强对输入张量的特征进行增强优化，包括：

13、将rgb-d四通道输入张量送入编码器，通过多层卷积提取多尺度特征；

14、采用不同膨胀率的空洞卷积对所述多尺度特征进行处理，完成上下文增强；

15、将上下文增强后的特征与编码器各层输出的浅层特征通过跳跃连接进行通道拼接，经解码器上采样得到解码特征图；将所述解码特征图与所述rgb-d四通道输入张量进行通道拼接并卷积变换，完成细节结构增强。

16、优选的，所述步骤s4中输出对应的语义结构解析结果和有效深度辅助预测结果包括：

17、对增强后的特征进行卷积映射，得到各像素属于各语义类别的概率图和类别标签图，作为语义结构解析结果；

18、对所述解码特征图进行卷积映射，得到各像素属于深度可靠和深度不可靠类别的二分类概率图；对所述二分类概率图沿类别维度取最大值，得到有效深度辅助预测标签图；将所述二分类概率图和所述有效深度辅助预测标签图共同作为有效深度辅助预测结果。

19、优选的，所述步骤s3包括：

20、若根据样本数据对应的语义标注所确定的目标果实区域的像素面积小于预设的第一面积阈值，则将该样本数据判定为小目标果实困难样本，并将该目标果实区域中的像素判定为困难像素区域；

21、若根据样本数据对应的语义标注所确定的连接结构区域的像素面积小于预设的第二面积阈值，则将该样本数据判定为小面积连接结构困难样本，并将该连接结构区域中的像素判定为困难像素区域；

22、若根据样本数据对应的有效深度辅助信息确定的有效深度比例低于预设的第一比例阈值，则将该样本数据判定为低有效深度困难样本；所述有效深度比例是指深度图中有效像素数量占深度图总像素数量的百分比；

23、若根据样本来源标识确定该样本数据采集自与训练样本集主域不同的相机设备或采集环境，则将该样本数据判定为新相机域困难样本，所述训练样本集主域是指训练集中大部分样本所共同具有的采集条件分布，包括相机设备类型、镜头参数以及采集时的环境条件。

24、优选的，所述步骤s4包括：

25、在训练迭代采样时，如果当前迭代训练所使用的样本数据为困难样本，则对该当前迭代训练所使用的样本数据的采样概率高于对非困难样本的采样概率；

26、根据采样结果，对选中的当前迭代训练所使用的样本数据中的rgb图像和深度图进行数据增强处理；

27、根据数据增强处理后的rgb图像和深度图生成增强后的rgb-d四通道输入张量；

28、将增强后的所述rgb-d四通道输入张量输入至语义解析网络，经网络前向推理输出语义结构解析结果以及有效深度辅助预测结果；将输出的该有效深度辅助预测结果中的二分类概率图与通过步骤s2对当前样本数据所生成的有效深度辅助信息进行比较，获得有效深度辅助损失；将输出的该语义结构解析结果作为预测值，将当前样本数据对应的语义标注作为真实值，将该预测值与真实值进行比较，获得类别分类损失；其中，在确定类别分类损失时，如果当前样本数据中包括困难像素区域，则设定困难像素区域的像素的损失权重高于对非困难像素区域的像素的损失权重；

29、根据类别分类损失和有效深度辅助损失确定总损失；利用所述总损失对所述语义解析网络进行联合训练，更新网络参数。

30、优选的，所述步骤s4还包括：

31、根据当前样本数据对应的语义标注中属于目标果实类别的像素集合和属于连接结构类别的像素集合，分别提取目标果实区域边界和连接结构区域边界，作为真实边界；

32、根据所述步骤s4中输出的语义结构解析结果中属于目标果实类别的像素集合和属于连接结构类别的像素集合，分别提取目标果实预测区域边界和连接结构预测区域边界，作为预测边界；

33、根据真实边界和预测边界确定边界损失；

34、所述根据类别分类损失和有效深度辅助损失确定总损失，包括：根据所述类别分类损失、所述有效深度辅助损失和所述边界损失确定所述总损失。

35、优选的，所述步骤s4中，对样本数据的采样概率通过以下方式确定：

36、根据训练样本集中各样本在各困难维度上的困难程度值确定对应样本的困难采样权重因子；

37、具体地，根据下式确定样本的困难采样权重因子：

38、

39、其中，表示当前样本的编号；为样本的困难采样权重因子；表示样本的目标果实尺寸困难度，根据样本中目标果实区域的像素面积与第一面积阈值之间的比值确定；表示样本的连接结构尺寸困难度，根据样本中连接结构区域的像素面积与第二面积阈值之间的比值确定；表示样本的深度质量困难度，取值为减去样本中根据所述有效深度辅助信息确定的有效深度比例；表示样本的域差异困难度，根据样本中样本来源标识确定；分别为第一预设权重系数、第二预设权重系数、第三预设权重系数、第四预设权重系数，满足且各权重均大于0；为预设的温度调节超参数，取值为正数；

40、对训练样本集中各样本的困难采样权重因子进行归一化处理，得到各样本的实际采样概率；根据各样本的实际采样概率对训练样本进行采样。

41、优选的，所述步骤s4中，所述困难像素区域的像素的损失权重通过以下方式确定：

42、在当前样本存在困难像素区域时，根据当前样本中各像素的局部邻域对比度和是否属于困难像素区域的判定结果，确定各像素的像素困难权重系数；

43、具体地，根据下式确定每个像素的像素困难权重系数：

44、

45、其中，表示当前样本中的任一像素的编号；为像素的困难像素指示值，当像素被判定为属于困难像素区域时取值为1，否则取值为0；为像素的局部邻域对比度；为当前样本中所有困难像素的局部邻域对比度的均值；为预设的基础权重增强系数， 为预设的对比度调制系数，；为sigmoid函数的陡度调节参数，；为像素的像素困难权重系数；

46、在确定当前样本的类别分类损失时，确定各像素的像素级分类损失，将各像素的像素困难权重系数乘以对应像素的像素级分类损失，得到各像素的加权损失值，再对所有像素的加权损失值取平均，得到当前样本的类别分类损失。

47、另一方面，本发明实施例还提供了一种串状果实图像的语义解析与困难样本训练系统，包括：

48、样本获取模块，用于获取训练样本集，所述训练样本集包括多个串状果实的样本数据，每个样本数据至少包括rgb图像、与所述rgb图像对齐的深度图、用于标识像素所属类别的语义标注以及样本来源标识；

49、数据处理模块，用于针对所述训练样本集中的每个样本数据，根据所述rgb图像和所述深度图生成rgb-d四通道输入张量，并根据所述深度图生成有效深度辅助信息；

50、判断处理模块，用于针对所述训练样本集中的每个样本数据，根据样本数据对应的语义标注、有效深度辅助信息、样本来源标识中的至少一项，判定样本数据是否为困难样本或是否存在困难像素区域，获得判定结果；

51、训练模块，用于在每一次迭代训练时，针对当前迭代所采样到的样本数据，将所述rgb-d四通道输入张量进行数据增强后输入至语义解析网络，在所述语义解析网络中通过上下文增强和细节结构增强对输入张量的特征进行增强优化；根据增强优化后的特征，通过所述语义解析网络对输入张量对应的各像素进行类别解析和有效深度预测，输出对应的语义结构解析结果和有效深度辅助预测结果；根据样本数据对应的语义标注、有效深度辅助信息、语义结构解析结果、有效深度辅助预测结果以及所述判定结果，对所述语义解析网络进行迭代训练。

52、本发明实施例中提供的上述技术方案的有益效果至少包括：

53、本发明实施例提供的上述技术方案，通过将rgb图像与深度图融合为rgb-d四通道输入张量，使语义解析网络能够同时利用颜色信息和空间距离信息进行特征提取，改善了颜色相近目标的分割稳定性；通过在网络中设置上下文增强和细节结构增强模块，分别从全局语义关联和局部边缘细节两个维度对特征进行增强优化，提升了网络对目标果实区域边界和细小连接结构的分割精度；通过建立多维度的困难样本判定机制，能够从目标果实尺寸、连接结构尺寸、深度图质量和采集域差异等角度全面识别困难样本，并在此基础上采用差异化的采样概率和像素级损失权重策略进行迭代训练，解决了小目标、细结构及跨域场景下的泛化难题；通过采用包含语义分类分支和有效深度辅助分支的多任务学习框架，网络在输出语义结构解析结果的同时输出有效深度辅助预测结果，为下游三维点云生成和抓取位姿估计模块提供了深度信息可靠性评估依据，有利于提高采摘作业的整体成功率。

54、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

55、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。