基于超分辨率重建的燕窝细微杂质像素级增强与精准分割方法及系统与流程

本发明涉及机器视觉与图像处理，具体涉及基于超分辨率重建的燕窝细微杂质像素级增强与精准分割方法及系统。

背景技术：

1、燕窝原料中常夹杂羽毛、蛋壳碎屑、黑点等细微杂质。现有加工过程中，细微杂质通常依赖人工在强光下进行挑拣。由于燕窝本体呈半透明胶状并具有天然纤维状纹理，部分细微羽毛杂质在可见光反射图像中的形态与燕窝纤维纹理相近，人工挑拣和普通图像分割均容易受到背景纹理干扰。

2、随着机器视觉检测的发展，已有方案尝试通过工业相机采集燕窝图像并进行杂质识别。然而，大量细小黑点、绒毛和碎屑在常规分辨率下仅占据少量像素，边界模糊，直接分割时容易出现断裂、漏分割或边界不准。采用单一反射图像时，图像能够保留表面纹理和表面细节，但燕窝纤维纹理会与杂质边缘同时被强化；采用透射图像时，燕窝内部杂质可形成暗斑投影，但透射图像中表面纹理和轮廓细节不足，难以直接给出准确的杂质边界。

3、现有技术中，单独利用超分辨率重建后再执行分割的串行方式，通常只能提高图像整体分辨率，无法区分需要重点增强的杂质区域和容易造成误判的燕窝纹理区域。将多光源图像直接拼接输入分割网络的方式，也难以使透射成像中的暗斑位置对反射图像的超分辨率重建过程产生有针对性的调制。

4、因此，本技术提供基于超分辨率重建的燕窝细微杂质像素级增强与精准分割方法以解决上述技术问题。

技术实现思路

1、本发明的目的在于提供基于超分辨率重建的燕窝细微杂质像素级增强与精准分割方法及系统，用以解决现有技术中燕窝反射图像中纤维纹理与细微杂质视觉相近、透射图像轮廓定位不足、常规超分辨率重建和分割串行处理难以兼顾细节重建与像素级杂质分割的技术问题。

2、为了解决上述技术问题，本发明提供了基于超分辨率重建的燕窝细微杂质像素级增强与精准分割方法，包括：

3、采集待测燕窝的反射光数字图像和透射光数字图像，并按定位标记执行像素配准，得到配准图像对；

4、将所述反射光数字图像和所述透射光数字图像分别编码为反射初始特征图和透射初始特征图；

5、在预设数量的动态调制残差块中，对输入反射特征图执行卷积处理，并将所述透射初始特征图经池化和全连接映射形成逐通道缩放系数和逐通道偏置系数；

6、基于所述逐通道缩放系数和所述逐通道偏置系数对卷积处理后的反射特征图执行仿射调制，得到级联调制后的反射特征图；

7、对所述级联调制后的反射特征图执行亚像素上采样，得到高分辨率特征图，对所述高分辨率特征图执行初始像素分类，得到初始杂质概率图；

8、将所述初始杂质概率图经尺度变换和平滑处理形成杂质先验注意力图，并按像素作用于所述高分辨率特征图，得到反馈处理特征图；

9、对所述反馈处理特征图执行图像重建和逐像素分类，输出高分辨率燕窝重建图像和杂质分割掩膜。

10、在其中一些具体实施例中，采集待测燕窝的反射光数字图像和透射光数字图像，并按定位标记执行像素配准，得到配准图像对，进一步包括：

11、在反射照明下采集包含燕窝表面纹理和杂质表面细节的反射光数字图像，在透射照明下采集包含燕窝内部暗斑投影的透射光数字图像；

12、读取透明载物台定位标记在所述反射光数字图像和所述透射光数字图像中的像素坐标，计算图像配准变换关系；

13、按所述图像配准变换关系重采样所述透射光数字图像或所述反射光数字图像，得到空间位置一致的配准图像对。

14、在其中一些具体实施例中，将所述反射光数字图像和所述透射光数字图像分别编码为反射初始特征图和透射初始特征图，进一步包括：

15、对所述反射光数字图像执行卷积和非线性激活，得到包含燕窝表面纹理与杂质反射边缘的反射初始特征图；

16、对所述透射光数字图像执行卷积和非线性激活，得到包含杂质暗斑投影位置的透射初始特征图；

17、将所述反射初始特征图送入动态调制残差块的反射分支，并将所述透射初始特征图保持为各动态调制残差块的调制信号。

18、在其中一些具体实施例中，基于所述逐通道缩放系数和所述逐通道偏置系数对卷积处理后的反射特征图执行仿射调制，得到级联调制后的反射特征图，进一步包括：

19、对当前输入反射特征图执行卷积得到中间反射特征图；

20、对所述透射初始特征图执行全局池化得到透射通道统计向量；

21、将所述透射通道统计向量映射为逐通道缩放系数和逐通道偏置系数；

22、基于所述逐通道缩放系数和所述逐通道偏置系数对所述中间反射特征图执行逐通道仿射变换，得到当前调制特征图；

23、将所述当前调制特征图与所述当前输入反射特征图执行残差连接，并将残差连接结果送入下一动态调制残差块，直至得到所述级联调制后的反射特征图。

24、在其中一些具体实施例中，对所述级联调制后的反射特征图执行亚像素上采样，得到高分辨率特征图，对所述高分辨率特征图执行初始像素分类，得到初始杂质概率图包括：

25、将所述级联调制后的反射特征图经通道适配卷积转换为待重排特征图；

26、按照预设放大倍率对所述待重排特征图执行亚像素重排，得到高分辨率特征图；

27、将所述高分辨率特征图输入初始分割卷积层，得到每个像素属于杂质区域的概率，并将全部像素的概率组成所述初始杂质概率图。

28、在其中一些具体实施例中，将所述初始杂质概率图经尺度变换和平滑处理形成杂质先验注意力图，并按像素作用于所述高分辨率特征图，得到反馈处理特征图，进一步包括：

29、对所述初始杂质概率图执行下采样得到低尺度概率图；

30、对所述低尺度概率图执行高斯平滑，得到平滑概率图；

31、将所述平滑概率图上采样至所述高分辨率特征图的空间尺寸，得到杂质先验注意力图；

32、基于预设可学习缩放参数调节所述杂质先验注意力图，并将所述高分辨率特征图与含有所述调节后的杂质先验注意力图的逐像素加权项相乘，得到反馈处理特征图。

33、在其中一些具体实施例中，对所述反馈处理特征图执行图像重建和逐像素分类，输出高分辨率燕窝重建图像和杂质分割掩膜，进一步包括：

34、将所述反馈处理特征图输入重建残差块和重建卷积层，得到高分辨率燕窝重建图像；

35、将所述反馈处理特征图输入含有下采样编码路径、上采样解码路径和跨层拼接路径的像素分类结构，得到杂质概率图；

36、对所述杂质概率图执行预设阈值处理和连通域分析，输出包含杂质实例位置、轮廓和尺寸的杂质分割掩膜。

37、在其中一些具体实施例中，对所述反馈处理特征图执行图像重建和逐像素分类，采用经闭环交互损失训练的参数执行，所述闭环交互损失的形成包括：

38、获取训练重建图像和训练杂质分割掩膜；

39、计算所述训练重建图像与高分辨率反射真值图像的像素差异，并按所述训练杂质分割掩膜对杂质区域像素差异加权，得到超分重建损失；

40、计算所述训练杂质分割掩膜与人工标注掩膜的交叉熵，得到分割损失；

41、再次编码所述训练重建图像得到重建反射特征图，计算所述重建反射特征图与所述高分辨率特征图的差异，得到循环特征对齐损失；

42、对所述超分重建损失、所述分割损失和所述循环特征对齐损失加权求和，得到闭环交互损失。

43、在其中一些具体实施例中，获取训练重建图像和训练杂质分割掩膜，进一步包括：

44、采集反射图像与透射图像并按定位标记配准，得到高分辨率训练图像对；

45、将所述高分辨率训练图像对下采样为低分辨率训练图像对，将所述高分辨率训练图像对中的反射图像作为高分辨率反射真值图像；

46、读取人工标注掩膜中各杂质像素区域，将所述低分辨率训练图像对、所述高分辨率反射真值图像和所述人工标注掩膜组成训练样本。

47、基于同一构思，本发明还提供基于超分辨率重建的燕窝细微杂质像素级增强与精准分割系统，包括：

48、图像配准模块，配置为采集待测燕窝的反射光数字图像和透射光数字图像，并按定位标记执行像素配准，得到配准图像对；

49、浅层编码模块，配置为将所述反射光数字图像和所述透射光数字图像分别编码为反射初始特征图和透射初始特征图；

50、调制系数生成模块，配置为在预设数量的动态调制残差块中，对输入反射特征图执行卷积处理，并将所述透射初始特征图经池化和全连接映射形成逐通道缩放系数和逐通道偏置系数；

51、仿射调制模块，配置为基于所述逐通道缩放系数和所述逐通道偏置系数对卷积处理后的反射特征图执行仿射调制，得到级联调制后的反射特征图；

52、上采样与初始分类模块，配置为对所述级联调制后的反射特征图执行亚像素上采样，得到高分辨率特征图，对所述高分辨率特征图执行初始像素分类，得到初始杂质概率图；

53、反馈处理模块，配置为将所述初始杂质概率图经尺度变换和平滑处理形成杂质先验注意力图，并按像素作用于所述高分辨率特征图，得到反馈处理特征图；

54、输出模块，配置为对所述反馈处理特征图执行图像重建和逐像素分类，输出高分辨率燕窝重建图像和杂质分割掩膜。

55、与现有技术相比，其有益效果在于：

56、本发明公开了基于超分辨率重建的燕窝细微杂质像素级增强与精准分割方法及系统，采集反射光数字图像和透射光数字图像，并按定位标记执行像素配准，反射图像中的表面纹理、杂质边缘与透射图像中的暗斑投影能够进入同一空间坐标关系。该处理使后续特征编码、动态调制和反馈处理能够在像素位置一致的图像对上执行，减少多模态图像位置偏差对杂质分割边界的影响。

57、将反射光数字图像和透射光数字图像分别编码为反射初始特征图和透射初始特征图，并将透射初始特征图保持为各动态调制残差块的调制信号，反射图像的表面细节和透射图像的暗斑投影信息能够以不同特征流进入后续处理。该处理避免将两种模态简单混合为单一路径，使透射暗斑信息能够持续作用于多级反射特征调制过程。

58、在动态调制残差块中将透射初始特征图经池化和全连接映射形成逐通道缩放系数和逐通道偏置系数，并基于所述逐通道缩放系数和所述逐通道偏置系数对卷积处理后的反射特征图执行仿射调制，透射图像所表征的杂质空间投影和通道响应能够参与反射特征的上采样前处理。该处理使超分辨率重建链路能够围绕杂质候选区域调整反射特征响应，降低单纯强化燕窝纤维纹理对后续分割造成的干扰。

59、对级联调制后的反射特征图执行亚像素上采样，得到高分辨率特征图，经过透射调制的反射特征能够在更高空间分辨率上展开。该处理有利于保留细微羽毛、蛋壳碎屑和黑点等小尺寸杂质的局部边缘信息，为后续初始像素分类和最终逐像素分类提供更细粒度的特征基础。

60、由高分辨率特征图形成初始杂质概率图，将初始杂质概率图经尺度变换和平滑处理形成杂质先验注意力图，并按像素作用于高分辨率特征图得到反馈处理特征图，分割结果的空间概率能够反馈至重建特征。该处理使初始判定为杂质的区域在后续图像重建和逐像素分类中获得更明确的特征输入，同时使背景纹理区域的响应得到相对约束。

61、将反馈处理特征图分别输入图像重建和像素分类路径，输出高分辨率燕窝重建图像和杂质分割掩膜，同一反馈处理特征图同时服务于重建输出和分割输出。该处理使重建任务与分割任务围绕同一杂质先验注意力图进行协同处理，增强重建特征、杂质概率图和最终分割掩膜之间的数据闭环。

62、采用包含超分重建损失、分割损失和循环特征对齐损失的闭环交互损失训练相关参数，训练过程中高分辨率重建图像、训练杂质分割掩膜和高分辨率特征图之间能够形成约束关系。该处理使重建图像的像素差异、杂质区域的分割误差以及重建后再次编码的特征差异共同参与参数更新，有助于减少重建过程与分割过程各自独立造成的特征偏移。