一种基于语义细节协同解码的缝制线迹拓扑感知分割方法及系统

本发明属于工业机器视觉和图像语义分割，尤其涉及一种基于语义细节协同解码的缝制线迹拓扑感知分割方法及系统。

背景技术：

1、缝制线迹在工业图像中通常表现为细长、连续并具有局部切向方向的目标。织物经纬纹、褶皱、阴影和反光会形成与线迹相似的高频结构，且线迹像素在整幅图像中的占比较低，因而线迹分割不仅需要识别线迹所在区域，还需要保持中心线的位置精度、方向连续性和连通关系。

2、传统的灰度投影、边缘检测和模板匹配方法依赖人工设计的灰度阈值、边缘特征和几何规则。当织物纹理、线迹方向或成像条件发生变化时，人工特征可能同时响应于织物纹理和真实线迹。公开号cn109239076a记载了基于灰度投影、边缘点、直线拟合、点间距和模板匹配的缝制线迹缺陷检测方案，体现了该类方法对人工特征和阈值的依赖。

3、一般的transformer或编码器-解码器分割方法可以利用全局语义信息，但深层语义特征的空间分辨率较低；若仅将低层特征直接相加或拼接至解码器，织物纹理等高频干扰也会随细节一并传播。公开号cn114359283a记载了transformer编码器与卷积解码器相结合的缺陷检测方法，但通用语义融合本身未解决缝制线迹在每个解码尺度上的方向选择、细节筛选和连续性传播问题。

4、部分方案通过拓扑损失或输出后处理保持丝状结构。公开号cn116993763a记载了血管分割中的多尺度语义融合以及包含边缘和拓扑约束的训练损失；公开号cn120182624a记载了冻结基础模型后，结合似然校准、离散莫尔斯理论、持续同调和不确定性量化对丝状结构输出进行拓扑优化。此类训练损失或输出阶段的处理能够约束最终结果，但难以直接调控各解码尺度上低层细节、方向上下文和高层语义之间的特征传播。

技术实现思路

1、本发明目的在于提供一种基于语义细节协同解码的缝制线迹拓扑感知分割方法及系统，以解决织物纹理干扰下低层细节误传递、深层语义空间细节不足以及缝制线迹连续性难以在多尺度解码过程中保持的技术问题。

2、为解决上述技术问题，本发明将拓扑相关信息引入多尺度解码过程中的特征形成阶段。在各拓扑感知融合节点中，由高层语义特征共同参与方向选择、低层细节筛选、连续性响应和融合关系的形成，从而在节点输出特征生成之前对方向上下文、纹理干扰和连续性信息进行协同调控。

3、本发明的一种基于语义细节协同解码的缝制线迹拓扑感知分割方法及系统的具体技术方案如下：

4、一种基于语义细节协同解码的缝制线迹拓扑感知分割方法，包括如下步骤：

5、步骤s1，获取含缝制线迹的待处理图像，分别形成多尺度语义特征金字塔和一个或多个高分辨率细节特征；

6、步骤s2，将多尺度语义特征金字塔中的低层特征和高层语义特征输入拓扑感知融合节点；由高层语义特征生成局部中心线概率、与局部中心线概率对应的歧义度以及多个方向选择权重；

7、步骤s3，利用方向选择权重对低层特征的多个方向条带上下文进行自适应加权；由低层特征和高层语义特征生成细节选择门并筛选低层特征；基于方向条带上下文、高层语义特征、局部中心线概率和歧义度生成连续性响应；进一步生成融合门并获得节点输出特征；

8、步骤s4，按照跨尺度密集连接关系聚合多个拓扑感知融合节点的节点输出特征及连续性响应，形成聚合解码特征；

9、步骤s5，将聚合解码特征与高分辨率细节特征结合，逐级细化线迹中心线，生成线迹中心线概率图和线迹中心线分割结果。

10、进一步的，步骤s1中，采用预训练视觉编码器提取所述多尺度语义特征金字塔，并从所述预训练视觉编码器的多个中间层分别获取中间语义特征；将所述中间语义特征投影至相同通道数，并形成输出步长不同的多级语义特征金字塔；采用高分辨率细节支路提取所述高分辨率细节特征，所述高分辨率细节特征包括全分辨率细节特征、二分之一分辨率细节特征和四分之一分辨率细节特征中的至少一种。

11、进一步的，所述预训练视觉编码器为视觉transformer编码器，在对解码部分进行训练时冻结所述视觉transformer编码器的参数；所述多尺度语义特征金字塔包括输出步长依次为4、8、16和32的四级语义特征。

12、进一步的，步骤s2中，所述局部中心线概率由所述高层语义特征经单通道局部中心线头生成的对数值经sigmoid函数得到；所述歧义度根据所述局部中心线概率计算得到，当所述局部中心线概率接近0.5时所述歧义度接近1，表示局部判定具有较高歧义；当所述局部中心线概率接近0或1时所述歧义度接近0。

13、进一步的，步骤s3中，所述多个方向条带上下文包括横向条带上下文、45°对角移位上下文、纵向条带上下文和135°对角移位上下文；由所述高层语义特征经方向选择头生成四通道方向对数值，并经softmax函数在方向维进行归一化，得到四通道方向选择权重；将各方向条带上下文与对应方向选择权重逐位置相乘并求和，再经1×1卷积融合，得到方向条带上下文。

14、进一步的，所述45°对角移位上下文和所述135°对角移位上下文的生成方式包括：以条带半径r为例，对偏移量1至r分别沿对应对角方向对低层特征进行零填充移位，并同时取得正、负两个对称偏移；将原始特征和全部有效移位特征求平均，再通过3×3卷积细化；其中，45°分支使用相反符号的行、列偏移，135°分支使用相同符号的行、列偏移。

15、进一步的，步骤s3中，所述细节选择门由所述低层特征和所述高层语义特征共同生成，并经sigmoid函数归一化至0至1范围；利用所述细节选择门对所述低层特征进行逐元素相乘筛选，得到筛选后的低层特征；当所述细节选择门接近1时允许对应低层细节通过，当所述细节选择门接近0时抑制对应低层响应；所述连续性响应由连续性头生成，所述连续性头接收方向条带上下文、高层语义特征、局部中心线概率和歧义度，并输出单通道连续性响应。

16、进一步的，步骤s3中，所述融合门由融合头对筛选后的低层特征、方向条带上下文、高层语义特征、局部中心线概率和歧义度进行卷积处理并输出，所述融合门经sigmoid函数逐通道、逐空间位置作用后取值范围为0至1；所述节点输出特征根据所述融合门对方向条带上下文和筛选后的低层特征进行加权融合，并与高层语义特征相加后经卷积细化模块处理得到。

17、进一步的，步骤s4中，所述跨尺度密集连接关系包括：由第2尺度第0阶段特征和第3尺度第0阶段特征生成第2尺度第1阶段特征；由第1尺度第0阶段特征和第2尺度第0阶段特征生成第1尺度第1阶段特征；由第0尺度第0阶段特征和第1尺度第0阶段特征生成第0尺度第1阶段特征；由第1尺度第0阶段特征、第1尺度第1阶段特征的拼接结果以及第2尺度第1阶段特征生成第1尺度第2阶段特征；由第0尺度第0阶段特征、第0尺度第1阶段特征的拼接结果以及第1尺度第1阶段特征生成第0尺度第2阶段特征；由第0尺度第0阶段特征、第0尺度第1阶段特征、第0尺度第2阶段特征的拼接结果以及第1尺度第2阶段特征生成第0尺度第3阶段特征；将第0尺度第1阶段特征、第0尺度第2阶段特征和第0尺度第3阶段特征拼接后，依次通过1×1卷积进行通道融合并通过3×3卷积细化，得到所述聚合解码特征；最终连续性响应由全局连续性响应和各拓扑感知融合节点的连续性响应共同形成，所述全局连续性响应由聚合解码特征经连续性头生成，各拓扑感知融合节点的连续性响应经双线性插值对齐至所述全局连续性响应的空间尺度，按节点数量求平均后与所述全局连续性响应相加，形成最终连续性响应。

18、本发明还公开了一种基于语义细节协同解码的缝制线迹拓扑感知分割系统，包括：

19、图像获取模块，用于获取含缝制线迹的待处理图像；

20、语义细节特征提取模块，用于分别形成多尺度语义特征金字塔和一个或多个高分辨率细节特征；

21、拓扑感知密集解码模块，用于将多尺度语义特征金字塔中的低层特征和高层语义特征输入拓扑感知融合节点，由高层语义特征生成局部中心线概率、与局部中心线概率对应的歧义度以及多个方向选择权重；利用方向选择权重对低层特征的多个方向条带上下文进行自适应加权；由低层特征和高层语义特征生成细节选择门并筛选低层特征；基于方向条带上下文、高层语义特征、局部中心线概率和歧义度生成连续性响应；进一步生成融合门并获得节点输出特征；按照跨尺度密集连接关系聚合多个拓扑感知融合节点的节点输出特征及连续性响应，形成聚合解码特征；

22、中心线细化及输出模块，用于将聚合解码特征与高分辨率细节特征结合，逐级细化线迹中心线，生成线迹中心线概率图和线迹中心线分割结果。

23、本发明的一种基于语义细节协同解码的缝制线迹拓扑感知分割方法及系统具有以下优点：

24、本发明在各拓扑感知融合节点中利用高层语义条件控制方向条带上下文、低层细节筛选、连续性响应和特征融合，使线迹语义在节点输出特征形成之前参与抑制纹理干扰；跨尺度密集连接和节点连续性响应聚合用于传递不同尺度的连通信息；高分辨率细节特征用于补偿上采样过程中的细窄空间细节。由此，可减少织物纹理误响应，并保持线迹中心线的空间细节和连通性。