一种面向电镜图像序列的在线自适应交互式分割方法及系统

本发明涉及电镜图像分割，尤其涉及一种面向电镜图像序列的在线自适应交互式分割方法及系统。

背景技术：

1、透射电子显微镜（tem）是材料科学、生物医学和纳米结构分析中常用的微观表征工具。通过电镜图像可以获得颗粒尺寸、边界形貌、结构连通性、细胞形态和孔隙分布等定量信息。为了进行后续统计分析和结构表征，通常需要对电镜图像中的目标区域进行准确分割。

2、传统图像分割方法包括阈值分割、边缘检测、区域生长和分水岭算法等。这些方法通常依赖固定参数和人工经验，面对电镜图像中常见的弱边界、低对比度、高噪声、复杂纹理和结构粘连时，分割精度和鲁棒性有限。近年来，卷积神经网络（cnn）等方法被广泛用于电镜图像分割任务，但该类方法通常依赖大量高质量像素级标注，而电镜图像的精细标注耗时耗力，并且高度依赖领域专家经验。

3、交互式图像分割方法通过引入用户正点击、负点击、涂鸦或边界框等提示信息，能够在一定程度上降低人工标注成本。现有点击式交互分割方法通常将用户点击编码为额外输入，通过多次前向推理逐步细化当前图像的分割结果。然而，这类方法大多在测试阶段保持模型参数固定，用户在当前图像中提供的纠错信息无法被模型保留并传递至后续图像。当待处理对象为连续切片图像、同批次采样图像或结构相似的电镜图像序列时，用户仍需在多张图像中重复提供相似的交互反馈，导致整体分割效率较低。

4、因此需要提供一种能够提高连续或同批次电镜图像的分割精度与交互效率的在线自适应交互式分割方法。

技术实现思路

1、根据上述提出的技术问题，而提供一种面向电镜图像序列的在线自适应交互式分割方法及系统。本发明通过构建在线自适应交互式分割网络，将用户交互由单次空间提示扩展为测试阶段的在线学习信号，并引入短时自适应分支与长时记忆分支相结合的双时间尺度在线自适应机制，实现对当前电镜图像中局部误分割区域的快速修正，以及对连续或同批次电镜图像中可靠分割经验的跨图继承。本发明方法显著提升了电镜图像中复杂结构和边界细节的分割精度及交互效率，为材料科学与微观结构分析提供了高效可靠的解决方案，奠定了进一步研究和应用的基础。

2、本发明采用的技术手段如下：

3、一种面向电镜图像序列的在线自适应交互式分割方法，包括：获取用于训练和测试的电镜图像数据集，并对电镜图像及其对应分割标注进行预处理；构建交互编码器，根据用户交互信息生成交互先验特征图；构建基础分割网络，将原始电镜图像和所述交互先验特征图进行融合，并通过主干编码器、解码器和解耦输出头得到当前电镜图像的分割预测结果；建立短时自适应分支，在用户对当前分割预测结果进行点击修正时，根据点击反馈对解码器及解耦输出头进行在线更新，得到当前图像修正后的分割结果；建立长时记忆分支，在当前图像交互完成后，利用经用户确认的最终分割掩膜对模型进行在线巩固，并将当前图像中的可靠结构信息写入主干编码器表征；按照电镜图像序列顺序逐张处理各图像，并在处理当前图像时采用经前序图像交互更新后的模型生成初始分割结果，当前图像交互完成后输出最终分割掩膜，并保存分割结果、点击日志和更新后的模型权重。

4、进一步地，所述电镜图像数据集包括细胞结构图像和纳米颗粒图像中的至少一种；对电镜图像进行尺寸统一、灰度归一化和训练测试划分处理，适配网络模型输入要求。

5、进一步地，所述用户交互信息由正点击和负点击共同构成，其中所述正点击用于表示目标区域，所述负点击用于表示背景区域或错误预测区域；根据点击位置生成距离图，所述距离图用于描述图像中各像素与用户点击点之间的空间距离关系；将所述距离图依次经过1×1卷积、leakyrelu激活、3×3卷积和sigmoid映射，得到与原始电镜图像空间尺寸一致的交互先验特征图。

6、进一步地，所述基础分割网络包括主干编码器、解码器和解耦输出头；所述主干编码器采用resnet50编码器，将原始电镜图像与所述交互先验特征图在通道维度进行拼接后输入主干编码器，形成视觉信息与交互先验的联合表征；

7、所述解码器采用u-net式逐级上采样结构，每个解码块包括上采样层、特征拼接层、卷积层、批归一化层和relu激活层；所述主干编码器不同尺度的特征通过跳跃连接传递至所述解码器，与解码端特征进行拼接，补充高分辨率空间信息并恢复目标区域边界细节；

8、所述解耦输出头采用独立的1×1卷积结构生成像素级分割预测结果。

9、进一步地，所述短时自适应分支用于处理单张电镜图像交互过程中的即时纠错；当用户在当前分割预测结果上添加正点击或负点击时，根据点击位置生成局部伪标签区域，并构造交互感知权重掩膜；所述短时自适应分支在更新过程中冻结主干编码器，仅更新解码器及解耦输出头，使模型能够在较低计算代价下快速修正边界偏移、区域漏分和局部误分割；

10、所述交互感知权重掩膜同时考虑点击点的空间邻近性和局部灰度一致性，其中，空间项采用以点击点为中心的高斯衰减，灰度项根据像素灰度与点击点邻域灰度中值之间的差异进行抑制，使点击反馈主要作用于用户交互所指示的局部错误区域；

11、所述短时自适应分支采用交互感知约束交叉熵损失、权重锚点l2正则化项和softprobability蒸馏损失共同约束在线更新过程；所述交互感知约束交叉熵损失用于使梯度主要集中于用户点击对应的局部区域；所述soft probability蒸馏损失用于保持非交互区域的原始预测分布；所述权重锚点l2正则化项用于限制在线更新后的参数偏离初始模型过远，提高单图交互修正的稳定性。

12、进一步地，所述长时记忆分支，用于电镜图像间的经验积累，在当前图像交互完成后，所述长时记忆分支利用当前图像经用户确认的分割掩膜作为监督信号，对模型进行在线巩固和记忆更新；所述长时记忆分支使用掩膜监督解码器和解耦输出头，使模型拟合当前图像的可靠分割结果；根据预测掩膜与确认掩膜之间的错误区域自动生成纠错点击，并结合交互感知约束交叉熵损失对局部错误区域进行强化修正；冻结解码器和解耦输出头，仅以较小学习率更新主干编码器，将当前图像中经交互确认的结构信息写入长期表征；

13、所述长时记忆分支在编码器记忆更新过程中采用最终分割掩膜监督损失和权重锚点l2正则化项共同约束模型更新；所述最终分割掩膜监督损失用于约束模型在缺少显式点击提示时仍能够保持对当前图像可靠结构的表征能力，所述权重锚点 l2 正则化项用于限制编码器参数相对于初始参数的偏移幅度，降低连续在线适应过程中的遗忘风险。

14、进一步地，所述按照电镜图像序列顺序逐张处理各图像时，将待处理电镜图像按照连续切片顺序、同批次采集顺序、文件编号顺序或结构相似性顺序逐张输入模型；每张图像由当前模型生成初始分割结果，用户根据分割结果添加正点击或负点击进行修正，系统执行短时自适应更新；当前图像交互完成后，系统执行长时记忆更新，并将更新后的模型用于下一张图像。

15、本发明还提供了一种面向电镜图像序列的在线自适应交互式分割系统，包括：模型加载模块、图像序列读取模块、正负点击交互模块、交互编码模块、基础分割预测模块、掩膜实时显示模块、短时自适应更新模块、长时记忆更新模块、结果保存模块和模型权重保存模块，其中：所述模型加载模块，用于加载经训练得到的基础分割模型；所述图像序列读取模块，用于读取待处理的电镜图像序列；所述正负点击交互模块，用于接收用户输入的正点击和负点击；所述交互编码模块，用于生成交互先验特征图；所述基础分割预测模块，用于得到当前电镜图像的分割预测结果；所述掩膜实时显示模块，用于显示原始图像、用户点击位置和当前预测掩膜；所述短时自适应更新模块，用于根据用户点击反馈更新解码器及解耦输出头；所述长时记忆更新模块，用于在当前图像交互完成后更新主干编码器表征；所述结果保存模块，用于保存分割结果和点击日志；所述模型权重保存模块，用于保存在线更新后的模型权重。

16、较现有技术相比，本发明具有以下优点：

17、本发明的面向电镜图像序列的在线自适应交互式分割方法在分割精度和交互效率方面表现出良好的效果。通过将短时自适应分支和长时记忆分支引入交互式分割网络中，充分利用了用户交互反馈与同源tem图像之间结构关联性的互补作用，显著提高了tem图像序列的分割准确性。特别是在复杂纹理、弱边界、区域粘连和局部漏分的分割任务中，短时自适应分支通过对解码器及解耦输出头进行快速在线更新，能够及时修正当前图像中的边界偏移、误分割和漏分割区域；长时记忆分支则通过将经用户确认的可靠分割结果逐步整合至主干编码器表征中，弥补了传统交互式分割方法仅依赖单张图像点击提示、难以继承前序图像交互经验的不足。

18、双时间尺度在线自适应机制还展现出较强的鲁棒性，无论是在细胞结构图像、纳米颗粒图像还是连续切片图像中处理复杂边界和结构变化，其分割性能均优于未进行在线参数更新的静态交互式分割方法。通过交互感知权重掩膜，本发明能够使用户点击反馈主要作用于局部错误区域，减少对非点击区域预测结果的影响；通过soft probability蒸馏和权重锚点l2正则化，本发明能够限制在线更新过程中的参数漂移，降低局部过拟合和灾难性遗忘风险，确保模型在连续tem图像序列处理过程中具有稳定的适应能力。此外，本发明采用解耦输出头作为短时自适应阶段的主要更新对象，减少了在线更新的参数量，在保持交互响应速度的同时提升了分割效率。

19、综上所述，本发明的方法专为tem图像序列交互式分割设计，能够实现高效和精准的目标区域分割，尤其适用于连续切片、同批次采样、细胞结构和纳米颗粒等具有结构相关性或复杂边界特征的tem图像分析。该方法能够降低领域专家在连续图像标注过程中的重复交互负担，为材料科学、生物医学和纳米结构分析中的微观结构定量研究、形态学统计和自动化标注提供重要技术支持，为后续的电镜图像智能分析和性能优化奠定基础。