基于双粒度跨阶段校准网络的反应性淋巴细胞识别方法与系统与流程

本发明涉及细胞识别，尤其涉及一种基于双粒度跨阶段校准网络的反应性淋巴细胞识别方法与系统。

背景技术：

1、反应性淋巴细胞是机体免疫激活、感染、炎症反应以及部分血液系统异常状态下常见的重要细胞学指标。在外周血涂片检查中，反应性淋巴细胞的准确识别对于形态学筛查、辅助诊断以及减轻人工镜检负担具有重要意义。

2、然而，反应性淋巴细胞的自动识别仍然存在较大困难。首先，反应性淋巴细胞自身具有明显的类内形态差异，不同样本中的细胞大小、细胞轮廓、核形态、染色质分布、胞质形态及染色特征可能存在显著变化。其次，反应性淋巴细胞与正常淋巴细胞、单核细胞、原始细胞等类别之间存在较高的形态相似性，部分细胞在核质比例、染色深浅、胞质边缘和核边界方面差异较为细微，容易造成识别混淆。再次，单细胞裁剪图像包含的信息较为紧凑，既需要关注细胞整体结构，又需要保留局部细胞学细节。

3、现有基于深度学习的血细胞识别方法多采用单一路径的卷积神经网络、视觉transformer或混合网络结构。这些方法虽然能够提取一定的图像特征，但通常存在以下不足：一是单一编码路径难以同时兼顾细胞整体形态和局部细节纹理；二是简单的深层特征融合容易导致浅层染色质纹理、核边界和胞质边缘等细粒度线索在层级抽象过程中被削弱；三是结构特征与细节特征之间缺乏有效的语义交互和自适应校准机制，导致模型在面对形态相似细胞时判别能力不足。

4、因此，亟需一种能够同时建模细胞全局结构和局部细胞学细节，并能够在不同网络阶段持续保留细粒度判别线索的反应性淋巴细胞智能识别方法。

技术实现思路

1、本发明的目的在于提供一种基于双粒度跨阶段校准网络的反应性淋巴细胞识别方法与系统，以解决现有血细胞识别方法在反应性淋巴细胞识别中存在的细胞整体形态与局部细节难以协同建模、浅层细粒度判别线索在深层特征抽象过程中易丢失、以及结构特征与细节特征之间语义交互不足的问题。

2、为实现上述发明目的，本发明第一方面提供一种基于双粒度跨阶段校准网络的反应性淋巴细胞识别方法，所述方法包括：

3、获取外周血涂片显微图像，对所述外周血涂片显微图像中的血细胞进行定位，裁剪得到单细胞图像；

4、对所述单细胞图像进行预处理，得到待识别单细胞图像，将所述待识别单细胞图像输入双粒度跨阶段校准网络，所述双粒度跨阶段校准网络包括双粒度表征编码模块、渐进式阶段耦合融合模块和双向门控语义校准模块；

5、利用所述双粒度表征编码模块分别提取所述待识别单细胞图像的结构粒度特征和细节粒度特征，并输出多个层级的结构粒度特征图和细节粒度特征图；

6、利用所述渐进式阶段耦合融合模块对不同层级的结构粒度特征图和细节粒度特征图进行逐阶段融合得到融合特征，并将上一阶段的融合特征传递至下一阶段，以形成由浅层至深层的跨阶段特征传播路径；

7、利用所述双向门控语义校准模块对最深层结构粒度特征图、最深层细节粒度特征图以及多阶段融合特征进行双向语义交互和门控校准，得到校准后的判别特征；

8、基于所述校准后的判别特征进行分类，输出所述单细胞图像对应的血细胞类别。

9、进一步的，所述血细胞类别集合至少包括反应性淋巴细胞，以及正常淋巴细胞、单核细胞、中性粒细胞、嗜酸性粒细胞和原始细胞中的一种或多种。

10、进一步的，所述双粒度表征编码模块包括结构粒度分支和细节粒度分支，所述结构粒度分支用于提取单细胞图像的全局形态特征作为结构粒度特征，所述结构粒度特征用于表征细胞轮廓、细胞大小、核形态及核质关系；所述细节粒度分支用于提取单细胞图像的局部细胞学细节特征作为细节粒度特征，所述细节粒度特征用于表征染色质纹理、核边界变化、胞质边缘及染色异质性。

11、进一步的，所述结构粒度分支分阶段输出多个层级的结构粒度特征图，所述细节粒度分支分阶段输出多个层级的细节粒度特征图，在所述渐进式阶段耦合融合模块进行逐阶段融合前，通过通道投影层对所述结构粒度特征图进行通道对齐，使结构粒度特征图与对应阶段的所述细节粒度特征图具有相同的通道维度。

12、进一步的，所述利用所述渐进式阶段耦合融合模块对不同层级的结构粒度特征图和细节粒度特征图进行逐阶段融合得到融合特征，具体为：在第阶段，所述渐进式阶段耦合融合模块接收该阶段通道对齐后的结构粒度特征图、细节粒度特征图以及第阶段融合特征；当时，对所述第阶段融合特征进行空间尺寸调整和通道投影，使其与第阶段特征具有可融合的空间尺寸和通道维度，并将通道对齐后的结构粒度特征图、细节粒度特征图以及第阶段融合特征输入层级融合块生成第阶段融合特征。

13、进一步的，在任一阶段中，所述层级融合块生成融合特征后，将融合特征输入残差校准单元进行增强，所述残差校准单元包括深度卷积、点卷积、归一化层、非线性激活函数和随机失活层中的至少一种。

14、进一步的，所述双向门控语义校准模块包括：

15、双向跨粒度注意力单元，用于通过多头注意力机制使最深层结构粒度特征图、最深层细节粒度特征图相互获取补充信息，获得细节引导后的结构上下文特征和结构引导后的细节上下文特征；

16、融合特征拼接单元，用于将所述渐进式阶段耦合融合模块输出的多个阶段的融合特征调整至相同空间尺寸后进行拼接，将拼接结果经过轻量投影操作得到多阶段融合特征；

17、通道门控单元，用于对所述结构上下文特征和细节上下文特征进行通道门控映射操作，生成相应的通道门控权重；

18、空间门控单元，用于对所述结构上下文特征和细节上下文特征进行空间门控映射操作，生成相应的空间门控权重；

19、门控校准单元，用于根据所述结构上下文特征、细节上下文特征、多阶段融合特征、通道门控权重、空间门控权重进行门控校准，获得校准后的判别特征。

20、进一步的，所述双向跨粒度注意力单元具体用于执行以下操作：

21、将最深层结构粒度特征图、最深层细节粒度特征图分别展平为结构令牌序列和细节令牌序列；

22、采用多头注意力机制对结构令牌序列和细节令牌序列进行双向交互操作，包括：以结构令牌序列作为查询，以细节令牌序列作为键和值，得到细节引导的结构上下文特征；以细节令牌序列作为查询，以结构令牌序列作为键和值，得到结构引导的细节上下文特征。

23、进一步的，所述基于所述校准后的判别特征进行分类，输出所述单细胞图像对应的血细胞类别，具体包括：

24、通过轻量注意力评分函数对所述判别特征进行处理，获得注意力评分结果，将注意力评分结果输入softmax函数，获得空间注意力权重；

25、基于空间注意力权重对判别特征进行注意力聚合，得到分类向量；

26、将分类向量输入全连接分类层进行分类，输出类别预测结果，所述类别预测结果用于表征所述单细胞图像对应的血细胞类别。

27、本发明第二方面提供一种基于双粒度跨阶段校准网络的反应性淋巴细胞识别系统，所述系统包括：

28、图像获取裁剪模块，用于获取外周血涂片显微图像，对所述外周血涂片显微图像中的血细胞进行定位，裁剪得到单细胞图像；

29、预处理模块，用于对所述单细胞图像进行尺寸归一化和像素预处理，得到待识别单细胞图像，将所述待识别单细胞图像输入双粒度跨阶段校准网络；

30、所述双粒度跨阶段校准网络包括双粒度表征编码模块、渐进式阶段耦合融合模块和双向门控语义校准模块；

31、所述双粒度表征编码模块用于分别提取所述待识别单细胞图像的结构粒度特征和细节粒度特征，并输出多个层级的结构粒度特征图和细节粒度特征图；

32、所述渐进式阶段耦合融合模块用于对不同层级的结构粒度特征图和细节粒度特征图进行逐阶段融合得到融合特征，并将上一阶段的融合特征传递至下一阶段，以形成由浅层至深层的跨阶段特征传播路径；

33、所述双向门控语义校准模块用于对最深层结构粒度特征图、最深层细节粒度特征图以及多阶段融合特征进行双向语义交互和门控校准，得到校准后的判别特征；

34、分类输出模块，用于基于所述校准后的判别特征进行分类，输出所述单细胞图像对应的血细胞类别。

35、与现有技术相比，本发明的有益效果是：

36、第一，本发明通过结构粒度分支和细节粒度分支分别提取细胞整体形态信息和局部细胞学细节信息，能够同时关注细胞轮廓、细胞大小、核形态、核质关系以及染色质纹理、核边界和胞质边缘等关键特征，有效提升反应性淋巴细胞的细粒度识别能力。

37、第二，本发明引入渐进式阶段耦合融合机制，将上一阶段融合特征传递至下一阶段，使浅层细粒度判别线索能够在深层特征抽象过程中持续保留，避免仅依赖深层语义特征造成局部细胞学证据丢失。

38、第三，本发明通过双向跨粒度语义交互机制，使结构粒度特征能够从细节粒度特征中获取染色质纹理、核边界和胞质边缘等补充信息，同时使细节粒度特征能够从结构粒度特征中获取细胞整体轮廓、核形态和核质关系等上下文信息，从而增强双粒度特征之间的协同表达能力。

39、第四，本发明采用通道门控和空间门控相结合的语义校准机制，能够根据输入单细胞图像的形态差异自适应调节结构特征和细节特征的贡献，突出细胞核、染色质密集区域、胞质边缘和不规则细胞轮廓等与反应性淋巴细胞识别相关的关键区域。

40、第五，本发明将双粒度表征编码、渐进式阶段耦合融合和双向门控语义校准相结合，能够提高反应性淋巴细胞与正常淋巴细胞、单核细胞、原始细胞等形态相似类别之间的区分能力，适用于外周血涂片智能分析、血液细胞辅助筛查和医学图像分类系统，具有良好的工程应用价值。