基于形态学图像分析的早幼粒白血病识别方法、装置及存储介质

本发明涉及医学图像处理，特别是涉及一种基于形态学图像分析的早幼粒白血病识别方法、装置及存储介质。

背景技术：

1、急性早幼粒细胞白血病是急性髓系白血病中的一种特殊类型，其特征为异常早幼粒细胞在骨髓与外周血中大量增殖，并常伴随凝血功能障碍与严重的出血倾向，起病急、早期病死率高。该病在获得及时识别并施以靶向干预时具有较高的缓解率，因而其早期筛查与初步判别在临床上具有重要意义。长期以来，对该病的初步判别主要依赖于显微镜下的细胞形态学观察，通过辨识细胞核的分叶与折叠形态、细胞质内嗜天青颗粒的密度与分布以及柴捆状排列的棒状小体等特征作出初步判断。此种依靠人工镜检的方式工作强度大、耗时长，且判别结果在很大程度上取决于观察者的经验，存在不可忽视的观察者间与观察者内差异。

2、随着数字病理与卷积神经网络在医学图像分析中的应用，基于全视野数字切片的自动化血液涂片分析逐渐用于辅助识别。现有技术中，公告号为cn118014947b的中国发明专利公开了一种用于识别急性早幼粒白血病形态学的快速诊断系统，其在低倍物镜下（例如10倍）与高倍物镜下（例如100倍）分别获取血液涂片的数字图像，在单细胞分布的细胞层区域分别随机分割出四张800×800像素的图像切片，由包含通道注意力与空间注意力机制的resnet50残差网络对各图像切片分别进行识别，在诊断环节计算各切片属于急性早幼粒白血病的概率均值，将该均值与预先设定的判断阈值（例如0.3）进行比较，并以逻辑或运算综合低倍与高倍两个尺度的判断结果，据此输出针对全片的识别结论。该系统在图像分割尺寸、双倍率输入以及残差网络深层特征提取等方面为自动化筛查提供了基础框架。

3、然而，异常早幼粒细胞在血液涂片中的分布往往高度稀疏且不均匀，将整张涂片视为包、将分割得到的切片视为示例时，上述处理方式本质上面对的是一个多示例学习问题，而对各切片概率不加区分地取算术平均，实际上隐含了所有切片对识别结果贡献相同的假设。当随机选取的多张高倍切片中仅有个别切片包含典型病变、其余切片均为正常细胞时，少数切片输出的高概率会在平均过程中被大量低概率显著拉低，使得稀疏而关键的病理信息被正常背景所淹没，识别的灵敏度因此明显下降；与此同时，将低倍尺度反映的细胞宏观分布与高倍尺度反映的核质微观结构作为彼此孤立的两路分别处理并各自取平均，割裂了两个尺度之间本应存在的上下文关联，难以发挥多尺度信息的协同作用。

4、涂片在制备过程中难免受到染色批次差异、涂布厚薄不均、红细胞与血小板重叠以及尘埃伪影等因素的影响，使得网络输出本身带有不确定性。上述以固定单一阈值结合逻辑或运算的决策方式，只要任一尺度的平均概率超过阈值即判定为阳性，无法计入另一尺度可能给出的强否定信息，也缺乏对各尺度输出可信程度的度量与对相互冲突证据的协调机制。当某一尺度因制片瑕疵而输出偏高的假阳性概率时，即便另一尺度给出极低的患病概率，系统仍会强制给出阳性结论，从而在批量筛查中产生大量假阳性，增加后续人工复核的负担。

5、由此可见，在底层特征聚合环节因平均处理导致稀疏病理特征被稀释，与在决策环节因固定阈值及逻辑或运算导致抗噪能力不足、假阳性偏高，是制约此类自动化识别方式实际应用效果的两个相互关联的问题，亟需从特征聚合与决策融合两方面加以解决。

技术实现思路

1、本发明的目的在于克服现有自动化识别方式中因对各切片概率取算术平均导致稀疏病理特征被稀释、且因固定阈值结合逻辑或运算导致抗噪能力不足与假阳性偏高的不足，提供一种基于形态学图像分析的早幼粒白血病识别装置，以在抑制正常背景干扰、聚焦稀疏病理特征的同时，对多尺度证据之间的冲突进行量化与协调，从而兼顾识别的灵敏度与可靠性。

2、为实现上述目的，本发明采用如下技术方案：

3、一种基于形态学图像分析的早幼粒白血病识别装置，包括：

4、多维度图像获取与切片分发模块，用于获取血液涂片在低倍物镜下的低倍图像以及在高倍物镜下的高倍图像，并将所述低倍图像与所述高倍图像分别分割为预设尺寸的图像切片，得到低倍切片集合与高倍切片集合；

5、自适应双通道形态学预处理模块，用于将所述图像切片由rgb色彩空间转换至hsv色彩空间，对其中的饱和度通道采用最大类间方差法确定阈值并生成二值的饱和度掩膜，对其中的色调通道经色相区间筛选、高斯滤波、阈值二值化及形态学开运算后生成二值的色调掩膜，将所述饱和度掩膜与所述色调掩膜取布尔交集得到白细胞掩膜，并将所述白细胞掩膜与对应的图像切片逐像素相乘，输出背景被置零的白细胞目标切片；

6、级联残差多尺度特征提取模块，用于通过低倍编码器对低倍的白细胞目标切片进行特征提取得到低倍特征集合，并通过高倍编码器对高倍的白细胞目标切片进行特征提取得到高倍特征集合；

7、跨尺度门控注意力多示例学习模块，用于对所述低倍特征集合中的各低倍特征取全局平均得到全局查询向量，以所述全局查询向量作为门控信息对所述高倍特征集合中的各高倍特征计算注意力权重，并依据所述注意力权重对所述高倍特征集合进行加权求和得到高倍聚合特征；

8、证据理论不确定性化解与融合诊断模块，用于根据所述全局查询向量得到低倍分类概率、根据所述高倍聚合特征得到高倍分类概率，分别根据所述低倍分类概率与所述高倍分类概率的信息熵确定各自的折扣系数，依据所述折扣系数将所述低倍分类概率与所述高倍分类概率分别重构为包含未知状态的基本概率分配，先计算两个基本概率分配之间的冲突因子，并在所述冲突因子不大于冲突阈值时采用dempster组合规则对两个基本概率分配进行融合，根据融合结果确定针对早幼粒白血病的信任度与似然度，进而依据所述信任度、所述似然度与所述冲突因子输出识别结果。

9、借助上述技术方案，所述跨尺度门控注意力多示例学习模块以低倍尺度的宏观分布信息引导高倍切片的权重分配，使稀疏的病理特征得以聚焦而不被正常背景稀释；所述证据理论不确定性化解与融合诊断模块对两个尺度输出的不确定程度加以度量并对冲突加以协调，使决策不再单纯取决于固定阈值，从而在保持灵敏度的同时抑制假阳性。

10、作为本发明的一种优选技术方案，所述自适应双通道形态学预处理模块生成色调掩膜时，将所述色调通道中处于预设色相区间内的像素标记为候选前景、其余像素标记为背景以得到初始二值图，对所述初始二值图施加高斯滤波以平滑边缘并抑制高频噪声，再以预设判定阈值对高斯滤波的结果重新二值化以恢复二值掩膜，随后以预设尺寸的结构元素进行先腐蚀后膨胀的形态学开运算，以剔除孤立斑点并切断细小粘连，得到二值的色调掩膜。

11、作为本发明的一种优选技术方案，所述自适应双通道形态学预处理模块生成饱和度掩膜时，遍历所述饱和度通道的灰度级，以使被分割的前景与背景之间的类间方差取得最大值的灰度级作为阈值，并据此对所述饱和度通道进行二值化得到二值的饱和度掩膜；将所述白细胞掩膜与对应的图像切片逐像素相乘时，把位于所述白细胞掩膜之外的像素值置零。

12、作为本发明的一种优选技术方案，所述低倍编码器与所述高倍编码器均采用融合了通道注意力与空间注意力的残差网络作为主干，并以所述残差网络中位于全连接层之前的全局平均池化层所输出的特征作为提取结果，所述低倍特征集合与所述高倍特征集合中的每一特征均为预设维数的特征向量。

13、作为本发明的一种优选技术方案，所述跨尺度门控注意力多示例学习模块按照下式计算所述全局查询向量：

14、

15、其中，为所述低倍特征集合中的第个低倍特征，为所述低倍特征集合中低倍特征的数量。

16、作为本发明的一种优选技术方案，所述跨尺度门控注意力多示例学习模块按照下式计算所述高倍特征集合中第个高倍特征的注意力权重：

17、

18、其中，为所述高倍特征集合中的第个高倍特征，为所述高倍特征集合中高倍特征的数量，与分别为作用于高倍特征与全局查询向量的可学习线性映射矩阵，为可学习的投影向量，为双曲正切函数，为sigmoid函数，表示逐元素相乘。

19、作为本发明的一种优选技术方案，所述跨尺度门控注意力多示例学习模块按照下式对所述高倍特征集合进行加权求和得到所述高倍聚合特征：

20、

21、作为本发明的一种优选技术方案，所述证据理论不确定性化解与融合诊断模块以早幼粒白血病与正常两个互斥命题构成辨识框架，所述低倍分类概率中与分别为对应早幼粒白血病与正常的概率，按照下式计算信息熵并确定折扣系数，其中当某一类概率取值为零时约定该项取值为零：

22、

23、进而按照下式将所述低倍分类概率重构为基本概率分配：

24、

25、其中，表示所述辨识框架对应的未知状态，所述高倍分类概率按照同样的方式重构为基本概率分配。

26、作为本发明的一种优选技术方案，所述证据理论不确定性化解与融合诊断模块按照下式计算冲突因子：

27、

28、当所述冲突因子大于冲突阈值时，不执行融合计算并输出转入人工复核的冲突预警；当所述冲突因子不大于冲突阈值时，按照下式进行证据融合，此时分母大于零：

29、

30、其中，、、均为所述辨识框架的幂集中的命题，为所求融合结果所针对的任一非空命题，为所述低倍分类概率重构所得基本概率分配所对应的命题，为所述高倍分类概率重构所得基本概率分配所对应的命题，表示对所有满足交集的命题对进行求和；并按照下式确定针对早幼粒白血病的信任度与似然度：

31、

32、当针对早幼粒白血病的信任度大于信任阈值且似然度大于似然阈值时，输出判定为早幼粒白血病的识别结果；当针对正常命题的信任度大于信任阈值时，输出判定为非早幼粒白血病的识别结果；其余情形输出疑似并建议进一步检测的识别结果。

33、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下处理：获取血液涂片在低倍物镜下的低倍图像以及在高倍物镜下的高倍图像并分别分割为预设尺寸的图像切片；将各图像切片由rgb色彩空间转换至hsv色彩空间，对饱和度通道采用最大类间方差法生成二值的饱和度掩膜、对色调通道经色相区间筛选、高斯滤波、阈值二值化及形态学开运算生成二值的色调掩膜，取二者的布尔交集得到白细胞掩膜并据此提取背景被置零的白细胞目标切片；分别对低倍与高倍的白细胞目标切片进行特征提取得到低倍特征集合与高倍特征集合；对所述低倍特征集合取全局平均得到全局查询向量，以所述全局查询向量作为门控信息对所述高倍特征集合中各高倍特征计算注意力权重并加权求和得到高倍聚合特征；根据所述全局查询向量与所述高倍聚合特征分别得到低倍分类概率与高倍分类概率，依据各自信息熵确定的折扣系数将其重构为包含未知状态的基本概率分配，先计算冲突因子，并在所述冲突因子不大于冲突阈值时采用dempster组合规则进行融合，根据融合结果确定针对早幼粒白血病的信任度与似然度，输出识别结果。

34、与现有技术相比，本发明具有以下有益效果：

35、本发明通过对所述低倍特征集合取全局平均得到全局查询向量，并以该全局查询向量作为门控信息参与对各高倍特征注意力权重的计算，使得对包含异常颗粒与不规则核形等病理特征的高倍切片赋予较高权重、对正常细胞或背景切片的权重相应压低，再据此对高倍特征加权求和得到聚合特征，从而避免了对各切片概率不加区分地取算术平均所带来的稀疏病理特征被正常背景稀释的问题；由于高倍切片权重的分配受到低倍尺度宏观分布信息的引导，低倍尺度与高倍尺度之间被建立起上下文关联，使得即便随机选取的切片中仅含少量异常细胞，仍能将其对应的特征予以聚焦与放大，有利于提高识别的灵敏度。

36、本发明通过分别计算低倍与高倍分类概率的信息熵以度量各自输出的不确定程度，并据此确定折扣系数，将各分类概率重构为包含未知状态的基本概率分配，再采用dempster组合规则进行融合并计算冲突因子；当某一尺度因染色瑕疵或制片伪影输出偏高的概率而与另一尺度给出的强否定信息相互矛盾时，冲突因子相应增大，融合过程据此对两源证据之间的冲突加以协调，使决策不再仅取决于单一尺度是否超过固定阈值，从而在保持对早幼粒白血病识别灵敏度的同时，降低了由局部噪声或伪影引发的假阳性，减轻了后续人工复核的负担。

37、由于所述跨尺度门控注意力多示例学习模块为后续融合提供了信噪比较高的特征与分类概率，而所述证据理论不确定性化解与融合诊断模块又对前级不可避免的统计噪声与尺度间矛盾加以协调，二者相互配合，使本装置在面对染色批次差异、涂布不均以及红细胞、血小板重叠等干扰因素的血液涂片图像时，能够兼顾识别的灵敏度与可靠性，并在证据严重冲突时输出冲突预警以转入人工复核。