一种标注乳腺冰冻切片中肌上皮细胞空间分布的方法

1.本发明涉及乳腺冰冻切片图像分析技术领域，尤其涉及一种标注乳腺冰冻切片中肌上皮细胞空间分布的方法。


背景技术：

2.目前对乳腺冰冻切片中肌上皮细胞空间分布的标记只能通过免疫组织化学检测的方法，即通过识别特定细胞中的抗体和标记于抗体上的示踪剂用于显示肌上皮细胞，例如p63、smmhc、calponin等肌上皮免疫组织化学试剂。但此方法对试剂、实验室、实验操作人员均有相应要求，费时费力，不能广泛开展。
3.人工智能技术目前在医学领域广泛应用，但还未将此技术运用到乳腺冰冻切片中肌上皮细胞识别的报道。因此，如何结合冰冻切片自身的特性，创新性的将人工智能技术运用到乳腺冰冻切片中肌上皮细胞的识别中，是本领域技术人员亟需解决的问题。


技术实现要素：

4.本发明的目的在于提供一种标注乳腺冰冻切片中肌上皮细胞空间分布的方法，本发明应用于乳腺冰冻切片的图像分析领域，采用人工智能方法(信息学技术)对乳腺冰冻切片图像中肌上皮细胞进行空间分布标注，替代目前仅有的免疫组织化学方法(生物学技术)对肌上皮细胞进行空间分布标注。
5.为了实现上述发明目的，本发明提供以下技术方案：
6.本发明提供了一种标注乳腺冰冻切片中肌上皮细胞空间分布的方法，包括如下步骤：
7.(1)制作乳腺冰冻切片，并将其置于图像采集系统下，得到乳腺冰冻切片数字化图像；
8.(2)将乳腺冰冻切片数字化图像进行优化；
9.(3)将步骤(2)优化后的图像进行人工标注，得到训练集；
10.(4)将步骤(3)得到的训练集训练yolov5深度学习神经网络模型；
11.(5)输入待测集至所述yolov5深度学习神经网络模型，得到肌上皮细胞空间分布特征。
12.优选的，步骤(1)所述乳腺冰冻切片的制作方法包括：
13.a.取材；b.组织块固定；c.冰冻切片；d.冰冻切片固定；e.冰冻切片的染色及封固。
14.优选的，步骤e染色中使用的染色剂为苏木精-伊红。
15.优选的，所述优化的方法为：
16.a.将输入图像分解为r、g、b三通道图像，对蓝色通道进行阈值分割，提取出细胞区域，以闭合的绿色轮廓表示细胞区域；
17.b.对提取的细胞区域进行腐蚀并缩减，使细胞核体积缩小，将被缩减的区域以红色填充；
18.c.对三个通道的灰度值进行缩放，提高细胞核的蓝色与细胞浆的红色对比度，并去除冰晶杂质，最终合成优化图像。
19.优选的，步骤a细胞核的体积缩小8～12％。
20.优选的，步骤(3)中，根据所述肌上皮细胞：呈空泡状的形态、呈梭形的形态或呈细胞核偏至细胞一侧的形态特点进行所述肌上皮细胞的人工标注。
21.优选的，步骤(3)中，以免疫组织化学检测到的肌上皮细胞作为所述肌上皮细胞的人工标注评判标准。
22.与现有技术相比，本发明具有如下的有益效果：
23.1、本发明应用于乳腺冰冻切片的图像分析领域，采用人工智能方法(信息学技术)对乳腺冰冻切片图像中肌上皮细胞进行空间分布标注，替代目前仅有的免疫组织化学方法(生物学技术)对肌上皮细胞进行空间分布标注的方法。
24.2、冰冻切片因不经过脱水步骤而具有其自身特性，如细胞因冰晶胀大、染色后对比性差、切片中有时伴有冰晶等。本发明将冰冻切片图像先经过图像预处理，使图像更接近标准化评判要求。同时将已有的大量乳腺冰冻切片图像、术中快速免疫组化检测图像作为数据集，通过人工智能技术达到对肌上皮细胞识别、标注的目的。
25.3、本发明采用信息学技术标注出乳腺冰冻切片中肌上皮细胞的空间分布，能够部分取代现行生物学技术标注的方法，具有省时省钱、可在偏远地区广泛使用的优点。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
27.图1为显微镜下输入的图像；
28.图2为提取细胞区域；
29.图3为缩小后的细胞区域；
30.图4为填充缩减区域；
31.图5为图像三通道缩放；
32.图6为优化后的冰冻切片图像；
33.图7为乳腺冰冻切片中肌上皮呈梭形；
34.图8为术中快速免疫组化检测中肌上皮图像；
35.图9为部分已标注图像；
36.图10为部分训练集；
37.图11为本发明流程图。
具体实施方式
38.本发明提供了一种标注乳腺冰冻切片中肌上皮细胞空间分布的方法，包括如下步骤：
39.(1)制作乳腺冰冻切片，并将其置于图像采集系统下，得到乳腺冰冻切片数字化图
像；
40.(2)将乳腺冰冻切片数字化图像进行优化；
41.(3)将步骤(2)优化后的图像进行人工标注，得到训练集；
42.(4)将步骤(3)得到的训练集训练yolov5深度学习神经网络模型；
43.(5)输入待测集至所述yolov5深度学习神经网络模型，得到肌上皮细胞空间分布特征。
44.在本发明中，步骤(1)所述乳腺冰冻切片的制作方法包括：
45.a.取材；b.组织块固定；c.冰冻切片；d.冰冻切片固定；e.冰冻切片的染色及封固。
46.在本发明中，步骤e染色中使用的染色剂为苏木精-伊红。
47.在本发明中，所述优化的方法为：
48.a.将输入图像分解为r、g、b三通道图像，对蓝色通道进行阈值分割，提取出细胞区域，以闭合的绿色轮廓表示细胞区域；
49.b.对提取的细胞区域进行腐蚀并缩减，使细胞核体积缩小，将被缩减的区域以红色填充；
50.c.对三个通道的灰度值进行缩放，提高细胞核的蓝色与细胞浆的红色对比度，并去除冰晶杂质，最终合成优化图像。
51.在本发明中，步骤a细胞核的体积缩小8～12％；优选为9～11％；进一步优选为10％。
52.在本发明中，步骤(3)中，根据所述肌上皮细胞：呈空泡状的形态、呈梭形的形态或呈细胞核偏至细胞一侧的形态特点进行所述肌上皮细胞的人工标注。
53.在本发明中，步骤(3)中，以免疫组织化学检测到的肌上皮细胞作为所述肌上皮细胞的人工标注评判标准。
54.下面结合实施例对本发明提供的技术方案进行详细的说明，但是不能把它们理解为对本发明保护范围的限定。
55.实施例1
56.(1)乳腺冰冻切片制作模块：包括：
57.a.取材：切取新鲜组织中的目标区域，切取厚度2mm，组织块1
×
1cm。
58.b.组织块固定：将切取的新鲜组织块即刻置于冰冻切片机的包埋托上，滴加oct胶作为包埋剂固定组织块，置于-20℃冰冻切片机内冷冻10分钟，待oct胶固化后直接切片。
59.c.冰冻切片：冰冻切片厚度5μm，切片过程中避免与水接触，以减少冰晶的形成，切出的组织片及时贴附于载玻片上。
60.d.冰冻切片固定：所得的附有组织片的载玻片，用75％酒精进行固定处理。
61.e.冰冻切片的染色及封固：将所得的乳腺冰冻切片经脱蜡、固定步骤后，进行苏木精-伊红染色(he染色)，染色后经分化、透明处理后使用合成树脂与盖玻片封固。
62.(2)乳腺冰冻切片图像优化模块：冰冻切片具有制片速度快的优点，但正因为制片速度快，制片过程中不经过脱水，因而细胞内残余的水分会因零下低温变为冰晶，令细胞胀大；且冰冻切片染色效果差、有时切片中会伴有冰晶杂质等，这些均对后续显微镜下的图像识别带来困扰。
63.因此对乳腺冰冻切片数字化图像先进行优化处理，包括：提高细胞核的蓝色与细
胞浆的红色对比度，使冰冻切片染色质量更接近于he切片染色质量；胀大的细胞核体积缩小10％；去除图像中的冰晶杂质。
64.a.将输入图像(图1显微镜下输入的图像)分解为r、g、b三通道图像，对蓝色通道进行阈值分割，提取出细胞区域(图2提取细胞区域)，以闭合的绿色轮廓表示细胞区域。
65.b.对提取的细胞区域进行腐蚀并缩减，达到细胞核体积缩小10％的效果(图3缩小后的细胞区域)，将被缩减的区域以红色填充(图4填充缩减区域)。
66.c.对三个通道的灰度值进行缩放，提高细胞核的蓝色与细胞浆的红色对比度，并去除冰晶杂质(图5图像三通道缩放)，最终合成优化图像(图6优化后的冰冻切片图像)。
67.(3)标注冰冻切片内肌上皮细胞的人工智能技术模块：
68.a.设备与方法：对设备性能的要求：电脑的gpu性能要大于等于rtx2060，cpu与gpu性能配套即可。硬件条件达到要求后便可以搭建相应的训练环境。
69.首先，本发明在win10系统中下载并安装pycharm软件，检测更新显卡驱动后下载相应的cuda和pytorch框架版本，然后根据实际的任务需求挑选最合适的深度学习模型，此处优先选择yolov5，该模型对训练环境要求相对较低同时拥有检测精度高、实时性强、模型小及可移植性高等的特点。模型环境搭建完成后便制作相应格式的训练数据集，最后进行训练、验证等。
70.b.实践工作中已存有大量乳腺冰冻切片图像及与之相应的肌上皮细胞术中快速免疫组化检测图像，上述数字化图像为标注冰冻切片内肌上皮细胞人工智能技术的建立提供了充分的数据基础。
71.c.选择100张已经优化处理的乳腺冰冻切片图像，人工标注图像中的肌上皮细胞(图7乳腺冰冻切片中肌上皮呈梭形)，肌上皮细胞有三种形态：
①
呈空泡状的形态；
②
呈梭形的形态；
③
呈细胞核偏至细胞一侧的形态。人工标注后以与之相对应免疫组化图像作为人工标注肌上皮细胞的确认(图8术中快速免疫组化检测中肌上皮图像)。将数据集划分为训练和验证数据集，两者比例为9:1(划分是因为训练集用来训练模型参数，需要的数据量大，所以训练数据集占据大部分。验证集用来在训练阶段验证模型训练效果，用于选择超参数，只需要一小部分图片)，数据采集及标注时应注意各类待检测目标之间的数据量要相对均衡。
72.d.搭建yolov5深度学习神经网络模型，并使用人工标注肌上皮细胞图像进行训练(当训练模型的准确度达到预定标准，就认为训练完成。在训练模型时通过反向传播求导更新模型的权重，最终得到一个泛化能力比较强的模型)。
73.首先使用labelimg工具对图像进行标注，图9部分已标注图像，即展示了已标注图像的一部分；其次使用labelimg工具生成的标注文件，制作训练集与验证集，如图10部分训练集，每幅图像对应一个标注文件，放在对应文件夹中；接着更改yolov5网络的配置文件coco128.yaml以及训练参数，运行train.py文件训练冰冻切片图像数据集；最后通过增加数据集中的数据量，训练出理想的模型，达到对乳腺冰冻切片图像中肌上皮细胞进行信息学自动标注的功能。
74.(4)标注肌上皮细胞空间分布模块：
75.a.将制作好的乳腺冰冻切片置于图像采集系统下，得到乳腺冰冻切片数字化图像信息后上传到系统中。
76.b.经“乳腺冰冻切片图像优化”模块，对上传的乳腺冰冻切片数字化图像进行预处理。
77.c.使用训练好的yolov5深度学习神经网络对处理后的乳腺冰冻切片图像任意区域进行肌上皮细胞的自动标注，并在数字化图像中展示出肌上皮细胞的空间分布。如用红色标注出肌上皮细胞的空间分布。
78.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。