荧光染色的尿脱落细胞识别方法及系统与流程

1.本发明属于人工智能医疗技术领域，涉及一种细胞识别方法，尤其涉及一种荧光染色的尿脱落细胞识别方法及系统。


背景技术：

2.目前膀胱癌居中国男性泌尿生殖系恶性肿瘤发病率第1位，居中国恶性肿瘤发病率第8位。膀胱癌的诊断一直是一个横亘在病、患之间的大问题。最为精准的诊断方式是膀胱镜，这一侵入式诊断方法于患者而言是一种痛苦的体验。医学领域一直在努力的开发全新的无痛、依从性高的诊断方案。
3.有鉴于此，如今迫切需要设计一种新的尿脱落细胞识别方式，以便克服现有尿脱落细胞识别方式存在的上述至少部分缺陷。


技术实现要素：

4.本发明提供一种荧光染色的尿脱落细胞识别方法及系统，可提高检测的便捷度，减轻患者检测所承受的心理及身体的痛苦。
5.为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：
6.一种荧光染色的尿脱落细胞识别方法，所述识别方法包括：
7.步骤s1、对病理荧光玻片进行全片扫描，得到数字病理图片；
8.步骤s2、重复步骤s1将生成的多张数字病理图片存储至服务器中，并进行编号存储；
9.步骤s3、将步骤s2存储的数字病理图片分割成瓦片图；
10.步骤s4、将步骤s3分割的瓦片图进行标注；
11.步骤s5、将步骤s4标注好的图片以及对应的标注文件分为训练集以及测试集，将训练集放到深度学习模型中，调整相应的参数，进行训练，得到训练好的深度学习模型；再将测试集放到训练好的深度学习模型中测试，若测试效果达到期望，则输出识别模型，否则返回步骤s2；
12.步骤s6、把训练好的荧光染色的尿脱落细胞膀胱癌识别模型部署到服务器中；
13.步骤s7、将要待识别的荧光染色的尿脱落细胞膀胱癌的病理玻片，通过步骤s1将扫描好的图片传到服务器中；
14.步骤s8、对图片进行预处理，用已经训练好的识别模型进行预测，得到识别出来的膀胱癌细胞相应的坐标信息；
15.步骤s9、将原图以及识别出来的膀胱癌细胞坐标信息在用户端展示出来，得到膀胱癌识别效果图；
16.步骤s10、对误识别区域通过用户端标识，并保存，用于之后识别模型的优化训练。
17.作为本发明的一种实施方式，所述步骤s5的模型训练步骤具体包括：
18.随机选取a1张已经扫描好的荧光染色的膀胱尿液脱落细胞病理切片图像，读取病
理图像，选择感兴趣区域roi，在每张荧光染色的尿脱落细胞膀胱癌病理切片图像随机选取a2张设定大小的图像，形成具有a3张像素为设定大小的数据集，以设定比例为数据比基数，随机划分为训练集、验证集和测试集数据；所述膀胱尿液脱落细胞病理切片图像的像素分辨率大于设置值；
19.在有丰富经验的病理医生的协助下进行高质量的数据标注，把含有荧光染色的尿脱落细胞膀胱癌的区域以及一些噪声区域标注出来；
20.对数据集中的图像进行预处理；图像预处理包括图像去噪、图像滤波；
21.构建深度神经网络模型；首先创建一个若干层的卷积神经网络，包括卷积层、激活函数以及池化层，主要作用是来提取图像的特征；再创建一个感兴趣区域检测神经网络层，分为两个通道，一个是通过softmax对感兴趣区域进行分类，另外一个通道是通过不同的卷积核来计算感兴趣区域的偏移量，来获得精准的感兴趣区域；再将卷积神经网络和感兴趣区域检测神经网络的作为一个池化层的输入，将原始图像以及感兴趣区域结合起来，最后将上一个池化层的输入作为全连接层以及softmax的输入，来进行检测分类；
22.将预处理好的训练数据集作为深度神经网络模型的输入，进行训练，使用损失函数以及梯度下降等方法进行优化和加速，得到训练好的模型；
23.使用验证集对模型进行交叉验证优化，得到最终的深度神经网络模型。
24.作为本发明的一种实施方式，所述步骤s5的模型测试步骤具体包括：
25.测试模型，用之前划分好的测试集来对已经训练好的深度网络模型进行测试，来评估模型；
26.如果模型达到要求，则部署到服务器中，否则的话，调整数据集、网络结构或者参数，继续训练，直到达到要求为止。
27.根据本发明的另一个方面，采用如下技术方案：一种荧光染色的尿脱落细胞识别系统，所述识别系统包括：
28.玻片扫描模块，用以对病理荧光玻片进行全片扫描，得到数字病理图片；
29.图片存储模块，用以将生成的多张数字病理图片存储至服务器中，并进行编号存储；
30.图片分割模块，用以将存储的数字病理图片分割成瓦片图；
31.瓦片图标注模块，用以将分割的瓦片图进行标注；
32.模型训练模块，用以将标注好的图片以及对应的标注文件分为训练集以及测试集，将训练集放到深度学习模型中，调整相应的参数，进行训练，得到训练好的深度学习模型；
33.模型测试模块，用以将测试集放到训练好的深度学习模型中测试，若测试效果达到期望，则输出识别模型；
34.模型部署模块，用以把训练好的荧光染色的尿脱落细胞膀胱癌识别模型部署到服务器中；
35.图片处理模块，用以对图片进行预处理，用已经训练好的识别模型进行预测，得到识别出来的膀胱癌细胞相应的坐标信息；
36.识别效果图获取模块，用以将原图以及识别出来的膀胱癌细胞坐标信息在用户端展示出来，得到膀胱癌识别效果图。
37.作为本发明的一种实施方式，所述识别系统进一步包括误识别区域存储模块，用以对误识别区域通过用户端标识，并保存，用于之后识别模型的优化训练。
38.作为本发明的一种实施方式，所述模型训练模块的训练流程包括：
39.随机选取a1张已经扫描好的荧光染色的膀胱尿液脱落细胞病理切片图像，读取病理图像，选择感兴趣区域roi，在每张荧光染色的尿脱落细胞膀胱癌病理切片图像随机选取a2张设定大小的图像，形成具有a3张像素为设定大小的数据集，以设定比例为数据比基数，随机划分为训练集、验证集和测试集数据；所述膀胱尿液脱落细胞病理切片图像的像素分辨率大于设置值；
40.在有丰富经验的病理医生的协助下进行高质量的数据标注，把含有荧光染色的尿脱落细胞膀胱癌的区域以及一些噪声区域标注出来；
41.对数据集中的图像进行预处理；图像预处理包括图像去噪、图像滤波；
42.构建深度神经网络模型；首先创建一个若干层的卷积神经网络，包括卷积层、激活函数以及池化层，主要作用是来提取图像的特征；再创建一个感兴趣区域检测神经网络层，分为两个通道，一个是通过softmax对感兴趣区域进行分类，另外一个通道是通过不同的卷积核来计算感兴趣区域的偏移量，来获得精准的感兴趣区域；再将卷积神经网络和感兴趣区域检测神经网络的作为一个池化层的输入，将原始图像以及感兴趣区域结合起来，最后将上一个池化层的输入作为全连接层以及softmax的输入，来进行检测分类；
43.将预处理好的训练数据集作为深度神经网络模型的输入，进行训练，使用损失函数以及梯度下降等方法进行优化和加速，得到训练好的模型；
44.使用验证集对模型进行交叉验证优化，得到最终的深度神经网络模型。
45.作为本发明的一种实施方式，所述模型测试模块的测试流程包括：
46.测试模型，用之前划分好的测试集来对已经训练好的深度网络模型进行测试，来评估模型；
47.如果模型达到要求，则部署到服务器中，否则的话，调整数据集、网络结构或者参数，继续训练，直到达到要求为止。
48.本发明的有益效果在于：本发明提出的荧光染色的尿脱落细胞识别方法及系统，只需在检验者的尿液中进行荧光染色并检测出膀胱癌细胞即可，可提高检测的便捷度，从而减轻患者检测所承受的心理及身体的痛苦。
附图说明
49.图1为本发明一实施例中尿脱落细胞识别方法的流程图。
50.图2为本发明一实施例中尿脱落细胞识别系统的组成示意图。
51.图3为本发明一实施例中尿脱落细胞识别系统的组成示意图。
具体实施方式
52.下面结合附图详细说明本发明的优选实施例。
53.为了进一步理解本发明，下面结合实施例对本发明优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
54.该部分的描述只针对几个典型的实施例，本发明并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本发明描述和保护的范围内。
55.说明书中各个实施例中的步骤的表述只是为了方便说明，本技术的实现方式不受步骤实现的顺序限制。说明书中的“连接”既包含直接连接，也包含间接连接。
56.本发明揭示了一种荧光染色的尿脱落细胞识别方法，所述识别方法包括：
57.对病理荧光玻片进行扫描，得到数字病理图片；将生成的多张数字病理图片存储至服务器中；
58.将数字病理图片分为训练集以及测试集，将训练集放到深度学习模型中，调整相应的参数，进行训练，得到训练好的深度学习模型；把训练好的荧光染色的尿脱落细胞膀胱癌识别模型部署到服务器中；
59.将要待识别的经荧光染色的病理玻片进行扫描，将扫描好的数字病理图片传到服务器中；用已经训练好的识别模型进行识别，判断对应病理玻片是否存在膀胱癌细胞。
60.在本发明的一实施例中，所述识别方法进一步包括：对数字病理图片进行预处理，用已经训练好的识别模型进行预测，得到识别出来的膀胱癌细胞相应的坐标信息。
61.在本发明的一实施例中，所述识别方法进一步包括：将原图以及识别出来的膀胱癌细胞坐标信息在用户端展示出来，得到膀胱癌识别效果图。
62.图1为本发明一实施例中尿脱落细胞识别方法的流程图；请参阅图1，在本发明的一实施例中，所述尿脱落细胞识别方法具体包括如下步骤：
63.【步骤s1】对病理荧光玻片进行全片扫描，得到数字病理图片；
64.【步骤s2】重复步骤s1将生成的多张数字病理图片存储至服务器中，并进行编号存储；
65.【步骤s3】将步骤s2存储的数字病理图片分割成瓦片图；
66.【步骤s4】将步骤s3分割的瓦片图进行标注；
67.在一实施例中，在有丰富经验的病理医生的协助下进行高质量的数据标注，把含有荧光染色的尿脱落细胞膀胱癌的区域以及一些噪声区域标注出来。
68.【步骤s5】将步骤s4标注好的图片以及对应的标注文件分为训练集以及测试集，将训练集放到深度学习模型中，调整相应的参数，进行训练，得到训练好的深度学习模型；再将测试集放到训练好的深度学习模型中测试，若测试效果达到期望，则输出识别模型，否则返回步骤s2。
69.在本发明的一实施例中，所述步骤s5的模型训练步骤具体包括：随机选取a1张已经扫描好的荧光染色的膀胱尿液脱落细胞病理切片图像，读取病理图像，选择感兴趣区域roi，在每张荧光染色的尿脱落细胞膀胱癌病理切片图像随机选取a2张设定大小的图像，形成具有a3张像素为设定大小的数据集，以设定比例为数据比基数，随机划分为训练集、验证集和测试集数据；所述膀胱尿液脱落细胞病理切片图像的像素分辨率大于设置值。
70.在一实施例中，随机选取64张已经扫描好的荧光染色的膀胱尿液脱落细胞病理切片图像，读取病理图像，选择roi区域，在每张荧光染色的尿脱落细胞膀胱癌病理切片图像随机选取300张以像素大小为416*416的图像，形成具有9600张像素为416*416的数据集，以8：1：1为数据比基数，随机划分为训练集、验证集和测试集数据；所述膀胱尿液脱落细胞病
理切片图像的像素分辨率大于15000x15000。
71.在本发明的一实施例中，步骤s5进一步包括：对数据集中的图像进行预处理；图像预处理包括图像去噪、图像滤波。
72.将预处理好的训练数据集作为深度神经网络模型的输入，进行训练，使用损失函数以及梯度下降等方法进行优化和加速，得到训练好的模型。使用验证集对模型进行交叉验证优化，得到最终的深度神经网络模型。
73.在本发明的一实施例中，本发明方法在构建深度神经网络模型时，首先创建一个若干层的卷积神经网络，包括卷积层、激活函数以及池化层，主要作用是来提取图像的特征；再创建一个感兴趣区域检测神经网络层，分为两个通道，一个是通过softmax对感兴趣区域进行分类，另外一个通道是通过不同的卷积核来计算感兴趣区域的偏移量，来获得精准的感兴趣区域；再将卷积神经网络和感兴趣区域检测神经网络的作为一个池化层的输入，将原始图像以及感兴趣区域结合起来，最后将上一个池化层的输入作为全连接层以及softmax的输入，来进行检测分类。
74.在本发明的一实施例中，所述步骤s5的模型测试步骤具体包括：测试模型，用之前划分好的测试集来对已经训练好的深度网络模型进行测试，来评估模型。如果模型达到要求，则部署到服务器中，否则的话，调整数据集、网络结构或者参数，继续训练，直到达到要求为止。
75.【步骤s6】把训练好的荧光染色的尿脱落细胞膀胱癌识别模型部署到服务器中。
76.【步骤s7】将要待识别的荧光染色的尿脱落细胞膀胱癌的病理玻片，通过步骤s1将扫描好的图片传到服务器中。
77.【步骤s8】对图片进行预处理，用已经训练好的识别模型进行预测，得到识别出来的膀胱癌细胞相应的坐标信息。
78.【步骤s9】将原图以及识别出来的膀胱癌细胞坐标信息在用户端展示出来，得到膀胱癌识别效果图；
79.【步骤s10】对误识别区域通过用户端标识，并保存，用于之后识别模型的优化训练。
80.本发明进一步揭示一种荧光染色的尿脱落细胞识别系统，图2为本发明一实施例中尿脱落细胞识别系统的组成示意图；请参阅图2，所述识别系统包括：玻片扫描模块1、图片存储模块2、图片分割模块3、瓦片图标注模块4、模型训练模块5、模型测试模块6、模型部署模块7、图片处理模块8、识别效果图获取模块9。
81.玻片扫描模块1用以对病理荧光玻片进行全片扫描，得到数字病理图片；图片存储模块2用以将生成的多张数字病理图片存储至服务器中，并进行编号存储；图片分割模块3用以将存储的数字病理图片分割成瓦片图；瓦片图标注模块4用以将分割的瓦片图进行标注。
82.模型训练模块5用以将标注好的图片以及对应的标注文件分为训练集以及测试集，将训练集放到深度学习模型中，调整相应的参数，进行训练，得到训练好的深度学习模型。模型测试模块6用以将测试集放到训练好的深度学习模型中测试，若测试效果达到期望，则输出识别模型。模型部署模块7用以把训练好的荧光染色的尿脱落细胞膀胱癌识别模型部署到服务器中。
83.图片处理模块8用以对图片进行预处理，用已经训练好的识别模型进行预测，得到识别出来的膀胱癌细胞相应的坐标信息。识别效果图获取模块9用以将原图以及识别出来的膀胱癌细胞坐标信息在用户端展示出来，得到膀胱癌识别效果图。
84.在本发明的一实施例中，所述识别系统进一步包括误识别区域存储模块10，误识别区域存储模块10用以对误识别区域通过用户端标识，并保存，用于之后识别模型的优化训练。
85.在本发明的一实施例中，所述模型训练模块5的训练流程包括：随机选取a1张已经扫描好的荧光染色的膀胱尿液脱落细胞病理切片图像，读取病理图像，选择感兴趣区域roi，在每张荧光染色的尿脱落细胞膀胱癌病理切片图像随机选取a2张设定大小的图像，形成具有a3张像素为设定大小的数据集，以设定比例为数据比基数，随机划分为训练集、验证集和测试集数据；所述膀胱尿液脱落细胞病理切片图像的像素分辨率大于设置值。
86.在有丰富经验的病理医生的协助下进行高质量的数据标注，把含有荧光染色的尿脱落细胞膀胱癌的区域以及一些噪声区域标注出来。
87.对数据集中的图像进行预处理；图像预处理包括图像去噪、图像滤波。
88.在构建深度神经网络模型时，首先创建一个若干层的卷积神经网络，包括卷积层、激活函数以及池化层，主要作用是来提取图像的特征；再创建一个感兴趣区域检测神经网络层，分为两个通道，一个是通过softmax对感兴趣区域进行分类，另外一个通道是通过不同的卷积核来计算感兴趣区域的偏移量，来获得精准的感兴趣区域；再将卷积神经网络和感兴趣区域检测神经网络的作为一个池化层的输入，将原始图像以及感兴趣区域结合起来，最后将上一个池化层的输入作为全连接层以及softmax的输入，来进行检测分类。
89.将预处理好的训练数据集作为深度神经网络模型的输入，进行训练，使用损失函数以及梯度下降等方法进行优化和加速，得到训练好的模型。使用验证集对模型进行交叉验证优化，得到最终的深度神经网络模型。
90.在本发明的一实施例中，所述模型测试模块6的测试流程包括：测试模型，用之前划分好的测试集来对已经训练好的深度网络模型进行测试，来评估模型。如果模型达到要求，则部署到服务器中，否则的话，调整数据集、网络结构或者参数，继续训练，直到达到要求为止。
91.图3为本发明一实施例中尿脱落细胞识别系统的组成示意图；请参阅图3，所述识别系统包括400倍荧光扫描仪、计算机、gpu工作站以及网页端软件。本地计算机用来控制400倍荧光扫描仪，以及通过网络连接gpu工作站，gpu工作站中保存好之前训练好的膀胱癌识别的深度学习模型，网页端软件用来操控一些操作以及展示识别结果。
92.综上所述，本发明提出的荧光染色的尿脱落细胞识别方法及系统，只需在检验者的尿液中进行荧光染色并检测出膀胱癌细胞即可，从而减轻患者检测所承受的心理及身体的痛苦。
93.需要注意的是，本技术可在软件和/或软件与硬件的组合体中被实施；例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本技术的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中；例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本技术的一些步骤或功能可采用硬件来实现；例如，
作为与处理器配合从而执行各个步骤或功能的电路。
94.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
95.这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。实施例中所涉及的效果或优点可因多种因素干扰而可能不能在实施例中体现，对于效果或优点的描述不用于对实施例进行限制。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。