一种基于人工智能算法的免疫荧光染色图片病灶标识方法和装置与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于人工智能算法的免疫荧光染色图片病灶标识方法及装置。


背景技术：

2.现场快速评价(rapid on-site evaluation，rose)，又名“rose技术”， rose技术是在介入检查过程中，在基本不损伤组织标本的前提下，现场对穿刺标本进行制片和染色，然后进行快速评价，并提供初步诊断的一种方法。该项技术在呼吸及icu感染性疾病的诊断和治疗中的指导作用明显。
3.目前rose技术主要包括细胞学评价(c-rose)和微生物学(m-rose) 评价。其中，细胞学评价(c-rose)，是对组织细胞荧光染色，将标本中存在的各类细胞进行快速标识，区分白细胞、线索细胞、上皮细胞、异常变异细胞等。微生物学(m-rose)评价主要对真菌荧光染色，是对各类组织及细胞中存在的真菌进行基础菌属分类，包括曲霉菌、毛霉菌、念珠菌等。
4.现有rose技术是基于传统细胞学及微生物诊断技术，通过普通光学显微镜观察荧光染色图片，通过检测人员肉眼观察识别病灶区域。通过传统肉眼方法识别一张荧光染色图片一般需要约20分钟，识别速度较慢；由于检测人员检测经验差异，不同检测人员对病灶区域的认定也存在差异，识别准确性较低。


技术实现要素：

5.因此，本发明要解决的技术问题在于克服现有技术中的rose技术免疫荧光染色图片病灶识别速度慢和准确性低的缺陷，从而提供一种基于人工智能算法的免疫荧光图片病灶标识方法，可有效提高rose技术中免疫荧光染色图片的病灶识别效率和识别准确性。
6.为此，第一方面，本发明提供了一种基于人工智能算法的免疫荧光染色图片病灶标识方法，包括如下步骤：
7.获取免疫荧光染色图片；
8.将免疫荧光染色图片输入至病灶标识神经网络模型对所述免疫荧光染色图片进行病灶标识处理得到显示病灶区域的第一图片；其中，所述病灶标识神经网络模型为采用人工标注病灶区域的免疫荧光染色图片作为输入数据，基于机器学习算法训练得到；
9.获取第一图片中的单个病灶区域面积，去除单个病灶区域面积小于预设阈值的病灶区域，得到第二图片；第二图片中标识的病灶区域即为免疫荧光染色图片中的病灶区域。
10.进一步地，对第二图片的病灶区域进行标注处理，得到带有标注信息的第三图片。
11.优选的，所述标注处理为采用最大外接矩形处理，所述标注信息为矩形。
12.进一步地，所述免疫荧光染色图片为真菌荧光染色图片。
13.进一步地，所述病灶区域为菌丝、菌丝团或孢子中的一种或多种；所述病灶区域面积预设阈值为：菌丝的面积预设阈值为：l1*12*0.5，l1为菌丝病灶区域对应最大外接矩形
的对角线长度；菌丝团的面积预设阈值为：l2*12*1.5，l2为菌丝团病灶区域对应最大外接矩形的对角线长度；孢子的面积预设阈值为：min(w,h)*min(w,h)*3.14*0.5，w和h分别为孢子病灶区域对应最大外接矩形的宽度和高度。
14.进一步地，所述免疫荧光染色图片为组织细胞免疫荧光染色图片。
15.进一步地，所述病灶区为上皮细胞、白细胞、线索细胞或异常细胞的一种或多种；其中，所述上皮细胞和线索细胞的面积数据阈值为24347像素，白细胞的面积数据阈值为56*56*3.14像素，所述异常细胞的面积阈值为9847像素。
16.第二方面，本发明还提供一种基于人工智能算法的免疫荧光染色图片病灶标识装置，包括：
17.获取模块，用于获取免疫荧光染色图片；
18.病灶区标识模块，用于将免疫荧光染色图片输入至病灶标识神经网络模型对所述免疫荧光染色图片进行病灶标识处理得到显示病灶区域的第一图片；其中，所述病灶标识神经网络模型为采用人工标注病灶区的免疫荧光染色图片作为输入数据，基于机器学习算法训练得到；
19.病灶区筛选模块，获取第一图片中的单个病灶区域面积，去除单个病灶区域面积小于预设阈值的病灶区域，得到第二图片；第二图片中标识的病灶区域即为免疫荧光染色图片中的病灶区域。
20.优选的，免疫荧光染色图片病灶标识装置还包括：
21.病灶区域标注模块，对第二图片的病灶区域进行标注处理，得到带有标注信息的第三图片。
22.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述对免疫荧光图片进行病灶标识的方法。
23.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述对免疫荧光图片进行病灶标识的方法。
24.本发明技术方案，具有如下优点：
25.1.本发明提供的基于人工智能算法的免疫荧光染色图片病灶标识方法，通过病灶标识神经网络模型实现对免疫荧光染色图片上的病灶区域进行快速标识，大幅提高了病灶区域的标识效率；然后通过病灶区域面积筛选掉小于预设阈值的区域，这些区域则为可忽略病灶，有效提高了病灶区域识别的准确性。
26.2.本发明提供的基于人工智能算法的免疫荧光染色图片病灶标识方法，通过对识别出来的病灶区域添加标注信息，方便免疫荧光染色图片用户观察病灶区域，提升了免疫荧光图片易读性。
27.3.本发明提供的基于人工智能算法的免疫荧光染色图片病灶标识方法，通过对识别出来的病灶区域添加最大外接矩形标注信息，最大外接矩形标注方法，一方面可有效标注病灶区域，方便识别；另一方面，最大外接矩形处理，相比掩模图，储存结果所需空间更少，可有效降低硬件负担。
28.4.本发明提供的基于人工智能算法的免疫荧光染色图片病灶标识方法，可有效识别真菌荧光染色图片中的菌丝、菌丝团或孢子等病灶区域，并通过设定不同类别的病灶区
域面积阈值，大幅提高不同类型病灶的识别准确性。
29.5.本发明提供的基于人工智能算法的免疫荧光染色图片病灶标识方法，可有效识别组织细胞荧光染色图片中的上皮细胞、白细胞、线索细胞或异常细胞，同时通过设置不同种类细胞的面积数据阈值筛选掉相对可忽略病灶区域，大幅提高病灶区域识别准确性。
30.6.本发明提供的基于人工智能算法的免疫荧光染色图片病灶标识装置，通过病灶标识模块实现对免疫荧光染色图片上的病灶区域进行快速标识，大幅提高了病灶区域的标识效率；然后通过病灶区域筛选模块筛选掉小于预设阈值的病灶区域，有效提高了病灶区域识别的准确性。
31.7.本发明提供的基于人工智能算法的免疫荧光染色图片病灶标识装置，通过增加病灶区域标注模块，有效降低了免疫荧光染色图片用户的读图门槛，大幅方便了免疫荧光染色图片用户的读图体验。
32.8.本发明提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述电子设备执行基于人工智能算法的免疫荧光染色图片病灶标识方法时，实现对免疫荧光染色图片病灶区域的快速识别，有效提高了病灶区域的识别效率和准确率。
33.9.本发明提供的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被执行基于人工智能算法的免疫荧光染色图片病灶标识方法时，可实现对免疫荧光染色图片病灶区域的快速识别，有效提高了病灶区域的识别效率和准确率。
附图说明
34.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1为本发明实施例1中基于人工智能算法的免疫荧光染色图片病灶标识方法的流程图；
36.图2为本发明实施例1中获取的真菌免疫荧光染色图片；
37.图3为图2经病灶标识神经网络模型标识处理后的图片；
38.图4为本发明一实施例中基于人工智能算法的免疫荧光染色图片病灶标识方法的流程图；
39.图5为图3病灶标注处理后的图片；
40.图6为实施例2中组织细胞免疫荧光染色图片；
41.图7为图6经组织细胞病灶标识神经网络模型标识处理后的图片；
42.图8为图7病灶标注处理后的图片；
43.图9为实施例3中免疫荧光染色图片病灶标识装置的原理框图；
44.图10为本发明其中一个实施例中免疫荧光染色图片病灶标识装置的原理框图；
45.图11为本发明实施例5中电子设备的原理框图。
具体实施方式
46.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
48.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
49.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
50.实施例1
51.本实施例提供一种基于人工智能算法的真菌免疫荧光染色图片病灶标识方法，应用于免疫荧光染色图片检测设备中，如图1所示，包括如下步骤：
52.步骤101：获取真菌免疫荧光染色图片，真菌免疫荧光染色图片可通过自动涂片设备对真菌样本进行涂片，然后经检测设备的ccd相机采集获得真菌免疫荧光染色图片，如图2所示。
53.步骤102：将真菌免疫荧光染色图片输入至病灶标识神经网络模型对真菌免疫荧光染色图片进行病灶标识处理得到显示病灶区域的第一真菌图片，如图3所示；其中，所述病灶标识神经网络模型为采用人工标注病灶区域的免疫荧光染色图片样本作为输入数据，基于机器学习算法训练得到的；真菌荧光染色图片的病灶包括菌丝、菌丝团和孢子中的一种或多种。其中，病灶标识神经网络模型的准确率(测试集)为：97％，实际使用人工对比准确率大概为：93％～96％。使用了6453张作为训练集，测试集为400 张图片；优化器为sgd，batchsize为8(两张1080ti显卡)，输入图片分辨率为：2720*1824(宽*高)，学习率为0.01衰减到0.0001，epoch＝500。
54.步骤103：获取第一真菌图片中的单个病灶区域面积，去除单个病灶区域面积小于预设阈值的病灶区域，得到第二真菌图片；其中，病灶菌丝的面积预设阈值的计算公式为：l1*12*0.5，l1菌丝病灶区域对应最大外接矩形的对角线长度；病灶菌丝团的面积预设阈值的计算公式为：l2*12*1.5， l2为菌丝团病灶区域对应最大外接矩形的对角线长度；病灶孢子面积的预设阈值计算公式为：min(w,h)*min(w,h)*3.14*0.5，w和h分别为孢子病灶区域对应最大外接矩形的宽度和高度。第二真菌图片中标识的病灶区域即为免疫荧光染色图片中的病灶区域。
55.上述基于人工智能算法的免疫荧光染色图片病灶标识方法，可通过病灶识别神经网络模型对真菌荧光染色图片进行病灶标识，有效提高真菌荧光染色图片的病灶标识效
率；同时通过病灶区域面积数据筛选，去除可忽略病灶，有效提高真菌荧光染色图片的病灶标识准确率。
56.真菌荧光染色图片经过上述方法标识后得到的第二真菌图片，对于非专业人员来讲，找到病灶区域仍然相对比较困难，为了方便真菌荧光染色图片用户识别病灶区域，优选的，其中一个实施例，如图4所示，在上述方法步骤103之后，还包括步骤104：对第二真菌图片的病灶区域进行标注处理，得到带有标注信息的第三图片，其中标注信息可以为椭圆形、圆形或矩形。通过对病灶区域标注处理，可有效方便真菌免疫荧光染色图片用户读图，可快速了解病灶区域的数量和位置。
57.其中一个实施例中，优选采用最大外接矩形处理来对第二真菌图片进行标注处理，得到标注有矩形框病灶第三图片，如图5所示，方面真菌免疫荧光染色图片用户了解病灶区域大小及病灶区域位置。
58.实施例2
59.与实施例1相比，不同之处在于：本实施例提供的基于人工智能算法的免疫荧光染色图片病灶标识方法主要用于标识组织细胞免疫荧光染色图片的病灶区域。主要包括如下步骤：
60.步骤101：获取组织细胞免疫荧光染色图片，组织细胞免疫荧光染色图片可通过自动涂片设备对组织细胞样本进行涂片，然后经检测设备的ccd 相机采集获得，组织细胞免疫荧光染色图片，如图6所示。
61.步骤102：将组织细胞免疫荧光染色图片输入至病灶标识神经网络模型对组织细胞免疫荧光染色图片进行病灶标识处理得到显示病灶区域的第一组织细胞图片，如图7所示；其中，所述病灶标识神经网络模型为采用人工标注病灶区域的免疫荧光染色图片样本作为输入数据，基于机器学习算法训练得到的；组织细胞荧光染色图片的病灶包括上皮细胞、白细胞、线索细胞或异常细胞的一种或多种。
62.步骤104：获取第一组织细胞图片中的单个病灶区域面积，去除单个病灶区域面积小于预设阈值的病灶区域，得到第二组织细胞图片；其中，病灶上皮细胞和线索细胞的面积预设阈值为24347pixel；白细胞的面积数据阈值为56*56*3.14pixel。第二组织细胞图片中标识的病灶区域即为免疫荧光染色图片中的病灶区域。
63.上述基于人工智能算法的免疫荧光染色图片病灶标识方法，可通过病灶识别神经网络模型对组织细胞免疫荧光染色图片进行病灶标识，有效提高组织细胞免疫荧光染色图片的病灶标识效率；同时通过病灶区域面积数据筛选，去除面积过小的病灶区域，有效提高组织细胞免疫荧光染色图片的病灶标识准确率。
64.组织细胞免疫荧光染色图片经过上述方法标识后得到的第二组织细胞图片，对于非专业人员来讲，找到病灶区域仍然相对比较困难，为了方便组织细胞免疫荧光染色图片用户识别病灶区域，优选的，其中一个实施例，在上述方法步骤s103之后，还包括步骤s104：对第二组织细胞图片的病灶区域进行标注处理，得到带有标注信息的第三图片，其中标注信息可以为椭圆形、圆形或矩形。通过对病灶区域标注处理，可有效方便组织细胞荧光图片用户读图，快速了解病灶区域的数量和位置。
65.其中一个实施例中，优选采用最大外接矩形处理来对第二组织细胞图片进行标注处理，得到标注有矩形框病灶第三图片，如图8所示，方面组织细胞荧光染色图片用户了解
病灶区域大小及病灶区域位置。
66.实施例3
67.本实施例提供一种基于人工智能算法的免疫荧光染色图片病灶标识装置，如图9所示，包括：获取模块201、病灶标识模块202、病灶筛选模块 203和病灶标注模块204，其中：
68.获取模块201，用于获取免疫荧光染色图片；
69.病灶标识模块202，用于将免疫荧光染色图片输入至病灶标识神经网络模型对所述免疫荧光染色图片进行病灶标识处理得到显示病灶区域的第一图片；其中，所述病灶标识神经网络模型为采用人工标注病灶区的免疫荧光染色图片样本作为输入数据，基于机器学习算法训练得到的；
70.病灶筛选模块203，获取第一图片中的单个病灶区域面积，去除单个病灶区域面积小于预设阈值的病灶区域，得到第二图片；第二图片中标识的病灶区域即为免疫荧光染色图片中的病灶区域。
71.上述装置，通过病灶标识模块实现对免疫荧光染色图片上的病灶区域进行快速标识，大幅提高了病灶区域的标识效率；然后通过病灶区域筛选模块筛选掉小于预设阈值的病灶区域，有效提高了病灶区域识别的准确性。
72.为方便用户识别病灶区域的位置和数量，上述装置还包括病灶标注模块204，如图10所示，通过增加病灶标注模块204，有效降低了荧光图片用户的读图门槛，大幅方便了荧光图片用户的读图效率。
73.实施例5
74.基于相同的发明构思，本实施例提供一种电子设备，参见图11，包括存储器302、处理器301、通信接口303、通信总线304以及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器301、通信接口303、存储器302通过通信总线304完成相互间的通信；通信接口303用于实现各建模软件及智能装备模块库等相关设备之间的信息传输；处理器301用于调用存储器302中的计算机程序，处理器执行计算机程序时实现上述各方法实施例所提供的方法，例如，处理器执行计算机程序时，以执行以下操作：
75.获取免疫荧光染色图片；
76.将免疫荧光染色图片输入至病灶标识神经网络模型对所述免疫荧光染色图片进行病灶标识处理得到仅显示病灶区域的第一图片；其中，所述病灶标识神经网络模型为采用人工标注病灶区域的免疫荧光染色图片样本作为输入数据，基于机器学习算法训练得到的；
77.获取第一图片中的单个病灶区域面积，去除单个病灶区域面积小于预设阈值的病灶区域，得到第二图片；第二图片中标识的病灶区域即为免疫荧光染色图片中的病灶区域。
78.对第二图片的病灶区域进行标注处理，得到带有标注信息的第三图片。
79.实施例6
80.本实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，以执行以下操作：
81.获取免疫荧光染色图片；
82.将免疫荧光染色图片输入至病灶标识神经网络模型对所述免疫荧光染色图片进行病灶标识处理得到仅显示病灶区域的第一图片；其中，所述病灶标识神经网络模型为采
用人工标注病灶区域的免疫荧光染色图片样本作为输入数据，基于机器学习算法训练得到的；
83.获取第一图片中的单个病灶区域面积，去除单个病灶区域面积小于预设阈值的病灶区域，得到第二图片；第二图片中标识的病灶区域即为免疫荧光染色图片中的病灶区域。
84.对第二图片的病灶区域进行标注处理，得到带有标注信息的第三图片。
85.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
86.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
87.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
88.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
89.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。