一种核阳性细胞的标注方法与流程

1.本发明涉及医疗影像辅助识别技术领域，具体涉及一种核阳性细胞的标注方法。


背景技术：

2.核阳性细胞，指在肿瘤组织中，经免疫组化反应后呈阳性结果的肿瘤细胞，其通常可以用于表达该肿瘤组织中的阳性率、核阳性强度等，进而实现对该肿瘤的疾病进程的表征。免疫组化反应，全称为免疫组织化学技术，是一种利用免疫学基本原理：抗原-抗体反应，通过化学方法使得标记抗体的显色剂进行显色，进而确定组织细胞内的抗原的研究方法。由于抗原和抗体之间的结合具有高度的特异性，因此该技术被广泛应用于对肿瘤细胞的检测过程中。
3.现有技术中，已存在有多种基于人工智能技术对免疫组化图像中的核阳性细胞进行识别或进行图像处理的方法，其中大多依赖于he(苏木精—伊红染色法，hematoxylin-eosin staining)染色图像和免疫组化图像进行配准以实现进一步的判读。但是，在实际实施过程中，发明人发现，由于现有技术中对肿瘤区域的标注是通过he染色图像和免疫组化图像进行配准后进行进一步识别的，因此在配准过程中会引入额外的配准误差，导致了图像识别过程存在一定的困难，进而影响判别精度。同时，现有技术中在对核阳性细胞进行统计时往往依赖于人工图像处理，无法有效应对不同类型的图像。以及，现有技术中缺少对核阳性细胞的核阳性强度的分析方法。


技术实现要素：

4.针对现有技术中存在的上述问题，现提供一种核阳性细胞的标注方法。
5.具体技术方案如下：
6.一种核阳性细胞的标注方法，包括：
7.步骤s1：自一组织切片中获得免疫组化图像；
8.步骤s2：对所述免疫组化图像进行识别，获取所述免疫组化图像中的多个核阳性细胞；
9.步骤s3：对所述核阳性细胞进行标注以生成标注图像。
10.优选地，所述步骤s2包括：
11.步骤s21：根据所述免疫组化图像生成肿瘤区域图像；
12.步骤s22：自所述肿瘤区域图像中获取细胞轮廓；
13.步骤s23：根据所述细胞轮廓对细胞进行识别以生成所述核阳性细胞。
14.优选地，所述步骤s21包括：
15.采用一预先建立的区域定位模型对所述免疫组化图像进行识别，将所述肿瘤区域图像自所述免疫组化图像的背景部分分离；
16.所述区域定位模型包括依次设置的收缩路径与扩展路径；
17.其中，所述收缩路径包括多个依次连接降采样层，所述收缩路径用于自所述免疫
组化图像中提取特征图像；
18.所述扩展路径包括多个依次连接的升采样层，所述扩展路径用于根据所述特征图像将所述肿瘤区域图像自所述免疫组化图像的背景部分分离。
19.优选地，所述步骤s22包括：
20.采用一预先建立的细胞检测模型对所述肿瘤区域图像进行识别，以获取所述肿瘤区域图像中多个细胞的所述细胞轮廓；
21.所述细胞检测模型包括依次设置的：
22.卷积层，所述卷积层自所述肿瘤区域图像中获取图像特征；
23.候选标注网络，所述候选标注网络根据所述图像特征在所述肿瘤区域图像中生成一候选区域；
24.池化层，所述池化层根据所述图像特征对所述候选区域进行特征标注，以生成特征标注图像；
25.分类层，所述分类层根据所述特征标注图像自所述肿瘤区域图像中获取所述细胞轮廓。
26.优选地，所述步骤s23包括：
27.采用一预先建立的核阳性细胞分类模型根据所述细胞轮廓识别所述核阳性细胞；
28.所述核阳性细胞分类模型包括：
29.输入层，所述输入层获取所述细胞轮廓和所述肿瘤区域图像；
30.多个降采样卷积层，所述降采样卷积层根据所述细胞轮廓对应的轮廓图像提取图像轮廓特征；
31.判断层，所述判断层根据所述图像轮廓特征判断所述细胞轮廓对应的细胞是否为所述核阳性细胞。
32.优选地，所述步骤s3包括：
33.步骤s31：判断所述核阳性细胞的强度；
34.步骤s32：根据所述核阳性细胞的强度对每个所述核阳性细胞进行标注以生成所述标注图像。
35.优选地，所述步骤s31包括：
36.步骤s311：对所述核阳性细胞的图像进行颜色通道转换生成转换图像；
37.步骤s312：根据所述转换图像生成色彩通道图像；
38.步骤s313：生成所述色彩通道图像的像素均值，并根据预设的至少一个判别阈值生成所述核阳性细胞的所述强度。
39.优选地，所述步骤s23还包括：
40.根据所述核阳性细胞和所述肿瘤区域图像生成核阳性率。
41.优选地，所述标注方法还包括：
42.步骤s4：根据所述标注图像生成诊断结果；
43.所述诊断结果包括所述肿瘤区域在所述免疫组化图像中的占比、所述肿瘤区域、核阳性率、核阳性强度分布中的至少一个。
44.上述技术方案具有如下优点或有益效果：通过对免疫组化图像进行直接标注，避免了现有技术中，通过引入染色图像进行配准导致的配准误差的问题，有效提高了标注的
精度。
附图说明
45.参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
46.图1为本发明实施例的整体示意图；
47.图2为本发明实施例的步骤s2子步骤示意图；
48.图3为本发明实施例的免疫组化图像示意图；
49.图4为本发明实施例的肿瘤区域图像示意图；
50.图5为本发明实施例的区域定位模型示意图；
51.图6为本发明实施例的细胞检测模型示意图；
52.图7为本发明实施例的细胞轮廓图像示意图；
53.图8为本发明实施例的核阳性细胞分类模型示意图；
54.图9为本发明实施例的标注图像示意图；
55.图10为本发明实施例的步骤s3子步骤示意图；
56.图11为本发明实施例的核阳性强度示意图；
57.图12为本发明实施例的步骤s31子步骤示意图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
60.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
61.本发明包括:
62.一种核阳性细胞的标注方法，如图1所示，包括：
63.步骤s1：自一组织切片中获得免疫组化图像；
64.步骤s2：对免疫组化图像进行识别，获取免疫组化图像中的多个核阳性细胞；
65.步骤s3：对核阳性细胞进行标注以生成标注图像。
66.具体地，针对现有技术中采用染色图像对免疫组化图像中的肿瘤区域进行标注会引入额外的配准误差的问题，本发明基于人工智能方法对免疫组化图像进行直接标注，进而避免了配准过程带来的配准误差，实现了更好的标注的准确度。
67.在具体实施过程中，组织切片可以是针对任意类型的肿瘤，如乳腺肿瘤，针对该肿瘤的组织切片的免疫组化图像也可以采用现有技术生成，如er染色。当对该组织切片进行免疫组化处理后，通过全景扫描即可获得如图2所示的适用于本发明中标注方法的免疫组化图像。全景扫描及相关的设备可采用现有技术实现，在此不再赘述。
68.在一种较优的实施例中，步骤s2包括：
69.步骤s21：根据免疫组化图像生成肿瘤区域图像；
70.步骤s22：自肿瘤区域图像中获取细胞轮廓；
71.步骤s23：根据细胞轮廓对细胞进行识别以生成核阳性细胞。
72.具体地，针对现有技术中需要引入染色图像配准进而识别肿瘤区域导致引入配准误差的问题，本实施例采用了基于人工智能方法自免疫组化图像中直接识别出如图4所示的肿瘤区域图像，避免了现有技术中引入配准过程导致的配准误差问题，实现了更好的标注精度。
73.在一种较优的实施例中，步骤s21包括：
74.采用一预先建立的区域定位模型对免疫组化图像进行识别，将肿瘤区域图像自免疫组化图像的背景部分分离；
75.区域定位模型包括依次设置的收缩路径与扩展路径；
76.其中，收缩路径a1包括多个依次连接的降采样层a11、a12、a13，收缩路径a1用于自免疫组化图像中提取特征图像；
77.扩展路径a2包括多个依次连接的升采样层a21、a22、a23，扩展路径a2用于根据特征图像将肿瘤区域图像自免疫组化图像的背景部分分离。
78.具体地，如图5所示，针对现有技术中需要依赖染色图片对肿瘤区域进行识别的问题，在本实施例中采用了一u-net模型实现了对肿瘤区域的提取，以形成如图4所示的区域标注效果。其中，该u-net模型包括收缩路径a1和扩展路径a2。需要说明的是，仅在本实施例中，选用了三层依次连接的降采样层a11、a12、a13，以及三层依次连接的升采样层a21、a22、a23，其并不构成对本发明的限制，根据实际需要在实际实施过程中可以对层数进行适应性的修改。
79.在一种较优的实施例中，步骤s22包括：
80.采用一预先建立的细胞检测模型对肿瘤区域图像进行识别，以获取肿瘤区域图像中多个细胞的细胞轮廓；
81.如图6所示，细胞检测模型包括依次设置的：
82.卷积层b1，卷积层b1自肿瘤区域图像中获取图像特征；
83.候选标注网络b2，候选标注网络b2根据图像特征在肿瘤区域图像中生成一候选区域；
84.池化层b3，池化层b3根据图像特征对候选区域进行特征标注，以生成特征标注图像；
85.分类层b4，分类层b4根据特征标注图像自肿瘤区域图像中获取细胞轮廓。
86.具体地，针对现有技术中对核阳性细胞的统计依赖于人工进行图像处理，无法有效应对各类型的图像的技术问题，本实施例中采用了一faster rcnn模型实现了对肿瘤区域图像中的细胞轮廓识别，进而生成如图7所示的细胞轮廓标注图像。通过识别细胞轮廓可以在不依赖人工处理的情况下对每个细胞进行单独识别，进而便于进一步判断细胞是否为核阳性细胞，并对核阳性细胞进行有效计数。在本实施例中，细胞检测模型包括卷积层b1、候选标注网络b2、池化层b3和分类层b4。通过依次设置的各层可以实现对细胞轮廓的较好的识别以便于进一步地判断细胞是否为核阳性细胞。经实验验证表明，该细胞检测模型在各种不同大小、染色类型的免疫组化图像均能够对细胞轮廓取得较好的识别效果，进而避
免了现有计数中图像处理过程依赖人工设置参数的技术问题，可以适用于更多种类的免疫组化图像。
87.在一种较优的实施例中，步骤s23包括：
88.采用一预先建立的核阳性细胞分类模型根据细胞轮廓识别核阳性细胞；
89.如图8所示，核阳性细胞分类模型包括：
90.输入层c1，输入层c1获取细胞轮廓和肿瘤区域图像；
91.多个降采样卷积层c2、c3、c4，降采样卷积层c2、c3、c4，根据细胞轮廓对应的轮廓图像提取图像特征；
92.判断层c5，判断层c5根据图像特征判断细胞轮廓对应的细胞是否为核阳性细胞。
93.具体地，为实现对核阳性细胞较好识别效固，本实施例选择了efficientnet识别模型实现对细胞是否为核阳性细胞的识别。通过依次设置的输入层c1、降采样卷积层c2、降采样卷积层c3、降采样卷积层c4和判断层c5，能够根据轮廓图像较好的识别出核阳性细胞与非核阳性细胞，并获取如图9所示的多个核阳性细胞。其中，轮廓图像指该细胞轮廓在肿瘤区域图像中对应的位置，由于细胞轮廓是根据细胞外围与背景图像的区别生成的，因此基于细胞轮廓能够在肿瘤区域图像中实现对特定的单个细胞的有效定位。
94.在一种较优的实施例中，步骤s3包括：
95.步骤s31：判断核阳性细胞的强度；
96.步骤s32：根据核阳性细胞的强度对每个核阳性细胞进行标注以生成标注图像。
97.具体地，针对现有技术中缺少判断核阳性细胞的核阳性强度的问题，本实施例中在步骤s3的过程中增加了对核阳性细胞的核阳性强度的检测过程。通过判断核阳性细胞的强度可以进一步生成一如图11所示的反映核阳性强度分布的标注图，进而帮助医生进行进一步的诊断。
98.在一种较优的实施例中，如图12所示，步骤s31包括：
99.步骤s311：对核阳性细胞的图像进行颜色通道转换生成转换图像；
100.步骤s312：根据转换图像生成色彩通道图像；
101.步骤s313：生成色彩通道图像的像素均值，并根据预设的至少一个判别阈值生成核阳性细胞的强度。
102.具体地，针对现有技术中无法有效识别核阳性强度的问题，本实施例选用了图像处理的方式判断核阳性强度，并根据核阳性强度结果对核阳性细胞重新着色以生成如图11所示的标注图像。在具体实施过程中，将单个识别出的核阳性细胞作为分析对象，并去除无关的背景图像；随后将图像的颜色通道从rgb通道转换至hed颜色通道以生成上述的转换图像；对转换图像提取d通道颜色以生成上述的色彩通道图像；随后通过对色彩通道图像的像素计算其均值，根据其像素均值和判别阈值即可有效判断出核阳性细胞的强度。
103.在一种实施例中，记像素均值为img_m，并设置有三组核阳性强度的判别阈值，则有：
104.当t11《img_m《t12时，该核阳性细胞的核阳性强度为弱阳；
105.当t21《img_m《t22时，该核阳性细胞的核阳性强度为中阳；
106.当t31《img_m《t32时，该核阳性细胞的核阳性强度为强阳；
107.t11、t12、t21、t22、t31和t32即为预设的三组判别阈值。
108.在一种较优的实施例中，步骤s23还包括：
109.根据核阳性细胞和肿瘤区域图像生成核阳性率。
110.具体地，针对现有技术中难以对核阳性细胞进行统计的技术问题，本实施例采用了根据核阳性细胞分类模型进一步生成核阳性率技术手段。通过统计输入核阳性细胞分类模型的细胞总数和核阳性细胞分类模型判断出的核阳性细胞数量即可有效生成核阳性率，进而便于医生基于核阳性率进一步诊断。
111.在一种较优的实施例中，标注方法还包括：
112.步骤s4：根据标注图像生成诊断结果；
113.诊断结果包括肿瘤区域在免疫组化图像中的占比、肿瘤区域、核阳性率、核阳性强度分布中的至少一个。
114.具体地，针对现有技术中图像处理依赖人工、无法针对核阳性强度进行检测的问题，本实施例选择了基于上述的标注图像和相关参数生成相应的诊断结果。通过上述的标注方法，可以对免疫组化图像有效地获取其中的肿瘤区域、核阳性细胞的核阳性率以及每个核阳性细胞的核阳性强度。通过对上述数据进行整合以生成诊断结果，可以有效地帮助医生对疾病进行诊断。
115.进一步地，基于上述参数还可以对肿瘤区域图像生成一热力图，以表示核阳性细胞在图像中的分布，及核阳性强度的峰值分布，直观地展现出肿瘤的情况。
116.本发明的有益效果在于：通过对免疫组化图像进行直接标注，避免了现有技术中，通过引入染色图像进行配准导致的配准误差的问题，有效提高了标注的精度。
117.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。