基于机器视觉的肿瘤细胞检测设备及其方法与流程

1.本技术涉及智能化检测技术领域，且更为具体地，涉及一种基于机器视觉的肿瘤细胞检测设备及其方法。


背景技术：

2.在临床上，甲胎蛋白(afp)的检测是诊断原发性肝癌的一项重要的指标，同时也是评估疗效和预后的重要依据。研究显示，胚胎和胎儿细胞可以摄取甲胎蛋白，而这种摄取是具有选择性的，并且与细胞的分化程度密切相关。大量科学研究数据表明，特异性的甲胎蛋白的受体介导了甲胎蛋白的摄入，而这种机制是受细胞的分化所调节。
3.癌细胞与胚胎细胞的生物特性具有相似之处，当细胞发生癌变发生去分化时，甲胎蛋白受体再度表达，癌细胞就可以通过与甲胎蛋白特异性结合的受体去摄取甲胎蛋白。因此，可以以甲胎蛋白受体作为肿瘤细胞检测的一种标志物。
4.在病理学实验室中最广泛采用的是苏木精-伊红染色方法(he染色方法)。苏木精染色细胞核，伊红染色细胞质，任意一种染色效果不佳，均会影响病理诊断。在实际工作中，细胞核染色效果易发生波动，特别是肿瘤细胞异型核，其复染时间和程度不易掌握，易使细胞浆附着色，背景不干净，影响结果观察及判断。
5.因此，期待一种优化的基于机器视觉的肿瘤细胞检测设备，其能够通过计算生物来对于甲胎蛋白受体进行准确地检测，进而提高肿瘤细胞检测的精准度。


技术实现要素：

6.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于机器视觉的肿瘤细胞检测设备及其方法。其首先将获取的待检测样本的染色图降噪模块进行降噪后得到的降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图，接着，将所述各个通道的lbp纹理特征直方图分别通过第一卷积神经网络模型以得到多个纹理特征图并将所述多个纹理特征图进行级联以得到纹理特征图，然后，将所述降噪后染色图通过第二卷积神经网络模型以得到颜色特征图，最后，融合所述颜色特征图和所述纹理特征图以得到分类特征图并将所述分类特征图通过分类器以得到用于表示待检测样本是否含有甲胎蛋白受体的分类结果。通过这样的方式，就能够提高肿瘤细胞检测的精准度。
7.根据本技术的一个方面，提供了一种基于机器视觉的肿瘤细胞检测设备，其包括：染色图采集模块，用于获取待检测样本的染色图；降噪模块，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；颜色空间转换模块，用于将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图；纹理特征编码模块，用于将所述各个通道的lbp纹理特征直方图分别通过作为特
征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；颜色特征编码模块，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；异质特征融合模块，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
8.在上述的基于机器视觉的肿瘤细胞检测设备中，所述降噪模块，包括：编码单元，用于将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；解码单元，用于将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
9.在上述的基于机器视觉的肿瘤细胞检测设备中，所述纹理特征编码模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的lbp纹理特征直方图。
10.在上述的基于机器视觉的肿瘤细胞检测设备中，所述颜色特征编码模块，进一步用于：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
11.在上述的基于机器视觉的肿瘤细胞检测设备中，所述异质特征融合模块，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；其中，所述公式为：其中、和分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，表示所述纹理特征图的各个位置的特征值，表示所述纹理特征图的各个位置的特征值的全局均值，是所述纹理特征图的尺度，且是加权超参数，表示按位置加法，表示按位置点乘，表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值。
12.在上述的基于机器视觉的肿瘤细胞检测设备中，所述检测结果生成模块，进一步
用于：使用所述分类器以如下公式对所述分类特征图进行处理以得到分类结果；其中，所述公式为：，其中，到为权重矩阵，到为偏置向量，为所述分类特征图投影为向量。
13.根据本技术的另一方面，提供了一种基于机器视觉的肿瘤细胞检测方法，其包括：获取待检测样本的染色图；将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图；将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
14.在上述的基于机器视觉的肿瘤细胞检测方法中，所述将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图，包括：将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
15.在上述的基于机器视觉的肿瘤细胞检测方法中，所述将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，包括：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的lbp纹理特征直方图。
16.在上述的基于机器视觉的肿瘤细胞检测方法中，所述将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图，包括：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
17.在上述的基于机器视觉的肿瘤细胞检测方法中，所述融合所述颜色特征图和所述纹理特征图以得到分类特征图，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；其中，所述公式为：
其中、和分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，表示所述纹理特征图的各个位置的特征值，表示所述纹理特征图的各个位置的特征值的全局均值，是所述纹理特征图的尺度，且是加权超参数，表示按位置加法，表示按位置点乘，表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值。
18.在上述的基于机器视觉的肿瘤细胞检测方法中，所述将所述分类特征图通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征图进行处理以得到分类结果；其中，所述公式为：，其中，到为权重矩阵，到为偏置向量，为所述分类特征图投影为向量。
19.与现有技术相比，本技术提供的一种基于机器视觉的肿瘤细胞检测设备及其方法，其首先将获取的待检测样本的染色图降噪模块进行降噪后得到的降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图，接着，将所述各个通道的lbp纹理特征直方图分别通过第一卷积神经网络模型以得到多个纹理特征图并将所述多个纹理特征图进行级联以得到纹理特征图，然后，将所述降噪后染色图通过第二卷积神经网络模型以得到颜色特征图，最后，融合所述颜色特征图和所述纹理特征图以得到分类特征图并将所述分类特征图通过分类器以得到用于表示待检测样本是否含有甲胎蛋白受体的分类结果。通过这样的方式，就能够提高肿瘤细胞检测的精准度。
附图说明
20.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
21.图1图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测设备的应用场景图。
22.图2图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测设备的框图示意图。
23.图3图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测设备中所述降噪模块的框图示意图。
24.图4图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测方法的流程图。
25.图5图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测方法的系统架构的
示意图。
具体实施方式
26.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
27.场景概述如上所述，癌细胞与胚胎细胞的生物特性具有相似之处，当细胞发生癌变发生去分化时，甲胎蛋白受体再度表达，癌细胞就可以通过与甲胎蛋白特异性结合的受体去摄取甲胎蛋白。因此，可以以甲胎蛋白受体作为肿瘤细胞检测的一种标志物。
28.在病理学实验室中最广泛采用的是苏木精-伊红染色方法(he染色方法)。苏木精染色细胞核，伊红染色细胞质，任意一种染色效果不佳，均会影响病理诊断。在实际工作中，细胞核染色效果易发生波动，特别是肿瘤细胞异型核，其复染时间和程度不易掌握，易使细胞浆附着色，背景不干净，影响结果观察及判断。
29.因此，期待一种优化的基于机器视觉的肿瘤细胞检测设备，其能够通过计算生物来对于甲胎蛋白受体进行准确地检测，进而提高肿瘤细胞检测的精准度。
30.目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
31.近年来，深度学习以及神经网络的发展为肿瘤细胞的检测提供了新的解决思路和方案。
32.具体地，在本技术的技术方案中，采用基于深度学习的人工智能技术来对于待检测样本的染色图进行降噪处理后，提取出所述降噪后染色图像的颜色特征和纹理特征，以这两者的融合特征来进行所述待检测样本的甲胎蛋白受体检测，进而提高肿瘤细胞检测的精准度。也就是，将人工智能技术与生物医药技术相结合以构建用于肿瘤细胞检测的计算生物方案。
33.具体地，在本技术的技术方案中，首先，获取待检测样本的染色图。应可以理解，考虑到在所述待检测样本的染色图中，因肿瘤细胞异型核的复染时间和程度不易掌握，会使得细胞浆附着色，背景不干净。因此，在本技术的技术方案中，使用颜色特征提取和纹理特征提取相结合的方法来提高样本中甲胎蛋白受体检测的准确度。而在此过程中，由于所述样本中存在有多种物质和细胞，为了能够聚焦于所述样本中的甲胎蛋白受体检测，需要滤除其中的不相关物质对于检测的干扰，因此，首先就需要对于所述待检测样本的染色图进行降噪处理。具体地，在本技术的技术方案中，将所述染色图通过基于自动编码器的降噪模块进行降噪处理以得到降噪后染色图。这里，所述基于自动编码器的降噪模块包含有编码器和解码器，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
34.接着，使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的第二卷积神经网络模型来对于所述降噪后染色图进行特征提取，以提取出所述降噪后染色图中的局部隐含关联特征分布信息，即所述降噪后染色图中的颜色关联特征分布信息，从而得到
颜色特征图。
35.然后，考虑到由于灰度图的纹理分析在低分辨率的所述染色图中准确率不高，因此，在本技术的技术方案中，进一步将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图，以结合所述染色图的颜色特征以及纹理特征进行样本中的甲胎蛋白受体检测。也就是，进一步再将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型中进行处理，以提取出所述各个通道的lbp纹理特征直方图中的局部特征信息在高维空间中的特征分布表示，即所述降噪后染色图的纹理隐含关联特征，从而得到多个纹理特征图。接着，再将所述多个纹理特征图进行级联以整合所述各个通道的lbp纹理特征直方图中的纹理特征信息从而得到纹理特征图。
36.进一步地，再融合所述颜色特征图和所述纹理特征图以融合所述待检测样本的染色图中的颜色特征信息和纹理特征信息来进行所述待检测样本中是否含有甲胎蛋白受体的分类检测，进而判断出所述待检测样本是否为肿瘤细胞。
37.特别地，在本技术的技术方案中，为了提高所述纹理特征图和所述颜色特征图的融合效果，需要提高所述纹理特征图和所述颜色特征图的特征一致性程度，而由于所述颜色特征图是所述降噪后染色图通过第二卷积神经网络得到的，所述纹理特征图是所述降噪后染色图进行颜色空间转换和直方图提取后通过第一卷积神经网络得到的，因此期望将所述纹理特征图也映射到与所述颜色特征图相同的特征空间内。
38.基于此，对所述颜色特征图和所述纹理特征图采用注意力导向的特征图联立融合，表示为：其中、和分别是所述颜色特征图、所述纹理特征图和所述分类特征图，是所述纹理特征图的每个位置的特征值，是所述纹理特征图的各个位置的特征值的全局均值，是所述纹理特征图的尺度，即宽度乘以高度乘以通道数，且是加权超参数。
39.这里，待作为映射到的参考特征的所述纹理特征图的子维度一致性作为注意力导向权重，对进行映射的所述颜色特征图施加子维度分布的一致性注意力机制，来在具有彼此分立却又具有一定关联的高维流形之间进行体匹配，这样，在融合所述颜色特征图和所述纹理特征图时，分类特征图可以作为所述颜色特征图和所述纹理特征图的各个子维度上的联立分布，在特征空间内的各个子维度上具有高一致性，提升了所述颜色特征图和所述纹理特征图的融合效果，进而提高了分类的准确性。这样，能够对于样本中是否含有甲胎蛋白受体进行准确地检测，进而提高肿瘤细胞检测的精准度，同时还能够预防癌变的发生，有利于监测评估患者的治疗效果。
40.基于此，本技术提供了一种基于机器视觉的肿瘤细胞检测设备，其包括：染色图采
集模块，用于获取待检测样本的染色图；降噪模块，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；颜色空间转换模块，用于将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图；纹理特征编码模块，用于将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；颜色特征编码模块，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；异质特征融合模块，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及，检测结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
41.图1图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测设备的应用场景图。如图1所示，在该应用场景中，获取待检测样本（例如，如图1中所示意的c）的染色图（例如，如图1中所示意的d），然后，将获取的所述染色图输入至部署有基于机器视觉的肿瘤细胞检测算法的服务器中（例如，图1中所示意的s），其中，所述服务器能够使用所述基于机器视觉的肿瘤细胞检测算法对所述染色图进行处理以生成用于表示待检测样本是否含有甲胎蛋白受体的分类结果。
42.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
43.示例性设备图2图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测设备的框图示意图。如图2所示，根据本技术实施例的基于机器视觉的肿瘤细胞检测设备100，包括：染色图采集模块110，用于获取待检测样本的染色图；降噪模块120，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；颜色空间转换模块130，用于将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图；纹理特征编码模块140，用于将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；颜色特征编码模块150，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；异质特征融合模块160，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及，检测结果生成模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
44.更具体地，在本技术实施例中，所述染色图采集模块110，用于获取待检测样本的染色图。癌细胞与胚胎细胞的生物特性具有相似之处，当细胞发生癌变发生去分化时，甲胎蛋白受体再度表达，癌细胞就可以通过与甲胎蛋白特异性结合的受体去摄取甲胎蛋白。因此，可以以甲胎蛋白受体作为肿瘤细胞检测的一种标志物，并且，进一步地，通过例如苏木精-伊红染色方法(he染色方法)对待检测样本进行染色，并获取待检测样本的染色图，再通过人工智能技术与生物医药技术相结合以构建用于肿瘤细胞检测的计算生物方案，这样，尽可能减少例如由于肿瘤细胞异型核导致复染时间和程度不易掌握而造成的染色效果易波动、背景不干净等问题带来的检测精度降低的问题，减少对结果观察及判断的影响。
45.更具体地，在本技术实施例中，所述降噪模块120，用于将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图。考虑到所述待检测样本中存在有多种物质和细
胞，为了能够聚焦于所述待检测样本中的甲胎蛋白受体检测，需要滤除其中的不相关物质对于检测的干扰，因此，首先就需要对于所述待检测样本的染色图进行降噪处理。这里，所述基于自动编码器的降噪模块包含有编码器和解码器，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
46.相应地，在一个具体示例中，如图3所示，所述降噪模块120，包括：编码单元121，用于将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；解码单元122，用于将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。
47.应可以理解，考虑到在所述待检测样本的染色图中，因肿瘤细胞异型核的复染时间和程度不易掌握，会使得细胞浆附着色，背景不干净。因此，在本技术的技术方案中，使用颜色特征提取和纹理特征提取相结合的方法来提高样本中甲胎蛋白受体检测的准确度。
48.更具体地，在本技术实施例中，所述颜色特征编码模块150，用于将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图。应可以理解，使用在图像的隐含特征提取方面具有优异表现的作为特征提取器的第二卷积神经网络模型来对于所述降噪后染色图进行特征提取，可以提取出所述降噪后染色图中的局部隐含关联特征分布信息，即所述降噪后染色图中的颜色关联特征分布信息，从而得到颜色特征图。
49.相应地，在一个具体示例中，所述颜色特征编码模块150，进一步用于：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
50.更具体地，在本技术实施例中，所述颜色空间转换模块130，用于将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图。考虑到由于灰度图的纹理分析在低分辨率的所述染色图中准确率不高，因此，在本技术的技术方案中，进一步将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图，以结合所述染色图的颜色特征以及纹理特征进行样本中的甲胎蛋白受体检测。
51.更具体地，在本技术实施例中，所述纹理特征编码模块140，用于将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图。将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型中进行处理，可以提取出所述各个通道的lbp纹理特征直方图中的局部特征信息在高维空间中的特征分布表示，即所述降噪后染色图的纹理隐含关联特征，从而得到多个纹理特征图。接着，再将所述多个纹理特征图进行级联以整合所述各个通道的lbp纹理特征直方图中的纹理特征信息从而得到纹理特征图。
52.相应地，在一个具体示例中，所述纹理特征编码模块140，进一步用于：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二
维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的lbp纹理特征直方图。
53.更具体地，在本技术实施例中，所述异质特征融合模块160，用于融合所述颜色特征图和所述纹理特征图以得到分类特征图。融合所述颜色特征图和所述纹理特征图可以融合所述待检测样本的染色图中的颜色特征信息和纹理特征信息来进行所述待检测样本中是否含有甲胎蛋白受体的分类检测，进而判断出所述待检测样本是否为肿瘤细胞。
54.特别地，在本技术的技术方案中，为了提高所述纹理特征图和所述颜色特征图的融合效果，需要提高所述纹理特征图和所述颜色特征图的特征一致性程度，而由于所述颜色特征图是所述降噪后染色图通过第二卷积神经网络得到的，所述纹理特征图是所述降噪后染色图进行颜色空间转换和直方图提取后通过第一卷积神经网络得到的，因此期望将所述纹理特征图也映射到与所述颜色特征图相同的特征空间内。基于此，对所述颜色特征图和所述纹理特征图采用注意力导向的特征图联立融合。
55.相应地，在一个具体示例中，所述异质特征融合模块160，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；其中，所述公式为：其中、和分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，表示所述纹理特征图的各个位置的特征值，表示所述纹理特征图的各个位置的特征值的全局均值，是所述纹理特征图的尺度，且是加权超参数，表示按位置加法，表示按位置点乘，表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值。
56.这里，待作为映射到的参考特征的所述纹理特征图的子维度一致性作为注意力导向权重，对进行映射的所述颜色特征图施加子维度分布的一致性注意力机制，来在具有彼此分立却又具有一定关联的高维流形之间进行体匹配，这样，在融合所述颜色特征图和所述纹理特征图时，分类特征图可以作为所述颜色特征图和所述纹理特征图的各个子维度上的联立分布，在特征空间内的各个子维度上具有高一致性，提升了所述颜色特征图和所述纹理特征图的融合效果，进而提高了分类的准确性。这样，能够对于样本中是否含有甲胎蛋白受体进行准确地检测，进而提高肿瘤细胞检测的精准度，同时还能够预防癌变的发生，有利于监测评估患者的治疗效果。
57.更具体地，在本技术实施例中，所述检测结果生成模块170，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
58.相应地，在一个具体示例中，所述检测结果生成模块170，进一步用于：使用所述分类器以如下公式对所述分类特征图进行处理以得到分类结果；其中，所述公式为：，其中，到为权重矩阵，到为偏置向量，为所述分类特征图投影为向量。
59.综上，基于本技术实施例的基于机器视觉的肿瘤细胞检测设备100被阐明，其首先将获取的待检测样本的染色图降噪模块进行降噪后得到的降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图，接着，将所述各个通道的lbp纹理特征直方图分别通过第一卷积神经网络模型以得到多个纹理特征图并将所述多个纹理特征图进行级联以得到纹理特征图，然后，将所述降噪后染色图通过第二卷积神经网络模型以得到颜色特征图，最后，融合所述颜色特征图和所述纹理特征图以得到分类特征图并将所述分类特征图通过分类器以得到用于表示待检测样本是否含有甲胎蛋白受体的分类结果。通过这样的方式，就能够提高肿瘤细胞检测的精准度。
60.如上所述，根据本技术实施例的所述基于机器视觉的肿瘤细胞检测设备100可以实现在各种终端设备中，例如具有基于机器视觉的肿瘤细胞检测算法的服务器等。在一个示例中，基于机器视觉的肿瘤细胞检测设备100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于机器视觉的肿瘤细胞检测设备100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于机器视觉的肿瘤细胞检测设备100同样可以是该终端设备的众多硬件模块之一。
61.替换地，在另一示例中，该基于机器视觉的肿瘤细胞检测设备100与该终端设备也可以是分立的设备，并且基于机器视觉的肿瘤细胞检测设备100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
62.示例性方法图4图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测方法的流程图。如图4所示，根据本技术实施例的基于机器视觉的肿瘤细胞检测方法，其包括：s110，获取待检测样本的染色图；s120，将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；s130，将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图；s140，将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以得到纹理特征图；s150，将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；s160，融合所述颜色特征图和所述纹理特征图以得到分类特征图；以及，s170，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
63.图5图示了根据本技术实施例的基于机器视觉的肿瘤细胞检测方法的系统架构的示意图。如图5所示，在所述基于机器视觉的肿瘤细胞检测方法的系统架构中，首先，获取待检测样本的染色图；接着，将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图；然后，将所述降噪后染色图从rgb颜色空间转化到ycbcr颜色空间并提取各个通道的lbp纹理特征直方图；接着，将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，并将所述多个纹理特征图进行级联以
得到纹理特征图；然后，将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图；接着，融合所述颜色特征图和所述纹理特征图以得到分类特征图；最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示待检测样本是否含有甲胎蛋白受体。
64.在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述将所述染色图通过基于自动编码器的降噪模块以得到降噪后染色图，包括：将所述染色图输入所述降噪模块的编码器，其中，所述编码器使用卷积层对所述染色图进行显式空间编码以得到染色图特征；将所述染色图特征输入所述降噪模块的解码器，其中，所述解码器使用反卷积层对所述染色图特征进行反卷积处理以得到所述降噪后染色图。所述待检测样本中存在有多种物质和细胞，为了能够聚焦于所述待检测样本中的甲胎蛋白受体检测，需要滤除其中的不相关物质对于检测的干扰，因此，需要对于所述待检测样本的染色图进行降噪处理。
65.在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述将所述各个通道的lbp纹理特征直方图分别通过作为特征提取器的第一卷积神经网络模型以得到多个纹理特征图，包括：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第一卷积神经网络模型的最后一层输出所述多个纹理特征图，其中，所述作为特征提取器的第一卷积神经网络模型的第一层的输入为所述各个通道的lbp纹理特征直方图。
66.在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述将所述降噪后染色图通过作为特征提取器的第二卷积神经网络模型以得到颜色特征图，包括：使用所述作为特征提取器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行二维卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述作为特征提取器的第二卷积神经网络模型的最后一层输出所述颜色特征图，其中，所述作为特征提取器的第二卷积神经网络模型的第一层的输入为所述降噪后染色图。
67.特别地，在本技术的技术方案中，为了提高所述纹理特征图和所述颜色特征图的融合效果，需要提高所述纹理特征图和所述颜色特征图的特征一致性程度，而由于所述颜色特征图是所述降噪后染色图通过第二卷积神经网络得到的，所述纹理特征图是所述降噪后染色图进行颜色空间转换和直方图提取后通过第一卷积神经网络得到的，因此期望将所述纹理特征图也映射到与所述颜色特征图相同的特征空间内。基于此，对所述颜色特征图和所述纹理特征图采用注意力导向的特征图联立融合。
68.在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述融合所述颜色特征图和所述纹理特征图以得到分类特征图，进一步用于：以如下公式融合所述颜色特征图和所述纹理特征图以得到所述分类特征图；其中，所述公式为：其中、和分别表示所述颜色特征图、所述纹理特征图和所述分类特征图，
表示所述纹理特征图的各个位置的特征值，表示所述纹理特征图的各个位置的特征值的全局均值，是所述纹理特征图的尺度，且是加权超参数，表示按位置加法，表示按位置点乘，表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值。
69.在一个具体示例中，在上述基于机器视觉的肿瘤细胞检测方法中，所述将所述分类特征图通过分类器以得到分类结果，包括：使用所述分类器以如下公式对所述分类特征图进行处理以得到分类结果；其中，所述公式为：，其中，到为权重矩阵，到为偏置向量，为所述分类特征图投影为向量。
70.这里，本领域技术人员可以理解，上述基于机器视觉的肿瘤细胞检测方法中的各个步骤的具体操作已经在上面参考图1到图3的基于机器视觉的肿瘤细胞检测设备的描述中得到了详细介绍，并因此，将省略其重复描述。
71.示例性计算机程序产品和计算机可读存储介质除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的基于机器视觉的肿瘤细胞检测方法的步骤。
72.所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
73.此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的基于机器视觉的肿瘤细胞检测方法的步骤。
74.以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
75.本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
76.还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解
和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
77.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
78.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。