全切片图像编码器训练方法和全切片图像编码方法、装置、设备、介质和产品与流程

本发明涉及医学图像处理及人工智能，尤其涉及一种全切片图像编码器训练方法和全切片图像编码方法、装置、设备、介质和产品。

背景技术：

1、数字病理全切片图像（whole slide image，wsi）是将玻璃病理切片经高倍镜扫描仪完整数字化后得到的超高分辨率图像，单张图像尺寸可达100,000×100,000像素量级。wsi分辨率远超现有神经网络的直接处理能力，当前wsi编码器特征提取结果粗糙，图像信息丢失多，导致图像编码结果的应用效果较差。

技术实现思路

1、本发明实施例提供一种全切片图像编码器训练方法和全切片图像编码方法、装置、设备、介质和产品，可以通过训练机制的改变，使训练得到的全切片图像编码器能够感知组织空间分布规律并学习任务特异性特征，显著提升全切片图像编码器编码结果应用的准确性和可靠性。

2、第一方面，本发明实施例提供了一种全切片图像编码器训练方法，该方法包括：

3、获得病理全切片样本图像集合，并对病理全切片样本图像集合中各样本图像进行预处理，得到各样本图像的图像块像素序列和二维空间坐标集合；

4、将图像块像素序列和二维空间坐标集合输入到第一全切片图像编码器中，得到第一全切片图像编码器输出的图像编码结果；

5、基于图像编码结果和各样本图像的第一属性信息进行损失计算，得到学习损失；其中，第一属性信息为各样本图像对应的分类标签信息和病理诊断文本信息中的至少一项；

6、基于学习损失反向梯度更新第一全切片图像编码器的参数，得到第二全切片图像编码器。

7、第二方面，本发明实施例提供了一种全切片图像编码方法，该方法包括：

8、获得第一病理全切片图像；

9、对第一病理全切片图像进行预处理，得到第一图像块像素序列和第一坐标集合，其中，第一坐标集合为第一图像块像素序列对应的二维空间坐标集合；

10、将第一图像块像素序列和第一坐标集合输入到第一全切片图像编码器，获得第一全切片图像编码器输出的第一图像编码结果，其中，第一全切片图像编码器为经过任一实施例的全切片图像编码器训练方法得到的编码器。

11、第三方面，本发明实施例还提供了一种全切片图像编码器训练装置，该装置包括：

12、样本预处理模块，用于获得病理全切片样本图像集合，并对病理全切片样本图像集合中各样本图像进行预处理，得到各样本图像的图像块像素序列和二维空间坐标集合；

13、样本输入模块，用于将图像块像素序列和二维空间坐标集合输入到第一全切片图像编码器中，得到第一全切片图像编码器输出的图像编码结果；

14、损失计算模块，用于基于图像编码结果和各样本图像的第一属性信息进行损失计算，得到学习损失；其中，第一属性信息为各样本图像对应的分类标签信息和病理诊断文本信息中的至少一项；

15、训练更新模块，用于基于学习损失反向梯度更新第一全切片图像编码器的参数，得到第二全切片图像编码器。

16、第四方面，本发明实施例还提供了一种全切片图像编码装置，该装置包括：

17、待编码图像获取模块，用于获得第一病理全切片图像；

18、图像预处理模块，用于对所述第一病理全切片图像进行预处理，得到第一图像块像素序列和第一坐标集合，其中，所述第一坐标集合为所述第一图像块像素序列对应的二维空间坐标集合；

19、图像编码模块，用于将所述第一图像块像素序列和所述第一坐标集合输入到第一全切片图像编码器，获得所述第一全切片图像编码器输出的第一图像编码结果，其中，所述第一全切片图像编码器为经过任一实施例所述的全切片图像编码器训练方法得到的编码器。

20、第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的全切片图像编码器训练方法或全切片图像编码方法。

21、第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的全切片图像编码器训练方法或全切片图像编码方法。

22、第七方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例中任一所述的全切片图像编码器训练方法或全切片图像编码方法。

23、本发明实施例中，通过获得病理全切片样本图像集合，并对病理全切片样本图像集合中各样本图像进行预处理，得到各样本图像的图像块像素序列和二维空间坐标集合；将图像块像素序列和二维空间坐标集合输入到第一全切片图像编码器中，得到第一全切片图像编码器输出的图像编码结果；基于图像编码结果和各样本图像的第一属性信息进行损失计算，得到学习损失；其中，第一属性信息为各样本图像对应的分类标签信息和病理诊断文本信息中的至少一项；基于学习损失反向梯度更新第一全切片图像编码器的参数，得到第二全切片图像编码器。本技术方案解决了现有全切片图像编码器分离训练方法中跨区域空间信息丢失和图像识别分类结果精度固有上限的问题，可以通使训练得到的全切片图像编码器能够感知组织空间分布规律并学习任务特异性特征，显著提升肿瘤亚型鉴别、基因突变预测等高难度病理图像识别任务的准确性和可靠性。

1.一种全切片图像编码器训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，其中，所述第一全切片图像编码器包括图像块嵌入层、多层全景空间注意力编码网络层和特征聚合层。

3.根据权利要求2所述的方法，其特征在于，所述将所述图像块像素序列和所述二维空间坐标集合输入到第一全切片图像编码器中，得到所述第一全切片图像编码器输出的图像编码结果，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述多层全景空间注意力编码网络层进行特征向量提取的过程，包括：

5.根据权利要求4所述的方法，其特征在于，所述对所述图像块嵌入层输出的图像块单元特征向量序列进行分组，得到多个图像块单元特征向量子序列，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于多头自注意力机制针对每个所述图像块单元特征向量子序列和所述可学习单元特征向量进行特征计算，得到第一子序列特征向量、第一子序列均值特征向量和子序列坐标标记信息，包括：

7.根据权利要求4所述的方法，其特征在于，所述对所述第一子序列特征向量和所述子序列坐标标记信息进行空间信息编码，得到第二子序列特征向量，包括：

8.根据权利要求4所述的方法，其特征在于，所述基于所述全局注意力子模块，基于所述第一子序列特征向量、所述第一子序列均值特征向量和所述子序列坐标标记信息进行最远点采样压缩，得到第一预设数量个采样特征向量，包括：

9.根据权利要求1所述的方法，其特征在于，所述基于所述图像编码结果和所述各样本图像的第一属性信息进行损失计算，得到学习损失，包括：

10.一种全切片图像编码方法，其特征在于，包括：

11.一种全切片图像编码器训练装置，其特征在于，包括：

12.一种全切片图像编码装置，其特征在于，包括：

13.一种电子设备，其特征在于，所述电子设备包括：

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的全切片图像编码器训练方法或全切片图像编码方法。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1-10中任一所述的全切片图像编码器训练方法或全切片图像编码方法。