一种显微镜下的切片图像实时处理显示系统和方法与流程

技术特征：
1.一种显微镜下的切片图像实时处理显示系统，其特征在于：包括显微镜系统、图像处理系统和辅助显示系统；所述的显微镜系统，用于采集显微镜下的切片视野图像；所述的图像处理系统，用于按照时间顺序依次将多幅切片视野图像进行拼接，得到当前历史视野拼接图像并发送至辅助显示系统；还用于对每一幅切片视野图像进行病灶识别，将识别出的病灶识别图像内的病灶连通域的边缘进行提取并叠加在对应的切片视野图像上，得到带病灶标签的显微镜视野图像并发送至辅助显示系统；还用于按照时间顺序依次将多幅带病灶标签的显微镜视野图像进行拼接，得到当前历史视野病灶图像并发送至辅助显示系统；所述的辅助显示系统，用于实时显示带病灶标签的显微镜视野图像、当前历史视野拼接图像和当前历史视野病灶图像。2.根据权利要求1所述的显微镜下的切片图像实时处理显示系统，其特征在于：所述的图像处理系统包括图像拼接模块、病灶识别模块和图像叠加模块；其中，图像拼接模块，用于依次获取显微镜系统所采集到的切片视野图像，并将获取到的切片视野图像依次传输至病灶识别模块；图像拼接模块还用于按照时间顺序依次将多幅切片视野图像进行拼接，得到当前历史视野拼接图像并发送至辅助显示系统；图像拼接模块还用于依次获取图像叠加模块传输的带病灶标签的显微镜视野图像，并按照时间顺序依次将多幅带病灶标签的显微镜视野图像进行拼接，最终得到当前历史视野病灶图像并发送至辅助显示系统；病灶识别模块，用于对图像拼接模块传输的每一幅切片视野图像，通过病灶识别网络分别进行病灶识别，得到包含病灶连通域的病灶识别图像，然后将得到的病灶识别图像发送至图像叠加模块；图像叠加模块，用于依次获取显微镜系统所采集到的切片视野图像和病灶识别模块传输的病灶识别图像，并对病灶识别图像内的病灶连通域的边缘进行提取，将提取到的该幅病灶识别图像内的病灶连通域的边缘叠加在对应的切片视野图像上，得到带病灶标签的显微镜视野图像并发送至图像拼接模块和辅助显示系统。3.根据权利要求1所述的显微镜下的切片图像实时处理显示系统，其特征在于，所述的图像处理系统在对两幅图像进行拼接时，按照下述步骤进行：a：设图像处理系统获取到的当前图像为f1(x，y)，前一幅图像为f2(x，y)，则f2(x，y)＝f1(x-dx，y-dy)，即f1(x，y)由f2(x，y)平移(dx，dy)得到；对当前图像和前一幅图像分别进行傅里叶变换，得到频域图像f1(u，v)和频域图像f2(u，v)，f2(u，v)＝f1(u，v)e-i
·
2π(u
·
dx v
·
dy)
；其中，平移包含水平方向和/或竖直方向上的平行移动；f1(x，y)表示当前图像(x，y)坐标像素点的灰度值，其中(x，y)为图像像素点的坐标位置；f2(x，y)为前一幅图像(x，y)坐标像素点的灰度值；f1(u，v)为当前图像的频域图像在(u，v)频域坐标上的数值，其中(u，v)为频域图像的频域坐标，f2(u，v)为前一幅图像的频域图像在(u，v)频域坐标上的值，i表示复数符号，dx为两幅图像之间在x轴方向上的移动距离，dy为两幅图像之间在y轴方向上的移动距离；b：对频域图像f2进行共轭得到共轭后的频域图像再将共轭后的频域图像与频域图像f1相乘后进行归一化处理，得到互功率谱h(u，v)，
c：对互功率谱h(u，v)做傅里叶反变换得到实域图f
e
(x，y)，f
e
(x，y)为一个脉冲函数图像；求取f
e
(x，y)中峰值位置的坐标作为前后两幅图像的位移量(dx，dy)，然后分别将前一幅图像放置在当前图像的左上、左下、右上和右下四个位置，且在该四个位置时两幅图像之间在x轴方向上的移动距离为dx，在y轴方向上的移动距离为dy；然后分别计算出在这四个位置处前后两幅图像重叠区域灰度值差值的绝对值均值，绝对值均值最小的即为前后图像的正确拼接位置关系，然后根据位移量(dx，dy)和位置关系对图像进行拼接得到当前历史视野拼接图像或当前历史视野病灶图像；d：按照步骤a至c的方法，对图像处理系统获取到的每一幅当前图像与上一幅当前图像进行拼接，并结合已拼接的当前历史视野拼接图像或当前历史视野病灶图像，由图像处理系统完成对所有图像的拼接，得到截止到最后一幅图像时的当前历史视野拼接图像或当前历史视野病灶图像。4.根据权利要求2所述的显微镜下的切片图像实时处理显示系统，其特征在于：在对病灶识别模块进行训练的过程中，采用分步网络训练方法；首先，使用第一损失函数对网络模型进行训练，训练时只保存在验证集valid上像素级iou指标最好的网络模型并作为中间网络模型；然后再以中间网络模型为基础，使用第二损失函数对中间网络模型进行训练，训练时只保存在验证集valid上像素级iou指标最好的网络模型作为最终网络模型；其中，第一损失函数和第二损失函数为不相同的损失函数。5.根据权利要求4所述的显微镜下的切片图像实时处理显示系统，其特征在于：在对病灶识别模块进行训练的过程中，第二损失函数采用针对多评估指标的复合损失函数，复合损失函数具体公式如下：compoundloss＝f
focal
(α
×
lesionloss (1-α)
×
pixelloss)；f
focal
(x)＝-k
×
(1-x)
γ
×
log(x)；log(x)；其中，compoundloss为损失函数，lesionloss为病灶级损失，pixelloss为像素级损失，α为加权系数，f
focal
(x)表示focal函数，k和γ均为固定参数，x表示focal函数变量；β为加权系数，pre_pixelloss表示像素级精确率损失，rec_pixelloss表示像素级召回率损失，t1表示真实label图病灶区域，p1表示预测label图病灶区域，t1∩p1表示t1和p1的相交区域的像素数量，smooth是用于防止分母为0的一个极小量；pre_lesionloss表示病灶级精确率损失，rec_lesionloss表示病灶级召回率损失，t2表示真实label图病灶连通域集合，p2表示预
测label图病灶连通域集合，|∩(p2，t2)|表示预测准确的病灶个数。6.根据权利要求2所述的显微镜下的切片图像实时处理显示系统，其特征在于：所述的图像处理系统还包括边缘扩展模块，用于从图像拼接模块获取当前历史视野拼接图像，并在当前历史视野拼接图像中对当前切片视野图像的扩展区域进行图像填充，并将边缘扩展后的当前切片视野图像发送至病灶识别模块；在进行图像填充时，若当前切片视野图像的扩展区域在当前历史视野拼接图像中存在真实图像内容，则使用该真实图像内容对当前切片视野图像的扩展区域进行填充；若当前切片视野图像的扩展区域在当前历史视野拼接图像中不存在真实图像内容，则将当前切片视野图像中与扩展区域相邻一侧的真实图像内容进行镜像复制得到镜像图像内容，使用该镜像图像内容对当前切片视野图像的扩展区域进行填充；经填充后最终得到边缘扩展后的当前切片视野图像。7.根据权利要求6所述的显微镜下的切片图像实时处理显示系统，其特征在于：所述的图像处理系统利用边缘扩展后的当前切片视野图像进行病灶识别后，将得到的病灶识别图像以未进行边缘扩展前的当前切片视野图像尺寸进行裁剪，即删除当前切片视野图像的扩展区域，然后对裁剪后的病灶识别图像内的病灶连通域的边缘进行提取并叠加在对应的切片视野图像上，得到带病灶标签的显微镜视野图像。8.根据权利要求1所述的显微镜下的切片图像实时处理显示系统，其特征在于：还包括增强现实模块，图像处理系统将提取出的病灶连通域的边缘发送至增强现实模块，增强现实模块经光路传导将病灶连通域的边缘直接叠加在显微镜目镜视野中对应的病灶上。9.一种利用权利要求1至8中任意一项实时处理显示系统的显微镜下的切片图像实时处理显示方法，其特征在于，依次包括以下步骤：a：显微镜系统采集显微镜下的切片视野图像；b：图像拼接模块获取显微镜系统所采集到的切片视野图像，并将获取到的切片视野图像传输至病灶识别模块；c：病灶识别模块对图像拼接模块传输的切片视野图像，通过病灶识别网络进行病灶识别，得到包含病灶连通域的病灶识别图像，然后将得到的病灶识别图像发送至图像叠加模块；d：图像叠加模块对病灶识别图像内的病灶连通域的边缘进行提取，将提取到的该幅病灶识别图像内的病灶连通域的边缘叠加在对应的切片视野图像上，得到带病灶标签的显微镜视野图像并发送至图像拼接模块和辅助显示系统；辅助显示系统实时显示带病灶标签的显微镜视野图像；e：图像拼接模块判断是否存在上一张切片视野图像和/或带病灶标签的显微镜视野图像，若存在，则将前后两张切片视野图像和/或前后两张带病灶标签的显微镜视野图像进行拼接，并将拼接得到的当前历史视野拼接图像和/或当前历史视野病灶图像发送至辅助显示系统，然后返回步骤a；若不存在，则直接回步骤a；然后由辅助显示系统实时显示当前历史视野拼接图像和/或当前历史视野病灶图像。10.根据权利要求9所述的显微镜下的切片图像实时处理显示方法，其特征在于：所述的步骤b中，图像拼接模块将获取显微镜系统所采集到的切片视野图像发送至边缘扩展模块，由边缘扩展模块在当前历史视野拼接图像中对当前切片视野图像的扩展区域
进行图像填充，并将边缘扩展后的当前切片视野图像发送至病灶识别模块；所述的步骤c中，病灶识别模块接收到边缘扩展模块发送的边缘扩展后的当前切片视野图像后，利用病灶识别网络进行病灶识别，得到包含病灶连通域的病灶识别图像，然后将得到的病灶识别图像以未进行边缘扩展前的当前切片视野图像尺寸进行裁剪，即删除当前切片视野图像的扩展区域，然后将裁剪后的病灶识别图像发送至图像叠加模块。

技术总结
本发明公开了一种显微镜下的切片图像实时处理显示系统和方法，包括显微镜系统、图像处理系统和辅助显示系统；显微镜系统，用于采集显微镜下的切片视野图像；图像处理系统，用于将多幅切片视野图像进行拼接得到当前历史视野拼接图像；还用于对切片视野图像进行病灶识别，将识别出的病灶识别图像内的病灶连通域的边缘进行提取并叠加在对应的切片视野图像上，得到带病灶标签的显微镜视野图像；还用于将多幅带病灶标签的显微镜视野图像进行拼接得到当前历史视野病灶图像；辅助显示系统，用于实时显示带病灶标签的显微镜视野图像、当前历史视野拼接图像和当前历史视野病灶图像。本发明能够为病理诊断提供图像数据支持，提高诊断效率和诊断结果的准确性。断效率和诊断结果的准确性。断效率和诊断结果的准确性。


技术研发人员：师丽 朱承泽 王松伟 张小安 曾宪旭
受保护的技术使用者：清华大学
技术研发日：2021.09.16
技术公布日：2022/2/6