显微镜下病理切片图像智能分析系统的制作方法

1.本发明属于病理切片诊断技术领域，特别是涉及一种显微镜下病理切片图像智能分析系统。


背景技术：

2.目前，国内三级各类医院及二级综合、中西医结合、脚瘤、儿童及妇产科专科医院具备条件者可设立病理科。
3.而传统显微镜的高效性、准确性、易用性、性价比都有待提高，医生需要在屏幕及显微镜之间反复切换，而且判断效果因人而异，而且病理切片也依靠医生人工识别。如果将显微镜下的视野数字化，在准确度和实时性能够满足病理诊断的实际应用需求下，并且能够在辅助医生更好地获得诊断结论，显著缓解医生的阅片压力。就像开车踩油门一样，病理医生只要轻轻一踩踏板，就可以很快将结果准确地呈现在屏幕上，实现精准诊断、精准治疗。
4.集成深度学习的数字化辅助阅片处理和现有的传统显微镜的搭建，使病理研究能在当下医学领域这辆顺风车上得到实惠价值，将基于深度学习的智能算法引入必能在其中找到立足之地。
5.在国内，由金域医学、腾讯ai lab、舜宇光学科技共同研发的智能显微镜已获得nmpa颁发的注册证，是国内首个获准用于临床的智能显微镜产品。该智能显微镜集成了目前病理分析与诊断方面的最新技术，并针对病理医生工作流程和习惯进行多次产品迭代，现已支持乳腺癌免疫组化(ihc)、ki67 (肿瘤细胞增殖指数)、er(雌激素受体)、pr(孕激素受体)和her2(细胞表面生长因子)等常用核染色和膜染色量化分析场景的判读。在实际应用过程中仍然存在以下缺陷：
6.1、由腾讯联合其他公司开发的智能显微镜，无法远程移动切片观察位置，且智能分析时间长。虽然算法丰富并且自动化程度高，但其开发的一体化设备需要购买全套的软硬件后才能使用完整功能。由于这类集成多种功能的智能显微镜大多为一体化设备，因此其不仅售价高昂，而且无法根据医院实际病情诊断情况自主添加由其他人开发的人工智能算法。
7.2、由于目前人工智能算法对病理图像进行处理后，医生只能被动接受检测结果，无法人工修正处理结果。因此医生往往对于这种无法人工参与的黑盒机制怀有质疑。
8.3、由于医院之间显微镜和染色剂均存在差异，大多智能显微镜在固定模型下诊断效果差，对本地模式处理适应性差，检测结果精准度低。


技术实现要素：

9.针对上述现有技术存在的缺陷或不足，本发明的目的在于，提供一种显微镜下病理切片图像智能分析系统。
10.为了实现上述任务，本发明采取如下的技术解决方案：
11.一种显微镜下病理切片图像智能分析系统，其特征在于，包括：
12.显微镜，用于观察病理切片；
13.显微镜摄像头，该显微镜摄像头安装有采集开关，显微镜摄像头与所述显微镜的镜头连接，用于采集显微镜下的病理切片图像；
14.机械臂，用于连接显微镜移动手轮，控制移动台纵向、水平移动使切片移动，实现显微镜下病理切片图像的切换；
15.处理器，用于与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理切片图像，对所述病理切片图像进行预处理，对处理后的病理切片图像进行细胞检测和细胞分类；
16.一个或多个存储器，与所述处理器相连接，用于存储程序、保存数据；
17.显示器，与所述处理器相连接，用于实时接收并显示来自处理器的经过标注的病理切片图像；
18.蓝牙设备，用于机械臂与处理器进行信息交互；以及
19.一个或多个程序，所述一个或多个程序被存储在所述一个或存储器中，并且由所述处理器调用执行；
20.所述程序包括用于执行以下步骤：
21.1)显微镜摄像头采集数字病理切片图像；
22.2)为数字病理切片图像匹配适应算法模型，通过智能诊断对病理切片图像进行算法处理，得到初步诊断结果，输出标注后的病理切片图像；
23.3)对带标注的病理切片图像进行人工判断，如果标注结果符合需求，精准度高，不进行修正标注；否则，对病理切片图像进行人工修正标注信息，输出人工判断结果；
24.4)对人工修正的病理切片图像进行处理，通过这类本地数据再训练模型，增强模型对本地数据的适配性；
25.5)输出最终病理报告。
26.根据本发明，所述显微镜摄像头采集数字病理切片图像采用远程操作，无需人工手动操作移动病理切片，具体包括：
27.判断是否需要操纵机械臂；
28.若无需移动机械臂，将当前采集的病理切片图像传输至处理器，对病理切片图像进行处理标注；否则，移动机械臂，判断机械臂移动方向；
29.通过蓝牙设备传输机械臂移动方向信号，机械臂中的电机控制机械臂进行旋转，带动显微镜移动手轮转动；
30.采集到新病理切片图像，传输至处理器，对病理切片图像进行算法处理。
31.进一步地，所述一个或多个程序包括图像模糊识别、交互修正病理切片标注处理和再训练模型优化方法，使得处理模型自适应本地数据；其中：
32.图像模糊识别，用于对显微镜下病理切片图像微小形变智能识别，智能识别病理切片图像移动、采集并选择算法处理；
33.交互修正病理切片标注处理，用于医生交互式修正算法处理的病理切片图像标注信息，能够对病理切片图像标注进行增加、删除、撤销修正操作；
34.再训练模型优化方法，用于对所有修正的病理切片图像进行再训练，使得修正的
病理切片图像模型适应本地数据，提高修正的病理切片图像的适配性能；
35.所述程序接收到病理切片图像，进行模糊识别检测，判断当前病理切片图像是否进行移动，如果未进行移动操作，释放本次采集的病理切片图像，不进行算法处理；
36.如果为移动后采集的病理切片图像，选择算法处理病理切片图像并输出带标注的病理切片图像信息；
37.接收病理切片图像后，将带标注病理切片图像显示，由医生判断是否需要对标注进行修正；
38.如果需要修正，医生对选定区域进行增加、删除标注操作，并存储修正后标注病理切片图像，通过再训练模型优化方法对这类修正后标注病理切片图像进行模型训练，提高修正的病理切片图像适配性；
39.对修正结果进行人工修正确认；
40.显示带标注的病理切片图像信息，进行人工判断；
41.如果人工判断图像标注信息完整、正确，输出病理图像报告最为最终报告；
42.否则，修正图像标注信息，人工对选定区域进行增加、删除和撤销等操作，修正选定区域标注信息，使图像满足实际诊断需求；
43.输出病理图像报告，并存储标注和图像信息；
44.如果不需要再训练模型优化，直接输出最终的病理切片图像报告。
45.优选地，所述图像模糊识别方法具体包括：
46.使用拉普拉斯算子计算图像边缘信息，得到图像模糊程度并对其打分，对模糊程度分数进行滑动滤波，得到最终分数，高于阈值则进行图像智能分析，否则不进行分析。
47.进一步优选地，所述再训练模型优化是通过本地修正数据对模型再训练，提高模型对本地数据的适应性，具体包括：
48.首先，医生先启动已经训练好的模型对显微镜摄像头传输来的病理切片进行诊断，根据不同的细胞打上不一样的标注信息以区分这些细胞；
49.其次，由于所训练的模型用到的本地数据较少，导致该模型可能对本地的数据适配性较低，医生可对标注进行修改、替换、增加、删减等操作；
50.然后将这些修改后的标注信息添加到原来的病理切片图像训练集中，进而获得本地的数据，最终改善数据不一致性问题；
51.最后，当医生修改后的病理切片图像数量达到一定数量时，医生可选择再训练模型优化方式优化模型，优化之后的模型与本地数据更加适配，进而提高智能分析的准确率。
52.本发明的显微镜下病理切片图像智能分析系统，带来的有益效果在于：
53.(1)与以往智能显微镜设备相比，实现了系统集成化操作显微镜，从而避免了医生需要频繁在电脑与显微镜之间切换操作。相较于以往显微镜设备医生需要频繁手动调节移动手轮，采用本发明的显微镜下病理切片图像智能分析系统，医生可直接通过该显微镜下病理切片图像智能分析系统，操纵移动手轮实现观察视野的切换，使得操作性大幅度提升。
54.(2)与以往的系统相比，一个显著优势就是具有较高实时性，大幅降低系统显示检测结果所需时延。相较于以往的设备在用户点击检测按钮后需要2s-3s运行检测程序，实时显示性低。本发明采用模糊识别算法，当物镜停止移动后就自动进行检测计算图片信息，利用医生停止移动镜头再点击检测按钮这一时间段检测，从而改善医生主观使用感受，提高
系统实时性。
55.(3)与传统智能辅助诊断系统相比，其一个显著优势就是医生在诊断时能够对病理检测结果进行人工修正。医生对检测结论可人工进行插入、删除、撤销等操作，从而规避了传统智能辅助诊断系统下医生只能被动接受系统检测报告，对分析结果无法进行修正，且人工操作重复的问题。本发明能够根据人工修正数据不断修正训练模型，从而使得医生能够进一步参与诊断流程，且降低人工操作重复率。
56.(4)利用再训练训练医院的数据，改善了模型训练数据集和医院所用数据两者数据不一致的问题，使得模型的泛化能力有了极大地提升，进而提高系统判断的准确率。
附图说明
57.图1是本发明的显微镜下病理切片图像智能分析系统的结构框图；
58.图2是本发明的显微镜下病理切片图像智能分析系统的操作流程图；
59.图3是病理切片图像智能分析流程图；
60.图4是机械臂交互流程示意图；
61.图5是模糊检测流程示意图；
62.图6是本发明的显微镜下病理切片图像智能分析系统对病历的保存流程图；
63.图7是本发明的显微镜下病理切片图像智能分析系统界面设计；
64.图8是本发明的显微镜下病理切片图像智能分析系统在tct模式交互下处理操作演示图；
65.图9是本发明的显微镜下病理切片图像智能分析系统在tct模式交互下插入操作演示图；
66.图10是本发明的显微镜下病理切片图像智能分析系统在tct模式交互下删除操作演示图；
67.图11是本发明的显微镜下病理切片图像智能分析系统在ki67模式交互下插入操作演示图；
68.图12是本发明的显微镜下病理切片图像智能分析系统在ki67模式交互下删除操作演示图；
69.图13是本发明的显微镜下病理切片图像智能分析系统在ki67模式交互下撤销操作演示图；
70.图14是本发明的显微镜下病理切片图像智能分析系统再训练系统交互下操作演示图。
71.以下结合附图和实施例对本发明作进一步地详细说明。
具体实施方式
72.本发明的设计思路是，首先要解决现有的智能显微镜无法远程移动切片观察位置的问题，采用操控移动手轮改变切片位置；在显微镜停止移动后立即用模糊识别方法对采集的病理切片图像进行处理，使分析结果可实时显示。
73.根据现有问题中存在的无法人工修正处理结果的问题，处理本地模型适应性差的问题，提供了一种基于再训练模型优化方法，持续优化处理模型，提高系统分析准确度。
74.参见图1，本实施例给出一种显微镜下病理切片图像智能分析系统，包括：
75.显微镜，用于观察病理切片；
76.显微镜摄像头，该显微镜摄像头安装有采集开关，显微镜摄像头与所述显微镜的镜头连接，用于采集显微镜下的病理切片图像；
77.机械臂，用于连接显微镜移动手轮，控制移动台纵向、水平移动使切片移动，实现显微镜下病理切片图像的切换；
78.处理器，用于与所述显微镜摄像头通讯连接，接收来自显微镜摄像头的病理切片图像，对所述病理切片图像进行预处理，对处理后的病理切片图像进行细胞检测和细胞分类；
79.一个或多个存储器，与所述处理器相连接，用于存储程序、保存数据；
80.显示器，与所述处理器相连接，用于实时接收并显示来自处理器的经过标注的病理切片图像；
81.蓝牙设备，用于机械臂与处理器进行信息交互；以及
82.一个或多个程序，所述一个或多个程序被存储在所述一个或存储器中，由所述处理器调用执行；
83.所述程序包括用于执行以下步骤：
84.1)显微镜摄像头采集数字病理切片图像；
85.2)为数字病理切片图像匹配适应算法模型，通过智能诊断对病理切片图像进行算法处理，得到初步诊断结果，输出标注后的病理切片图像；
86.3)对带标注的病理切片图像进行人工判断，如果标注结果符合需求，精准度高，不进行修正标注；否则，对病理切片图像进行人工修正标注信息，输出人工判断结果；
87.4)对人工修正的病理切片图像进行处理，通过这类本地数据再训练模型，增强模型对本地数据的适配性；
88.5)输出最终病理报告。
89.上述显微镜下病理切片图像智能分析系统在使用时，采集开关打开，显微镜摄像头采集位于显微镜下的细胞涂片病理切片图像并发送至处理器；处理器对来自显微镜摄像头的病理切片图像进行细胞检测和细胞分类，在所述病理切片图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理切片图像；显示器接收并显示来自处理器的经过标注的病理切片图像；蓝牙设备连接处理器与机械臂，将移动信号发送至机械臂，控制其进行正、反转，实现移动角度及方向的切换；机械臂通过系统中上、下、左、右方向键操纵显微镜移动手轮，实现移动台水平或纵向移动，从而改变显微镜观察的病理切片位置，实时切换病理切片的局部位置进行观察。
90.机械臂包括的功能有：
91.首先，蓝牙设备连接处理器与机械臂，确保双方能够正常通信，实现对显微镜移动手轮的操作；
92.其次，系统检测到用户当前进行的移动操作的方向，通过蓝牙装置将信号传输至机械臂；
93.最后，机械臂的电机根据传输信号操作机械臂对显微镜移动手轮进行旋转，从而实现切换观察区域。
94.本实施例中，所述显微镜摄像头采集数字病理切片图像采用远程操作，无需人工手动操作移动病理切片，具体包括：
95.判断是否需要操纵机械臂；
96.若无需移动机械臂，将当前采集的病理切片图像传输至处理器，对病理切片图像进行处理标注；否则，移动机械臂，判断机械臂移动方向；
97.通过蓝牙设备传输机械臂移动方向信号，机械臂中的电机控制机械臂进行旋转，带动显微镜移动手轮转动；
98.采集到新病理切片图像，传输至处理器，对病理切片图像进行算法处理。
99.所述一个或多个程序包括图像模糊识别、交互修正病理切片标注处理和再训练模型优化方法，使得处理模型自适应本地数据；其中：
100.图像模糊识别，用于对显微镜下病理切片图像微小形变智能识别，智能识别病理切片图像移动、采集并选择算法处理；
101.交互修正病理切片标注处理，用于医生交互式修正算法处理的病理切片图像标注信息，能够对病理切片图像标注进行增加、删除、撤销修正操作；
102.再训练模型优化方法，用于对所有修正的病理切片图像进行再训练，使得修正的病理切片图像模型适应本地数据，提高修正的病理切片图像的适配性能；
103.所述程序接收到病理切片图像，进行模糊识别检测，判断当前病理切片图像是否进行移动，如果未进行移动操作，释放本次采集的病理切片图像，不进行算法处理；
104.如果为移动后采集的病理切片图像，选择算法处理病理切片图像并输出带标注的病理切片图像信息；
105.接收病理切片图像后，将带标注病理切片图像显示，由医生判断是否需要对标注进行修正；
106.如果需要修正，医生对选定区域进行增加、删除标注操作，并存储修正后标注病理切片图像，通过再训练模型优化方法对这类修正后标注病理切片图像进行模型训练，提高修正的病理切片图像适配性；
107.对修正结果进行人工修正确认；
108.显示带标注的病理切片图像信息，进行人工判断；
109.如果人工判断图像标注信息完整、正确，输出病理图像报告最为最终报告；
110.否则，修正图像标注信息，人工对选定区域进行增加、删除和撤销等操作，修正选定区域标注信息，使图像满足实际诊断需求；
111.输出病理图像报告，并存储标注和图像信息；
112.如果不需要再训练模型优化，直接输出最终的病理切片图像报告。
113.本实施例中，所述再训练模型优化是通过本地修正数据对模型再训练，提高模型对本地数据的适应性，具体包括：
114.首先，医生先启动已经训练好的模型对显微镜摄像头传输来的病理切片进行诊断，根据不同的细胞打上不一样的标注信息以区分这些细胞；
115.其次，由于所训练的模型用到的本地数据较少，导致该模型可能对本地的数据适配性较低，医生可对标注进行修改、替换、增加、删减等操作；
116.然后将这些修改后的标注信息添加到原来的病理切片图像训练集中，进而获得本
地的数据，最终改善数据不一致性问题；
117.最后，当医生修改后的病理切片图像数量达到一定数量时，医生可选择点击左上角再训练按钮以优化模型，优化之后的模型与本地数据更加适配，进而提高智能分析的准确率。
118.参见图2，本实施例的显微镜下病理切片图像智能分析系统的操作过程如下：
119.对于本地运行模式：
120.上传病理切片，选择病理切片图像处理模式，对病理切片进行算法处理，然后点击“医生”，即查看显示处理结果，同时设置了点击“插入”、点击“删除”、点击“撤销”、点击“保存”、点击“再训练”各程序，在点击“插入”中，人工添加处理信息；在点击“删除”中，删除不需要的处理结果；在点击“撤销”中，恢复之前的操作；在点击“保存”中，保存当前操作结果和病人信息等；在点击“再训练”中，通过本地数据集再训练，建立适合本地数据的模型。
121.对于实时运行模式：
122.从显微镜摄像头接收病理切片数据，当采集开关打开，获取当前病理切片数据，模糊检测摄像头是否移动，如果是，显示病理切片图像，然后选择病理切片图像处理模式，对病理切片进行算法处理，之后的操作同本地运行模式。
123.本实施例的显微镜下病理切片图像智能分析系统，可以处理两种不同病理切片图像，一种用于自动判断ki67指数，可以用来判断肿瘤的恶性程度，一种用于宫颈癌tct切片阳性细胞检测，可以用来筛查早期的宫颈癌。智能分析系统在所述病理图像上标注出细胞所在位置、细胞类型及对应的置信度，输出经过标注的病理图像；显示器与所述处理器连接，接收并显示所述经过标注的病理切片图像。采集开关安装在所述显微镜摄像头上，控制显微镜摄像头的运行。
124.病理切片图像智能分析如图3所示，首先判断当前运行模式为实时运行模式还是本地运行模式，如果是本地运行模式，则直接获取病理切片数据，然后选择处理模式为ki67或tct，对病理切片数据图像算法处理，通过对病理切片数据图像进行增加、删除、撤销、保存等操作，对算法结果进行人工修正，撰写并保存病历信息，对保存本地的数据进行再训练，使模型适应本地数据。
125.如果是实时运行模式，对病理切片区域进行模糊识别，减少显微镜下病理切片图像微小形变，判断当前病理切片有无移动，然后通过机械臂控制显微镜移动手轮操纵病理切片移动，得到需要处理的病理切片区域图像信息，之后的操作同本地运行模式。
126.机械臂交互流程如图4所示，机械臂通过蓝牙设备连接处理器，用户写移动按钮，蓝牙设备根据信号传输至机械臂，机械臂根据信号旋转移动显微镜手轮。
127.模糊识别检测流程如图5所示，包括以下步骤：
128.(1)以拉普拉斯算子对当前视频流图像数据进行边缘检测，得到该视频流图像数据的模糊程度，并打分得curr_var；
129.(2)对模糊程度分数curr_var进行滑动滤波处理，得到综合模糊程度评分image_var＝0.5*last_var 0.5*curr_var；
130.(3)对综合模糊程度评分高于阈值的视频流图像数据进行智能检测，低于阈值不进行检测。
131.病历的保存流程图如图6所示，包括以下步骤：
132.(1)建立包含病人基础信息，包括姓名，性别，年龄，门诊号，住院号，床号，病理号，送检医院，送检科室，送检医师，送检日期，取材部位，临床诊断，肉眼所见，其中临床诊断的信息可由后台写入并且医生也可手动修改，其它信息可由医生手动写入；
133.(2)点击保存按钮后，系统会将病人病历，原切片图像，处理后的切片图像，处理后的图像标注信息保存至一个文件夹；
134.(3)提交病历和检测结果；
135.显微镜下病理切片图像智能分析系统界面设计参见图7所示，界面设计包括以下内容：
136.(1)工具栏，包括菜单按钮file、edit、view、window、help和retrain，工具按钮“打开文件”、“打开文件夹”、“保存”、“打印”和“帮助”。工具栏用于进行系统基础配置操作；
137.(2)运行模式选择栏，包括模式选择1选择算法处理模式“tct处理”或“ki67处理”，模式选择2选择“本地运行”或“实时运行”模式；
138.(3)交互工具栏，包括“操作”、“绘图”和“保存”交互按钮。操作功能包括诊断、插入、删除和撤销功能。绘图功能包括绘制包括点、矩形框和自由笔等类型的标注信息。保存功能将交互操作修正的病理切片图像存储至本地指定路径；
139.(4)病人病历信息，包括姓名，性别，年龄，门诊号，住院号，床号，病理号，送检医院，送检科室，送检医师，送检日期，取材部位，临床诊断，肉眼所见，其中临床诊断的信息可由后台写入并且医生也可手动修改，其它信息可由医生手动写入。在点击保存按钮后，系统会将病人病历，原切片图像，处理后的切片图像，处理后的图像标注信息放在一个文件夹中保存起来。
140.本实施例的显微镜下病理切片图像智能分析系统具有以下功能：
141.(1)启动显微镜后选择病理切片图像处理模式，本实施例设计了一种针对病理切片图像分析的模糊识别算法，在检测到病理切片图像停止移动后，即刻对病理切片图像进行处理，且使分析结果可实时显示。
142.(2)点击“诊断”按钮后，将处理结果全部显示，或通过“绘图”按钮选择自定义区域显示处理结果。
143.(3)在tct模式下，点击“插入”按钮，再点击“绘图”按钮，选择病种标识后，根据鼠标在病理切片图像上的滑动范围，绘制标志框和病种标识；点击“删除”功能后，根据鼠标点击坐标删除病理图片上包含该坐标的标志框及其病种标识；点击“撤销”功能后，根据鼠标滑动范围恢复该矩形选定区域内被删除的标志框和病种标识；点击“保存”按钮后，保存三种数据：
144.①
当前系统处理结果；
145.②
将原始病理图片根据标志框切割后得到的局部图片；
146.③
包含局部图片内所有标志框和病种标识信息的txt文件。
147.(4)在ki67模式下，点击“插入”功能，再点击“绘图”按钮选择插入方式为“矩形框”或“自由笔”。根据对应插入方式选定插入区域，将标志点插入该区域；点击“删除”功能，再点击“绘图”按钮选择删除方式为“点”、“矩形框”或“自由笔”。根据对应删除方式选定的删除区域，将该区域内所有的标志点删除；点击“撤销”功能，再点击“绘图”按钮选择撤销方式为“矩形框”或“自由笔”。根据对应撤销方式选定的撤销区域，将该区域内所有被删除的标
志点恢复显示；点击“保存”功能，将当前处理结果保存至指定地址。
148.1)在对病理切片图像处理及人工修正后，建立包含病人基础信息、检测病理切片信息及检测结果的病历并提交检测报告。病人病历包括姓名，性别，年龄，门诊号，住院号，床号，病理号，送检医院，送检科室，送检医师，送检日期，取材部位，临床诊断，肉眼所见，其中临床诊断的信息可由后台写入并且医生也可手动修改，其它信息可由医生手动写入。在点击保存按钮后，系统会将病人病历，原切片图像，处理后的切片图像，处理后的图像标注信息放在一个文件夹中保存起来。
149.2)在进行再训练操作时遵循如下步骤：首先，医生先启动已经训练好的模型对显微镜摄像头传输来的病理切片图像进行诊断，根据不同的细胞打上不一样的标注信息以区分这些细胞。其次，由于所训练的模型用到的本地数据比较少，导致该模型可能对本地的数据可能并不能起到一个非常好的效果，所以需要判断模型标注的准确性，医生可对标注进行修改、替换、增加、删减等操作。然后将这些修改后的标注信息添加到原来的训练集中，这样我们就可以获得本地的数据，进而改善了数据不一致性问题。最后，当医生修改后的图像数量达到一定数量时，医生可选择点击左上角再训练按钮以优化模型，优化之后的模型就更适应了本地的数据，在准确率等方面就可以获得更好的效果。
150.所述操作交互方式包括以下内容：
151.(1)本实施例的插入方式，根据处理模式不同而有所区别。
152.1)tct模式下首先选择病种标识并获取对应标识对应的颜色，其次根据鼠标点击的起始点坐标(x0,y0)和释放的终止点坐标(x1,y1)所形成的矩形区域作为标识框。以该标志框起始点和其右下(x1 abs(x1-x0)/10, y0-abs(y1-y0)/10)围成的区域作为病种标识显示区域。
153.2)ki67模式下首先选择绘图方式为“矩形框”或“自由笔”。在“矩形框”模式下，根据起始点坐标(x0,y0)和释放的终止点坐标(x1,y1)所形成的矩形区域判断是否存在点坐标介于该区域内，将点插入围成的矩形区域。在“自由笔”模式下，由鼠标滑动轨迹形成封闭图形的点坐标集合，判断是否存在点坐标位于该封闭图形内，并将存在的点坐标插入病理图像中。
154.(2)本实施例的删除方式，根据处理模式不同而有所区别。
155.1)tct模式下点击“删除”按钮后，在病理图形中点击需要删除的标志框，判断包含点击坐标的标志框并删除。
156.2)ki67模式下点击“删除”按钮后，选择“点”删除方式，点击需要删除的点，根据点击坐标删除该点信息；选择“矩形框”删除方式，通过鼠标点击的起始点坐标(x0,y0)和释放的终止点坐标(x1,y1)所形成的矩形区域，并删除该区域包含的点坐标信息；选择“自由笔”删除方式，鼠标滑动轨迹形成封闭图形的点坐标集合，判断点集合围成封闭区域包含的点并删除点坐标信息。
157.(3)本实施例的撤销方式，根据处理模式不同而有所区别：
158.1)tct模式下点击“撤销”按钮后，根据鼠标点击的起始点坐标(x0,y0) 和释放的终止点坐标(x1,y1)所形成的矩形区域，将该区域被删除的点坐标信息恢复显示。
159.2)ki67模式下点击“撤销”按钮后，选择“矩形框”撤销方式，通过鼠标点击的起始点坐标(x0,y0)和释放的终止点坐标(x1,y1)所形成的矩形区域，恢复该区域已被删除的点
坐标信息；选择“自由笔”撤销方式，鼠标滑动轨迹形成封闭图形的点坐标集合，恢复点集合围成封闭区域包含的被删除的点坐标信息。
160.(4)本实施例的保存方式，根据处理模式不同而有所区别。
161.1)tct模式下点击“保存”按钮后：
162.第一，对于检测结果保存，首先获取当前窗口显示的pixmap，将其存储为tempix并在tempix上绘制所有显示中的标志框和病种标识，其次将 tempix转换为数组形式并设置图片大小为1920*1080，随后将检测结果保存至指定路径..\model\yolov5\tct\tctimages；
163.第二，对于带有标志框的区域截取并存储，首先获取处理前的图片数组，其次根据标志框的位置信息，截取512*512大小的区域，并缩小至256*256 大小。接着将截取区域的原始坐标存储，截取前对标志框判断是否被完整包含在已截取区域，如果该区域截图已经存在则不再进行截取，最后将截取图片存储至..\model\yolov5\tct\images\train；
164.第三，对于截取区域标志框信息和病种标识信息的存储，每当截取区域后，将其信息按照class(病种信息)，x＝x_center/width(图片宽度)， y＝y_center/height(图片高度)，w＝(x_max-x_min)/width，h＝(y_max
‑ꢀ
y_min)/height的顺序撰写入与对应截取区域同名的txt文件中,最后将文件存储至..\model\yolov5\tct\labels\train。
165.2)ki67模式下点击“保存”按钮后，首先由用户选择处理结果的保存路径，其次获取当前窗口的pixmap并将其转换为数组格式，随后将图片大小设置为1920*1080，最后将显示的标志点信息通过opencv写入后，存储至用户指定路径。
166.所述绘图交互方式包括以下步骤：
167.(1)选择“点”交互方式后，通过获取鼠标点击处坐标，判断是否在以该坐标为中心2*2像素范围内存在标志点。
168.(2)选择“矩形框”交互方式后，通过获取鼠标点击的起始点坐标 (x0,y0)和释放的终止点坐标(x1,y1)，以起始点坐标(x0,y0)为矩形区域的左上顶点，以x1-x0，y1-y0分别为矩形区域的宽和高绘制矩形区域。对于坐标(x,y)依次判断，输出满足x0《＝x《＝x1且y0《＝y《＝y1条件的点坐标信息。
169.(3)选择“自由笔”交互方式后，通过获取鼠标滑动轨迹并将该轨迹存储为列表，将选定需要判断的点坐标与该列表中的轨迹信息进行判断。首先判断点是否在轨迹上，其次判断点(px,py)是否位于轨迹围成图形内部。若纵坐标在轨迹上任意两点(sx,sy)、(tx,ty)之间，判断横坐标px与 x＝sx (py-sy)*(tx-sx)/(ty-sy)坐标的关系。若x＝px,则点(px,py)在不规则区域内，若x》px，则继续判断点(px,py)与轨迹上任意另外两点之间的关系。最后输出在轨迹上或在围成区域内部的点信息。
170.此外，本实施例给出的显微镜下病理切片图像智能分析系统，还对以下交互操作界面进行了以下设计：
171.图8给出了在tct交互下处理操作演示图，展示了tct下插入标志信息后显示形式；图9给出了在tct模式交互下插入操作演示图，使医生可交互式进行标志信息插入；图10给出了在tct模式交互下删除操作演示图，使医生可对误判的标注信息进行删除修正；图11给出了在ki67模式交互下插入操作演示图，对检测区域细胞进行分类标注；图12给出了在ki67模式交互下删除操作演示图，可删除选定区域标注信息；图13给出了在ki67模式交互
下撤销操作演示图，可撤销对选定区域的修改操作，便于实现对标注的修正；图14给出了再训练系统交互下操作演示图，通过再训练优化模型，提高模型精度。
172.综上，本实施例给出的显微镜下病理切片图像智能分析系统，使用比特数据压缩技术动态获取病理切片图像数据，并采用模糊识别方法识别移动病理切片图像并减小病理切片图像微小形变带来的误差，在静止病理切片图像下进行智能分析，提高系统实时性。在得到智能分析结果后，医生可对检测结果进行人工修正，参与病理切片图像报告生成，符合实际工作流程，提高最终结果的准确性。由于不同医院或科研机构所使用的显微镜或染色剂不同导致数据不一致性等问题，使得模型与本地数据适配性低，本系统使用采集的经过医生修正的本地数据与标注使用再训练的方法训练出适合本地数据的模型，最终提高模型的精度，实现算法的优化。