一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像数据筛选、图像分割模型训练方法、装置和存储介质与流程

2021-12-08 00:24:00 来源:中国专利 TAG:


1.本技术涉及计算机技术领域,特别是涉及一种图像数据筛选、图像分割模型训练以及图像数据处理方法、装置、计算机设备和存储介质。


背景技术:

2.随着人工智能技术的发展,出现了图像分割技术,图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。目前,通常通过训练图像分割人工智能模型来对图像进行分割。即通过获取到大量标注的图像进行图像分割训练。由于图像分割任务在对图像进行标注时需要花费大量时间,导致图像分割模型的训练需要花费较长时间。比如,对肿瘤图像进行肿瘤区域分割模型的训练时,需要对大量训练图像进行标注,需要花费大量时间。目前,通常是随机选取少量的图像进行标注后进行图像分割模型的训练。然而,随机选取的少量图像可能会使得到训练图像的质量降低,导致训练得到的图像分割模型的图像分割准确性降低。


技术实现要素:

3.基于此,有必要针对上述技术问题,提供一种能够提高训练图像质量,进而提高图像分割准确性和图像分割效率的图像数据筛选、图像分割模型训练以及图像数据处理方法、装置、计算机设备和存储介质。
4.一种图像数据筛选方法,所述方法包括:
5.获取待筛选图像集,待筛选图像集中包括各个待筛选图像;
6.对各个待筛选图像进行预分割,得到各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度;
7.基于图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集;
8.计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集;
9.获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,第一目标图像集用于在获取到图像分割类别标签后训练图像分割模型。
10.一种图像数据筛选装置,所述装置包括:
11.图像获取模块,用于获取待筛选图像集,待筛选图像集中包括各个待筛选图像;
12.筛选度计算模块,用于对各个待筛选图像进行预分割,得到各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度;
13.筛选模块,用于基于图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集;
14.第二筛选模块,用于计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集;
15.目标筛选模块,用于获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,第一目标图像集用于在获取到图像分割类别标签后训练图像分割模型。
16.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
17.获取待筛选图像集,待筛选图像集中包括各个待筛选图像;
18.对各个待筛选图像进行预分割,得到各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度;
19.基于图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集;
20.计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集;
21.获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,第一目标图像集用于在获取到图像分割类别标签后训练图像分割模型。
22.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
23.获取待筛选图像集,待筛选图像集中包括各个待筛选图像;
24.对各个待筛选图像进行预分割,得到各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度;
25.基于图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集;
26.计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集;
27.获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,第一目标图像集用于在获取到图像分割类别标签后训练图像分割模型。
28.上述图像数据筛选方法、装置、计算机设备和存储介质,通过计算各个待筛选图像对应的图像筛选度,使用图像筛选度筛选,得到第一筛选图像集和未选取图像集。然后从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,进一步从第二筛选图像集中
进行多样性图像筛选,得到第一目标图像集,从而能够使得筛选得到的目标图像集中的图像具有高筛选度、代表性和多样性,提高了得到的第一目标图像集中图像的质量,然后使用第一目标图像集在获取到图像分割类别标签后训练图像分割模型,由于训练图像质量较高,使得训练得到的图像分割模型能够提高图像分割的准确性,并且只需要获取到第一目标图像集的图像分割类别标签就能训练得到图像分割模型,不需要获取到所有待筛选图像的图像分割类别标签,从而能够提高图像分割模型训练效率。
29.一种图像分割模型训练方法,所述方法包括:
30.获取训练数据和预训练图像分割模型,训练数据包括预训练图像集和新增图像集,预训练图像集用于训练得到预训练图像分割模型,新增图像集是目标图像集获取到图像分割类别标签后得到的;
31.目标图像集是通过预训练图像分割模型计算各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与预训练图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
32.将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率;
33.基于训练图像分割类别概率与对应的图像分割类别标签进行损失计算,得到训练损失信息;
34.基于训练损失信息反向更新预训练图像分割模型,并返回将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率的步骤迭代执行,直到达到训练完成条件时,得到图像分割模型,图像分割模型用于对输入图像进行图像分割。
35.一种图像分割模型训练装置,所述装置包括:
36.数据获取模块,用于获取训练数据和预训练图像分割模型,训练数据包括预训练图像集和新增图像集,预训练图像集用于训练得到预训练图像分割模型,新增图像集是目标图像集获取到图像分割类别标签后得到的;目标图像集是通过预训练图像分割模型计算各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与预训练图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
37.训练模块,用于将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率;
38.损失计算模块,用于基于训练图像分割类别概率与对应的图像分割类别标签进行损失计算,得到训练损失信息;
39.模型得到模块,用于基于训练损失信息反向更新预训练图像分割模型,并返回将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率的步骤迭代执行,直到达到训练完成条件时,得到图像分割模型,图像分割模型用于对输入图像进行
图像分割。
40.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
41.获取训练数据和预训练图像分割模型,训练数据包括预训练图像集和新增图像集,预训练图像集用于训练得到预训练图像分割模型,新增图像集是目标图像集获取到图像分割类别标签后得到的;
42.目标图像集是通过预训练图像分割模型计算各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与预训练图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
43.将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率;
44.基于训练图像分割类别概率与对应的图像分割类别标签进行损失计算,得到训练损失信息;
45.基于训练损失信息反向更新预训练图像分割模型,并返回将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率的步骤迭代执行,直到达到训练完成条件时,得到图像分割模型,图像分割模型用于对输入图像进行图像分割。
46.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
47.获取训练数据和预训练图像分割模型,训练数据包括预训练图像集和新增图像集,预训练图像集用于训练得到预训练图像分割模型,新增图像集是目标图像集获取到图像分割类别标签后得到的;
48.目标图像集是通过预训练图像分割模型计算各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与预训练图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
49.将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率;
50.基于训练图像分割类别概率与对应的图像分割类别标签进行损失计算,得到训练损失信息;
51.基于训练损失信息反向更新预训练图像分割模型,并返回将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率的步骤迭代执行,直到达到训练完成条件时,得到图像分割模型,图像分割模型用于对输入图像进行图像分割。
52.上述图像分割模型训练方法、装置、计算机设备和存储介质,通过包含有新增图像集的训练数据训练图像分割模型,由于新增图像集中的图像是通过筛选度筛选,代表性筛
选以及多样性筛选后得到的,从而使得新增图像集中的图像具有较高的图像质量,然后使用训练数据训练图像分割模型,由于训练数据中新增图像集中图像质量较高,使得训练得到的图像分割模型能够提高图像分割的准确性,并且只需要获取到新增图像集的图像分割类别标签就能训练得到图像分割模型,不需要获取到所有待筛选图像的图像分割类别标签,从而在保证图像分割模型准确性的基础上能够提高图像分割模型训练效率。
53.一种图像数据处理方法,所述方法包括:
54.获取待处理图像;
55.将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域;图像分割模型是使用目标图像集和对应的图像分割类别标签训练得到的,目标图像集是通过对各个待筛选图像进行预分割,得到目标图像分割类别概率,并基于目标图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
56.将感兴趣区域进行识别,得到区域识别结果。
57.一种图像数据处理装置,所述装置包括:
58.获取模块,用于获取待处理图像;
59.感兴趣区域确定模块,用于将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域;图像分割模型是使用目标图像集和对应的图像分割类别标签训练得到的,目标图像集是通过对各个待筛选图像进行预分割,得到目标图像分割类别概率,并基于目标图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
60.识别模块,用于将感兴趣区域进行识别,得到区域识别结果。
61.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
62.获取待处理图像;
63.将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域;图像分割模型是使用目标图像集和对应的图像分割类别标签训练得到的,目标图像集是通过对各个待筛选图像进行预分割,得到目标图像分割类别概率,并基于目标图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
64.将感兴趣区域进行识别,得到区域识别结果。
65.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
66.获取待处理图像;
67.将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域;图像分割模型是使用目标图像集和对应的图像分割类别标签训练得到的,目标图像集是通过对各个待筛选图像进行预分割,得到目标图像分割类别概率,并基于目标图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
68.将感兴趣区域进行识别,得到区域识别结果。
69.上述图像数据处理方法、装置、计算机设备和存储介质,通过将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域。由于图像分割模型是使用目标图像集和对应的图像分割类别标签训练得到的,从而使图像分割模型提高了图像分割准确性,进而提高了得到的感兴趣区域的准确性。然后对感兴趣区域进行识别,得到区域识别结果,从而提高了区域识别结果的准确性。
附图说明
70.图1为一个实施例中图像数据筛选方法的应用环境图;
71.图2为一个实施例中图像数据筛选方法的流程示意图;
72.图3为一个实施例中图像筛选度计算的流程示意图;
73.图4为另一个实施例中图像筛选度计算的流程示意图;
74.图5为一个具体实施例中图像分割信息度计算的流程示意图;
75.图6为一个具体实施例中图像分割精确度计算的流程示意图;
76.图7为一个实施例第二筛选图像集得到的流程示意图;
77.图8为另一个实施例中第二筛选图像集得到的流程示意图;
78.图9为一个具体实施例中代表性图像筛选的示意图;
79.图10为一个实施例中第一目标图像集得到的流程示意图;
80.图11为另一个实施例中第一目标图像集得到的流程示意图;
81.图12为一个具体实施例中多样性图像筛选的示意图;
82.图13为另一个实施例中图像数据筛选方法的流程示意图;
83.图14为一个实施例中图像分割模型训练方法的流程示意图;
84.图15为一个实施例中预训练的流程示意图;
85.图16为一个实施例中图像分割模型训练的架构示意图;
86.图17为一个实施例中像素级别标注的图像示意图;
87.图18为一个实施例中图像数据处理方法的流程示意图;
88.图19为一个具体实施例中医疗平台图像数据处理的框架示意图;
89.图20为图19具体实施例中目标处理结果图像的示意图;
90.图21为一个具体实施例中图像数据处理方法的流程示意图;
91.图22为一个具体实施例中对比测试性能结果的示意图;
92.图23为一个具体实施例中量化指标a对比测试结果的示意图;
93.图24为一个具体实施例中量化指标b对比测试结果的示意图;
94.图25为一个具体实施例中量化指标c对比测试结果的示意图;
95.图26为一个实施例中图像数据筛选装置的结构框图;
96.图27为一个实施例中图像分割模型训练装置的结构框图;
97.图28为一个实施例中图像数据处理装置的结构框图;
98.图29为一个实施例中计算机设备的内部结构图;
99.图30为一个实施例中计算机设备的内部结构图。
具体实施方式
100.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
101.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
102.本技术实施例提供的方案涉及人工智能的图像处理、图像识别等技术,具体通过如下实施例进行说明:
103.本技术提供的图像数据筛选方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信,数据库106为服务器104提供数据服务。服务器104接收到终端102的图像筛选指令,根据该图像筛选指令服务器104从数据库106中获取待筛选图像集,待筛选图像集中包括各个待筛选图像;服务器104对各个待筛选图像进行预分割,得到各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度;服务器104基于图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集;服务器104计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集;服务器104获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,第一目标图像集用于在获取到图像分割类别标签后训练图像分割模型。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
104.在一个实施例中,如图2所示,提供了一种图像数据筛选方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用在终端中,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。在本实施例中,包括以下步骤:
105.步骤202,获取待筛选图像集,待筛选图像集中包括各个待筛选图像。
106.其中,待筛选图像是指需要进行筛选的图像,该待筛选图像集中的待筛选图可以是任意能够对感兴趣区域进行图像分割的同类型图像,比如,待筛选图像集中可以是不同的肿瘤图像,可以对肿瘤区域进行分割。比如,待筛选图像集中可以是不同的具有人脸的图像,可以对人脸区域进行分割。比如,待筛选图像集中可以是不同的具有动物的图像,可以对动物区域进行分割。
107.具体地,服务器可以直接从数据库中获取到保存的待筛选图像集,该待筛选图像集中包括各个待筛选图像。服务器也可以从互联网中采集到各个待筛选图像。服务器还可以获取到终端提供的各个待筛选图像。服务器还可以从第三方服务器中获取到各个待筛选图像,该第三方服务器用于提供图像数据的服务。
108.步骤204,对各个待筛选图像进行预分割,得到各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度。
109.其中,预分割是指对待筛选图像使用预训练的分割参数进行分割,预训练的分割参数是预先使用预训练图像进行预训练得到的图像分割参数。图像分割类别是指对图像进行像素级分割时识别得到的类别,包括感兴趣区域类别和非感兴趣区域类别。图像分割类别概率用于表征图像分割时识别得到图像分割类别的可能性。图像筛选度用于表征待筛选图像被选取的可能性,图像筛选度越高,待筛选图像被选取的可能性就越高。
110.具体地,服务器可以使用预训练的分割参数对各个待筛选图像进行像素级预分割,即服务器使用预训练的分割参数对待筛选图像中每个像素点对应的图像分割类别进行识别,得到每个像素点对应的图像分割类别概率,然后根据每个像素点对应的图像分割类别概率得到该待筛选图像对应的图像分割类别概率。
111.步骤206,基于图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集。
112.其中,第一筛选图像集是指从各个待筛选图像中进行筛选得到的图像集合。未选取图像集是指待筛选图像集中未被选取的图像集合。
113.具体地,服务器按照图像筛选度的大小从各个待筛选图像中进行筛选,比如,可以将各个待筛选图像对应的图像筛选度从大到小排序,然后依次选取预设第一筛选数量的待筛选图像,得到第一筛选图像集,然后根据未被选取的待筛选图像得到未选取图像集。其中,设第一筛选数量是预先设置好的第一筛选图像集中图像的数量。
114.在一个实施例中,也可以按照预先设置好的图像筛选度的阈值对从各个待筛选图像中进行筛选,即将各个待筛选图像对应的图像筛选度与预先设置好的图像筛选度的阈值进行比较,将图像筛选度超过预先设置好的图像筛选度的阈值的待筛选图像作为第一筛选图像集中的图像。
115.步骤208,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集。
116.其中,第一相似度是指第一筛选图像与未选取图像之间的相似度。代表性图像筛选是指从第一筛选图像集中筛选出外观特征相似的代表样本,即从第一筛选图像集中多个外部特征相似的图像中选取具有代表性的一张图像,避免重复,从而使得筛选得到的第二筛选图像集能够最大程度的表征整个待筛选图像集。第二筛选图像集是指对第一筛选图像集经过代表性图像筛选后得到的图像集合,该第二筛选图像集包括各个第二筛选图像。该第二筛选图像集中的图像数量少于第二筛选图像集中的图像数量。
117.具体地,服务器可以使用相似度算法计算第一筛选图像集中各个第一筛选图像与未选取图像集中未选取图像之间的相似度,其中,相似度算法可以是余弦相似度算法、距离相似度算法和皮尔逊相关系数算法等等。然后使用相似度从第一筛选图像集中进行最大覆盖代表性图像筛选,得到第二筛选图像集,其中,可以按照预先设置好的代表性图像筛选数量进行筛选,得到代表性图像筛选数量的各个第二筛选图像,即得到第二筛选图像集。该代表性图像筛选数量是小于第一筛选图像集中的图像数量的。
118.步骤210,获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,第一目标图像集用于在获取到图像分割类别标签后训练图像分割模型。
119.其中,已标注图像集和待筛选图像集中的图像属于同类型图像。已标注图像集是指具有图像分割类别标签的图像集合。图像分割类别标签是预先标注好的,用于表征已标注图像集中已标注图像的像素级分割类别。第二相似度是指已标注图像与第二筛选图像之间的相似度。多样性图像筛选是指选取具有多样性的图像,多样性图像筛选用于提高筛选得到的图像覆盖的数据分布,分布越广,训练得到的图像分割模型泛化能力越高。
120.具体地,服务器可以直接从数据库中获取到已标注图像集。该已标注图像集是少量的图像集合,已标注图像集和待筛选图像集中的图像属于同类型图像。服务器可以使用相似度算法计算第二筛选图像集中各个第二筛选图像分别与已标注图像集中各个已标注图像之间的相似度,得到各个第二相似度,然后根据各个第二相似度确定第二筛选图像与已标注图像之间的各个区别度,区别度用于表征第二筛选图像与已标注图像之间的区别。根据该各个区别度从第二筛选图像集中进行最大覆盖多样性图像筛选,得到第一目标图像集。第一目标图像集用于在获取到图像分割类别标签后训练图像分割模型。在一个实施例中,第一目标图像集可以使用第一目标图像集和已标注图像集训练图像分割模型。
121.上述图像数据筛选方法,通过计算各个待筛选图像对应的图像筛选度,使用图像筛选度筛选,得到第一筛选图像集和未选取图像集。然后从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,进一步从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,从而能够使得筛选得到的目标图像集中的图像具有高筛选度、代表性和多样性,提高了得到的第一目标图像集中图像的质量,然后使用第一目标图像集在获取到图像分割类别标签后训练图像分割模型,由于训练图像质量较高,使得训练得到的图像分割模型能够提高图像分割的准确性,并且只需要获取到第一目标图像集的图像分割类别标签就能训练得到图像分割模型,不需要获取到所有待筛选图像的图像分割类别标签,从而能够提高图像分割模型训练效率。
122.在一个实施例中,如图3所示,步骤204,对各个待筛选图像进行预分割,得到各个
待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度,包括:
123.步骤302,将各个待筛选图像输入到预训练图像分割模型中进行预分割,得到输出的各个待筛选图像对应的像素级图像分割类别概率。
124.其中,预训练图像分割模型是预先使用已标注图像集训练得到的图像分割模型。像素级图像分割类别概率是指待筛选图像中各个像素点对应的图像分割类别概率。
125.具体地,服务器预先使用已标注图像集进行预训练,得到预训练图像分割模型,将预训练图像分割模型部署使用。服务器可以将各个待筛选图像输入到预训练图像分割模型中进行预分割,得到输出的各个待筛选图像对应的像素级图像分割类别概率。
126.步骤304,基于各个待筛选图像对应的像素级图像分割类别概率进行信息度计算,得到各个待筛选图像对应的图像分割信息度。
127.其中,图像分割信息度用于表征待筛选图像在图像分割时具有的信息量,具有的信息量越多,图像分割信息度越高,待筛选图像作为训练数据训练的图像分割模型的性能就越好。图像分割信息度又称为像素级不满意度。
128.具体地,服务器可以使用信息熵算法使用各个待筛选图像对应的像素级图像分割类别概率进行信息度计算,得到各个待筛选图像对应的图像分割信息度。信息熵算法阐明了概率与信息冗余度的关系,可以实现对信息的量化度量。
129.步骤306,基于各个待筛选图像对应的像素级图像分割类别概率进行预分割精确度计算,得到各个待筛选图像对应的图像分割精确度。
130.其中,图像分割精确度用于表征待筛选图像进行图像分割时整体的精确程度。图像分割精确度也称为图像级不满意度,即可以反映图像整体的分割精度。
131.具体地,服务器可以使用重叠度算法通过各个待筛选图像对应的像素级图像分割类别概率计算各个待筛选图像对应的图像分割精确度,该重叠度算法是对象类别分割问题的标准性能度量,可以是iou(intersection over union,交并比)算法。
132.步骤308,基于图像分割信息度和图像分割精确度进行加权计算,得到各个待筛选图像对应的图像筛选度。
133.其中,图像筛选度也可以称为不满意度,用于表征对应的待筛选图像使用预训练图像分割模型分割效果不佳的程度,图像筛选度越高,说明分割效果越差,图像不满意度越高,该对应的待筛选图像作为训练图像对预训练图像分割模型进行训练时能够提高准确性。
134.具体地,服务器可以对图像分割信息度和图像分割精确度进行加权计算,然后计算加权后的图像分割信息度和图像分割精确度之间的差异,从而得到各个待筛选图像对应的图像筛选度。
135.在上述实施例中,通过计算各个待筛选图像对应的图像分割信息度和图像分割精确度,然后计算得到各个待筛选图像对应的图像筛选度,能够使得到的图像筛选度更加的准确。
136.在一个实施例中,预训练图像分割模型包括随机置零网络;
137.如图4所示,步骤302,即将各个待筛选图像输入到预训练图像分割模型中进行预分割,得到输出的各个待筛选图像对应的像素级图像分割类别概率,包括:
138.步骤302a,将各个待筛选图像输入到预训练图像分割模型中,预训练图像分割模型通过随机置零网络将预训练模型参数随机置零并进行预分割,得到每个待筛选图像对应的各个像素级图像分割类别概率。
139.其中,随机置零网络是指dropout网络,即预训练图像分割模型中插入了dropout网络。
140.具体地,服务器将一张待筛选图像通过预训练图像分割模型进行t次前馈传输,每次使用随机不同的dropout mask,则得到输出的t个不同的像素级图像分割类别概率,t为正整数。
141.步骤302a,基于每个待筛选图像对应的各个像素级图像分割类别概率进行融合,得到各个待筛选图像对应的像素级图像分割类别概率。
142.具体地,融合可以是进行平均,可以是指将每个待筛选图像对应的各个像素级图像分割类别概率融合成一个像素级图像分割类别概率,使一个待筛选图像对应一个像素级图像分割类别概率。其中,可以是计算每个待筛选图像对应的各个像素级图像分割类别概率对应的平均,得到各个待筛选图像对应的像素级图像分割类别概率。比如,待筛选图像有t个不同的像素级图像分割类别概率,计算该t个不同的像素级图像分割类别概率的总和,然后计算该总和与数量t之间的比值,得到该待筛选图像对应的像素级图像分割类别概率。在一个实施例中,进行融合也可以是计算各个像素级图像分割类别概率的和,然后归一化,得到像素级图像分割类别概率。
143.在上述实施例中,通过在预训练图像分割模型添加随机置零网络,可以得到每个待筛选图像对应的不同的各个像素级图像分割类别概率,然后进行融合,得到待筛选图像对应的像素级图像分割类别概率,能够使得到的像素级图像分割类别概率更加准确。
144.在一个实施例中,如图4所示,步骤304,基于各个待筛选图像对应的像素级类别概率进行信息度计算,得到各个待筛选图像对应的图像分割信息度,包括:
145.步骤304a,基于各个待筛选图像对应的像素级类别概率进行信息熵计算,得到像素级分割信息熵,将像素级分割信息熵归一化,得到各个待筛选图像对应的像素级分割信息度。
146.其中,像素级分割信息熵是指待筛选图像在图像分割后每个像素点对应的信息熵。像素级分割信息度是指待筛选图像中每个像素点对应的信息熵。
147.具体地,服务器使用各个待筛选图像对应的像素级类别概率进行信息熵计算,得到各个待筛选图像对应的像素级类别概率进行信息熵计算像素级分割信息熵。在一个具体的实施例中,可以使用如下所示的公式(1)计算得到像素级分割信息熵。
[0148][0149]
其中,h表示像素级分割信息熵。c表示图像分割类别数量,c是指图像分割类别,包括感兴趣区域类别和非感兴趣区域类别。p表示像素级类别概率。p
c
表示图像分割类别对应的像素级类别概率。例如,像素点a对应的感兴趣区域类别概率为0.7,非感兴趣区域类别概率为0.3,则像素级分割信息熵为h=

(0.7*log0.7 0.3*log0.3)/log2。
[0150]
然后可以使用归一化算法将像素级分割信息熵归一化,得到各个待筛选图像对应的像素级分割信息度。其中,归一化算法可以是0

1标准化算法。
[0151]
步骤304b,将像素级分割信息度进行融合,得到各个待筛选图像对应的图像分割信息度。
[0152]
具体地,服务器可以计算待筛选图像中所有像素点对应的像素级分割信息度的平均值,得到各个待筛选图像对应的图像分割信息度。
[0153]
在一个具体的实施例中,如图5所示,为计算图像分割信息度的具体流程示意图。其中,服务器将待筛选图像a和待筛选图像b输入到预训练图像分割模型中,得到对应的t个不同的预测概率图,即每个像素点都有对应的图像分割类别概率,包括感兴趣区域类别概率和非感兴趣区域类别概率。然后使用t个不同的预测概率图进行平均计算,得到待筛选图像a和待筛选图像b对应的预测概率图,其中,预测概率极高或者极低的像素点不确定性低(例如,概率>0.8或者概率<0.2),即信息度低,而预测概率在0.5附近的像素点不确定性高,即信息度高。然后对预测概率图进行信息熵计算,得到待筛选图像a和待筛选图像b中每个像素点对应的像素级分割信息熵,然后计算所有像素点对应的像素级分割信息度的归一化,得到每个像素点对应的像素级分割信息度,即得到不确定性图,然后对所有像素点对应的像素级分割信息度计算平均值,得到待筛选图像a和待筛选图像b像对应的图像分割信息度。
[0154]
在上述实施例中,通过使用像素级类别概率计算像素级信息熵,然后进行归一化,再计算平均值后得到各个待筛选图像对应的图像分割信息度,能够使得到的图像分割信息度更加准确。
[0155]
在一个实施例中,如图4所示,步骤306,基于各个待筛选图像对应的像素级图像分割类别概率进行预分割精确度计算,得到各个待筛选图像对应的图像分割精确度,包括:
[0156]
步骤306a,获取每个待筛选图像对应的各个像素级图像分割类别概率,将每个待筛选图像对应的各个像素级图像分割类别概率分别进行二值化,得到每个待筛选图像对应的各个二值图。
[0157]
其中,二值图是分别将各个像素级图像分割类别概率进行二值化后得到的。
[0158]
具体地,服务器获取到每个待筛选图像对应的各个像素级图像分割类别概率,然后按照预先设置好的二值化概率阈值将每个待筛选图像对应的各个像素级图像分割类别概率分别进行二值化,得到每个待筛选图像对应的各个二值图,其中,预先设置好的二值化概率阈值可以是0.5,将像素级图像分割类别概率超过0.5的二值化为1,将像素级图像分割类别概率未超过0.5的二值化为0,得到二值图。
[0159]
步骤306b,基于各个二值图进行交集计算,得到重叠区域,并基于各个二值图进行并集计算,得到合并区域。
[0160]
其中,重叠区域是指二值图中值相同的像素点组成的图像区域。合并区域是指二值图中所有值对应的像素点组成的图像区域。
[0161]
具体地,服务器使用每个待筛选图像对应的各个二值图进行交集计算,得到每个待筛选图像对应的重叠区域,并基于各个二值图进行并集计算,得到每个待筛选图像对应的合并区域。
[0162]
步骤306c,计算重叠区域与合并区域的比值,得到每个待筛选图像对应的图像分割精确度。
[0163]
具体地,服务器计算每个待筛选图像对应的重叠区域与合并区域的比值,得到每
个待筛选图像对应的图像分割精确度。例如,可以使用如下所示的公式(2)计算得到图像分割精确度。
[0164][0165]
其中,i表示图像分割精确度。q表示二值图,t表示待筛选图像有t个二值图。
[0166]
在一个具体的实施例中,如图6所示,为计算图像分割精确度的流程示意图。其中,将待筛选图像a输入到与训练图像分割模型中,得到输出的t个不同的预测概率图,然后分别将t个不同的预测概率图进行二值化,得到t个不同的二值图,然后基于t个不同的二值图使用公式(2)进行计算,得到待筛选图像a对应的图像精确度。其中,通过使用iou的计算结果来近似真实的dice系数(图像分割中常用的指标)作为图像分割的精确度。
[0167]
在上述实施例中,通过将各个像素级图像分割类别概率进行二值化,然后根据二值化结果分别进行重叠区域与合并区域的计算,最后使用重叠区域与合并区域计算得到图像精确度,从而能够提高得到的图像精确度的准确性。
[0168]
在一个实施例中,如图4所示,步骤308,基于图像分割信息度和图像分割精确度进行加权计算,得到各个待筛选图像对应的图像筛选度,包括:
[0169]
步骤308a,获取目标权重,计算图像分割精确度与目标权重的加权精确度。
[0170]
步骤308b,计算图像分割信息度与加权精确度的差异,得到各个待筛选图像对应的图像筛选度。
[0171]
其中,目标权重是指预先设置好的图像分割精确度的权重。加权精确度是指值对图像分割精确度进行加权后得到的精确度。
[0172]
具体地,服务器获取到目标权重,然后计算各个待筛选图像对应的图像分割精确度与目标权重的乘积,得到各个待筛选图像对应的加权精确度,再进一步计算各个待筛选图像对应的图像分割信息度与加权精确度的差值,得到各个待筛选图像对应的图像筛选度。
[0173]
在一个具体的实施例中,可以使用如下所示的公式(3)计算图像筛选度。
[0174]
d=d
p

λd
i
ꢀꢀꢀ
公式(3)
[0175]
其中,d表示图像筛选度,d
p
表示图像分割信息度,d
i
表示图像分割精确度,λ是指目标权重,目标权重可以设置为0.1。
[0176]
在上述实施例中,通过对图像分割精确度进行加权,得到加权精确度,然后计算图像分割信息度与加权精确度的差异,得到各个待筛选图像对应的图像筛选度,提高了图像筛选度的准确性。
[0177]
在一个实施例中,如图7所示,步骤208,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,包括:
[0178]
步骤702,分别提取第一筛选图像集中各个第一筛选图像与未选取图像集中各个未选取图像的图像特征,得到各个第一筛选图像特征和各个未选取图像特征。
[0179]
其中,图像特征是指对应图像具体的编码特征,用于表征图像的语义信息。第一筛选图像特征是指第一筛选图像对应的图像特征,未选取图像特征是指未选取图像对应的图像特征。
[0180]
具体地,服务器可以将第一筛选图像集中各个第一筛选图像输入到预训练分割模型中通过编码网络进行语义编码,得到输出的各个第一筛选图像特征,然后将未选取图像集中各个未选取图像输入到预训练分割模型中通过编码网络进行编码,得到输出的各个未选取图像特征。
[0181]
步骤704,计算各个第一筛选图像特征与各个未选取图像特征的第一相似度,得到相似度矩阵。
[0182]
其中,第一相似度是指第一筛选图像特征与未选取图像特征之间的相似度。相似度矩阵是指所有第一筛选图像特征与未选取图像特征之间的相似度形成的矩阵。
[0183]
具体地,服务器可以使用余弦相似度算法计算每个第一筛选图像特征分别与每个未选取图像特征之间的第一相似度,得到相似度矩阵。
[0184]
步骤704,基于相似度矩阵进行代表性图像筛选,得到第二筛选图像集。
[0185]
具体地,服务器在相似度矩阵中进行最大覆盖的代表性图像筛选,即从各个第一筛选图像中筛选得到第二筛选图像集。
[0186]
在一个实施例中,相似度矩阵中行属性表征第一筛选图像、列属性表征未选取图像以及矩阵值为第一相似度。
[0187]
如图8所示,步骤706,基于相似度矩阵进行代表性图像筛选,得到第二筛选图像集,包括:
[0188]
步骤802,基于相似度矩阵计算各个第一筛选图像对应的总相似度,从总相似度和中确定最大总相似度,将最大总相似度对应的第一筛选图像作为第一代表图像。
[0189]
其中,相似度矩阵中行属性表征第一筛选图像、列属性表征未选取图像以及矩阵值为第一相似度。总相似度是指第一筛选图像所对应的行中所有相似度的总和。最大总相似度是指所有总相似度中最大的总相似度。第一代表图像是指选取的第一个具有代表性的待筛选图像。
[0190]
具体地,服务器计算相似度矩阵中各个第一筛选图像对应的行中相似度的加和,得到每个行对应的总相似度,即各个第一筛选图像对应的总相似度。然后比较每个行对应的总相似度的大小,从所有总相似度中确定最大总相似度。然后服务器选取最大总相似度所在的行对应的第一筛选图像为第一代表图像。
[0191]
步骤804,将相似度矩阵中第一代表图像对应的各个相似度分别与相似度矩阵中除第一代表图像以外的第一筛选图像对应的各个相似度级联,得到各个相似度级联矩阵,并从各个相似度级联矩阵按列选取最大相似度,得到各个目标行对应的相似度。
[0192]
其中,相似度级联矩阵中包括第一代表图像对应的各个相似度以及级联的第一筛选图像对应的各个相似度,即每个相似度级联矩阵均有两行,第一行为第一代表图像对应的各个相似度,第二行为第一筛选图像对应的各个相似度。目标行是指相似度级联矩阵中每列的最大相似度所组成的行。
[0193]
具体地,服务器将相似度矩阵中第一代表图像对应的各个相似度分别与相似度矩阵中除第一代表图像以外的第一筛选图像对应的各个相似度级联,得到各个相似度级联矩阵,并从各个相似度级联矩阵按列选取最大相似度,得到各个目标行对应的相似度。
[0194]
步骤806,基于各个目标行对应的相似度计算各个目标行对应的目标总相似度,从目标总相似度中确定最大目标总相似度,将最大目标总相似度对应的第一筛选图像作为第
二代表图像。
[0195]
其中,目标总相似度是指目标行中各个相似度的总和。最大目标总相似度是指目标总相似度中的最大值。
[0196]
具体地,服务器将各个目标行对应的相似度进行相加,得到各个目标行对应的目标总相似度,然后比较各个目标总相似度的大小,确定最大目标总相似度。服务器选取最大目标总相似度对应的相似度级联矩阵中级联的行对应的第一筛选图像作为第二代表图像。
[0197]
步骤808,将相似度矩阵中第一代表图像和第二代表图像对应的各个相似度分别与除第一代表图像和第二代表图像以外的第一筛选图像对应的各个相似度级联,并迭代执行,直到选取第一目标数量的代表图像时,基于第一目标数量的代表图像得到第二筛选图像集。
[0198]
具体地,服务器进行迭代执行,即服务器将将相似度矩阵中第一代表图像和第二代表图像对应的各个相似度分别与除第一代表图像和第二代表图像以外的第一筛选图像对应的各个相似度级联,得到目标级联矩阵,然后进行迭代执行,直到选取第一目标数量的代表图像时,基于第一目标数量的代表图像得到第二筛选图像集。第一目标数量是指预先设置好的选取第二筛选图像集中第二筛选图像的数量。
[0199]
在一个实施例中,相似度矩阵中也可以使用行属性表征未选取图像、列属性表征第一筛选图像以及矩阵值为第一相似度。
[0200]
在一个具体的实施例中,如图9所示,代表性图像筛选的示意图,其中,相似度矩阵中m是指未选取图像,c是指第一筛选图像。计算未选取图像和第一筛选图像之间的相似度得到相似度矩阵,该示意图中为部分相似度矩阵,即4个未选取图像和4个第一筛选图像得到相似度矩阵。然后计算每行的相似度之和,得到4个行相似度的总和,从总和中确定最大总和为2.1,此时,选取2.1所在行对应的c4即第4个第一筛选图像c4为第一代表图像。然后进行第二次筛选,将第4个第一筛选图像对应的行中的相似度分别与剩余行中的相似度进行级联,得到相似度级联矩阵。然后从每列中选取最大的相似度,得到最大的相似度形成的行,然后计算最大的相似度形成的行中最大相似度的总和,并确定最大相似度的总和中的最大值2.5,此时,将相似度为2.5对应的第一个第一筛选图像c1作为第二代表图像。然后依次类推,即第三次筛选时,将第二次筛选后剩余的行中的相似度依次与第一、二个被选中的代表图像同时级联,选取列最大值并计算最大值的和,根据最大值的和选出第三个代表图像。在第四次筛选时,将第三次筛选后剩余的行中的相似度依次与第一、二、三个被选中的代表图像同时级联,选取列最大值并计算最大值的和,根据最大值的和选出第四个代表图像。直达选取第一目标数量的代表图像时,得到第二筛选图像集。
[0201]
在上述实施例中,通过提取第一筛选图像集中各个第一筛选图像与未选取图像集中各个未选取图像的图像特征,得到各个第一筛选图像特征和各个未选取图像特征。计算各个第一筛选图像特征与各个未选取图像特征的第一相似度,得到相似度矩阵,然后基于相似度矩阵进行代表性图像筛选,得到第二筛选图像集,能够使筛选得到的第二筛选图像集提高了准确性。
[0202]
在一个实施例中,如图10所示,步骤210,获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,包括:
[0203]
步骤1002,分别提取已标注图像集中各个已标注图像与第二筛选图像集中各个第二筛选图像的图像特征,得到各个已标注图像特征和各个第二筛选图像特征。
[0204]
其中,已标注图像特征是指已标注图像对应的图像特征,第二筛选图像特征是指第二筛选图像对应的图像特征。
[0205]
具体地,服务器可以将已标注图像集中各个已标注图像输入到预训练分割模型中通过编码网络进行语义编码,得到输出的各个已标注图像特征。然后将第二筛选图像集中各个第二筛选图像输入到预训练分割模型中通过编码网络进行语义编码,得到输出的各个第二筛选图像特征。
[0206]
步骤1004,计算各个第二筛选图像特征与各个已标注图像特征的第二相似度,并基于第二相似度得到区别度矩阵。
[0207]
其中,第二相似度是指第二筛选图像特征与已标注图像特征之间的相似度。
[0208]
区别度矩阵是指使用区别度得到的矩阵,区别度用于表征第二筛选图像特征与已标注图像特征之间的区别程度,可以使用第二相似度取反得到。
[0209]
具体地,服务器使用余弦相似度算法计算各个第二筛选图像特征与各个已标注图像特征的第二相似度,然后计算1与每个第二相似度的差值,得到各个第二筛选图像特征与各个已标注图像特征之间的区别度,使用区别度得到区别度矩阵,该区别度矩阵中的列属性表征已标注图像,行属性表征第二筛选图像,矩阵值为区别度。
[0210]
步骤1006,基于区别度矩阵进行多样性图像筛选,得到第一目标图像集。
[0211]
具体地,服务器在区别度矩阵中进行最大覆盖的多样性图像筛选,即从各个第二筛选图像中选取得到第一目标图像集。
[0212]
在一个实施例中,区别度矩阵中行属性表征第二筛选图像、列属性表征已标注图像以及矩阵值为区别度;
[0213]
如图11所示,步骤1006,基于区别度矩阵进行多样性图像筛选,得到第一目标图像集,包括:
[0214]
步骤1102,基于区别度矩阵计算各个第二筛选图像对应的总区别度,从总区别度中确定最大总区别度,将最大总区别度对应的第二筛选图像作为第一多样性图像。
[0215]
其中,区别度矩阵中行属性表征第二筛选图像、列属性表征已标注图像以及矩阵值为区别度。总区别度是指第二筛选图像所对应的行中所有区别度的总和。最大总区别度是指所有总区别度中最大的总区别度。第一多样性图像是指选取的第一个具有多样性的待筛选图像。
[0216]
具体地,服务器也可以使用相似度矩阵进行筛选时的筛选方法来筛选区别度矩阵,即计算区别度矩阵中各个第二筛选图像对应的行中区别度的加和,即计算每一行中所有区别度的和,得到每行对应的总区别度,即每个第二筛选图像对应的总区别度,然后比较各个区别度的大小,从而确定最大总区别度。然后服务器选取最大总区别度所在的行对应的第二筛选图像为第一多样性图像。
[0217]
步骤1102,将区别度矩阵中第一多样性图像对应的各个区别度分别与区别度矩阵中除第一多样性图像以外的第二筛选图像对应的各个区别度级联,得到各个区别度级联矩阵,从各个区别度级联矩阵中按列选取最大区别度,得到各个目标行对应的区别度。
[0218]
其中,区别度级联矩阵中包括第一多样性图像对应的各个区别度以及级联的第二
筛选图像对应的各个区别度,即每个区别度级联矩阵均有行号,第一行为第二筛选图像对应的各个区别度,第二行为第一多样性图像对应的各个区别度。目标行是指区别度级联矩阵中每列的最大区别度组成的行。
[0219]
具体地,服务器将区别度矩阵中第一多样性图像对应的各个区别度与区别度矩阵中除第一多样性图像以外的第二筛选图像对应的各个区别度按照区别度矩阵的列进行级联,得到各个区别度级联矩阵。区别度矩阵中除第一多样性图像以外的第二筛选图像对应的行有n个,则区别度级联矩阵也相应有n个,n为正整数。然后服务器从各个区别度级联矩阵中按列选取最大区别度,得到各个目标行对应的区别度。
[0220]
步骤1102,基于各个目标行对应的区别度计算各个目标行对应的目标总区别度,从目标总区别度中确定最大目标总区别度,将最大目标总区别度对应的第二筛选图像作为第二多样性图像。
[0221]
其中,目标总区别度是指目标行中各个区别度的总和,最大目标总区别度是指目标总区别度中的最大值。
[0222]
具体地,服务器将各个目标行中的区别度进行相加,得到各个目标行对应的目标总区别度,然后将各个目标总区别度进行比较,确定最大的目标总区别度,将最大的目标总区别度对应的区别度级联矩阵中级联的行对应的第二筛选图像作为第二多样性图像。
[0223]
步骤1102,将区别度矩阵中第一多样性图像和第二多样性图像对应的各个区别度分别与除第一多样性图像和第二多样性图像以外的第二筛选图像对应的各个区别度级联,并迭代执行,直到选取第二目标数量的多样性图像时,基于第二目标数量的多样性图像得到第一目标图像集。
[0224]
具体地,服务器进行迭代执行,即将区别度矩阵中第一多样性图像和第二多样性图像对应的各个区别度分别与除第一多样性图像和第二多样性图像以外的第二筛选图像对应的各个区别度级联,得到各个目标区别度级联矩阵,此时,目标区别度级联矩阵的数量为n

1个。然后依次类推从剩余的第二筛选图像中选取多样性图像,直到选取第二目标数量的多样性图像时,得到第一目标图像集。
[0225]
在一个实施例中,相似度矩阵中也可以使用列属性表征已标注图像、行属性表征第二筛选图像以及矩阵值为区别度。
[0226]
在一个具体的实施例中,如图12所示,多样性图像筛选的示意图,其中,多样性图像筛选的示意图,其中,相似度矩阵中q是指已标注图像,s是指第二筛选图像。计算已标注图像和第二筛选图像之间的相似度得到区别度矩阵,该示意图中为部分区别度矩阵,即4个已标注图像和4个第二筛选图像得到区别度矩阵。然后计算每行中所有区别度的和,得到4个行区别度的总和,从总和中确定最大总和为2.9,此时,选取2.9所在行对应的s3即第3个第二筛选图像s3为第一多样性图像。然后进行第二次筛选,将第3个第二筛选图像对应的行中的区别度分别与剩余行中的区别度进行级联,得到区别度级联矩阵。然后从每列中选取最大的区别度,得到最大的区别度形成的行,然后计算最大的区别度形成的行中最大区别度的总和,并确定最大区别度的总和中的最大值为3.2,此时,将区别度为3.2对应的第二个第二筛选图像s2作为第二多样性图像。然后依次类推,即第三次筛选时,将第二次筛选后剩余的行中的区别度依次与第一、二个被选中的多样性图像的区别度同时级联,选取列最大值并计算最大值的和,根据最大值的和选出第三个多样性图像。在第四次筛选时,将第三次
筛选后剩余的行中的区别度依次与第一、二、三个被选中的多样性图像的区别度同时级联,选取列最大值并计算最大值的和,根据最大值的和选出第四个多样性图像。直达选取第二目标数量的多样性图像时,得到第一目标图像集。
[0227]
在上述实施例中,通过提取已标注图像集中各个已标注图像与第二筛选图像集中各个第二筛选图像的图像特征,得到各个已标注图像特征和各个第二筛选图像特征,计算各个第二筛选图像特征与各个已标注图像特征的第二相似度,并基于第二相似度得到区别度矩阵,基于区别度矩阵进行多样性图像筛选,得到第一目标图像集,由于进行最大覆盖的多样性图像筛选,从而能够使得选取的第一目标图像集提高准确性。
[0228]
在一个实施例中,如图13所示,所述方法,还包括:
[0229]
步骤1302,对各个待筛选图像进行聚类,得到各个聚类图像集。
[0230]
其中,聚类图像集是指聚类后的各个待筛选图像的集合,每个聚类图像集都是同一类的待筛选图像。
[0231]
具体地,服务器可以使用聚类算法对各个待筛选图像进行聚类,从而使外观相似的待筛选图像在同一个类别中,得到各个聚类图像集,该聚类算法可以是k均值聚类算法、均值漂移聚类算法、基于密度的聚类方法等等。
[0232]
步骤1304,分别从各个聚类图像集中选取聚类图像,得到代表性图像集。
[0233]
其中,聚类图像是指聚类类别中的待筛选图像,代表性图像集是指选取的就有代表性的待筛选图像。
[0234]
具体地,服务器可以按照预先设置好的选取数量,从每个聚类图像集选取聚类图像,从而得到代表性图像集,其中,可以按照预先设置好的选取数量和聚类类别数量进行均分,从而得到从每个聚类图像集中选取聚类图像的数量,该选取聚类图像的数量是相同的,按照选取聚类图像的数量从每个聚类图像集选取到待筛选图像,得到代表性图像集。也可以按照聚类类别的权重,该权重可以根据需求设置,然后按照预先设置好的选取数量和聚类类别的权重进行划分,从而得到从每个聚类图像集中选取聚类图像的数量,该选取的聚类图像数量是根据权重确定,然后进行筛选就得到代表性图像集。
[0235]
步骤1306,对代表性图像集中各个代表性图像进行预分割,得到各个代表性图像对应的代表性图像分割类别概率,并基于代表性图像分割类别概率进行图像筛选可能性的计算,得到各个代表性图像对应的代表性图像筛选度。
[0236]
其中,代表性图像分割类别概率是指代表性图像进行图像预分割后得到的像素级的图像分割类别概率。代表性图像筛选度是指代表性图像对应的图像筛选度。
[0237]
具体地,服务器可以将代表性图像集中各个代表性图像输入到预训练的图像分割模型中进行预分割,得到输出的各个代表性图像对应的代表性图像分割类别概率,然后使用代表性图像分割类别概率进行图像分割信息度和图像分割精确度的计算,然后使用图像分割信息度和图像分割精确度计算得到代表性图像筛选度。
[0238]
步骤1308,基于代表性图像筛选度从各个代表性图像中进行筛选,得到代表性图像筛选集。
[0239]
其中,代表性图像筛选集是指使用代表性图像对应的代表性图像筛选度从各个代表性图像中筛选得到的图像。
[0240]
具体地,服务器可以按照代表性图像筛选度的大小依次从各个代表性图像选取预
设数量的代表性图像,从而得到代表性图像筛选集。
[0241]
步骤210,获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的相似度,基于相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,包括:
[0242]
步骤1310,获取已标注图像集,计算代表性图像筛选集与已标注图像集的代表相似度,基于代表相似度从代表性图像筛选集中进行多样性图像筛选,得到第二目标图像集。
[0243]
具体地,服务器从数据库中获取到已标注图像集,然后使用余弦相似度算法计算代表性图像筛选集中各个代表性图像与已标注图像集的各个已标注图像之间的相似度,然后使用相似度计算得到代表性图像筛选集中各个代表性图像与已标注图像集的各个已标注图像之间的区别度,从而得到区别度矩阵,然后使用区别度矩阵从各个代表性图像中进行最大覆盖的多样性图像筛选,当筛选第二目标数量的代表性图像时,得到第二目标图像集。
[0244]
在上述实施例中,服务器可以先对待筛选图像进行聚类,从聚类结果中筛选得到代表性图像,从而能够提高筛选代表性图像的效率,然后再计算图像筛选度对各个代表性图像进行筛选,最后通过计算已标注图像与筛选的代表性图像进行相似度计算,使用相似度计算区别度,使用区别度进行多样性图像筛选,最终筛选得到第二目标图像集,从而能够提高得到第二目标图像集的效率和准确性。
[0245]
在一个实施例中,如图14所示,提供了一种图像分割模型训练方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用在终端中,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。在本实施例中,包括以下步骤:
[0246]
步骤1402,获取训练数据和预训练图像分割模型,训练数据包括预训练图像集和新增图像集,预训练图像集用于训练得到预训练图像分割模型,新增图像集是目标图像集获取到图像分割类别标签后得到的;目标图像集是通过预训练图像分割模型计算各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与预训练图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
[0247]
其中,目标图像集可以是使用上述图像数据筛选方法中任意实施例得到的。即目标图像集是对待筛选图像集进行筛选后得到的数量较少的图像数据集。即目标图像集可以是对各个待筛选图像计算图像筛选度进行筛选,再进行代表性图像筛选和多样性图像筛选得到的。目标图像集也可以是对各个待筛选图像进行聚类后进行代表性图像筛选,然后再计算代表性图像的图像筛选度,使用图像筛选度进行筛选,最后再进行多样性图像筛选得到的。
[0248]
具体地,服务器可以从数据库中获取到训练数据,然后再获取到保存的预训练图像分割模型。在一个实施例中,训练数据中的目标图像集还可以是对各个待筛选图像进行预分割,得到各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度,基于图像筛选度从各个待
筛选图像中进行筛选,得到第一筛选图像集,然后直接将第一筛选图像集作为目标图像集。在一个实施例中,训练数据中的目标图像集还可以是在得到第一筛选图像集后,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,然后将第二筛选图像集直接作为目标图像集。
[0249]
步骤1404,将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率;
[0250]
步骤1406,基于训练图像分割类别概率与对应的图像分割类别标签进行损失计算,得到训练损失信息;
[0251]
其中,训练图像分割类别概率是指训练时输出的图像分割类别概率。训练损失信息是指训练时计算得到的训练图像分割类别概率与对应的图像分割类别标签之间的误差。
[0252]
具体地,服务器将训练数据中的各个图像输入到预训练图像分割模型中进行图像分割,得到输出的训练图像分割类别概率。然后使用二分类损失函数计算训练图像分割类别概率与对应的图像分割类别标签之间的误差,得到训练损失信息,其中,二分类损失函数可以使用交叉熵损失函数。
[0253]
步骤1408,基于训练损失信息反向更新预训练图像分割模型,并返回将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率的步骤迭代执行,直到达到训练完成条件时,得到图像分割模型,图像分割模型用于对输入图像进行图像分割。
[0254]
具体地,服务器使用梯度下降算法计算训练损失信息的梯度,然后使用梯度反向更新预训练图像分割模型中的参数,得到更新的预训练图像分割模型,将更新的预训练图像分割模型作为预训练图像分割模型没并返回将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率的步骤迭代执行,直到达到训练完成条件时,将达到训练完成条件时的预训练图像分割模型作为图像分割模型,其中,训练完成条件包括但不限于训练达到最大迭代次数,模型参数不再发生变化和训练损失信息达到预先设置好的阈值。然后将训练好的图像分割模型进行部署并使用,即对输入图像进行图像分割。
[0255]
上述图像分割模型训练方法,通过包含有新增图像集的训练数据训练图像分割模型,由于新增图像集中的图像是通过筛选度筛选,代表性筛选以及多样性筛选后得到的,从而使得新增图像集中的图像具有较高的图像质量,然后使用训练数据训练图像分割模型,由于训练数据中新增图像集中图像质量较高,使得训练得到的图像分割模型能够提高图像分割的准确性,并且只需要获取到新增图像集的图像分割类别标签就能训练得到图像分割模型,不需要获取到所有待筛选图像的图像分割类别标签,从而在保证图像分割模型准确性的基础上能够提高图像分割模型训练效率。
[0256]
在一个实施例中,如图15所示,预训练图像分割模型的训练包括以下步骤:
[0257]
步骤1502,获取预训练图像集,预训练图像集包括各个预训练图像和对应的预训练图像分割类别标签。
[0258]
其中,预训练图像是指预训练时使用的图像。预训练图像分割类别标签是指预训练图像对应的图像分割类别标签。该图像分割类别标签是像素级别精度的图像分割类别标签,即图像中每个像素点都有对应的图像分割类别标签。
[0259]
具体地,服务器可以从数据库中获取到预训练图像集,也可以从数据库中获取到
少量的原始图像,然后获取到该少量的图像的标注,得到图像分割类别标签,从而得到预训练图像。在一个实施例中,可以从提供数据服务的第三方服务器中直接获取到预训练图像集。
[0260]
步骤1502,将各个预训练图像输入初始图像分割模型中进行预训练,得到初始图像分割类别概率。
[0261]
步骤1502,基于初始图像分割类别概率和预训练图像分割类别标签进行损失计算,得到初始损失信息。
[0262]
其中,初始图像分割模型是指模型参数初始化的图像分割模型。初始图像分割类别概率是指预训练时使用初始模型参数计算得到的图像分割类别概率。初始损失信息是指预训练时初始图像分割类别概率与预训练图像分割类别标签之间的误差。
[0263]
具体地,服务器使用神经网络算法建立图像分割模型,然后将图像分割模型进行初始化,其中,可以是为零初始化,也可以是随机初始化等等,然后得到初始图像分割模型。对初始图像分割模型进行预训练时,将预训练图像输入初始图像分割模型中使用初始化的模型参数进行图像分割,得到初始图像分割类别概率,然后使用二分类损失函数计算初始图像分割类别概率与输入的预训练图像对应的预训练图像分割类别标签之间的误差,得到初始损失信息。
[0264]
步骤1502,基于初始损失信息更新初始图像分割模型,并返回将各个预训练图像输入初始图像分割模型中进行预训练,得到初始图像分割类别概率的步骤迭代执行,直到达到预训练完成条件时,得到预训练图像分割模型。
[0265]
具体地,服务器使用梯度下降算法计算初始损失信息的梯度,使用梯度反向更新初始图像分割模型中的模型参数,得到更新的图像分割模型,然后将更新的图像分割模型作为初始图像分割模型,并回将各个预训练图像输入初始图像分割模型中进行预训练,得到初始图像分割类别概率的步骤迭代执行,直到达到预训练完成条件时,将达到预训练完成条件的初始图像分割模型作为预训练图像分割模型。该预训练完成条件包括但不限于预训练达到最大迭代次数,模型参数不再发生变化和预训练损失信息达到预先设置好的阈值。
[0266]
在上述实施例中,通过使用预训练图像集训练得到预训练图像分割模型,从而方便后续的使用,提高效率。
[0267]
在一个实施例中,预训练图像分割模型包括编码网络、解码网络和随机置零网络,编码网络与解码网络跳跃连接,编码网络和解码网络分别与随机置零网络连接;
[0268]
步骤1504,即将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率,包括:
[0269]
将预训练图像输入编码网络,编码网络和随机置零网络对预训练图像进行编码,得到预训练图像特征,将所述预训练图像特征输入解码网络,解码网络和随机置零网络对预训练图像特征进行解码,得到训练图像分割类别概率。
[0270]
其中,编码网络用于对输入的图像进行语义提取,得到编码向量,该编码向量用于表征图像特征。解码网络用于进行解码
[0271]
具体地,预训练图像分割模型。包括编码网络、解码网络和随机置零网络,编码网络与解码网络跳跃连接,编码网络和解码网络分别与随机置零网络连接。其中,编码网络中
包括预设数量的编码块,解码网络中包括预设数量的解码块。比如,可以使用linknet(链接网络)算法训练得到预训练图像分割模型,该预训练图像分割模型包括编码网络(encoder)和解码网络(decoder)组成,编码网络(encoder)和解码网络(decoder)又分别由4个编码块和4个解码块组成,并且通过跳连(skip connection)方式使得每个编码块和解码块之间可以相互通信增加参数共享来提高分割精度,并且在每个编码块和每个解码块之后都插入了随机置零网络(dropout网络)该随机置零网络rate为0.8。即该使用linknet(链接网络)算法训练得到预训练图像分割模型根据蒙特卡洛(monte

carlo)原理,整个流程可以看成近似的贝叶斯分割网络。服务器将预训练图像输入编码网络,编码网络和随机置零网络对预训练图像进行编码,得到预训练图像特征,将预训练图像特征输入解码网络,解码网络和随机置零网络对预训练图像特征进行解码,得到训练图像分割类别概率。
[0272]
在上述实施例中,通过使用预训练图像分割模型进行训练,该预训练图像分割模型中包括编码网络、解码网络和随机置零网络,编码网络与解码网络跳跃连接,编码网络和解码网络分别与随机置零网络连接,从而可以使用预训练图像分割模型对同一输入图像进行多次前馈传输,得到随机不同的训练图像分割类别概率,然后进行后续的训练,从而能够提高训练的效率和准确性。
[0273]
在一个具体的实施例中,如图16所示,为图像分割模型训练的架构示意图,其中,服务器先使用训练图像集进行预训练得到预训练图像分割模型,然后获取到未标注图像集,由于对未标注图像进行像素级别的图像进行标注时,标注一张正常大小的512x512像素大小的图片,往往需要20分钟以上的时间,如图17所示,为像素级别标注的图像示意图。即标注大规模的数据集非常消耗时间的,导致图像分割模型的训练效率降低。即需要对未标注图像集进行筛选。服务器将未标注图像集输入预训练图像分割模型中进行图像筛选度的计算,然后使用图像筛选度对未标注图像集进行筛选,得到第一筛选图像集,然后使用第一筛选图像集和未选取图像集进行代表性图像筛选集,得到第二筛选图像,然后使用训练图像集和第二筛选图像集进行区别度的计算,使用区别度矩阵进行多样性图像筛选,得到目标图像集,然后对目标图像集中的未标注图像进行标注使服务器获取到目标图像集对应的图像分割类别标签,然后将具有图像分割类别标签的目标图像集加入到训练图像集中,得到更新的训练图像集,然后使用更新的训练图像集对预训练图像分割模型进行训练,得到图像分割模型。
[0274]
在一个实施例中,如图18所示,提供了一种图像数据处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用在终端中,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。在本实施例中,包括以下步骤:
[0275]
步骤1802,获取待处理图像。
[0276]
具体地,待处理图像是指需要进行图像分割处理的图像,需要将该待处理图像划分为感兴趣区域和非感兴趣区域,即前景和背景的分割,前景为感兴趣区域,背景为非感兴趣区域。该待处理图像可以是服务器从数据库中获取到的,也可以是终端上传到服务器中的,还可以是服务器从互联网采集到。服务器也可以从业务服务器中获取到待处理图像,该业务服务器用于提供图像分割业务。
[0277]
步骤1804,将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域;图像分割模型是使用目标图像集和对应
的图像分割类别标签训练得到的,目标图像集是通过对各个待筛选图像进行预分割,得到目标图像分割类别概率,并基于目标图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的。
[0278]
其中,感兴趣区域是指将待处理图像进行分割后得到的感兴趣的部分区域。
[0279]
具体地,服务器将待处理图像输入到图像分割模型中进行图像分割,该图像分割模型是使用目标图像集和对应的图像分割类别标签训练得到的,目标图像集可以是使用上述图像数据处理方法中任意实施例得到的,比如,可以通过对各个待筛选图像进行预分割,得到目标图像分割类别概率,并基于目标图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到。该图像分割模型可以是使用上述图像分割模型训练方法中任意实施例得到的。
[0280]
步骤1806,将感兴趣区域进行识别,得到区域识别结果。
[0281]
具体地,服务器可以使用图像检测模型对感兴趣区域进行识别,得到区域识别结果,其中,图像检测模型可以是使用神经网络算法训练得到的。区域识别结果用于表征该区域具体的识别结果。比如,当感兴趣区域是人脸时,可以是人脸识别结果,当感兴趣区域是物体时,可以是物体识别结果,当感兴趣区域是动物时,可以是动物识别结果等。
[0282]
上述图像数据处理方法,通过将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域。由于图像分割模型是使用目标图像集和对应的图像分割类别标签训练得到的,从而使图像分割模型提高了图像分割准确性,进而提高了得到的感兴趣区域的准确性。然后对感兴趣区域进行识别,得到区域识别结果,从而提高了区域识别结果的准确性。
[0283]
在一个实施例中,待处理图像为待处理肿瘤图像;
[0284]
步骤1804,将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域,包括:
[0285]
将待处理肿瘤图像输入到图像分割模型中进行图像分割,得到肿瘤区域类别概率,基于像素级肿瘤区域类别概率确定肿瘤区域和非肿瘤区域。
[0286]
其中,待处理肿瘤图像是指需要分割肿瘤区域的肿瘤图像,可以是免疫组化图像。免疫组化图像是指免疫组织化学得到的待处理肿瘤图像。免疫组织化学(immunohistochemistry),是指带显色剂标记的特异性抗体在组织细胞原位通过抗原抗体反应和组织化学的呈色反应,对相应抗原进行定性、定位、定量测定的一项新技术。肿瘤区域类别概率用于表征该待处理肿瘤图像中像素点为肿瘤区域的可能性。肿瘤区域是指具有肿瘤细胞的区域。非肿瘤区域是指未存在肿瘤细胞的区域。
[0287]
具体地,服务器将待处理肿瘤图像输入到图像分割模型中进行图像分割,得到输出的每个像素点对应的肿瘤区域类别概率。
[0288]
在一个实施例中,待处理图像还可以是乳腺癌结直肠癌、肺癌、胃癌、卵巢癌、肝癌、食管癌等其他癌症图像。
[0289]
步骤1806,将感兴趣区域进行识别,得到区域识别结果,包括:
[0290]
基于肿瘤区域进行肿瘤细胞识别,得到阳性肿瘤细胞和阴性肿瘤细胞。
[0291]
其中,在免疫组化图像中,阳性肿瘤细胞呈棕色,阴性肿瘤细胞呈蓝色。
[0292]
具体地,服务器使用肿瘤细胞检测模型对肿瘤区域中的肿瘤细胞进行识别,肿瘤细胞检测模型是预先使用神经网络算法训练得到的识别肿瘤细胞阳性和阴性的模型。得到各个阳性肿瘤细胞和各个阴性肿瘤细胞。
[0293]
在步骤1804之后,即在将感兴趣区域进行识别,得到区域识别结果之后,还包括:
[0294]
基于阳性肿瘤细胞和阴性肿瘤细胞进行计算,得到阳性指数信息;基于肿瘤区域、非肿瘤区域、阳性肿瘤细胞、阴性肿瘤细胞和阳性指数信息得到目标处理结果图像。
[0295]
其中,阳性指数,一般常用在病理报告中,是指在免疫组化切片图像中的阳性肿瘤细胞个数占所有(阳性和阴性)肿瘤细胞个数的百分比。阳性指数信息是指阳性指数的具体信息。
[0296]
具体地,服务器统计阳性肿瘤细胞和阴性肿瘤细胞的数量,得到阳性肿瘤细胞数量和所有肿瘤细胞的数量,然后计算阳性肿瘤细胞数量和所有肿瘤细胞的数量的比值,从而得到阳性指数信息。在一个具体的实施例中,可以使用如下所示的公式(4)计算得到阳性指数。
[0297]
阳性指数=(阳性肿瘤细胞个数/所有肿瘤细胞个数)*100%公式(4)
[0298]
然后将肿瘤区域和非肿瘤区域将待处理肿瘤图像进行分割,得到分割后的待处理肿瘤图像,然后对割后的待处理肿瘤图像将阳性肿瘤细胞和阴性肿瘤细胞进行标注,得到标注后的图像,并将阳性指数信息在图像中进行显示,得到目标处理结果图像。
[0299]
在上述实施例中,通过对待处理肿瘤图像使用图像分割模型进行图像分割,得到肿瘤区域,提高了得到的肿瘤区域的准确性,然后对肿瘤区域进行识别,得到阳性肿瘤细胞和阴性肿瘤细胞,提高了识别的准确性,然后根据阳性肿瘤细胞和阴性肿瘤细胞得到阳性指数,从而提高了得到的阳性指数的准确性。最后使得到的目标处理结果图像更加准确。
[0300]
本技术还提供一种应用场景,该应用场景应用上述的图像数据处理方法。具体地,
[0301]
图像数据处理应用在医疗平台中,如图19所示,为医疗平台图像数据处理的框架示意图。其中,服务器先将大量的无标注肿瘤图像数据集进行图像筛选度筛选、代表性图像筛选以及多样性图像筛选,得到第一目标肿瘤图像集,然后使用第一目标肿瘤图像集训练得到肿瘤区域分割模型,将肿瘤区域分割模型部署到医疗平台中,医疗平台中还部署有肿瘤细胞检测模型。此时医疗平台获取到输入图像时,调用肿瘤区域分割模型对输入图像进行图像分割,得到肿瘤区域,然后调用肿瘤细胞检测模型对肿瘤区域中的肿瘤细胞进行检测,得到阳性肿瘤细胞和阴性肿瘤细胞,然后计算阳性指数,最后根据肿瘤区域、非肿瘤区域、阳性肿瘤细胞、阴性肿瘤细胞和阳性指数信息得到目标处理结果图像。如图20所示,为4个待处理肿瘤图像对应的目标处理结果图像的示意图,其中,免疫组化肿瘤图像的阳性指数包括评估肿瘤恶性程度的阳性指数,例如左上待处理肿瘤图像对应的ki67(一种增殖细胞的相关抗原)的阳性指数未15%,左下待处理肿瘤图像对应的ki67(一种增殖细胞的相关抗原)的阳性指数未68%。免疫组化肿瘤图像的阳性指数还包括用于辅助医生选择治疗方
法(内分泌治疗,靶向治疗,免疫治疗)的阳性指数,例如右上待处理肿瘤图像对应的er(雌激素受体、estrogen receptor)的阳性指数为93%。右下待处理肿瘤图像对应的pr(孕激素受体、progesterone receptor)的阳性指数为73%。用于辅助医生选择治疗方法(内分泌治疗,靶向治疗,免疫治疗)的阳性指数还包括her2(一种细胞来原癌基因)或者pdl1(programmed cell death 1ligand 1,细胞程序性死亡

配体1)的阳性指数。
[0302]
在一个具体的实施例中,如图21所示,提供一种图像数据处理方法,具体包括以下步骤:
[0303]
步骤2102,获取各个待筛选图像,将各个待筛选图像输入到预训练图像分割模型中,预训练图像分割模型通过随机置零网络将预训练模型参数随机置零并进行预分割,得到每个待筛选图像对应的各个像素级图像分割类别概率,基于每个待筛选图像对应的各个像素级图像分割类别概率进行融合,得到各个待筛选图像对应的像素级图像分割类别概率。
[0304]
步骤2104,基于各个待筛选图像对应的像素级类别概率进行信息熵计算,得到像素级分割信息熵,将像素级分割信息熵归一化,得到各个待筛选图像对应的像素级分割信息度,将像素级分割信息度进行融合,得到各个待筛选图像对应的图像分割信息度。
[0305]
步骤2106,将每个待筛选图像对应的各个像素级图像分割类别概率分别进行二值化,得到每个待筛选图像对应的各个二值图,基于各个二值图进行交集计算,得到重叠区域,并基于各个二值图进行并集计算,得到合并区域,计算重叠区域与合并区域的比值,得到每个待筛选图像对应的图像分割精确度。
[0306]
步骤2008,获取目标权重,计算图像分割精确度与目标权重的加权精确度,计算图像分割信息度与加权精确度的差异,得到各个待筛选图像对应的图像筛选度。基于图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集。
[0307]
步骤2110,将第一筛选图像集中各个第一筛选图像与未选取图像集中各个未选取图像输入到预训练图像分割模型中,得到各个第一筛选图像特征和各个未选取图像特征,计算各个第一筛选图像特征与各个未选取图像特征的第一相似度,得到相似度矩阵,基于相似度矩阵进行代表性图像筛选,得到第二筛选图像集。
[0308]
步骤2112,将已标注图像集中各个已标注图像与第二筛选图像集中各个第二筛选图像输入到预训练图像分割模型中,得到各个已标注图像特征和各个第二筛选图像特征,计算各个第二筛选图像特征与各个已标注图像特征的第二相似度,并基于第二相似度得到区别度矩阵,基于区别度矩阵进行多样性图像筛选,得到第一目标图像集。
[0309]
步骤2114,获取第一目标图像集对应的图像分割类别标签,得到新增图像集,根据已标注图像集和新增图像集得到训练数据,将将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率;基于训练图像分割类别概率与对应的图像分割类别标签进行损失计算,得到训练损失信息。
[0310]
步骤2116,基于训练损失信息反向更新预训练图像分割模型,并返回将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率的步骤迭代执行,直到达到训练完成条件时,得到图像分割模型,图像分割模型用于对输入图像进行图像分割。
[0311]
步骤2118,获取待处理图像,将待处理图像输入到图像分割模型中进行图像分割,
得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域,将感兴趣区域进行识别,得到区域识别结果。
[0312]
在一个具体的实施例中,对本技术中图像数据筛选方法进行对比测试,具体来说:
[0313]
对本技术中训练得到的图像分割模型进行图像分割性能测试。通过随机选取待筛选图像得到图像进行标注后训练得到的图像分割模型。本技术方案a是指通过计算图像筛选度对待筛选图像进行筛选后得到的第一图像筛选图像集进行标注后训练得到的图像分割模型。本技术方案b是指进一步对第一图像筛选图像集进行代表性图像筛选,得到第二筛选图像集,对第二筛选图像集进行标注后训练得到的图像分割模型。本技术方案c是指本技术图像数据处理方法中对待筛选图像集进行筛选,得到第一目标图像集,对第一目标图像集进行标注后训练得到图像分割模型。使用所有的待筛选图像数据进行标注后训练得到图像分割模型。对上述得到的各个图像分割模型进行性能测试,得到的性能结果如图22所示。明显可以看出本技术中的技术方案训练得到的图像分割模型的性能明显优于随机选取训练得到的图像分割模型的性能。
[0314]
然后使用3个量化指标在筛选10%图像数据、筛选20%图像数据、筛选30%图像数据以及筛选40%图像数据训练得到的图像分割模型进行对比测试。其中,如图23所示,为量化指标a(dice系数)的对比测试结果示意图,明显的,本技术中技术方案在各个筛选比例下的量化指标均优于随机筛选的技术方案。如图24所示,为量化指标b(对象级dice系数)的对比测试结果示意图,明显的,本技术中技术方案在各个筛选比例下的量化指标1均优于随机筛选的技术方案。如图25所示,为量化指标c(对象级f1分数)的对比测试结果示意图,明显的,本技术中技术方案在各个筛选比例下的量化指标1均优于随机筛选的技术方案。
[0315]
本技术还提供一种应用场景,该应用场景应用上述的图像数据筛选方法。具体地,
[0316]
应用在人脸识别平台中,对各个人脸数据集进行筛选,对各个待筛选人脸图像进行预分割,得到各个待筛选人脸图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选人脸图像对应的人脸图像筛选度;基于人脸图像筛选度从各个待筛选人脸图像中进行筛选,得到第一筛选人脸图像集和未选取人脸图像集;计算第一筛选人脸图像集与未选取人脸图像集的第一相似度,基于第一相似度从第一筛选人脸图像集中进行代表性图像筛选,得到第二人脸筛选图像集;获取已标注人脸图像集,计算第二筛选人脸图像集与已标注人脸图像集的第二相似度,基于第二相似度从第二筛选人脸图像集中进行多样性图像筛选,得到第一目标人脸图像集,第一目标人脸图像集用于在获取到图像分割类别标签后训练人脸图像分割模型,人脸图像分割模型在部署使用时进行人脸分割得到人脸区域,然后对人脸区域进行人脸识别,得到人脸身份信息。
[0317]
应该理解的是,虽然图2

21中流程图的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2

21中流程图的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0318]
在一个实施例中,如图26所示,提供了一种图像数据筛选装置2600,该装置可以采
用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:图像获取模块2602、筛选度计算模块2604、筛选模块2606、第二筛选模块2608和目标筛选模块2610,其中:
[0319]
图像获取模块2602,用于获取待筛选图像集,待筛选图像集中包括各个待筛选图像;
[0320]
筛选度计算模块2604,用于对各个待筛选图像进行预分割,得到各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率进行图像筛选可能性的计算,得到各个待筛选图像对应的图像筛选度;
[0321]
筛选模块2606,用于基于图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集;
[0322]
第二筛选模块2608,用于计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集;
[0323]
目标筛选模块2610,用于获取已标注图像集,已标注图像集和待筛选图像集中的图像属于同类型图像,计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选,得到第一目标图像集,第一目标图像集用于在获取到图像分割类别标签后训练图像分割模型。
[0324]
在一个实施例中,筛选度计算模块2604,包括:
[0325]
模型分割单元,用于将各个待筛选图像输入到预训练图像分割模型中进行预分割,得到输出的各个待筛选图像对应的像素级图像分割类别概率;
[0326]
信息度计算单元,用于基于各个待筛选图像对应的像素级图像分割类别概率进行信息度计算,得到各个待筛选图像对应的图像分割信息度;
[0327]
精确度计算单元,用于基于各个待筛选图像对应的像素级图像分割类别概率进行预分割精确度计算,得到各个待筛选图像对应的图像分割精确度;
[0328]
筛选度得到单元,用于基于图像分割信息度和图像分割精确度进行加权计算,得到各个待筛选图像对应的图像筛选度。
[0329]
在一个实施例中,预训练图像分割模型包括随机置零网络;
[0330]
模型分割单元还用于将各个待筛选图像输入到预训练图像分割模型中,预训练图像分割模型通过随机置零网络将预训练模型参数随机置零并进行预分割,得到每个待筛选图像对应的各个像素级图像分割类别概率;基于每个待筛选图像对应的各个像素级图像分割类别概率进行融合,得到各个待筛选图像对应的像素级图像分割类别概率。
[0331]
在一个实施例中,信息度计算单元还用于基于各个待筛选图像对应的像素级类别概率进行信息熵计算,得到像素级分割信息熵,将像素级分割信息熵归一化,得到各个待筛选图像对应的像素级分割信息度;将像素级分割信息度进行融合,得到各个待筛选图像对应的图像分割信息度。
[0332]
在一个实施例中,精确度计算单元还用于获取每个待筛选图像对应的各个像素级图像分割类别概率,将每个待筛选图像对应的各个像素级图像分割类别概率分别进行二值化,得到每个待筛选图像对应的各个二值图;基于各个二值图进行交集计算,得到重叠区域,并基于各个二值图进行并集计算,得到合并区域;计算重叠区域与合并区域的比值,得到每个待筛选图像对应的图像分割精确度。
[0333]
在一个实施例中,筛选度得到单元还用于获取目标权重,计算图像分割精确度与目标权重的加权精确度;计算图像分割信息度与加权精确度的差异,得到各个待筛选图像对应的图像筛选度。
[0334]
在一个实施例中,第二筛选模块2608,包括:
[0335]
特征提取单元,用于分别提取第一筛选图像集中各个第一筛选图像与未选取图像集中各个未选取图像的图像特征,得到各个第一筛选图像特征和各个未选取图像特征;
[0336]
矩阵计算单元,用于计算各个第一筛选图像特征与各个未选取图像特征的第一相似度,得到相似度矩阵;
[0337]
代表图像筛选单元,用于基于相似度矩阵进行代表性图像筛选,得到第二筛选图像集。
[0338]
在一个实施例中,相似度矩阵中行属性表征第一筛选图像、列属性表征未选取图像以及矩阵值为第一相似度;代表图像筛选单元,还用于基于相似度矩阵计算各个第一筛选图像对应的总相似度,从总相似度和中确定最大总相似度,将最大总相似度对应的第一筛选图像作为第一代表图像;将相似度矩阵中第一代表图像对应的各个相似度分别与相似度矩阵中除第一代表图像以外的第一筛选图像对应的各个相似度级联,得到各个相似度级联矩阵,并从各个相似度级联矩阵按列选取最大相似度,得到各个目标行对应的相似度;基于各个目标行对应的相似度计算各个目标行对应的目标总相似度,从目标总相似度中确定最大目标总相似度,将最大目标总相似度对应的第一筛选图像作为第二代表图像;将相似度矩阵中第一代表图像和第二代表图像对应的各个相似度分别与除第一代表图像和第二代表图像以外的第一筛选图像对应的各个相似度级联,并迭代执行,直到选取第一目标数量的代表图像时,基于第一目标数量的代表图像得到第二筛选图像集。
[0339]
在一个实施例中,目标筛选模块2610,包括:
[0340]
特征提取单元,用于分别提取已标注图像集中各个已标注图像与第二筛选图像集中各个第二筛选图像的图像特征,得到各个已标注图像特征和各个第二筛选图像特征;
[0341]
区别矩阵计算单元,用于计算各个第二筛选图像特征与各个已标注图像特征的第二相似度,并基于第二相似度得到区别度矩阵;
[0342]
多样图像筛选单元,用于基于区别度矩阵进行多样性图像筛选,得到第一目标图像集。
[0343]
在一个实施例中,区别度矩阵中行属性表征第二筛选图像、列属性表征已标注图像以及矩阵值为区别度;多样图像筛选单元还用于基于区别度矩阵计算各个第二筛选图像对应的总区别度,从总区别度中确定最大总区别度,将最大总区别度对应的第二筛选图像作为第一多样性图像;将区别度矩阵中第一多样性图像对应的各个区别度分别与区别度矩阵中除第一多样性图像以外的第二筛选图像对应的各个区别度级联,得到各个区别度级联矩阵,从各个区别度级联矩阵中按列选取最大区别度,得到各个目标行对应的区别度;基于各个目标行对应的区别度计算各个目标行对应的目标总区别度,从目标总区别度中确定最大目标总区别度,将最大目标总区别度对应的第二筛选图像作为第二多样性图像;将区别度矩阵中第一多样性图像和第二多样性图像对应的各个区别度分别与除第一多样性图像和第二多样性图像以外的第二筛选图像对应的各个区别度级联,并迭代执行,直到选取第二目标数量的多样性图像时,基于第二目标数量的多样性图像得到第一目标图像集。
[0344]
在一个实施例中,图像数据筛选装置2600,还包括:
[0345]
聚类筛选模块,用于对各个待筛选图像进行聚类,得到各个聚类图像集;分别从各个聚类图像集中选取聚类图像,得到代表性图像集;对代表性图像集中各个代表性图像进行预分割,得到各个代表性图像对应的代表性图像分割类别概率,并基于代表性图像分割类别概率进行图像筛选可能性的计算,得到各个代表性图像对应的代表性图像筛选度;基于代表性图像筛选度从各个代表性图像中进行筛选,得到代表性图像筛选集;
[0346]
目标筛选模块2610还用于获取已标注图像集,计算代表性图像筛选集与已标注图像集的代表相似度,基于代表相似度从代表性图像筛选集中进行多样性图像筛选,得到第二目标图像集。
[0347]
在一个实施例中,如图27所示,提供了一种图像分割模型训练装置2700,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:数据获取模块2702、训练模块2704、损失计算模块2706和模型得到模块2708,其中:
[0348]
数据获取模块2702,用于获取训练数据和预训练图像分割模型,训练数据包括预训练图像集和新增图像集,预训练图像集用于训练得到预训练图像分割模型,新增图像集是目标图像集获取到图像分割类别标签后得到的;目标图像集是通过预训练图像分割模型计算各个待筛选图像对应的图像分割类别概率,并基于图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与预训练图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
[0349]
训练模块2704,用于将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率;
[0350]
损失计算模块2706,用于基于训练图像分割类别概率与对应的图像分割类别标签进行损失计算,得到训练损失信息;
[0351]
模型得到模块2708,用于基于训练损失信息反向更新预训练图像分割模型,并返回将训练数据输入预训练图像分割模型中进行图像分割,得到训练图像分割类别概率的步骤迭代执行,直到达到训练完成条件时,得到图像分割模型,图像分割模型用于对输入图像进行图像分割。
[0352]
在一个实施例中,图像分割模型训练装置2700,还包括:
[0353]
预训练模块,用于获取预训练图像集,预训练图像集包括各个预训练图像和对应的预训练图像分割类别标签;将各个预训练图像输入初始图像分割模型中进行预训练,得到初始图像分割类别概率;基于初始图像分割类别概率和预训练图像分割类别标签进行损失计算,得到初始损失信息;基于初始损失信息更新初始图像分割模型,并返回将各个预训练图像输入初始图像分割模型中进行预训练,得到初始图像分割类别概率的步骤迭代执行,直到达到预训练完成条件时,得到预训练图像分割模型。
[0354]
在一个实施例中,预训练图像分割模型包括编码网络、解码网络和随机置零网络,编码网络与解码网络跳跃连接,编码网络和解码网络分别与随机置零网络连接;预训练模块还用于将预训练图像输入编码网络,编码网络和随机置零网络对预训练图像进行编码,得到预训练图像特征,将预训练图像特征输入解码网络,解码网络和随机置零网络对预训
练图像特征进行解码,得到训练图像分割类别概率。
[0355]
在一个实施例中,如图28所示,提供了一种图像数据处理装置2800,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块2802、感兴趣区域确定模块2804和识别模块2806,其中:
[0356]
获取模块2800,用于获取待处理图像;
[0357]
感兴趣区域确定模块2802,用于将待处理图像输入到图像分割模型中进行图像分割,得到图像分割类别概率,基于图像分割类别概率确定感兴趣区域;图像分割模型是使用目标图像集和对应的图像分割类别标签训练得到的,目标图像集是通过对各个待筛选图像进行预分割,得到目标图像分割类别概率,并基于目标图像分割类别概率计算得到图像筛选度,使用图像筛选度从各个待筛选图像中进行筛选,得到第一筛选图像集和未选取图像集,计算第一筛选图像集与未选取图像集的第一相似度,基于第一相似度从第一筛选图像集中进行代表性图像筛选,得到第二筛选图像集,并计算第二筛选图像集与已标注图像集的第二相似度,基于第二相似度从第二筛选图像集中进行多样性图像筛选得到的;
[0358]
识别模块2804,用于将感兴趣区域进行识别,得到区域识别结果。
[0359]
在一个实施例中,待处理图像为待处理肿瘤图像;
[0360]
感兴趣区域确定模块2802还用于将待处理肿瘤图像输入到图像分割模型中进行图像分割,得到肿瘤区域类别概率,基于像素级肿瘤区域类别概率确定肿瘤区域和非肿瘤区域;
[0361]
识别模块2804还用于基于肿瘤区域进行肿瘤细胞识别,得到阳性肿瘤细胞和阴性肿瘤细胞;
[0362]
图像数据处理装置2800,还包括:
[0363]
目标图像得到模块,用于基于阳性肿瘤细胞和阴性肿瘤细胞进行计算,得到阳性指数信息;基于肿瘤区域、非肿瘤区域、阳性肿瘤细胞、阴性肿瘤细胞和阳性指数信息得到目标处理结果图像。
[0364]
关于图像数据筛选装置、图像分割模型训练装置和图像数据处理装置的具体限定可以参见上文中对于图像数据筛选方法、图像分割模型训练方法和图像数据处理方法的限定,在此不再赘述。上述图像数据筛选装置、图像分割模型训练装置和图像数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0365]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图29所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种和图像数据筛选方法或者图像数据处理方法或者图像分割模型训练方法。
[0366]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构
图可以如图30所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种和图像数据筛选方法或者图像数据处理方法或者图像分割模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0367]
本领域技术人员可以理解,图29和图30中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0368]
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0369]
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0370]
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
[0371]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read

only memory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。
[0372]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0373]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献