图像识别模型的训练方法、装置、设备和介质与流程

1.本技术实施例涉及人工智能领域，特别涉及一种图像识别模型的训练方法、装置、设备和介质。


背景技术：

2.病理学是细胞形态的微观研究，对于一个需要检测的病灶组织，通常会制作病理切片来进行观察。使用显微镜扫描装置扫描传统病理切片，可以得到对应的医学病理图像，使用图像识别模型对图像内容进行识别，观察输出的结果可以判断病灶组织是否异常。
3.相关技术中，对图像识别模型的训练过程中，通常将先标注有分类标签的样本图像进行分割，得到样本图像切片，将各个切片输入至图像识别模型，对切片进行识别并输出识别结果，基于识别结果和样本图像自身的分类标签之间的误差，对图像识别模型进行训练。
4.然而，相关技术基于图像级别的分类标签进行训练，输出结果准确性较低，可视化的效果较差。


技术实现要素：

5.本技术实施例提供了一种图像识别模型的训练方法、装置、设备和介质，能够提高图像识别的准确率，以及提升图像经过识别后所呈现的可视化效果。所述技术方案如下。
6.一方面，提供了一种图像识别模型的训练方法，所述方法包括：获取样本图像集合，所述样本图像集合中包括标注有样本标签的样本图像，所述样本标签用于指示所述样本图像中目标图像内容的包含情况；对所述样本图像集合中的样本图像进行区域分割，生成第一样本切片包和第二样本切片包，其中，所述第一样本切片包中的样本图像切片从不同样本图像采集得到，所述第二样本切片包中的样本图像切片从同一样本图像采集得到，所述第一样本切片包中的样本图像切片标注有所述样本标签对应的切片标签；通过图像识别模型对所述第一样本切片包中的样本图像切片进行特征分析，基于所述切片标签和切片分析结果之间的差异确定第一损失值；通过所述图像识别模型对所述第二样本切片包进行特征分析，基于所述样本标签和切片包分析结果之间的差异，确定所述样本图像对应的第二损失值和所述第二样本切片包对应的第三损失值；基于所述第一损失值、所述第二损失值和所述第三损失值对所述图像识别模型进行训练，训练得到的图像识别模型用于对图像中的目标图像内容进行识别。
7.另一方面，提供了一种图像识别模型的训练装置，所述装置包括：获取模块，获取样本图像集合，所述样本图像集合中包括标注有样本标签的样本图像，所述样本标签用于指示所述样本图像中目标图像内容的包含情况；生成模块，对所述样本图像集合中的样本图像进行区域分割，生成第一样本切片
包和第二样本切片包，其中，所述第一样本切片包中的样本图像切片从不同样本图像采集得到，所述第二样本切片包中的样本图像切片从同一样本图像采集得到，所述第一样本切片包中的样本图像切片标注有所述样本标签对应的切片标签；确定模块，通过图像识别模型对所述第一样本切片包中的样本图像切片进行特征分析，基于所述切片标签和切片分析结果之间的差异确定第一损失值；所述确定模块，通过所述图像识别模型对所述第二样本切片包进行特征分析，基于所述样本标签和切片包分析结果之间的差异，确定所述样本图像对应的第二损失值和所述第二样本切片包对应的第三损失值；训练模块，基于所述第一损失值、所述第二损失值和所述第三损失值对所述图像识别模型进行训练，训练得到的图像识别模型用于对图像中的目标图像内容进行识别。
8.另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本技术实施例中任一所述图像识别模型的训练方法。
9.另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本技术实施例中任一所述的图像识别模型的训练方法。
10.另一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的图像识别模型的训练方法。
11.本技术实施例提供的技术方案带来的有益效果至少包括：通过向图像识别模型输入样本图像和样本图像切片，对图像识别模型进行训练，输出图像识别的结果。其中，样本图像自身标注有样本标签，样本图像切片自身标注有切片标签，基于图像识别模型的输出结果和样本标签、切片标签，计算出对应的损失值，对图像识别模型进行训练，能够提高图像识别模型进行图像识别的准确度和精度，使图像识别模型输出的结果能够更好的可视化，训练后的图像识别模型可以解决切片级别的问题，将图像切片输入至图像识别模型中，图像识别模型也可以输出准确的结果。
附图说明
12.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1示出了本技术一个示例性实施例提供的图像识别模型的训练过程的示意图；图2是本技术一个示例性实施例提供的实施环境示意图；图3是本技术一个示例性实施例提供的图像识别模型的训练方法的流程图；图4是本技术一个示例性实施例提供的图像切片过程的示意图；
图5是基于图3示出的实施例提供的图像识别模型的patch强监督模块训练方法的流程图；图6是基于图3示出的实施例提供的图像识别模型的wsi弱监督模块训练方法的流程图；图7是本技术另一个示例性实施例提供的基于第四损失值对图像识别模型进行训练的方法的流程图；图8是本技术一个示例性实施例提供的图像识别模型训练过程中提高可视化效果的示意图；图9是本技术一个示例性实施例提供的图像识别模型的训练装置的结构框图；图10是本技术另一个示例性实施例提供的图像识别模型的训练装置的结构框图；图11是本技术一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
14.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
15.首先，针对本技术实施例中涉及的名词进行简单介绍。
16.人工智能（artificial intelligence，ai）：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
17.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大图像识别模型的训练技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
18.机器学习（machine learning，ml）：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
19.图像识别技术可以应用于多个领域，如：交通图像识别领域、医疗辅助诊断领域、家居视频识别领域等。
20.首先，本实施例中以医疗辅助诊断领域为例进行说明。
21.病理学是细胞形态的微观研究，能够补充原位分子信息。将组织样品从体内取出，然后将其置于固定剂中制作成用于在显微镜下观察的病理切片。利用全自动显微镜扫描装置，将传统玻璃切片进行扫描并拼接，可以得到一张完整的数字切片（whole slide image，简称wsi）。数字切片在病理学研究中具有不褪色、随时打开等优点。
22.对于一个需要检测的病灶组织，病理医生通常需要制作染色的病理切片，然后通过显微镜或数字切片等方式检查病灶组织的所有区域，并发现其中的异常情况，最后对所有异常情况进行汇总，得到最终的诊断结论。对于某种病灶组织中存在的异常情况，其往往是存在着类型复杂、组成复杂及部位随机等问题，例如，对于肾组织，异常情况可能存在于cortex（皮质区域）、medulla（髓质区域）、glomeruli（肾小球）、adipose（脂肪区域），异常现象可能是癌、肿瘤、炎症等。因此，为了检测病灶组织中存在的所有异常情况，需要医生对所有可能的异常情况都有准确的认知。
23.近些年，随着人工智能技术的快速发展，出现了许多算法能够有效辅助医生进行异常情况的检测，这些方法往往需要收集所有类型的异常样例和正常样例，并进行大量的人工标注，才能训练得到异常样例的检测或分割模型，该类型的方法费时费力，且很难有效覆盖所有类型的异常情况，当出现新类型的异常情况时，往往会失效。
24.因此，相关技术中，往往会将病理图像对应的数字切片（wsi）进行密集的分块，得到局部切片（patch），将局部切片作为输入，由图像识别模型对局部切片进行识别预测，从而综合所有局部切片的识别结果，以wsi为单位对所有wsi进行分类，得到最终病理图像的病变识别结果。
25.然而，对于实际的任务，输入图像识别模型的样例除了有wsi级别的标注外，也会存在少量patch级别的标注信息，而现有的图像识别模型以及对应的训练方法并不能完成针对局部切片的异常情况检测任务。因此存在识别结果准确率较低以及可视化效果不佳的问题。
26.针对上述问题，本技术实施例中提供了一种同时利用整体标注和局部标注对图像识别模型进行训练的方法。也即，同时利用wsi级的标签和patch级/像素级的标签对图像识别模型进行训练，提高了图像识别模型的识别精度和准确性，并且提高了图像识别模型输出内容的可视化效果。
27.值得注意的是，上述病理图像数据等图像数据为用户主动上传的数据；或者，为经过用户单独授权后获取的数据。上述实施例中以病理图像识别为例进行说明，本技术实施例提供的图像识别模型的训练方法还可以应用于其他场景中，对此不加以限定。
28.需要说明的是，本技术所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户单独授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术中涉及到的病理图像数据是在充分授权的情况下获取的。
29.本技术实施例中提供了一种同时利用整体标注和局部标注对图像识别模型进行训练的方法，该方法主要包括两部分：patch强监督模块和wsi弱监督模块。图1示出了本技术一个示例性实施例提供的图像识别模型的训练过程的示意图，如图1所示。
30.在patch强监督模块100中，获取病理图像对应的图像切片110，图像切片110来自不同的病理图像，且标注有切片标签。
31.其中，针对图像切片110，主要包括如下损失获取。
32.第一损失值：将图像切片110输入至图像识别模型的特征提取层120，输出得到图像切片110的
第一切片特征121；根据第一切片特征121通过注意力层130分类预测得到图像切片110的注意力分布131和注意力特征132；基于注意力分布131和注意力特征132计算得出图像切片110的第二切片特征133；根据第二切片特征133通过第一特征分类层140预测得到图像切片110的第一切片分析结果141；基于图像切片110的第一切片分析结果141和切片标签之间的差异，得到第一损失值。
33.在wsi弱监督模块150中，获取样本病理图像160，样本病理图像160标注有样本标签。对样本病理图像160进行切片，得到对应的图像切片170，由图像切片170组成切片包180。
34.其中，针对切片包180，主要包括如下两部分损失获取。
35.1、第二损失值将切片包180输入至图像识别模型的特征提取层120，输出得到切片包180的第一包特征122；根据第一包特征122通过注意力层130分类预测得到切片包180的注意力分布134和注意力特征135；基于注意力分布134和注意力特征135聚合得出切片包180的第二包特征136；根据第二包特征136通过第一特征分类层140预测得到切片包180的第一包分析结果142；基于切片包180的第一包分析结果142和样本标签之间的差异，得到第二损失值。
36.2、第三损失值根据切片包180的注意力分布134，选取注意力分布134数值最高的k个图像切片170，由这k个图像切片170组成切片组171。切片组171中的图像切片170标注有和样本病理图像160一样的样本标签。切片组171中的图像切片170对应的注意力特征135作为切片组171的第三切片特征137；根据第三切片特征137通过第二特征分类层190预测得到切片组171的第二切片分析结果191；基于切片组171的第二切片分析结果191和样本标签之间的差异，得到第三损失值。
37.综合上述图像切片110的第一损失值、上述切片包180的第二损失值以及上述切片组171的第三损失值，对图像识别模型进行训练。
38.其次，对本技术实施例中涉及的实施环境进行说明，示意性的，请参考图2，该实施环境中涉及终端210、服务器220，终端210和服务器220之间通过通信网络230连接。
39.在一些实施例中，终端210用于向服务器220发送图像数据。在一些实施例中，终端210中安装有具有图像识别功能的应用程序，示意性的，终端210中安装有诊断辅助功能的应用程序。如：终端210中安装有搜索引擎程序、生活辅助应用程序、即时通讯应用程序、视频类程序、游戏类程序等，本技术实施例对此不加以限定。
40.服务器220中安装有图像识别模型221，其中，该图像识别模型221能够针对大数据量的病理图像数据进行识别，且在对病理图像进行识别时，首先将病理图像进行切片处理，得到多个图像切片，并针对多个图像切片进行识别，得到识别结果，再将多个图像切片的识别结果结合，得到病理图像对应的识别结果。
41.而图像识别模型221在训练过程中，分为两部分，一部分通过对样本库中的图像切片进行计算得到第一损失值；另一部分通过对样本库中的样本图像进行切片，并组成切片包后，通过切片包计算得到第二损失值，基于切片包选取部分切片形成切片组，通过切片组计算得到第三损失值。最后，基于上述第一损失值、第二损失值和第三损失值，对图像识别模型221进行训练。
42.上述终端可以是手机、平板电脑、台式电脑、便携式笔记本电脑、智能电视、车载终端、智能家居设备等多种形式的终端设备，本技术实施例对此不加以限定。
43.值得注意的是，上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（content delivery network，cdn）、以及大数据和人工智能平台等基础云计算服务的云服务器。
44.其中，云技术（cloud technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
45.在一些实施例中，上述服务器还可以实现为区块链系统中的节点。
46.结合上述名词简介和应用场景，对本技术提供的图像识别模型的训练方法进行说明，该方法可以由服务器或者终端执行，也可以由服务器和终端共同执行，本技术实施例中，以该方法由服务器执行为例进行说明，如图3所示，该方法包括如下步骤。
47.步骤301，获取样本图像集合。
48.样本图像集合中包括标注有样本标签的样本图像，样本标签用于指示样本图像中目标图像内容的包含情况。
49.示意性的，当样本图像实现为病理图像时，样本标签用于指示病理图像中病变部分的包含情况，以及，当病理图像中包括病变部分时，样本标签还用于指示病理图像中病变部分所在的图像区域。
50.当样本图像实现为交通采集图像时，样本标签用于指示交通采集图像中交通工具的包含情况，以及，当交通采集图像中包括交通工具时，样本标签还用于指示交通采集图像中交通工具的标识，如：交通采集图像中车辆的车牌号。其中，交通采集图像是指交通摄像设备采集得到的图像。
51.当样本图像实现为家居视频图像时，样本标签用于指示家居视频图像中生物体的包含情况，以及，当家居视频图像中包括生物体时，样本标签还用于指示家居视频图像中生物体的类型，如：家居视频图像中包括宠物（猫）。
52.在一些实施例中，样本图像集合中的图像类型相同，如：都属于病理图像，或者，样本图像集合中的图像类型存在不同，如：存在部分病理图像，以及部分交通采集图像。
53.在一些实施例中，样本图像集合为从公开数据集中获取的图像集合，或者，样本图像集合为经过用户授权并上传的图像数据组成的图像集合，本实施例对此不加以限定。
54.其中，样本图像所标注的样本标签可以通过如下方式标注：样本采集人员对样本图像进行采集后，对样本图像中的目标图像内容进行分辨，并对样本图像进行标签标注；或者，当样本图像实现为病理图像时，获取经过医生诊断并标注的图像，根据医生的诊断结果对病理图像进行标签标注，以及当病理图像为阳性，也即病理图像中存在病变区域时，根据
医生的诊断对病变区域进行标注；或者，将样本图像输入预先训练得到的识别模型中，输出预测结果作为样本标签，其中，在该情况下，样本标签实现为伪标签。
55.也即，以病理图像为例进行说明，则当病理图像为阴性，即病理图像中不存在病变区域时，对该病理图像进行整体标签标注为“阴性”；当病理图像为阳性，即病理图像中存在病变区域时，对该病理图像进行整体标签标注为“阳性”，并对该病理图像中存在病变区域的图像区域进行标注。
56.步骤302，对样本图像集合中的样本图像进行区域分割，生成第一样本切片包和第二样本切片包。
57.对样本图像进行区域分割会得到对应的样本切片，对样本切片进行不同形式的组合，对应形成不同的样本切片包。
58.以病理图像为例，将病理图像切片并对局部切片（patch）进行推理，综合所有局部切片的推理结果给出最终整张病理图像推理结果。将patch视为实例（instance），病理图像视为包（bag），即一个bag包含多个instance。若存在至少一个instance被判断为阳性，则整个包为阳性；反之，若所有的instance都被判断为阴性则包为阴性。
59.在一些实施例中，对样本图像进行图像区域分割包括如下方式中的至少一种。
60.第一、对整个样本图像进行等尺寸分割，得到图像尺寸一致的样本图像切片，其中，针对边缘位置的样本图像切片，以空白形式补足尺寸不足的边，从而得到与其他样本切片尺寸一致的边缘样本切片。
61.第二、对样本图像的中间区域进行等尺寸分割，得到图像尺寸一致的样本图像切片，其中，从样本图像的边缘位置开始，裁取处于样本图像范围内的符合图像尺寸的样本图像切片，并将未被采集到的图像部分进行丢弃。
62.第三、确定包含该样本图像的最小矩形范围作为样本扩展图像，对样本扩展图像进行等尺寸分割，得到候选样本切片，将候选样本切片中不存在图像内容的候选样本切片进行丢弃，则保留的候选样本切片即为样本图像切片。
63.示意性的，请参考图4，其示出了本技术一个示例性实施例提供的图像切片过程的示意图，如图4所示。
64.使用前景检测算法，检测得到样本图像400的前景区域，即样本扩展图像410，针对样本扩展图像410进行等尺寸分割，得到样本图像切片420。
65.其中，前景检测是指在样本图像400中识别感兴趣区域或识别可见性、显著性更强的区域的过程。对样本扩展图像410进行等尺寸分割，进行密集的切片提取，提取到10000个样本图像切片420，每个样本图像切片420大小为224*224。
66.值得注意的是，上述样本切片的分割方式仅为示意性的举例，本技术实施例对样本切片的获取方式不加以限定。
67.对于样本图像的前景检测过程可以省略，直接对样本图像进行等尺寸的分割；提取到的样本图像切片的数量可以是任意的，样本图像切片的大小可以是任意的；本实施例对此不加以限定。
68.在一些实施例中，在将样本图像分割成样本图像切片后，组成样本切片包时包括如下情况中的至少一种。
69.1）将属于同一样本图像的样本图像切片归纳至同一样本切片包，得到与各个样本
图像对应的样本切片包。
70.则，样本图像所标注的样本标签即为该样本切片包对应的包标签，如：样本图像标注为“阴性”，则样本切片包也对应标注为“阴性”；样本图像标注为“阳性”，则样本切片包对应标注为“阳性”，且根据样本图像中所标注的目标图像内容所处的区域，对应确定样本图像所分割得到的各样本图像切片中目标图像内容的包含情况，并针对样本图像切片标注切片标签。如：样本图像标注有目标图像所处的区域为样本图像中的区域1，则当样本图像切片a中包括区域1中的全部或者部分时，则认为样本图像切片a中包含目标图像内容。
71.在一些实施例中，当样本图像的样本标签指示样本图像中不包括目标图像内容时，则样本切片包仅需要包标签，即用于指示样本切片包中不包括目标图像内容的包标签，而无需再针对样本图像切片标注切片标签。
72.其中，当样本图像切片中包括目标图像内容时，对样本图像切片的切片标签标注可以是类别级的，也可以是像素级的，当切片标签实现为类别级的，也即切片标签表征在样本图像切片中是否包含目标图像内容，如：针对病理图像的样本图像切片标注“阳性”或者“阴性”，可选地，若样本图像切片中包括目标图像内容，则切片标签为“p”即positive，若样本图像切片中不包括目标图像内容，则切片标签为“n”即negative；当切片标签实现为像素级的，则切片标签表征在样本图像切片中目标图像内容所处的位置，如：目标图像内容充满样本图像切片，或者，目标图像内容位于样本图像切片中的区域2，在一些实施例中，像素级标签还能够表征目标图像内容在样本图像切片中的像素占比，如：区域2的像素点数量占样本图像切片中总像素的比例。
73.2）在将各样本图像分割成样本图像切片后，获取样本图像切片的切片集合，并从切片集合中随机获取n个样本图像切片组成样本切片包，其中，n为预设的正整数。
74.也即，处于同一样本切片包中的样本图像切片来自相同或者不同的样本图像。
75.则根据样本图像切片对应的切片标签确定样本切片包的包标签；或者，根据样本图像切片的来源样本图像的样本标签确定样本切片包的包标签，如：样本图像切片所来自的样本图像的样本标签皆表示不存在目标图像内容，则样本图像切片自然不包括目标图像内容，则样本切片包的包标签用于指示不包括目标图像内容。
76.而当样本图像切片所来自的样本图像中存在样本图像中包括目标图像内容，则需要根据切片标签确定样本切片包的包标签。以病理图像为例，即，当所有样本图像切片的切片标签皆为“阴性”时，切片包的包标签为“阴性”；当切片包中存在样本图像切片的切片标签为“阳性”时，则切片包的包标签为“阳性”。
77.其中，由于本身针对样本图像存在标签标注，用于指示样本图像中目标图像内容的包含情况，故在对样本图像进行区域分割后，根据样本图像的样本标签确定样本图像切片的切片标签，如：以病理图像为例，当样本图像的样本标签为“阴性”时，则所有样本图像切片的切片标签自然皆为“阴性”；当样本图像的样本标签为“阳性”时，则根据样本图像所标注的目标图像区域所处的位置确定样本图像切片属于“阴性”还是“阳性”。
78.3）将属于同一样本图像的样本图像切片归纳至同一样本切片包，以及，从切片集合中随机获取n个样本图像切片组成样本切片包，也即，样本切片包中既包括从同一样本图像分割得到的样本切片包，也包括从不同样本图像分割得到的样本图像切片组成的样本切片包。
79.可选地，第一样本切片包中的样本图像切片从不同样本图像采集得到，也即对不同样本图像进行区域分割，得到的样本图像切片组成第一样本切片包；第二样本切片包中的样本图像切片从同一样本图像采集得到，也即对同一个样本图像进行区域分割，得到的样本图像切片组成第二样本切片包。
80.第一样本切片包中的样本图像切片标注有切片标签，切片标签与样本图像的样本标签所对应；第二样本切片包具有与样本图像对应的包标签，即样本标签，第二样本切片包中的样本图像切片未标注切片标签。
81.在本技术实施例中，第二样本切片包中若存在至少一个样本图像切片被判断为阳性，则整个第二样本切片包为阳性，即第二样本切片包对应的样本图像为阳性；第二样本切片包中若不存在样本图像切片被判断为阳性，则整个第二样本切片包为阴性。
82.步骤303，通过图像识别模型对第一样本切片包中的样本图像切片进行特征分析，基于切片标签和切片分析结果之间的差异确定第一损失值。
83.其中，第一样本切片包中的样本图像切片标注有切片标签，将第一样本切片包中样本图像切片输入至图像识别模型中，经过模型识别会输出对应的切片分析结果。
84.在一些实施例中，第一损失值是基于第一样本切片包中样本图像切片标注的切片标签和对应的切片分析结果之间的差异确定的。也即，将第一样本切片包中的样本图像切片输入至图像识别模型后，输出得到第一切片包中样本图像切片的切片分析结果，将切片分析结果与样本切片图像本身标注的切片标签进行损失计算，确定第一损失值。
85.步骤304，通过图像识别模型对第二样本切片包进行特征分析，基于样本标签和切片包分析结果之间的差异，确定样本图像对应的第二损失值和第二样本切片包对应的第三损失值。
86.其中，第二样本切片包具有与样本图像对应的包标签，即样本标签，第二样本切片包中的样本图像切片未标注切片标签。将第二样本切片包中样本图像切片输入至图像识别模型中，经过模型识别会输出对应的切片包分析结果。
87.在一些实施例中，第二损失值是基于第二样本切片包标注的样本标签和对应的切片包分析结果之间的差异确定的。也即，将第二样本切片包中的样本图像切片输入至图像识别模型后，输出得到第二切片包的切片包分析结果，将切片包分析结果与样本标签进行损失计算，确定第二损失值。
88.依据每个第二样本切片包中每个样本图像切片的注意力表示的大小，从第二样本切片包中选取k个样本图像切片，组成候选样本切片包。候选样本切片包中的每个样本图像切片具有与第二样本切片包的样本标签所对应的切片标签。
89.其中，注意力表示是由图像识别模型中的注意力层对第二样本切片包中每个样本图像切片进行注意力分析得到的。
90.在一些实施例中，第三损失值是基于候选样本切片包中样本图像切片标注的切片标签和对应的切片分析结果之间的差异确定的。也即，将候选样本切片包中的样本图像切片输入至图像识别模型后，输出得到候选切片包中样本图像切片的切片分析结果，将切片分析结果与样本切片图像本身标注的切片标签进行损失计算，确定第三损失值。
91.值得注意的是，候选样本切片包中样本图像切片的数量可以是任意的，即k可以是任意数值，本实施例对此不加以限定。
92.值得注意的是，上述步骤303和步骤304是两个并列的步骤，可以先执行步骤303再执行步骤304，也可以先执行步骤304再执行步骤303，还可以同时执行步骤303和步骤304，本实施例对此不加以限定。
93.步骤305，基于第一损失值、第二损失值和第三损失值对图像识别模型进行训练。
94.其中，经过训练得到的图像识别模型用于对图像中的目标图像内容进行识别。
95.基于第一损失值、第二损失值和第三损失值对图像识别模型进行训练包括但不限于以下几种方式中的一种。
96.1、对第一损失值、第二损失值、第三损失值直接进行融合，得到损失值总和，基于损失值总和对图像识别模型进行训练。
97.2、对第一损失值、第二损失值、第三损失值进行加权融合，也即采用各自对应的权重对第一损失值、第二损失值、第三损失值进行融合，计算加权和，得到损失值总和，基于损失值总和对图像识别模型进行训练。
98.可选地，在对图像识别模型的模型参数进行调整时，根据损失值总和对图像识别模型中的不同特征提取层、特征分类层、注意力层的参数进行调整；还可以根据损失值总和对图像识别模型中其他网络层的参数进行调整。
99.值得注意的是，基于第一损失值、第二损失值和第三损失值对图像识别模型进行训练的方式可以是任意的；第一损失值、第二损失值和第三损失值的损失值总和计算方法可以是任意的；图像识别模型中可以包括任意种类的网络层；根据损失值总和对图像识别模型中各网络层的参数进行调整的方式是任意的；本实施例对此不加以限定。
100.综上所述，本实施例提供的方法，在图像识别模型的训练过程中，针对需要切片识别的图像，分别将样本图像切片和样本图像对应的切片包输入至图像识别模型，基于图像识别模型的输出结果和样本标签、切片标签，计算出对应的损失值，对图像识别模型进行训练。在提高识别样本图像整体精度的同时，提高了对样本图像切片中目标图像内容的识别精度，使图像识别模型输出的结果能够更好的可视化，训练后的图像识别模型可以解决切片级别的问题。
101.在一个可选的实施例中，通过计算第一损失值、第二损失值和第三损失值的加权和，得到损失值总和，基于损失值总和对图像识别模型进行训练，提高了图像识别模型识别目标图像内容的识别精度和准确性。
102.在一个可选的实施例中，图像识别模型中包括注意力层、第一特征分类层和第二特征分类层，在对图像识别模型进行训练的过程包括两个模块，分别为patch强监督模块和wsi弱监督模块。上述两个模块在对图像识别模型的训练过程中同时进行。图5是本技术另一个示例性实施例提供的图像识别模型的训练方法的流程图，表示patch强监督模块对图像识别模型的训练过程，该方法可以由服务器或者终端执行，也可以由服务器和终端共同执行，本技术实施例中，以该方法由服务器执行为例进行说明，如图5所示，上述步骤303可以实现为如下步骤。
103.步骤3031，通过特征提取模型对第一样本切片包中的样本图像切片进行特征提取，得到样本图像切片的第一特征表示。
104.其中，特征提取模型是通过与样本图像同类型的图像预训练得到的模型，特征提取模型也即图像识别模型中的特征提取层。
105.第一样本切片包中样本图像切片的数量可以是任意的，第一样本切片包中的样本图像切片可以来自不同的样本图像，且每个样本图像切片都标注有切片标签。
106.可选地，在对样本图像切片进行混合分配并组成第一样本切片包时，可以使用如下分配方式中的至少一种。
107.第一种，从每个样本图像的样本图像切片中选择至少一个样本图像切片，分配至同一包中得到样本切片包。
108.其中，从每个样本图像中获取的样本图像切片的数量相同或者不相同。
109.第二种，将不同样本图像的样本图像切片进行混合，得到切片集合，从切片集合中随机获取n个样本图像切片，构成第一样本切片包。
110.第三种，从不同标签分类的样本图像中各获取部分样本图像切片，构成第一样本切片包。
111.值得注意的是，上述样本切片包的分配方式仅为示意性的举例，本实施例对此不加以限定。
112.可选地，以样本图像是病理图像为例，第一样本切片包中的样本图像切片都是对病理图像进行分割得到的，每个样本图像切片的切片标签用于表示样本图像切片为“阳性”或“阴性”，也即用于表示样本图像切片中是否包括目标图像内容。每个样本图像切片的切片标签为“p”或“n”，分别代表positive或negative；即，若样本图像切片中包括目标图像内容，则切片标签为“p”，若样本图像切片中不包括目标图像内容，则切片标签为“n”。
113.可选地，第一样本切片包中，切片标签为“p”的样本图像切片有k1个，切片标签为“n”的样本图像切片有k2个。
114.将第一样本切片包中的样本图像切片输入至特征提取模型中，特征提取模型对样本图像切片进行特征分析，输出样本图像切片对应的第一特征表示。
115.示意性的，切片标签为“p”的样本图像切片对应的第一特征表示为p_fp1，大小为k1*2048；切片标签为“n”的样本图像切片对应的第一特征表示为n_fp1，大小为k2*2048。
116.值得注意的是，样本图像可以是任意类型的图像，第一样本切片包中的样本图像切片可以来自于任意样本图像；对样本图像进行分割得到样本图像切片的方式可以是任意的；本实施例对此不加以限定。
117.样本图像切片对应的切片标签可以是任意种类的，第一样本切片包中的样本图像切片数量可以是任意的；当每个样本图像切片的切片标签用于表示样本图像切片为“阳性”或“阴性”时，第一样本切片包中，切片标签为“p”的样本图像切片的数量可以是任意的，切片标签为“n”的样本图像切片的数量可以是任意的；样本图像切片经过特征提取模型后，特征提取模型输出的第一特征表示的大小可以是任意的；本实施例对此不加以限定。
118.步骤3032，对第一特征表示进行注意力分析，得到第一切片注意力表示（ap）和第一切片特征（fp）表示。
119.图像识别模型中包含注意力层，将第一样本切片包中的样本图像切片对应的第一特征表示输入至注意力层中进行注意力分析，用于获得第一特征表示对应的第一切片注意力表示和第一切片特征表示。
120.注意力机制（attention mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述
机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度（acuity），只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。
121.上述注意力层即应用注意力机制，选择性的关注第一特征表示中属于阳性分类或者属于阴性特征的分类，从而得到第一样本切片包中样本图像切片对应的注意力分布。
122.示意性的，第一样本切片包中，切片标签为“p”的样本图像切片有k1个，切片标签为“n”的样本图像切片有k2个。
123.切片标签为“p”的样本图像切片对应的第一切片注意力表示为p_ap，大小为k1*1，切片标签为“n”的样本图像切片对应的第一切片注意力表示为n_ap，大小为k2*1。
124.切片标签为“p”的样本图像切片对应的第一切片特征表示为p_fp，大小为k1*512，切片标签为“n”的样本图像切片对应的第一切片特征表示为n_fp，大小为k2*512。
125.值得注意的是，第一样本切片包中，切片标签为“p”的样本图像切片的数量可以是任意的，切片标签为“n”的样本图像切片的数量可以是任意的；样本图像切片对应的第一特征表示经过注意力层后，注意力层输出的第一切片注意力表示和第一切片特征表示的大小可以是任意的；本实施例对此不加以限定。
126.步骤3033，对第一切片注意力表示和第一切片特征表示进行特征计算，得到第二特征表示。
127.在一些实施例中，由于第一样本切片包中样本图像切片的第一切片表示，是样本图像切片级别的特征表示，并且第一样本切片包中样本图像切片也标注有切片标签，所以，第一切片特征表示可以直接作为第一样本切片包中样本图像切片的第二特征表示。
128.在一些实施例中，第一样本切片包中样本图像切片未标注切片标签，所以需要对第一切片注意力表示和第一切片特征表示进行特征计算，得到第一样本切片包中样本图像切片的第二特征表示。
129.本实施例中，将第一切片特征表示直接作为第一样本切片包中样本图像切片的第二特征表示。
130.步骤3034，对第二特征表示进行分类分析，得到第一样本切片包中样本图像切片的第一切片分析结果。
131.图像识别模型中包含第一特征分类层，将第一样本切片包中的样本图像切片对应的第二特征表示输入至第一特征分类层中进行分类分析，用于获得第一样本切片包中样本图像切片的第一切片分析结果。
132.示意性的，第一样本切片包中，切片标签为“p”的样本图像切片有k1个，切片标签为“n”的样本图像切片有k2个。切片标签为“p”的样本图像切片对应的第二切片特征表示为p_fp，大小为k1*512，切片标签为“n”的样本图像切片对应的第二切片特征表示为n_fp，大小为k2*512。
133.使用图像识别模型中包含的第一特征分类层对第二切片特征表示p_fp和n_fp进行分类分析，得到第一样本切片包中样本图像切片的第一切片分析结果，其中，第一切片分析结果包括第一样本切片包中每个样本图像切片的分析结果。
134.步骤3035，基于切片标签和第一切片分析结果之间的差异，确定第一损失值。
135.第一样本切片包中的样本图像切片标注有切片标签，计算第一样本切片包中的样
本图像切片的切片标签和第一切片分析结果之间的差异，确定第一损失值。其中，第一损失值用于对图像识别模型进行训练。
136.图像识别模型包含第一特征分类层和注意力层，基于第一损失值对图像识别模型进行训练，也即对图像识别模型包含的第一特征分类层和注意力层进行训练。
137.值得注意的是，计算第一样本切片包中的样本图像切片的切片标签和第一切片分析结果之间的差异的方式可以是任意的，图像识别模型中包含的网络层可以是任意种类的，包括但不限于注意力层和特征分类层；基于第一损失值对图像识别模型进行训练的方式可以是任意的；本实施例对此不加以限定。
138.综上所述，本实施例提供的方法，在图像识别模型的训练过程中，针对需要切片识别的图像，将样本图像对应的切片包输入至图像识别模型，基于图像识别模型的输出结果和切片标签，计算出对应的损失值，对图像识别模型进行训练。在提高识别样本图像整体精度的同时，提高了对样本图像切片中目标图像内容的识别精度，使训练后的图像识别模型可以解决切片级别的问题。
139.在一个可选的实施例中，通过图像识别模型中的特征提取层对样本图像切片进行特征提取得到样本图像切片的第一特征表示，进而对样本图像切片的第一特征表示进行特征分析，得到样本图像切片的第一切片分析结果，基于第一切片分析结果和样本图像切片的切片标签计算出损失值，能够提高对图像识别模型进行训练的效果。
140.在一个可选的实施例中，通过对样本图像切片的第一特征表示进行注意力分析，得到样本图像切片的第一切片注意力表示和第一切片特征表示，并基于第一切片注意力表示和第一切片特征表示计算得出样本图像切片的第二特征表示，基于第二特征表示对样本图像切片进行分类分析，得到样本图像切片的第一切片分析结果，能够提高图像识别模型输出结果的准确性和精度。
141.图6是本技术另一个示例性实施例提供的图像识别模型的训练方法的流程图，表示wsi弱监督模块对图像识别模型的训练过程，该方法可以由服务器或者终端执行，也可以由服务器和终端共同执行，本技术实施例中，以该方法由服务器执行为例进行说明，如图6所示，上述步骤304可以实现为如下步骤。
142.步骤3041，通过特征提取模型对第二样本切片包中的样本图像切片进行特征提取，得到样本图像切片的第三特征表示。
143.其中，特征提取模型是通过与样本图像同类型的图像预训练得到的模型，特征提取模型也即图像识别模型中的特征提取层。
144.第二样本切片包中样本图像切片的数量可以是任意的，第二样本切片包中的样本图像切片来自同一个样本图像，第二样本切片包标注有包标签，即对应样本图像的样本标签。
145.可选地，以样本图像是病理图像为例，第二样本切片包中的样本图像切片是对同一个病理图像进行分割得到的，第二样本切片包标注的样本标签用于表示第二样本切片包中样本图像切片总体为“阳性”或“阴性”，也即用于表示第二样本切片包中样本图像切片总体是否包括目标图像内容。第二样本切片包标注的样本标签为“p”或“n”，分别代表positive或negative；即，若第二样本切片包中包括目标图像内容，则样本标签为“p”，若二样本切片包中不包括目标图像内容，则样本标签为“n”。
146.可选地，第二样本切片包中的样本图像切片的数量为m。
147.将第二样本切片包中的样本图像切片输入至特征提取模型中，特征提取模型对样本图像切片进行特征分析，输出样本图像切片对应的第三特征表示。
148.示意性的，样本图像切片对应的第三特征表示为f3，大小为m*2048。
149.值得注意的是，第二样本切片包对应的样本图像可以是任意类型的图像；对样本图像进行分割得到样本图像切片的方式可以是任意的；本实施例对此不加以限定。
150.第二样本切片包对应的样本标签可以是任意种类的，第二样本切片包中的样本图像切片数量可以是任意的；样本图像切片经过特征提取模型后，特征提取模型输出的第三特征表示的大小可以是任意的；本实施例对此不加以限定。
151.步骤3042，对第三特征表示进行注意力分析，得到第二切片注意力表示和第二切片特征表示。
152.图像识别模型中包含注意力层，将第二样本切片包中的样本图像切片对应的第三特征表示输入至注意力层中进行注意力分析，用于获得第三特征表示对应的第二切片注意力表示和第二切片特征表示。
153.示意性的，第二样本切片包中，第二样本切片包中的样本图像切片的数量为m。
154.第二样本切片包中样本图像切片对应的第二切片注意力表示为a，大小为m*1，第二样本切片包中样本图像切片对应的第二切片特征表示为f，大小为m*512。
155.值得注意的是，第二样本切片包中样本图像切片对应的第三特征表示经过注意力层后，注意力层输出的第二切片注意力表示和第二切片特征表示的大小可以是任意的；本实施例对此不加以限定。
156.步骤3043，对第二切片注意力表示和第二切片特征表示进行特征聚合，得到第四特征表示。
157.其中，对第二切片注意力表示和第二切片特征表示进行特征聚合过程中使用了sigmoid函数。
158.sigmoid函数是一个在生物学中常见的s型函数，也称为s型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，sigmoid函数常被用作神经网络的激活函数，将变量映射到（0，1）之间。
159.对第二切片注意力表示和第二切片特征表示进行特征聚合，得到第四特征表示的过程包括如下步骤。
160.1、通过对第二切片注意力表示进行归一化处理，得到第二样本切片包中样本图像切片的第三切片注意力表示。
161.其中，归一化处理使用了sigmoid函数，也即对第二切片注意力表示使用sigmoid函数进行归一化处理，此时第二切片注意力归一化为（0，1）的范围，得到第二样本切片包中样本图像切片的第三切片注意力表示，第三切片注意力表示为a_sigmoid。
162.示意性的，归一化处理使用的计算方式如下公式一所示。
163.公式一：其中，a为第二切片注意力表示，a_sigmoid为第三切片注意力表示。
164.2、通过对第三切片注意力表示进行线性归一化处理，得到第二样本切片包中样本图像切片的第四切片注意力表示。
165.第二样本切片包中每个样本图像切片都分别具有第三切片注意力表示，将所有第三切片注意力表示相加得到第三切片注意力表示的总和。以总和为分母，各第三切片注意力表示为分子，得到第二样本切片包中每个样本图像切片各自的第四切片注意力表示，第四切片注意力表示为a_sigmoid_norm。
166.示意性的，线性归一化处理使用的计算方式如下公式二所示。
167.公式二：其中，sum（a_sigmoid）为第三切片注意力表示的总和，a_sigmoid为第三切片注意力表示，a_sigmoid_norm为第四切片注意力表示。
168.3、基于第四切片注意力表示和第二切片特征表示进行相乘处理，得到第二样本切片包的第四特征表示。
169.第二样本切片包中每个样本图像切片都分别具有第四切片注意力表示和第二切片特征表示。
170.其中，每个样本图像切片的第四切片注意力表示组合为第二样本切片包的第四切片注意力表示，每个样本图像切片的第二切片特征表示组合为第二样本切片包的第二切片特征表示。
171.将第二样本切片包中每个样本图像切片各自具有的第四切片注意力表示与第二切片特征表示进行相乘处理，得到第二样本切片包中每个样本图像切片的第四特征表示，计算第四特征表示的总和，得到第二样本切片包中样本图像切片对应的第四特征表示，也即第二样本切片包的第四特征表示，第四特征表示为f4。
172.示意性的，相乘处理使用的计算方式如下公式三所示。
173.公式三：其中，f4为第四特征表示，a_sigmoid_norm为第四切片注意力表示，f为第二切片特征表示。
174.示意性的，第二样本切片包中样本图像切片的数量为m，第四切片注意力表示的大小为mx1，第二切片特征表示的大小为mx512，第四特征表示的大小为1x512。
175.值得注意的是，上述公式一、公式二、公式三可以为任意类型的计算公式；对第二切片注意力表示和第二切片特征表示进行特征聚合的方法可以是任意的，在特征聚合过程中可以使用任意类型的函数；第二样本切片包中样本图像切片的数量可以是任意的，第二样本切片包中样本图像切片的第二切片特征表示的大小、第四切片注意力表示的大小和第四特征表示的大小可以是任意的；本实施例对此不加以限定。
176.步骤3044，对第四特征表示进行分类分析，得到第二样本切片包中样本图像切片的第二切片包分析结果。
177.图像识别模型中包含第一特征分类层，将第二样本切片包中的样本图像切片对应
的第四特征表示输入至第一特征分类层中进行分类分析，用于获得第二样本切片包中样本图像切片的第二切片包分析结果。
178.示意性的，第二样本切片包中样本图像切片的数量为m，对应的第四特征表示为f4，使用图像识别模型中包含的第一特征分类层对第四切片特征表示f4进行分类分析，得到第二样本切片包中样本图像切片的第二切片包分析结果，其中，第二切片分析包结果是第二样本切片包中每个样本图像切片总和的分析结果。
179.步骤3045，基于样本标签和第二切片包分析结果之间的差异，确定第二损失值。
180.第二样本切片包标注有包标签，即样本标签，计算第二样本切片包的样本标签和第二切片包分析结果之间的差异，确定第二损失值。其中，第二损失值用于对图像识别模型进行训练。
181.图像识别模型包含第一特征分类层和注意力层，基于第二损失值对图像识别模型进行训练，也即对图像识别模型包含的第一特征分类层和注意力层进行训练。
182.值得注意的是，计算第二样本切片包的样本标签和第二切片包分析结果之间的差异的方式可以是任意的，图像识别模型中包含的网络层可以是任意种类的，包括但不限于注意力层和特征分类层；基于第二损失值对图像识别模型进行训练的方式可以是任意的；本实施例对此不加以限定。
183.步骤3046，基于第二切片注意力表示对应的数值，选取数值最高的k个样本图像切片，作为候选样本切片包。
184.第二样本切片包中每个样本图像切片都具有第二切片注意力表示，根据第二切片注意力表示的数值进行排序，选出数值最高的k个作为候选样本切片包。其中，k为预设数值。
185.通常，若第二样本切片包中包含目标图像内容，也即第二样本切片包的包标签为“阳性”时，目标图像内容出现在第二切片注意力表示数值最高的样本图像切片中；也即，目标图像内容被认为位于候选样本切片包中，所以候选样本切片包中样本图像切片具有切片标签，切片标签和第二样本切片包的包标签是相对应的，也即候选样本切片包中的样本图像切片标注有与第二样本切片包的样本标签对应的切片标签。
186.示意性的，k为8，选取第二切片注意力表示数值最高的8个样本图像切片组成候选样本切片包，并给每个样本图像切片标注有与第二样本切片包的样本标签相同的切片标签。
187.值得注意的是，k的数值可以是任意的，本实施例对此不加以限定。
188.步骤3047，基于候选样本切片包中样本图像切片的第二切片特征表示，获得候选样本切片包中样本图像切片的第五特征表示。
189.可选地，获取候选样本切片包中样本图像切片的第五特征表示，包括但不限于以下方式中的一种。
190.1、基于候选样本切片包中样本图像切片的第二切片特征表示，对第二切片特征表示使用预设函数计算得出第五特征表示。
191.2、直接使用候选样本切片包中样本图像切片的第二切片特征表示作为第五特征表示。
192.示意性的，本实施例中直接使用候选样本切片包中样本图像切片的第二切片特征
表示作为第五特征表示，第五特征表示为f5，第五特征表示的大小为k*512。
193.值得注意的是，上述获取候选样本切片包中样本图像切片的第五特征表示的方式仅为示例；若使用预设函数对第二切片特征表示进行计算得出第五特征表示，则预设函数可以是任意类型的函数；第五特征表示的大小可以是任意的；本实施例对此不加以限定。
194.步骤3048，对第五特征表示进行分类分析，得到候选样本切片包中样本图像切片的第三切片分析结果。
195.图像识别模型中包含第二特征分类层，将候选样本切片包中的样本图像切片对应的第五特征表示输入至第二特征分类层中进行分类分析，用于获得候选样本切片包中样本图像切片的第三切片分析结果。
196.示意性的，候选样本切片包中样本图像切片的数量为8，样本图像切片对应的第五特征表示为f5，第五特征表示的大小为8*512。
197.使用图像识别模型中包含的第二特征分类层对第五切片特征表示f5进行分类分析，得到候选样本切片包中样本图像切片的第三切片分析结果，其中，第三切片分析结果包括候选样本切片包中每个样本图像切片的分析结果。
198.步骤3049，基于切片标签和第三切片分析结果之间的差异，确定第三损失值。
199.候选样本切片包中的样本图像切片标注有切片标签，计算候选样本切片包中的样本图像切片的切片标签和第三切片分析结果之间的差异，确定第三损失值。其中，第三损失值用于对图像识别模型进行训练。
200.图像识别模型包含第二特征分类层，基于第三损失值对图像识别模型进行训练，也即对图像识别模型包含的第二特征分类层进行训练。
201.值得注意的是，计算候选样本切片包中的样本图像切片的切片标签和第三切片分析结果之间的差异的方式可以是任意的，图像识别模型中包含的网络层可以是任意种类的，包括但不限于特征分类层；基于第三损失值对图像识别模型进行训练的方式可以是任意的；本实施例对此不加以限定。
202.值得注意的是，上述步骤3043至步骤3045，和步骤3046至步骤3049，是两组并列的步骤，可以先执行步骤3043至步骤3045再执行步骤3046至步骤3049，也可以先执行步骤3046至步骤3049再执行步骤3043至步骤3045，还可以同时执行步骤3043至步骤3045和步骤3046至步骤3049，本实施例对此不加以限定。
203.本实施例提供的方法，在图像识别模型的训练过程中，针对需要切片识别的图像，分别将样本图像切片和样本图像对应的切片包输入至图像识别模型，基于图像识别模型的输出结果和样本标签、切片标签，计算出对应的损失值，对图像识别模型进行训练。在提高识别样本图像整体精度的同时，提高了对样本图像切片中目标图像内容的识别精度，使图像识别模型输出的结果能够更好的可视化，训练后的图像识别模型可以解决切片包级别的问题和切片级别的问题。
204.在一个可选的实施例中，通过对第二样本切片包中的样本图像切片进行特征提取，得到样本图像切片的第三特征表示，对第三特征表示进行特征分析，得到第二样本切片包中样本图像切片的第二切片包分析结果；基于样本标签和第二切片包分析结果之间的差异，确定第二损失值，将第二损失值返回给图像识别模型进行训练，提高了图像识别模型识别结果的准确性。
205.在一个可选的实施例中，通过对第三特征表示进行注意力分析，得到第二切片注意力表示和第二切片特征表示；对第二切片注意力表示和第二切片特征表示进行特征聚合，得到第四特征表示；对第四特征表示进行分类分析，得到第二样本切片包中样本图像切片的第二切片包分析结果，提高了第二切片包分析结果的准确性。
206.在一个可选的实施例中，通过对第二切片注意力表示进行归一化处理，得到第二样本切片包中样本图像切片的第三切片注意力表示；通过对第三切片注意力表示进行线性归一化处理，得到第二样本切片包中样本图像切片的第四切片注意力表示；基于第四切片注意力表示和第二切片特征表示进行相乘处理，得到第二样本切片包的第四特征表示，提高了第四特征表示的准确性。
207.在一个可选的实施例中，通过再第二样本切片包中选取注意力表示最高的k个样本图像切片，组成候选样本切片包，对候选样本切片包中样本图像切片进行特征分析和分类分析，能够在训练图像识别模型的过程中，不仅能够解决切片包级别的问题，也能解决切片级别的问题，提高了图像识别模型的准确度和精度。
208.在一个可选的实施例中，为了更好地训练图像识别模型，还可以使用其他损失值对图像识别模型进行训练。图7是本技术另一个实施例提供的图像识别模型的训练方法，主要用于patch强监督模块训练过程中，该方法可以由服务器或者终端执行，也可以由服务器和终端共同执行，本技术实施例中，以该方法由服务器执行为例进行说明，如图7所示，该方法包括如下步骤。
209.步骤701，通过对第一切片注意力表示进行归一化处理，得到第一样本切片包中样本图像切片的第五切片注意力表示。
210.示意性的，第一样本切片包中样本图像切片的第一切片注意力表示为ap。
211.其中，归一化处理使用了sigmoid函数，也即对第一切片注意力表示使用sigmoid函数进行归一化处理，此时第一切片注意力归一化为（0，1）的范围，得到第一样本切片包中样本图像切片的第五切片注意力表示，第五切片注意力表示为ap_sigmoid。
212.示意性的，归一化处理使用的计算方式如下公式四所示。
213.公式四：其中，ap为第一切片注意力表示，ap_sigmoid为第五切片注意力表示。
214.值得注意的是，对第一切片注意力表示进行归一化处理可以使用任意方法，本实施例对此不加以限定。
215.步骤702，基于第五切片注意力表示和第一切片分析结果进行相乘处理，得到第一样本切片包中样本图像切片的第四切片分析结果。
216.第一样本切片包中每个样本图像切片都分别具有第五切片注意力表示。
217.将第一样本切片包中每个样本图像切片各自具有的第五切片注意力表示与第一切片分析结果进行相乘处理，得到第一样本切片包中样本图像切片的第四切片分析结果。
218.值得注意的是，基于第五切片注意力表示和第一切片分析结果进行相乘处理可以使用任意方法，本实施例对此不加以限定。
219.步骤703，基于切片标签和第四切片分析结果之间的差异，确定第四损失值。
220.第一样本切片包中的样本图像切片标注有切片标签，计算第一样本切片包中的样本图像切片的切片标签和第四切片分析结果之间的差异，确定第四损失值。其中，第四损失值用于对图像识别模型进行训练。
221.图像识别模型包含注意力层，基于第四损失值对图像识别模型进行训练，也即对图像识别模型包含的注意力层进行训练。
222.步骤704，基于第四损失值，对图像识别模型进行训练。
223.其中，经过训练得到的图像识别模型用于对图像中的目标图像内容进行识别。
224.基于第四损失值对图像识别模型进行训练包括但不限于以下几种方式中的一种。
225.1、对第一损失值、第二损失值、第三损失值、第四损失值直接进行融合，得到损失值总和，基于损失值总和对图像识别模型进行训练。
226.2、对第一损失值、第二损失值、第三损失值、第四损失值进行加权融合，也即采用各自对应的权重对第一损失值、第二损失值、第三损失值进行融合，计算加权和，得到损失值总和，基于损失值总和对图像识别模型进行训练。
227.3、直接基于第四损失值对图像识别模型进行训练，不考虑第一损失值、第二损失值和第三损失值。
228.可选地，在对对图像识别模型的模型参数进行调整时，根据第四损失值或损失值总和对图像识别模型中的注意力层的参数进行调整。
229.值得注意的是，基于第四损失值对图像识别模型进行训练的方式可以是任意的；第一损失值、第二损失值和第三损失值、第四损失值的损失值总和计算方法可以是任意的；图像识别模型中可以包括任意种类的网络层；根据损失值对图像识别模型中各网络层的参数进行调整的方式是任意的；本实施例对此不加以限定。
230.综上所述，通过对图像识别模型训练的过程中，增加了基于第四损失值对图像识别模型进行训练的步骤，在提高识别样本图像整体精度的同时，提高了对样本图像切片中目标图像内容的识别精度，使图像识别模型输出的结果能够更好的可视化，训练后的图像识别模型可以解决切片包级别的问题和切片级别的问题。
231.在一个可选的实施例中，经过训练后的图像识别模型可以应用于对图像中的目标图像内容进行识别，将样本图像分割成样本图像切片组成对应的样本切片包，输入至图像识别模型后，图像识别模型除了可以输出对样本图像的识别结果，还会对应的显示可视化结果，用于辅助观察识别结果。示意性的，图8是图像识别模型训练过程中提高可视化效果的示意图，如图8所示。
232.将样本图像切片800输入至图像识别模型810中，图像识别模型810对样本图像切片800进行注意力分析时会得到样本图像切片800对应的第三切片注意力表示，并输出第一可视化结果820，第一可视化结果820用于表示样本图像切片800的注意力分布情况。
233.图像识别模型810对样本图像切片800的第二切片特征表示进行特征分析时，会得到切片异常概率，并输出第二可视化结果830，其中，切片异常概率用于表示样本图像切片的异常概率，第二可视化结果830用于表示样本图像切片800的异常概率分布情况。
234.其中，将样本图像切片800输入至图像识别模型810后，在对图像识别模型810输出的第二可视化结果830进行观察时，图像中的蓝色区域表示样本图像切片800对应的区域为“阴性”，其异常概率为0；图像中的红色区域表示样本图像切片800对应的区域为“阳性”，其
异常概率为1；图像中的其他颜色区域分别表示样本图像切片800对应区域的不同异常情况，其异常概率位于（0，1）区间内。基于第三切片注意力表示和切片异常概率，确定样本图像切片800的第五切片分析结果。
235.基于第一可视化结果820和第二可视化结果830，输出第三可视化结果840。示意性的，样本图像切片800的异常概率为0.95，第三可视化结果840用于表示样本图像切片800的异常情况。
236.通常情况下，设置异常阈值为0.5，若样本图像切片800的异常概率低于0.5，则说明样本图像切片800为“阴性”；若样本图像切片800的异常概率等于或高于0.5，则说明样本图像切片800为“阳性”。
237.综上所述，经过训练后的图像识别模型可以对样本图像切片进行识别，并输出对应的可视化结果，可视化结果的准确性较高，过滤掉注意力表示较高但是并非目标样本图像的部分信息，能够有效辅助观察样本图像切片，并判断样本图像切片的异常情况，提高了图像识别的效率和准确性。
238.图9是本技术一个示例性实施例提供的图像识别模型的训练装置的结构框图，如图9所示，该装置包括如下部分：获取模块910，用于获取样本图像集合，所述样本图像集合中包括标注有样本标签的样本图像，所述样本标签用于指示所述样本图像中目标图像内容的包含情况；生成模块920，用于对所述样本图像集合中的样本图像进行区域分割，生成第一样本切片包和第二样本切片包，其中，所述第一样本切片包中的样本图像切片从不同样本图像采集得到，所述第二样本切片包中的样本图像切片从同一样本图像采集得到，所述第一样本切片包中的样本图像切片标注有所述样本标签对应的切片标签；确定模块930，用于通过图像识别模型对所述第一样本切片包中的样本图像切片进行特征分析，基于所述切片标签和切片分析结果之间的差异确定第一损失值；所述确定模块930，还用于通过所述图像识别模型对所述第二样本切片包进行特征分析，基于所述样本标签和切片包分析结果之间的差异，确定所述样本图像对应的第二损失值和所述第二样本切片包对应的第三损失值；训练模块940，用于基于所述第一损失值、所述第二损失值和所述第三损失值对所述图像识别模型进行训练，训练得到的图像识别模型用于对图像中的目标图像内容进行识别。
239.在一个可选的实施例中，如图10所示，所述确定模块930，包括：提取单元931，用于通过特征提取模型对所述第一样本切片包中的样本图像切片进行特征提取，得到所述样本图像切片的第一特征表示，其中，所述特征提取模型是通过与所述样本图像同类型的图像预训练得到的模型；分析单元932，用于对所述第一特征表示进行特征分析，得到所述第一样本切片包中所述样本图像切片的第一切片分析结果；确定单元933，用于基于所述切片标签和所述第一切片分析结果之间的差异，确定所述第一损失值。
240.在一个可选的实施例中，所述分析单元932，还用于对所述第一特征表示进行注意力分析，得到第一切片注意力表示和第一切片特征表示；对所述第一切片注意力表示和所
述第一切片特征表示进行特征计算，得到第二特征表示；对所述第二特征表示进行分类分析，得到所述第一样本切片包中所述样本图像切片的第一切片分析结果。
241.在一个可选的实施例中，所述确定模块930，还包括：所述提取单元931，还用于通过所述特征提取模型对所述第二样本切片包中的样本图像切片进行特征提取，得到所述样本图像切片的第三特征表示；所述分析单元932，还用于对所述第三特征表示进行特征分析，得到所述第二样本切片包中所述样本图像切片的第二切片包分析结果；所述确定单元933，还用于基于所述样本标签和所述第二切片包分析结果之间的差异，确定所述第二损失值。
242.在一个可选的实施例中，所述分析单元932，还用于对所述第三特征表示进行注意力分析，得到第二切片注意力表示和第二切片特征表示；对所述第二切片注意力表示和所述第二切片特征表示进行特征聚合，得到第四特征表示；对所述第四特征表示进行分类分析，得到所述第二样本切片包中所述样本图像切片的第二切片包分析结果。
243.在一个可选的实施例中，所述分析单元932，还用于通过对所述第二切片注意力表示进行归一化处理，得到所述第二样本切片包中样本图像切片的第三切片注意力表示；通过对所述第三切片注意力表示进行线性归一化处理，得到所述第二样本切片包中样本图像切片的第四切片注意力表示；基于所述第四切片注意力表示和所述第二切片特征表示进行相乘处理，得到所述第二样本切片包的所述第四特征表示。
244.在一个可选的实施例中，所述分析单元932，还用于基于所述第二切片注意力表示对应的数值，选取数值最高的k个所述样本图像切片，作为候选样本切片包，其中，k为预设数值，所述候选样本切片包中的样本图像切片标注有所述样本标签对应的切片标签；基于所述候选样本切片包中样本图像切片的所述第二切片特征表示，获得所述候选样本切片包中样本图像切片的第五特征表示；对所述第五特征表示进行特征分析，得到所述候选样本切片包中所述样本图像切片的第三切片分析结果；基于所述切片标签和所述第三切片分析结果之间的差异，确定所述第三损失值。
245.在一个可选的实施例中，所述训练模块940，还用于计算所述第一损失值、所述第二损失值、所述第三损失值的加权和，得到损失值总和；基于所述损失值总和，对所述图像识别模型进行训练。
246.在一个可选的实施例中，所述训练模块940，还用于通过对所述第一切片注意力表示进行归一化处理，得到所述第一样本切片包中样本图像切片的第五切片注意力表示；基于所述第五切片注意力表示和所述第一切片分析结果进行相乘处理，得到所述第一样本切片包中样本图像切片的第四切片分析结果；基于所述切片标签和所述第四切片分析结果之间的差异，确定第四损失值；基于所述第四损失值，对所述图像识别模型进行训练。
247.在一个可选的实施例中，所述训练模块940，还用于对所述第二切片特征表示进行特征分析，得到切片异常概率，所述切片异常概率用于表示所述第二样本切片包中样本图像切片的异常概率；基于所述第三切片注意力表示和所述切片异常概率，确定所述第二样本切片包中所述样本图像切片的第五切片分析结果；基于所述第五切片分析结果显示识别内容，所述识别内容用于表示所述第二样本切片包中所述样本图像切片的异常情况。
248.综上所述，本实施例提供的装置，在图像识别模型的训练过程中，针对需要切片识
别的图像，分别将样本图像切片和样本图像对应的切片包输入至图像识别模型，基于图像识别模型的输出结果和样本标签、切片标签，计算出对应的损失值，对图像识别模型进行训练。在提高识别样本图像整体精度的同时，提高了对样本图像切片中目标图像内容的识别精度，使图像识别模型输出的结果能够更好的可视化，训练后的图像识别模型可以解决切片级别的问题。
249.需要说明的是：上述实施例提供的图像识别模型的训练装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像识别模型的训练装置与图像识别模型的训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
250.图11示出了本技术一个示例性实施例提供的计算机设备的结构示意图。该计算机设备可以是如图2所示的服务器。
251.具体来讲：计算机设备1100包括中央处理单元（central processing unit，cpu）1101、包括随机存取存储器（random access memory，ram）1102和只读存储器（read only memory，rom）1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。计算机设备1100还包括用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1106。
252.大容量存储设备1106通过连接到系统总线1105的大容量存储控制器（未示出）连接到中央处理单元1101。大容量存储设备1106及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，大容量存储设备1106可以包括诸如硬盘或者紧凑型光盘只读存储器（compact disc read only memory，cd-rom）驱动器之类的计算机可读介质（未示出）。
253.不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器（erasable programmable read only memory，eprom）、带电可擦可编程只读存储器（electrically erasable programmable read only memory，eeprom）、闪存或其他固态存储技术，cd-rom、数字通用光盘（digital versatile disc，dvd）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1106可以统称为存储器。
254.根据本技术的各种实施例，计算机设备1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1100可以通过连接在系统总线1105上的网络接口单元1111连接到网络1112，或者说，也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统（未示出）。
255.上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由cpu执行。
256.本技术的实施例还提供了一种计算机设备，该计算机设备可以实现为如图2所示的终端或者服务器。该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、
至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像识别模型的训练方法。
257.本技术的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的图像识别模型的训练方法。
258.本技术的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的图像识别模型的训练方法。
259.可选地，该计算机可读存储介质可以包括：只读存储器（rom，read only memory）、随机存取记忆体（ram，random access memory）、固态硬盘（ssd，solid state drives）或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体（reram，resistance random access memory）和动态随机存取存储器（dram，dynamic random access memory）。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
260.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
261.以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。