肺结节检测模型构建优化方法、设备、存储介质及产品与流程

1.本技术涉及人工智能技术领域，尤其涉及一种肺结节检测模型构建优化方法、设备、存储介质及产品。


背景技术：

2.随着计算机技术的不断发展，人工智能的应用也越来越广泛，例如，在肺结节检测领域，可利用大数据集学习所得到的肺结节检测模型能自动分割胸腔区域，快速准确地定位疑似肺结节的病灶，目前，通常基于本地的肺结节图像数据本地构建肺结节检测模型，但是，该肺结节检测模型常常会将疑似肺结节而实际上不是肺结节的图像区域识别为病灶区域，也即该肺结节检测模型对肺结节图像中的难例样本识别效果不佳，所以，现有的肺结节检测模型的检测准确度还有待提升。


技术实现要素：

3.本技术的主要目的在于提供一种肺结节检测模型构建优化方法、设备、存储介质及产品，旨在解决现有技术中肺结节检测模型检测准确度低的技术问题。
4.为实现上述目的，本技术提供一种肺结节检测模型构建优化方法，所述肺结节检测模型构建优化方法应用于第一设备，所述肺结节检测模型构建优化方法包括：
5.获取本地训练样本集中的难例肺结节样本集，并基于难例肺结节样本集，通过与第二设备进行联邦学习建模，构建联邦肺结节检测模型；
6.基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，获得目标肺结节检测模型。
7.可选地，所述基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化本地肺结节检测模型，获得目标肺结节检测模型的步骤包括：
8.基于所述本地训练样本集，对所述待训练本地肺结节检测模型进行迭代训练优化，获得本地肺结节检测模型；
9.基于第一初始模型权重和第二初始模型权重，对所述联邦肺结节检测模型和所述本地肺结节检测模型进行聚合，获得聚合肺结节检测模型；
10.基于所述本地训练样本集，迭代训练优化所述聚合肺结节检测模型，获得所述目标肺结节检测模型。
11.可选地，所述基于所述本地训练样本集，迭代训练优化所述聚合肺结节检测模型，获得所述目标肺结节检测模型的步骤包括：
12.在所述本地训练样本集中提取本地训练样本和所述本地训练样本对应的训练样本标签；
13.基于所述聚合肺结节检测模型，对所述本地训练样本执行模型预测，获得聚合模型预测结果；
14.基于所述聚合模型预测结果和所述训练样本标签，计算聚合模型损失；
15.基于所述聚合模型损失，优化所述聚合肺结节检测模型对应的聚合权重，获得所述目标肺结节检测模型。
16.可选地，所述基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化所述本地肺结节检测模型，获得目标肺结节检测模型的步骤包括：
17.在所述本地训练样本集中选取非难例训练样本和难例训练样本；
18.计算所述非难例训练样本在所述待训练本地肺结节检测模型上的第一模型预测损失；
19.计算所述难例训练样本在所述待训练本地肺结节检测模型上的第二模型预测损失，并计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失；
20.基于所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失，迭代优化待训练本地肺结节检测模型，获得所述目标肺结节检测模型。
21.可选地，所述计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失的步骤包括：
22.获取所述待训练本地肺结节模型中的特征提取器对所述难例训练样本进行特征提取生成的第一中间样本特征，以及获取所述待训练本地肺结节模型对所述难例训练样本执行模型预测生成的第一难例模型预测结果；
23.获取所述联邦肺结节检测模型中的特征提取器对所述难例训练样本进行特征提取生成的第二中间样本特征，以及获取所述联邦肺结节检测模型对所述难例训练样本执行模型预测生成的第二难例模型预测结果；
24.基于所述第一中间样本特征和所述第二中间样本特征之间的差异度，计算第一模型蒸馏损失；
25.基于所述第一难例模型预测结果和所述第二难例模型预测结果之间的差异度，计算第二模型蒸馏损失；
26.对所述第一模型蒸馏损失和所述第二模型蒸馏损失进行聚合，获得所述模型蒸馏总损失。
27.可选地，所述基于所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失，迭代优化待训练本地肺结节检测模型，获得所述目标肺结节检测模型的步骤包括：
28.对所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失进行加权组合，获得模型总损失；
29.判断所述模型总损失是否收敛，若所述模型总损失收敛，则将所述待训练本地肺结节检测模型作为所述目标肺结节检测模型；
30.若所述模型总损失未收敛，则基于所述模型总损失，更新所述待训练本地肺结节检测模型，并返回执行步骤：在所述本地训练样本集中选取非难例训练样本和难例训练样本。
31.可选地，所述模型蒸馏总损失包括对比学习总损失，
32.所述计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失的步骤包括：
33.获取所述待训练本地肺结节模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第一中间样本特征，以及所述联邦肺结节检测模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第二中间样本特征；
34.基于各所述第一中间样本特征和各所述第二中间样本特征，构建所述对比学习总损失。
35.可选地，所述目标肺结节检测模型包括目标检测模型和分类模型，
36.在所述基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，获得目标肺结节检测模型的步骤之后，所述肺结节检测模型构建优化方法还包括：
37.获取待检测目标对应的待预测肺结节图像，并基于所述目标检测模型，对所述待预测肺结节图像进行目标检测，获得目标检测结果；
38.通过所述分类模型对所述目标检测结果进行分类，对所述待检测目标进行肺结节检测，获得肺结节检测结果。
39.本技术还提供一种肺结节检测模型构建优化装置，所述肺结节检测模型构建优化装置为虚拟装置，且所述肺结节检测模型构建优化装置应用于第一设备，所述肺结节检测模型构建优化装置包括：
40.联邦学习建模模块，用于获取本地训练样本集中的难例肺结节样本集，并基于难例肺结节样本集，通过与第二设备进行联邦学习建模，构建联邦肺结节检测模型；
41.迭代优化模块，用于基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，获得目标肺结节检测模型。
42.可选地，所述迭代优化模块还用于：
43.基于所述本地训练样本集，对所述待训练本地肺结节检测模型进行迭代训练优化，获得本地肺结节检测模型；
44.基于第一初始模型权重和第二初始模型权重，对所述联邦肺结节检测模型和所述本地肺结节检测模型进行聚合，获得聚合肺结节检测模型；
45.基于所述本地训练样本集，迭代训练优化所述聚合肺结节检测模型，获得所述目标肺结节检测模型。
46.可选地，所述迭代优化模块还用于：
47.在所述本地训练样本集中提取本地训练样本和所述本地训练样本对应的训练样本标签；
48.基于所述聚合肺结节检测模型，对所述本地训练样本执行模型预测，获得聚合模型预测结果；
49.基于所述聚合模型预测结果和所述训练样本标签，计算聚合模型损失；
50.基于所述聚合模型损失，优化所述聚合肺结节检测模型对应的聚合权重，获得所述目标肺结节检测模型。
51.可选地，所述迭代优化模块还用于：
52.在所述本地训练样本集中选取非难例训练样本和难例训练样本；
53.计算所述非难例训练样本在所述待训练本地肺结节检测模型上的第一模型预测损失；
54.计算所述难例训练样本在所述待训练本地肺结节检测模型上的第二模型预测损失，并计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失；
55.基于所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失，迭代优化待训练本地肺结节检测模型，获得所述目标肺结节检测模型。
56.可选地，所述迭代优化模块还用于：
57.获取所述待训练本地肺结节模型中的特征提取器对所述难例训练样本进行特征提取生成的第一中间样本特征，以及获取所述待训练本地肺结节模型对所述难例训练样本执行模型预测生成的第一难例模型预测结果；
58.获取所述联邦肺结节检测模型中的特征提取器对所述难例训练样本进行特征提取生成的第二中间样本特征，以及获取所述联邦肺结节检测模型对所述难例训练样本执行模型预测生成的第二难例模型预测结果；
59.基于所述第一中间样本特征和所述第二中间样本特征之间的差异度，计算第一模型蒸馏损失；
60.基于所述第一难例模型预测结果和所述第二难例模型预测结果之间的差异度，计算第二模型蒸馏损失；
61.对所述第一模型蒸馏损失和所述第二模型蒸馏损失进行聚合，获得所述模型蒸馏总损失。
62.可选地，所述迭代优化模块还用于：
63.对所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失进行加权组合，获得模型总损失；
64.判断所述模型总损失是否收敛，若所述模型总损失收敛，则将所述待训练本地肺结节检测模型作为所述目标肺结节检测模型；
65.若所述模型总损失未收敛，则基于所述模型总损失，更新所述待训练本地肺结节检测模型，并返回执行步骤：在所述本地训练样本集中选取非难例训练样本和难例训练样本。
66.可选地，所述模型蒸馏总损失包括对比学习总损失，所述迭代优化模块还用于：
67.获取所述待训练本地肺结节模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第一中间样本特征，以及所述联邦肺结节检测模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第二中间样本特征；
68.基于各所述第一中间样本特征和各所述第二中间样本特征，构建所述对比学习总损失。
69.可选地，所述肺结节检测模型构建优化装置还用于：
70.获取待检测目标对应的待预测肺结节图像，并基于所述目标检测模型，对所述待预测肺结节图像进行目标检测，获得目标检测结果；
71.通过所述分类模型对所述目标检测结果进行分类，对所述待检测目标进行肺结节检测，获得肺结节检测结果。
72.本技术还提供一种肺结节检测模型构建优化设备，所述肺结节检测模型构建优化设备为实体设备，所述肺结节检测模型构建优化设备包括：存储器、处理器以及存储在所述
存储器上并可在所述处理器上运行的所述肺结节检测模型构建优化方法的程序，所述肺结节检测模型构建优化方法的程序被处理器执行时可实现如上述的肺结节检测模型构建优化方法的步骤。
73.本技术还提供一种可读存储介质，所述可读存储介质上存储有实现肺结节检测模型构建优化方法的程序，所述肺结节检测模型构建优化方法的程序被处理器执行时实现如上述的肺结节检测模型构建优化方法的步骤。
74.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的肺结节检测模型构建优化方法的步骤。
75.本技术提供了一种肺结节检测模型构建优化方法、设备、存储介质及产品，相比于现有技术采用的基于本地的肺结节图像数据本地构建肺结节检测模型的技术手段，本技术首先获取本地训练样本集中的难例肺结节样本集，并基于难例肺结节样本集，通过与第二设备进行联邦学习建模，构建联邦肺结节检测模型，进而实现了基于联邦学习构建用于准确识别难例样本的联邦肺结节检测模型的目的，进而基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，使得待训练本地肺结节检测模型可学习到联邦肺结节检测模型准确识别难例肺结节样本的模型知识，进而使得获得的目标肺结节检测模型具备准确识别难例肺结节样本的能力，所以克服了现有技术中肺结节检测模型常常会将疑似肺结节而实际上不是肺结节的图像区域识别为病灶区域的技术缺陷，所以，提升了肺结节检测模型的检测准确度。
附图说明
76.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
77.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
78.图1为本技术肺结节检测模型构建优化方法第一实施例的流程示意图；
79.图2为本技术肺结节检测模型构建优化方法第二实施例的流程示意图；
80.图3为本技术实施例中肺结节检测模型构建优化方法涉及的硬件运行环境的设备结构示意图。
81.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
82.应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
83.本技术实施例提供一种肺结节检测模型构建优化方法，在本技术肺结节检测模型构建优化方法的第一实施例中，参照图1，所述肺结节检测模型构建优化方法包括：
84.步骤s10，获取本地训练样本集中的难例肺结节样本集，并基于难例肺结节样本集，通过与第二设备进行联邦学习建模，构建联邦肺结节检测模型；
85.在本实施例中，需要说明的是，所述肺结节检测模型构建优化方法应用于横向联邦学习，所述第一设备和第二设备均为横向联邦学习的参与方，所述本地训练样本集包括
难例肺结节样本集和非难例肺结节样本集，其中，所述难例样本集至少包括一难例肺结节样本，所述难例肺结节样本中具备与肺结节具备相似外观的肺结节，其中，肺结节检测模型在所述难例样本集上的检测准确度低于预设第一检测准确度，肺结节检测模型在所述非难例样本集上的检测准确度高于预设第二检测准确度，预设第二检测准确度大于预设第一检测准确度。
86.获取本地训练样本集中的难例肺结节样本集，并基于难例肺结节样本集，通过与第二设备进行联邦学习建模，构建联邦肺结节检测模型，具体地，获取本地训练样本集中的难例肺结节样本集，并基于所述难例肺结节样本集，本地迭代训练待训练联邦肺结节检测模型，进而在所述待训练联邦肺结节检测模型迭代训练至预设迭代次数时，获取迭代训练后的待训练联邦肺结节检测模型的本地模型参数，并将所述本地模型参数发送至联邦服务器，以供所述联邦服务器聚合来自各第二设备和所述第一设备的本地模型参数，得到聚合模型参数，并向所述第一设备和各第二设备分别反馈所述聚合模型参数，进而第一设备接收聚合模型参数，并依据所述聚合模型参数，对待训练联邦肺结节检测模型的模型参数进行替换更新，并判断替换更新后的待训练联邦肺结节检测模型是否满足预设联邦训练结束条件，若替换更新后的待训练联邦肺结节检测模型满足预设联邦训练结束条件，则将替换更新后的待训练联邦肺结节检测模型作为所述联邦肺结节检测模型，若替换更新后的待训练联邦肺结节检测模型不满足预设联邦训练结束条件，则返回执行步骤：基于所述难例肺结节样本集，本地迭代训练待训练联邦肺结节检测模型。
87.进一步地，需要说明的是，本技术实施例中第一设备和各第二设备进行横向联邦学习时，第一设备仅提供难例肺结节样本集，而对于不同的参与方来说，由于肺结节图像拍摄设备的精度存在差异，对应第一设备中的难例肺结节样本，在第二设备中有可能不为难例肺结节样本，进而第一设备通过与各第二设备进行联邦学习，联合各第二设备中肺结节样本构建联邦肺结节检测模型，可提升肺结节检测模型在难例肺结节样本集的检测精度，使得联邦肺结节检测模型可准确检测难例肺结节样本，且同时又无需基于第一设备本地所有的肺结节样本与各第二设备进行联邦学习，使得待训练联邦肺结节检测模型可更快地在难例肺结节样本集上收敛，进而减少了基于联邦学习构建联邦肺结节检测模型的过程中各参与方之间的通信时间和模型迭代次数，提升了构建联邦肺结节检测的效率。
88.步骤s20，基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，获得目标肺结节检测模型。
89.在本实施例中，基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，获得目标肺结节检测模型，具体地，基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，以促使所述待训练本地肺结节检测模型学习所述联邦肺结节检测模型的模型知识，获得目标肺结节检测模型，进而使得目标肺结节检测模型具备所述联邦肺结节检测模型对难例肺结节样本的准确检测能力，其中，所述模型知识包括联邦肺结节检测模型的生成中间特征和预测结果的知识，可以由联邦肺结节检测模型的模型参数的分布进行表示，所述待训练本地肺结节检测模型学习所述联邦肺结节检测模型的模型知识的过程可以视为所述待训练本地肺结节检测模型学习所述联邦肺结节检测模型的模型参数的分布的过程。
90.所述中间特征由联邦肺结节检测模型的特征提取器的输出，所述预测结果由所述
联邦肺结节检测模型的输出层的输出。
91.其中，所述基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化本地肺结节检测模型，获得目标肺结节检测模型的步骤包括：
92.步骤s21，基于所述本地训练样本集，对所述待训练本地肺结节检测模型进行迭代训练优化，获得本地肺结节检测模型；
93.在本实施例中，基于所述本地训练样本集，对所述待训练本地肺结节检测模型进行迭代训练优化，获得本地肺结节检测模型，具体地，在所述本地训练样本集中选取本地训练样本，进而基于待训练本地肺结节检测模型，对所述本地训练样本执行模型预测，获得训练本地模型预测结果，进而基于所述训练本地模型预测结果和所述本地训练样本对应的训练样本标签，计算训练本地模型损失，进而判断所述训练本地模型损失是否收敛，若所述训练本地模型损失收敛，则将待训练本地肺结节检测模型作为本地肺结节检测模型，若所述训练本地模型损失未收敛，则基于所述训练本地模型损失计算的梯度，通过预设模型更新方法更新待训练本地肺结节检测模型，并返回执行步骤：在所述本地训练样本集中选取本地训练样本，其中，所述预设模型更新方法包括梯度下降法和梯度上升法等。
94.步骤s22，基于第一初始模型权重和第二初始模型权重，对所述联邦肺结节检测模型和所述本地肺结节检测模型进行聚合，获得聚合肺结节检测模型；
95.在本实施例中，基于第一初始模型权重和第二初始模型权重，对所述联邦肺结节检测模型和所述本地肺结节检测模型进行聚合，获得聚合肺结节检测模型，具体地，对基于所述第一初始模型权重加权后的联邦肺结节检测模型和基于所述第二初始模型权重加权后的本地肺结节检测模型进行聚合，获得聚合肺结节检测模型。
96.步骤s23，基于所述本地训练样本集，迭代训练优化所述聚合肺结节检测模型，获得所述目标肺结节检测模型。
97.在本实施例中，基于所述本地训练样本集，迭代训练优化所述聚合肺结节检测模型，获得所述目标肺结节检测模型，具体地，基于所述本地训练样本集，对所述聚合肺结节检测模型进行迭代训练，直至所述聚合肺结节检测模型满足预设迭代训练结束条件，将所述聚合肺结节检测模型作为所述目标肺结节检测模型，其中，所述预设迭代训练结束条件包括迭代最大迭代次数阈值和模型损失等。
98.其中，所述基于所述本地训练样本集，迭代训练优化所述聚合肺结节检测模型，获得所述目标肺结节检测模型的步骤包括：
99.步骤s231，在所述本地训练样本集中提取本地训练样本和所述本地训练样本对应的训练样本标签；
100.步骤s232，基于所述聚合肺结节检测模型，对所述本地训练样本执行模型预测，获得聚合模型预测结果；
101.在本实施例中，需要说明的是，所述本地训练样本可以为本地训练肺结节图像，所述聚合肺结节检测模型包括聚合目标检测模型和聚合分类模型。
102.基于所述聚合肺结节检测模型，对所述本地训练样本执行模型预测，获得聚合模型预测结果，具体地，基于聚合目标检测模型，对所述本地训练肺结节图像进行目标检测，以在所述本地训练肺结节图像中选取候选肺结节区域，进而基于所述聚合分类模型，分别对各所述候选肺结节区域进行分类，以判断所述候选肺结节区域是否为真实肺结节区域，
获得各所述候选肺结节区域对应的分类结果，进而将各所述分类结果共同作为所述聚合模型预测结果。
103.步骤s233，基于所述聚合模型预测结果和所述训练样本标签，计算聚合模型损失；
104.在本实施例中，基于所述聚合模型预测结果和所述训练样本标签，计算聚合模型损失，具体地，计算所述聚合模型预测结果和所述训练样本标签之间的差值，获得聚合模型损失。
105.在另一种实施例方式，基于所述聚合模型预测结果和所述训练样本标签，通过l2损失函数计算聚合模型损失。
106.步骤s234，基于所述聚合模型损失，优化所述聚合肺结节检测模型对应的聚合权重，获得所述目标肺结节检测模型。
107.在本实施例中，需要说明的是，所述聚合权重包括第一初始模型权和第二初始模型权重。
108.基于所述聚合模型损失，优化所述聚合肺结节检测模型对应的聚合权重，获得所述目标肺结节检测模型，具体地，判断所述聚合模型损失是否收敛，若所述聚合模型损失收敛，则将所述聚合肺结节检测模型作为目标肺结节检测模型，若所述聚合模型损失未收敛，则基于所述聚合模型损失，对所述聚合肺结节检测模型对应的第一初始模型权重和对应的第二初始模型权重进行更新，并返回执行步骤：在所述本地训练样本集中提取本地训练样本和所述本地训练样本对应的训练样本标签。
109.其中，所述目标肺结节检测模型包括目标检测模型和分类模型，
110.在所述基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，获得目标肺结节检测模型的步骤之后，所述肺结节检测模型构建优化方法还包括：
111.步骤a10，获取待检测目标对应的待预测肺结节图像，并基于所述目标检测模型，对所述待预测肺结节图像进行目标检测，获得目标检测结果；
112.在本实施例中，获取待检测目标对应的待预测肺结节图像，并基于所述目标检测模型，对所述待预测肺结节图像进行目标检测，获得目标检测结果，具体地，获取针对于待检测目标拍摄的待预测肺结节图像，进而基于目标检测模型，对所述待预测肺结节图像进行目标检测，以在待检测肺结节图像中框选肺结节候选区域图像，并将所述肺结节候选区域图像作为所述目标检测结果。
113.步骤a20，通过所述分类模型对所述目标检测结果进行分类，对所述待检测目标进行肺结节检测，获得肺结节检测结果。
114.在本实施例中，通过所述分类模型对所述目标检测结果进行分类，对所述待检测目标进行肺结节检测，获得肺结节检测结果，具体地，基于所述分类模型，对所述肺结节候选区域图像进行二分类，获得二分类结果，进而基于所述二分类结果，判别所述待检测目标是否存在肺结节，获得肺结节检测结果，其中，由于目标肺结节检测模型对难例肺结节样本也具备较高的检测准确度，进而分别提升了目标检测模型对难例肺结节样本的目标检测精度，以及分类模型对难例肺结节样本的分类准确度，进而提升了肺结节检测的准确度。
115.本技术实施例提供了一种肺结节检测模型构建优化方法，相比于现有技术采用的基于本地的肺结节图像数据本地构建肺结节检测模型的技术手段，本技术实施例首先获取
本地训练样本集中的难例肺结节样本集，并基于难例肺结节样本集，通过与第二设备进行联邦学习建模，构建联邦肺结节检测模型，进而实现了基于联邦学习构建用于准确识别难例样本的联邦肺结节检测模型的目的，进而基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，使得待训练本地肺结节检测模型可学习到联邦肺结节检测模型准确识别难例肺结节样本的模型知识，进而使得获得的目标肺结节检测模型具备准确识别难例肺结节样本的能力，所以克服了现有技术中肺结节检测模型常常会将疑似肺结节而实际上不是肺结节的图像区域识别为病灶区域的技术缺陷，所以，提升了肺结节检测模型的检测准确度。
116.进一步地，参照图2，基于本技术中第一实施例，在本技术的另一实施例中，所述基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化所述本地肺结节检测模型，获得目标肺结节检测模型的步骤包括：
117.步骤b10，在所述本地训练样本集中选取非难例训练样本和难例训练样本；
118.在本实施例中，需要说明的是，所述本地训练样本集由难例训练样本集和非难例训练样本集组成，所述难例训练样本集中至少包括一难例训练样本，所述非难例训练样本集中至少包括一非难例训练样本。
119.步骤b20，计算所述非难例训练样本在所述待训练本地肺结节检测模型上的第一模型预测损失；
120.在本实施例中，计算所述非难例训练样本在所述待训练本地肺结节检测模型上的第一模型预测损失，具体地，基于所述待训练本地肺结节检测模型，对所述非难例训练样本进行肺结节检测，获得第一训练肺结节检测结果，进而基于所述非难例训练样本对应的非难例训练样本标签和所述第一训练肺结节检测结果之间的差异度，计算第一模型预测损失。
121.步骤b30，计算所述难例训练样本在所述待训练本地肺结节检测模型上的第二模型预测损失，并计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失；
122.在本实施例中，计算所述难例训练样本在所述待训练本地肺结节检测模型上的第二模型预测损失，并计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失，具体地，基于所述待训练本地肺结节检测模型中的特征提取器，对所述难例训练样本进行特征提取，获得第一中间样本特征，进而基于所述待训练本地肺结节检测模型中的分类器，对所述第一中间样本特征进行全连接，获得第一全连接层输出，进而通过预设激活函数将所述第一全连接层输出转换为第一难例模型预测结果，进而基于所述第一难例模型预测结果与所述难例训练样本对应的难例训练样本标签之间的差异度，计算第二模型预测损失，进一步地，基于所述联邦肺结节检测模型中的特征提取器，对所述难例训练样本进行特征提取，获得第二中间样本特征，进而基于所述联邦肺结节检测模型中的分类器，对所述第二中间样本特征进行全连接，获得第二全连接层输出，进而通过预设激活函数将所述第二全连接层输出转换为第二难例模型预测结果，进而基于所述第一中间样本特征与所述第二中间样本特征之间的差异度，以及所述第一难例模型预测结果与所述第二难例模型预测结果之间的差异度，计算模型蒸馏总损失。
123.其中，所述计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦
肺结节检测模型之间的模型蒸馏总损失的步骤包括：
124.步骤b31，获取所述待训练本地肺结节模型中的特征提取器对所述难例训练样本进行特征提取生成的第一中间样本特征，以及获取所述待训练本地肺结节模型对所述难例训练样本执行模型预测生成的第一难例模型预测结果；
125.在本实施例中，获取所述待训练本地肺结节模型中的特征提取器对所述难例训练样本进行特征提取生成的第一中间样本特征，以及获取所述待训练本地肺结节模型对所述难例训练样本执行模型预测生成的第一难例模型预测结果，具体地，基于所述待训练本地肺结节模型中的特征提取器，对所述难例训练样本进行特征提取，获得第一中间样本特征，进而基于所述待训练本地肺结节模型中的分类器，对所述第一中间样本特征进行全连接，获得第一全连接层输出，进而基于预设激活函数，将所述第一全连接层输出转换为第一难例模型预测结果。
126.步骤b32，获取所述联邦肺结节检测模型中的特征提取器对所述难例训练样本进行特征提取生成的第二中间样本特征，以及获取所述联邦肺结节检测模型对所述难例训练样本执行模型预测生成的第二难例模型预测结果；
127.在本实施例中，获取所述联邦肺结节检测模型中的特征提取器对所述难例训练样本进行特征提取生成的第二中间样本特征，以及获取所述联邦肺结节检测模型对所述难例训练样本执行模型预测生成的第二难例模型预测结果，具体地，基于所述联邦肺结节检测模型中的特征提取器，对所述难例训练样本进行特征提取，获得第二中间样本特征，进而基于所述联邦肺结节检测模型中的分类器，对所述第二中间样本特征进行全连接，获得第二全连接层输出，进而基于预设激活函数，将所述第二全连接层输出转换为第二难例模型预测结果。
128.步骤b33，基于所述第一中间样本特征和所述第二中间样本特征之间的差异度，计算第一模型蒸馏损失；
129.在本实施例中，需要说明的是，计算所述第一模型蒸馏损失的损失函数至少包括对比学习损失函数以及交叉熵损失函数中的一种。
130.步骤b34，基于所述第一难例模型预测结果和所述第二难例模型预测结果之间的差异度，计算第二模型蒸馏损失；
131.在本实施例中，需要说明的是，计算所述第二模型蒸馏损失的损失函数至少包括对比学习损失函数以及交叉熵损失函数中的一种。
132.步骤b35，对所述第一模型蒸馏损失和所述第二模型蒸馏损失进行聚合，获得所述模型蒸馏总损失。
133.在本实施例中，对所述第一模型蒸馏损失和所述第二模型蒸馏损失进行聚合，获得所述模型蒸馏总损失，具体地，对所述第一模型蒸馏损失和所述第二模型蒸馏损失进行加权求和，获得模型蒸馏总损失。
134.其中，所述模型蒸馏总损失包括对比学习总损失，
135.所述计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失的步骤包括：
136.步骤c10，获取所述待训练本地肺结节模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第一中间样本特征，以及所述联邦肺结节检测模型中的特征
提取器对至少一个所述难例训练样本进行特征提取生成的第二中间样本特征；
137.在本实施例中，需要说明的是，所述难例训练样本的数量至少为1。
138.获取所述待训练本地肺结节模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第一中间样本特征，以及所述联邦肺结节检测模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第二中间样本特征，具体地，基于所述待训练本地肺结节模型中的特征提取器，对各所述难例训练样本进行特征提取，获得各第一中间样本特征，以及基于所述联邦肺结节检测模型中的特征提取器，对各所述难例训练样本进行特征提取，获得各第二中间样本特征。
139.步骤c20，基于各所述第一中间样本特征和各所述第二中间样本特征，构建所述对比学习总损失。
140.在本实施例中，具体地，在各所述第二中间样本特征中确定每一第一中间样本特征对应的正样本特征以及至少一个负样本特征，进而对于每一所述第一中间样本特征均执行以下步骤：
141.依据所述第一中间样本特征与对应的正样本特征之间的差异度，以及所述第一中间样本特征以及对应的至少一个负样本特征之间的差异度，计算所述第一中间样本特征对应的对比损失，进一步地，对各第一中间样本特征对应的对比损失进行求和，得到所述对比学习总损失。
142.其中，所述在各所述第二中间样本特征中确定每一第一中间样本特征对应的正样本特征以及至少一个负样本特征的步骤包括：
143.获取所述第一中间样本特征对应的样本id，进而将所述样本id对应的第二中间样本特征作为所述第一中间样本特征对应的正样本特征，以及将除所述正样本特征之外的各第二中间样本特征作为所述第一中间样本特征对应的负样本特征。
144.其中，计算所述对比损失的具体公式如下：
[0145][0146]
其中，l
n
为所述对比损失，f(x)
t
为所述第一中间样本特征，f(x

)为所述第一中间样本特征对应的正样本特征，为所述第一中间样本特征对应的第j个负样本特征，n
‑
1为负样本特征的数量。
[0147]
步骤b40，基于所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失，迭代优化待训练本地肺结节检测模型，获得所述目标肺结节检测模型。
[0148]
在本实施例中，基于所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失，迭代优化待训练本地肺结节检测模型，获得所述目标肺结节检测模型，具体地，计算所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失共同对应的模型总损失，进而基于所述模型总损失，迭代优化待训练本地肺结节检测模型，获得目标肺结节检测模型。
[0149]
其中，所述基于所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏
总损失，迭代优化待训练本地肺结节检测模型，获得所述目标肺结节检测模型的步骤包括：
[0150]
步骤b41，对所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失进行加权组合，获得模型总损失；
[0151]
在本实施例中，具体地，对所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失进行加权求和，获得模型总损失。
[0152]
步骤b42，判断所述模型总损失是否收敛，若所述模型总损失收敛，则将所述待训练本地肺结节检测模型作为所述目标肺结节检测模型；
[0153]
步骤b43，若所述模型总损失未收敛，则基于所述模型总损失，更新所述待训练本地肺结节检测模型，并返回执行步骤：在所述本地训练样本集中选取非难例训练样本和难例训练样本。
[0154]
在本实施例中，判断所述模型总损失是否收敛，若所述模型总损失收敛，则证明所述待训练本地肺结节模型已收敛，进而直接将所述待训练本地肺结节检测模型作为所述目标肺结节检测模型，若所述模型总损失收敛，则证明所述待训练本地肺结节模型未收敛，进而基于所述模型总损失计算的梯度，通过预设模型更新方法更新所述待训练本地肺结节检测模型的模型参数，以进行下一轮迭代，并返回执行步骤：在所述本地训练样本集中选取非难例训练样本和难例训练样本。
[0155]
另外地，需要说明的是，虽然直接依据所述本地训练样本集，与第二设备进行联邦学习建模得到的肺结节检测模型可在本地训练样本集上收敛，但是当本地训练样本集的量级较大时，第一设备本地迭代训练的肺结节检测模型仅仅在难例样本集上的识别精度不高，而在非难例样本集中仍然存在较高的识别精度，且由于联邦学习建模需要数据在密文状态下进行计算，其所需的通信资源和计算资源均远远高于本地建模，若直接基于量级较大的本地训练样本集进行联邦学习建模，所需的通信资源和计算资源过高，而本技术实施例只基于量级较小的难例样本集进行联邦学习建模，得到联邦肺结节检测模型，进而在联邦学习阶段减少了模型构建所需的通信资源和计算资源，同时又利用模型蒸馏的方式，促使待训练本地肺结节检测模型学习联邦肺结节检测模型的模型知识，进而使得迭代训练优化得到的目标肺结节检测模型具备和所述联邦肺结节检测模型一致的对难例肺结节样本进行准确检测的能力，而由于模型蒸馏的过程均在第一设备本地进行，不需要与第二设备进行交互，也即不需要与外部进行通信，进而节约了通信资源，且本地模型构建过程可直接在明文状态下即可进行，其所需的计算资源远远小于联邦学习建模所需的计算资源，进而节约了计算资源，所以，本技术实施例中的肺结节检测模型构建方法，相比于直接依据所述本地训练样本集，与第二设备进行联邦学习建模得到肺结节检测模型的方式，本技术实施例构建的目标肺结节检测模型可在保证检测精度的同时，又节约了设备的通信资源和计算资源，且当本地训练样本集中难例样本的占比较低时，节约设备的通信资源和计算资源的效果将更佳。
[0156]
本技术实施例提供一种基于模型蒸馏的肺结节检测模型构建方法，也即，在所述本地训练样本集中选取非难例训练样本和难例训练样本，进而计算所述非难例训练样本在所述待训练本地肺结节检测模型上的第一模型预测损失，进而计算所述难例训练样本在所述待训练本地肺结节检测模型上的第二模型预测损失，并计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失，进而基于所
述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失，迭代优化待训练本地肺结节检测模型，获得所述目标肺结节检测模型，实现了基于模型蒸馏的方式，在迭代训练待训练本地肺结节检测模型的过程中促使待训练本地肺结节检测模型学习联邦肺结节检测模型的模型知识，进而使得迭代训练优化得到的目标肺结节检测模型具备和所述联邦肺结节检测模型一致的对难例肺结节样本进行准确检测的能力，进而提升了肺结节检测模型的检测准确度。
[0157]
参照图3，图3是本技术实施例方案涉及的硬件运行环境的设备结构示意图。
[0158]
如图3所示，该肺结节检测模型构建优化设备可以包括：处理器1001，例如cpu，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non
‑
volatile memory)，例如磁盘存储器。存储器 1005可选的还可以是独立于前述处理器1001的存储设备。
[0159]
可选地，该肺结节检测模型构建优化设备还可以包括矩形用户接口、网络接口、摄像头、rf(radio frequency，射频)电路，传感器、音频电路、 wifi模块等等。矩形用户接口可以包括显示屏(display)、输入子模块比如键盘(keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如wi
‑
fi接口)。
[0160]
本领域技术人员可以理解，图3中示出的肺结节检测模型构建优化设备结构并不构成对肺结节检测模型构建优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0161]
如图3所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及肺结节检测模型构建优化程序。操作系统是管理和控制肺结节检测模型构建优化设备硬件和软件资源的程序，支持肺结节检测模型构建优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与肺结节检测模型构建优化系统中其它硬件和软件之间通信。
[0162]
在图3所示的肺结节检测模型构建优化设备中，处理器1001用于执行存储器1005中存储的肺结节检测模型构建优化程序，实现上述任一项所述的肺结节检测模型构建优化方法的步骤。
[0163]
本技术肺结节检测模型构建优化设备具体实施方式和有益效果与上述肺结节检测模型构建优化方法各实施例基本相同，在此不再赘述。
[0164]
本技术实施例还提供一种肺结节检测模型构建优化装置，所述肺结节检测模型构建优化装置应用于肺结节检测模型构建优化设备，所述肺结节检测模型构建优化装置包括：
[0165]
联邦学习建模模块，用于获取本地训练样本集中的难例肺结节样本集，并基于难例肺结节样本集，通过与第二设备进行联邦学习建模，构建联邦肺结节检测模型；
[0166]
迭代优化模块，用于基于所述联邦肺结节检测模型和所述本地训练样本集，迭代优化待训练本地肺结节检测模型，获得目标肺结节检测模型。
[0167]
可选地，所述迭代优化模块还用于：
[0168]
基于所述本地训练样本集，对所述待训练本地肺结节检测模型进行迭代训练优
化，获得本地肺结节检测模型；
[0169]
基于第一初始模型权重和第二初始模型权重，对所述联邦肺结节检测模型和所述本地肺结节检测模型进行聚合，获得聚合肺结节检测模型；
[0170]
基于所述本地训练样本集，迭代训练优化所述聚合肺结节检测模型，获得所述目标肺结节检测模型。
[0171]
可选地，所述迭代优化模块还用于：
[0172]
在所述本地训练样本集中提取本地训练样本和所述本地训练样本对应的训练样本标签；
[0173]
基于所述聚合肺结节检测模型，对所述本地训练样本执行模型预测，获得聚合模型预测结果；
[0174]
基于所述聚合模型预测结果和所述训练样本标签，计算聚合模型损失；
[0175]
基于所述聚合模型损失，优化所述聚合肺结节检测模型对应的聚合权重，获得所述目标肺结节检测模型。
[0176]
可选地，所述迭代优化模块还用于：
[0177]
在所述本地训练样本集中选取非难例训练样本和难例训练样本；
[0178]
计算所述非难例训练样本在所述待训练本地肺结节检测模型上的第一模型预测损失；
[0179]
计算所述难例训练样本在所述待训练本地肺结节检测模型上的第二模型预测损失，并计算所述难例训练样本在所述待训练本地肺结节检测模型与所述联邦肺结节检测模型之间的模型蒸馏总损失；
[0180]
基于所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失，迭代优化待训练本地肺结节检测模型，获得所述目标肺结节检测模型。
[0181]
可选地，所述迭代优化模块还用于：
[0182]
获取所述待训练本地肺结节模型中的特征提取器对所述难例训练样本进行特征提取生成的第一中间样本特征，以及获取所述待训练本地肺结节模型对所述难例训练样本执行模型预测生成的第一难例模型预测结果；
[0183]
获取所述联邦肺结节检测模型中的特征提取器对所述难例训练样本进行特征提取生成的第二中间样本特征，以及获取所述联邦肺结节检测模型对所述难例训练样本执行模型预测生成的第二难例模型预测结果；
[0184]
基于所述第一中间样本特征和所述第二中间样本特征之间的差异度，计算第一模型蒸馏损失；
[0185]
基于所述第一难例模型预测结果和所述第二难例模型预测结果之间的差异度，计算第二模型蒸馏损失；
[0186]
对所述第一模型蒸馏损失和所述第二模型蒸馏损失进行聚合，获得所述模型蒸馏总损失。
[0187]
可选地，所述迭代优化模块还用于：
[0188]
对所述第一模型预测损失、所述第二模型预测损失和所述模型蒸馏总损失进行加权组合，获得模型总损失；
[0189]
判断所述模型总损失是否收敛，若所述模型总损失收敛，则将所述待训练本地肺
结节检测模型作为所述目标肺结节检测模型；
[0190]
若所述模型总损失未收敛，则基于所述模型总损失，更新所述待训练本地肺结节检测模型，并返回执行步骤：在所述本地训练样本集中选取非难例训练样本和难例训练样本。
[0191]
可选地，所述模型蒸馏总损失包括对比学习总损失，所述迭代优化模块还用于：
[0192]
获取所述待训练本地肺结节模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第一中间样本特征，以及所述联邦肺结节检测模型中的特征提取器对至少一个所述难例训练样本进行特征提取生成的第二中间样本特征；
[0193]
基于各所述第一中间样本特征和各所述第二中间样本特征，构建所述对比学习总损失。
[0194]
可选地，所述肺结节检测模型构建优化装置还用于：
[0195]
获取待检测目标对应的待预测肺结节图像，并基于所述目标检测模型，对所述待预测肺结节图像进行目标检测，获得目标检测结果；
[0196]
通过所述分类模型对所述目标检测结果进行分类，对所述待检测目标进行肺结节检测，获得肺结节检测结果。
[0197]
本技术肺结节检测模型构建优化装置的具体实施方式和有益效果与上述肺结节检测模型构建优化方法各实施例基本相同，在此不再赘述。
[0198]
本技术实施例提供了一种可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的肺结节检测模型构建优化方法的步骤。
[0199]
本技术可读存储介质具体实施方式和有益效果与上述肺结节检测模型构建优化方法各实施例基本相同，在此不再赘述。
[0200]
本技术实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的肺结节检测模型构建优化方法的步骤。
[0201]
本技术计算机程序产品具体实施方式和有益效果与上述肺结节检测模型构建优化方法各实施例基本相同，在此不再赘述。
[0202]
以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利处理范围内。