超声图像学习模型训练及图像新病灶区域识别方法、装置

本发明涉及深度学习，尤其涉及一种超声图像学习模型训练及图像新病灶区域识别方法、装置。

背景技术：

1、持续学习是指模型在面对序列到来的任务流时，不仅要学习掌握新任务，还要尽量不遗忘已经学过的旧任务知识；灾难性遗忘指的是深度神经网络在学习新数据分布后，对旧数据分布的预测性能急剧下降的现象。

2、随着持续学习技术在医学超声影像病灶区域内识别领域的广泛落地，临床场景中新病种、新病灶亚型及跨设备成像数据持续涌现，要求模型具备增量学习能力以持续适配新的诊断需求。

3、而现有学习模型在学习新任务时普遍存在灾难性遗忘问题，即学习新知识后历史任务的诊断性能会出现显著衰减，无法满足临床对旧病种诊断的高可靠性要求。目前主流的持续学习方案主要包括重放回放、正则约束与结构隔离三类：基于样本重放的方案受医疗数据隐私合规限制，难以在院内场景大规模应用；基于参数正则与知识蒸馏的方案在任务特征差异较大时遗忘累积明显，旧任务性能难以长期稳定；基于结构隔离的方案会随任务数量增长导致参数量持续膨胀，部署与维护成本不断升高。现有学习模型训练的方案存在稳定性与可塑性（学习能力）难以平衡的固有缺陷，无法同时实现旧知识的高保真保留与新知识的高效学习。

4、因此需要提出一种新的超声图像学习模型训练方法，用来提高超声图像学习模型可靠性的同时提高模型的学习能力。

技术实现思路

1、本发明提供了一种超声图像学习模型训练及图像新病灶区域识别方法、装置，用于提高超声图像学习模型可靠性的同时提高模型的学习能力。

2、本发明第一方面公开了一种超声图像学习模型训练方法，所述方法包括：

3、获取历史超声图像数据集和训练超声图像数据集；所述超声图像数据集包括第一类病灶区域和第二类病灶区域；

4、通过所述训练超声图像数据集和所述历史超声图像数据集，对预设的历史模型进行训练，得到训练模型；所述第一类病灶区域为能被所述历史模型识别的病灶区域，所述第二类病灶区域为不能被所述历史模型识别的病灶区域；

5、将所述历史超声图像数据集输入到训练模型中，得到更新激活张量；将所述历史超声图像数据集输入到历史模型中，得到历史激活张量；

6、根据所述更新激活张量和所述历史激活张量，得到代价矩阵；根据所述代价矩阵，对所述历史模型的参数进行重排，得到对齐模型；

7、通过有效融合系数将所述训练模型的参数和所述对齐模型的参数进行融合，得到融合模型；所述有效融合系数用于表示所述对齐模型和所述训练模型对应参数的权重占比；

8、通过预设的交叉熵损失函数对所述融合模型的训练过程进行约束，得到训练好的超声图像学习模型；所述超声图像学习模型用于增量学习超声图像中新病灶区域的识别。

9、作为一种可选的实施方式，在本发明第一方面中，所述根据所述更新激活张量和所述历史激活张量，得到代价矩阵，包括：

10、根据所述历史激活张量，得到所述历史模型中神经元的历史离散概率测度；根据所述更新激活张量，得到所述训练模型中神经元的更新离散概率测度；

11、根据所述历史离散概率测度和所述更新离散概率测度，得到功能差异代价值；根据所述功能差异代价值，得到代价矩阵；

12、其中，所述功能差异代价值的具体计算公式如下：

13、

14、上式中，为历史模型在第个网络层中的第个神经元与训练模型在第个网络层中的第个神经元之间的功能差异代价值；）为协方差，为标准差，为历史模型在第个网络层中第个神经元的平均离散概率测度，为训练模型在第个网络层中的第个神经元的平均离散概率测度，为微小常数。

15、作为一种可选的实施方式，在本发明第一方面中，所述根据所述代价矩阵，对所述历史模型的参数进行重排，得到对齐模型，包括：

16、将所述代价矩阵通过匈牙利算法计算，得到最优排列矩阵；使用所述最优排列矩阵对所述历史模型的参数进行重排，得到对齐模型。

17、作为一种可选的实施方式，在本发明第一方面中，所述通过有效融合系数将所述训练模型的参数和所述对齐模型的参数进行融合，得到融合模型，包括：

18、通过有效融合系数，对所述训练模型的参数和所述对齐模型的参数进行融合，得到融合模型系数；根据所述融合模型系数，得到融合模型；

19、其中，所述有效融合系数是通过以下方式获取的：

20、将预设的可学习融合控制变量通过函数进行映射，得到有效融合系数；所述可学习融合控制变量是用于让模型根据数据自动学习出最优的新旧特征融合比例；

21、所述融合模型系数是通过以下公式得到的：

22、

23、上式中，为训练模型和对齐模型第个网络层的融合模型系数，为训练模型和对齐模型的第个网络层的有效融合系数，为训练模型的第个网络层的参数，为对齐模型的第个网络层的参数。

24、作为一种可选的实施方式，在本发明第一方面中，所述通过预设的交叉熵损失函数对所述融合模型的训练过程进行约束，得到训练好的超声图像学习模型，包括：

25、将所述历史超声图像数据集输入到所述融合模型中，通过交叉熵损失函数计算，得到交叉熵代理损失函数值；根据所述交叉熵代理损失函数值，得到损失梯度；通过所述损失梯度，对所述可学习融合控制变量进行更新，得到优化可学习融合控制变量；

26、根据所述优化可学习融合控制变量，得到优化融合参数；根据所述优化融合参数，得到优化模型；

27、将所述历史超声图像数据集输入到所述优化模型中进行一次前向传播，得到超声图像学习模型。

28、作为一种可选的实施方式，在本发明第一方面中，所述历史超声图像数据集是通过以下方式得到的：

29、通过重放缓冲区获得历史超声图像数据集；所述重放缓冲区是存储所述历史模型进行历史任务训练时的数据集的存储空间；

30、以及，所述函数的具体计算公式如下：

31、

32、上式中，为训练模型和对齐模型的第个网络层的有效融合系数，为第个网络层的可学习融合控制变量。

33、本发明第二方面公开了一种图像新病灶区域识别方法，所述方法包括：

34、当判断出存在第二类病灶区域时，使用本发明第一方面任一所述的超声图像学习模型训练方法，基于所述第二类病灶区域，得到更新后的超声图像学习模型；所述超声图像学习模型用于识别超声图像的第二类病灶区域。

35、本发明第三方面公开了一种超声图像学习模型训练装置，所述装置包括：

36、图像数据获取模块，用于获取历史超声图像数据集和训练超声图像数据集；所述超声图像数据集包括第一类病灶区域和第二类病灶区域；

37、模型初步训练模块，用于通过所述训练超声图像数据集和所述历史超声图像数据集，对预设的历史模型进行训练，得到训练模型；所述第一类病灶区域为能被所述历史模型识别的病灶区域，所述第二类病灶区域为不能被所述历史模型识别的病灶区域；

38、模型对齐训练模块，用于将所述历史超声图像数据集输入到训练模型中，得到更新激活张量；将所述历史超声图像数据集输入到历史模型中，得到历史激活张量；根据所述更新激活张量和所述历史激活张量，得到代价矩阵；根据所述代价矩阵，对所述历史模型的参数进行重排，得到对齐模型；

39、模型融合训练模块，用于通过有效融合系数将所述训练模型的参数和所述对齐模型的参数进行融合，得到融合模型；所述有效融合系数用于表示所述对齐模型和所述训练模型对应参数的权重占比；通过预设的交叉熵损失函数对所述融合模型的训练过程进行约束，得到训练好的超声图像学习模型；所述超声图像学习模型用于增量学习超声图像中新病灶区域的识别。

40、本发明第四方面公开了一种图像新病灶区域识别装置，所述装置包括：

41、图像新病灶区域学习模块，用于当判断出存在第二类病灶区域时，使用本发明第一方面任一所述的超声图像学习模型训练方法，基于所述第二类病灶区域，得到更新后的超声图像学习模型；所述超声图像学习模型用于识别超声图像的第二类病灶区域。

42、本发明第五方面公开了一种包含存储器和处理器的装置，所述装置包括：

43、存储有可执行程序代码的存储器；

44、与所述存储器耦合的处理器；

45、所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的超声图像学习模型训练方法或本发明第二方面公开的图像新病灶区域识别方法。

46、与现有技术相比，本发明具有以下有益效果：

47、本发明通过先获取训练超声图像数据集和历史超声图像数据集，训练历史模型，得到训练模型；将历史超声图像数据集输入到训练模型和历史模型中，得到更新激活张量和历史激活张量，进而得到代价矩阵；根据代价矩阵，对历史模型的参数进行重排，得到对齐模型；通过有效融合系数将训练模型的参数和对齐模型的参数进行融合，得到融合模型；最后通过预设的交叉熵损失函数对融合模型的训练过程进行约束，得到超声图像学习模型。

48、通过联合训练模型，既提高了新任务的学习能力，又为后续最优传输对齐提供了基于真实样本响应的功能特征，而不是仅依赖参数数值本身；后续对齐和融合更加符合神经元的实际功能相似性，提高模型融合的可靠性。

49、通过构建代价矩阵能够消除深度神经网络中由于神经元排列对称性导致的参数坐标不一致问题，避免直接对未对齐参数进行插值时产生高损失屏障或特征破坏，使新旧模型在参数空间中具备更好的可融合性，提高模型的可靠性。

50、通过对模型进行融合，得到融合模型，使不同网络层能够根据自身稳定性，自动选择更偏向历史模型或当前任务模型的融合比例，提高模型的学习能力。