病灶预测模型的在线学习方法及设备与流程

1.本发明实施例涉及医用超声技术领域，具体涉及一种病灶预测模型的在线学习方法及设备。


背景技术：

2.乳腺癌是发生在乳腺上皮组织的恶性肿瘤，据癌症统计数据显示乳腺癌位于女性恶性肿瘤发病率的首位，因此对于乳腺癌的早期筛查显得尤为重要。乳腺超声图像能够清楚地显示乳腺各层软组织及其中病灶的位置、形态、内部结构及相邻组织的改变，而且具有经济、便捷、无创伤、无痛苦、无放射性和重复性强等诸多优点，已成为乳腺检查的重要方式之一。目前在临床诊断过程中使用较为广泛且相对权威的诊断标准是由美国放射协会(american college of radiology，acr)提出的乳腺影像报告和数据系统(breast imaging reporting and data system，bi-rads)。bi-rads使用统一的、专业的术语对乳腺病灶的特征和分级进行分类。
3.临床中不同医生在对乳腺病灶的bi-rads特征和bi-rads分级进行分析时，往往含有很大的主观成分在里面，导致不同医生的诊断结果不一致，甚至同一医生在不同时间段的诊断结果也不一致。随着计算机科学技术的不断发展，计算机辅助诊断(computer-aided diagnosis，cad)系统逐渐用于对乳腺超声图像进行智能诊断，不仅可以减轻医生的工作量，提升医生的工作效率，还可以有效地减少不同医生或同一医生不同时段诊断的差异性。当cad系统安装到超声设备上之后，目前通常采用替换超声设备中软件的方式来对cad系统中的乳腺病灶预测模型进行更新，这种更新方式不仅周期较长而且操作较为繁琐。


技术实现要素：

4.本发明实施例提供一种病灶预测模型的在线学习方法及设备，用于解决现有方法中乳腺病灶预测模型更新周期长、操作繁琐的问题。
5.第一方面，本发明实施例提供一种病灶预测模型的在线学习方法，包括：
6.获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级；
7.从超声图像中提取bi-rads特征对应的多个特征子向量，bi-rads特征包括形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征中的至少两个；
8.从多个特征子向量中确定具有标注信息的目标特征子向量，其中具有标注信息表示存在乳腺病灶的bi-rads特征的类型的描述信息；
9.确定多个特征子向量对应的第一损失函数；
10.确定目标特征子向量对应的第二损失函数；
11.融合多个特征子向量得到融合特征向量，并根据获取的bi-rads分级确定融合特征向量对应的第三损失函数；
12.根据第一损失函数、第二损失函数和第三损失函数对乳腺病灶预测模型进行在线
训练，乳腺病灶预测模型用于对待分析的包含乳腺病灶的超声图像进行处理和分析，得到乳腺病灶的bi-rads特征的类型和bi-rads分级。
13.第二方面，本发明实施例提供一种病灶预测模型的在线学习方法，包括：
14.获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级；
15.从超声图像中提取bi-rads特征对应的多个特征子向量，bi-rads特征包括形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征中的至少两个；
16.确定多个特征子向量对应的第一损失函数；
17.融合多个特征子向量得到融合特征向量，并根据获取的bi-rads分级确定融合特征向量对应的第三损失函数；
18.根据第一损失函数和第三损失函数对乳腺病灶预测模型进行在线训练，乳腺病灶预测模型用于对待分析的包含乳腺病灶的超声图像进行处理和分析，得到乳腺病灶的bi-rads特征的类型和bi-rads分级。
19.第三方面，本发明实施例提供一种病灶预测模型的在线学习方法，包括：
20.获取包含甲状腺病灶的超声图像以及所述甲状腺病灶的ti-rads分级；
21.从所述超声图像中提取ti-rads特征对应的多个特征子向量，所述ti-rads特征包括成分特征、回声特征、形状特征、边缘特征、局灶性强回声特征中的至少两个；
22.从所述多个特征子向量中确定具有标注信息的目标特征子向量，其中具有所述标注信息表示存在所述甲状腺病灶的ti-rads特征的类型的描述信息；
23.确定所述多个特征子向量对应的第一损失函数；
24.确定所述目标特征子向量对应的第二损失函数；
25.融合所述多个特征子向量得到融合特征向量，并根据获取的所述ti-rads分级确定所述融合特征向量对应的第三损失函数；
26.根据所述第一损失函数、所述第二损失函数和所述第三损失函数对甲状腺病灶预测模型进行在线训练，所述甲状腺病灶预测模型用于对待分析的包含甲状腺病灶的超声图像进行处理和分析，得到甲状腺病灶的ti-rads特征的类型和ti-rads分级。
27.第四方面，本发明实施例提供一种病灶预测模型的在线学习方法，包括：
28.获取包含甲状腺病灶的超声图像以及所述甲状腺病灶的ti-rads分级；
29.从所述超声图像中提取ti-rads特征对应的多个特征子向量，所述ti-rads特征包括成分特征、回声特征、形状特征、边缘特征、局灶性强回声特征中的至少两个；
30.确定所述多个特征子向量对应的第一损失函数；
31.融合所述多个特征子向量得到融合特征向量，并根据获取的所述ti-rads分级确定所述融合特征向量对应的第三损失函数；
32.根据所述第一损失函数和所述第三损失函数对甲状腺病灶预测模型进行在线训练，所述甲状腺病灶预测模型用于对待分析的包含甲状腺病灶的超声图像进行处理和分析，得到甲状腺病灶的ti-rads特征的类型和ti-rads分级。
33.第五方面，本发明实施例提供一种超声成像设备，包括：
34.超声探头；
35.发射电路，用于按照设定模式将相应的发射序列输出至超声探头，以控制超声探
头发射相应的超声波；
36.接收电路，用于接收超声探头输出的超声回波信号，输出超声回波数据；
37.显示器，用于输出可视化信息；
38.处理器，用于执行如上述第一至第四方面中任一项所述的病灶预测模型的在线学习方法。
39.第六方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上述第一至第四方面中任一项所述的病灶预测模型的在线学习方法。
40.本发明实施例提供的病灶预测模型的在线学习方法及设备，通过获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级；从超声图像中提取bi-rads特征对应的多个特征子向量；从多个特征子向量中确定具有标注信息的目标特征子向量；确定多个特征子向量对应的第一损失函数；确定目标特征子向量对应的第二损失函数；融合多个特征子向量得到融合特征向量，并根据获取的bi-rads分级确定融合特征向量对应的第三损失函数；根据第一损失函数、第二损失函数和第三损失函数对乳腺病灶预测模型进行在线训练。实现了基于标注缺失的超声图像对乳腺病灶预测模型的在线训练，缩短了模型更新周期，简化了更新操作步骤。
附图说明
41.图1为本发明一实施例提供的超声成像设备的结构框图；
42.图2为本发明一实施例提供的病灶预测模型的在线学习方法的流程图；
43.图3为本发明一实施例提供的对病灶预测模型进行在线训练的过程示意图；
44.图4为本发明又一实施例提供的病灶预测模型的在线学习方法的流程图。
具体实施方式
45.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
46.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
47.本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
48.如图1所示，本发明提供的超声成像设备可以包括：超声探头20、发射/接收电路30
(即发射电路310和接收电路320)、波束合成模块40、iq解调模块50、存储器60、处理器70和人机交互装置。处理器70可以包括控制模块710和图像处理模块720。
49.超声探头20包括由阵列式排布的多个阵元组成的换能器(图中未示出)，多个阵元排列成一排构成线阵，或排布成二维矩阵构成面阵，多个阵元也可以构成凸阵列。阵元用于根据激励电信号发射超声波束，或将接收的超声波束变换为电信号。因此每个阵元可用于实现电脉冲信号和超声波束的相互转换，从而实现向人体组织的目标区域(例如本实施例中包含乳腺病灶的乳腺区域或包含甲状腺病灶的甲状腺区域)发射超声波、也可用于接收经组织反射回的超声波的回波。在进行超声检测时，可通过发射电路310和接收电路320控制哪些阵元用于发射超声波束，哪些阵元用于接收超声波束，或者控制阵元分时隙用于发射超声波束或接收超声波束的回波。参与超声波发射的阵元可以同时被电信号激励，从而同时发射超声波；或者参与超声波发射的阵元也可以被具有一定时间间隔的若干电信号激励，从而持续发射具有一定时间间隔的超声波。
50.本实施例中，用户通过移动超声探头20选择合适的位置和角度向乳腺或甲状腺区域10发射超声波并接收由乳腺区域10返回的超声波的回波，获得并输出该回波的电信号，回波的电信号是按以接收阵元为通道所形成的通道模拟电信号，其携带有幅度信息、频率信息和时间信息。
51.发射电路310用于根据处理器70的控制模块710的控制产生发射序列，发射序列用于控制多个阵元中的部分或者全部向生物组织发射超声波，发射序列参数包括发射用的阵元位置、阵元数量和超声波束发射参数(例如幅度、频率、发射次数、发射间隔、发射角度、波型、聚焦位置等)。某些情况下，发射电路310还用于对发射的波束进行相位延迟，使不同的发射阵元按照不同的时间发射超声波，以便各发射超声波束能够在预定的感兴趣区域聚焦。不同的工作模式，例如b图像模式、c图像模式和d图像模式(多普勒模式)，发射序列参数可能不同，回波信号经接收电路320接收并经后续的模块和相应算法处理后，可生成反映组织解剖结构的b图像、反映组织解剖结构和血流信息的c图像以及反映多普勒频谱图像的d图像。
52.接收电路320用于从超声探头20接收超声回波的电信号，并对超声回波的电信号进行处理。接收电路320可以包括一个或多个放大器、模数转换器(adc)等。放大器用于在适当增益补偿之后放大所接收到的超声回波的电信号，模数转换器用于对模拟回波信号按预定的时间间隔进行采样，从而转换成数字化的信号，数字化后的回波信号依然保留有幅度信息、频率信息和相位信息。接收电路320输出的数据可输出给波束合成模块40进行处理，或者，输出给存储器60进行存储。
53.波束合成模块40和接收电路320信号相连，用于对接收电路320输出的信号进行相应的延时和加权求和等波束合成处理，由于被测组织中的超声波接收点到接收阵元的距离不同，因此，不同接收阵元输出的同一接收点的通道数据具有延时差异，需要进行延时处理，将相位对齐，并将同一接收点的不同通道数据进行加权求和，得到波束合成后的超声图像数据，波束合成模块40输出的超声图像数据也称为射频数据(rf数据)。波束合成模块40将射频数据输出至iq解调模块50。在有的实施例中，波束合成模块40也可以将射频数据输出至存储器60进行缓存或保存，或将射频数据直接输出至处理器70的图像处理模块720进行图像处理。
54.波束合成模块40可以采用硬件、固件或软件的方式执行上述功能，例如，波束合成模块40可以包括能够根据特定逻辑指令处理输入数据的中央控制器电路(cpu)、一个或多个微处理芯片或其他任何电子部件，当波束合成模块40采用软件方式实现时，其可以执行存储在有形和非暂态计算机可读介质(例如，存储器60)上的指令，以使用任何适当波束合成方法进行波束合成计算。
55.iq解调模块50通过iq解调去除信号载波，提取信号中包含的组织结构信息，并进行滤波去除噪声，此时获取的信号称为基带信号(iq数据对)。iq解调模块50将iq数据对输出至处理器70的图像处理模块720进行图像处理。在有的实施例中，iq解调模块50还将iq数据对输出至存储器60进行缓存或保存，以便图像处理模块720从存储器60中读出数据进行后续的图像处理。
56.处理器70用于配置成能够根据特定逻辑指令处理输入数据的中央控制器电路(cpu)、一个或多个微处理器、图形控制器电路(gpu)或其他任何电子部件，其可以根据输入的指令或预定的指令对外围电子部件执行控制，或对存储器60执行数据读取和/或保存，也可以通过执行存储器60中的程序对输入数据进行处理，例如根据一个或多个工作模式对采集的超声数据执行一个或多个处理操作，处理操作包括但不限于调整或限定超声探头20发出的超声波的形式，生成各种图像帧以供后续人机交互装置的显示器80进行显示，或者调整或限定在显示器80上显示的内容和形式，或者调整在显示器80上显示的一个或多个图像显示设置(例如超声图像、界面组件、定位感兴趣区域)。
57.图像处理模块720用于对波束合成模块40输出的数据或iq解调模块50输出的数据进行处理，以生成扫描范围内的信号强弱变化的灰度图像，该灰度图像反映组织内部的解剖结构，称为b图像。图像处理模块720可以将b图像输出至人机交互装置的显示器80进行显示。
58.人机交互装置用于进行人机交互，即接收用户的输入和输出可视化信息；其接收用户的输入可采用键盘、操作按钮、鼠标、轨迹球等，也可以采用与显示器集成在一起的触控屏；其输出可视化信息采用显示器80。
59.存储器60可以是有形且非暂态的计算机可读介质，例如可为闪存卡、固态存储器、硬盘等，用于存储数据或者程序，例如，存储器60可以用于存储所采集的超声数据或处理器70所生成的暂不立即显示的图像帧，或者存储器60可以存储图形用户界面、一个或多个默认图像显示设置、用于处理器、波束合成模块或iq解码模块的编程指令。
60.本实施例提供的超声成像设备可以搭载cad系统，cad系统采用乳腺病灶预测模型对包含乳腺病灶的超声图像进行处理和分析，输出乳腺病灶的bi-rads特征的类型和bi-rads分级。在将cad系统安装到超声成像设备上之前，需要基于训练集完成对乳腺病灶预测模型的初始训练。在进行初始训练之前，需要由高年资医生完成对训练集中的样本超声图像的bi-rads特征的类型和bi-rads分级的标注。可以理解的是，cad系统可采用甲状腺病灶预测模型对包含甲状腺病灶的超声图像进行处理和分析，输出甲状腺病灶的ti-rads特征的类型和ti-rads分级。在将cad系统安装到超声成像设备上之前，需要基于训练集完成对甲状腺病灶预测模型的初始训练。在进行初始训练之前，需要由高年资医生完成对训练集中的样本超声图像的ti-rads特征的类型和ti-rads分级的标注。
61.需要说明的是，图1所示的结构仅为示意，还可以包括比图1中所示更多或者更少
的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件和/或软件实现。图1所示的超声成像设备可以用于执行本发明任一实施例所提供的乳腺病灶预测模型的在线学习方法。
62.目前对于cad系统中乳腺病灶预测模型和/或甲状腺病灶预测模型的更新常采用替换软件的方式进行，不仅周期长而且操作繁琐，为了缩短周期、简化操作，本技术中采用在线学习的方式对乳腺病灶预测模型和/或甲状腺病灶预测模型进行更新。例如可以在cad系统中设置开启在线学习功能的开关，当该系统的在线学习功能被激活时，基于训练样本对乳腺病灶预测模型和/或甲状腺病灶预测模型进行在线训练。对于训练样本的标注将消耗大量高端的医疗资源，人力成本高昂。临床中将产生大量包含乳腺病灶或甲状腺病灶的超声图像，若能基于临床中所产生的超声图像完成乳腺病灶预测模型和/或甲状腺病灶预测模型的在线训练，不仅可以大大地降低成本，还可以使训练后得到的乳腺病灶预测模型和/或甲状腺病灶预测模型更加适应当前医院的数据采集风格和数据分布状态。然而在实际临床过程中，医生在查看包含乳腺病灶或甲状腺病灶的超声图像时，往往仅给出bi-rads分级或ti-rads分级的信息，而并没有太多的时间和精力给出全部bi-rads或ti-rads特征的类型的信息。也就是说实际临床中获得的超声图像可能只具有bi-rads分级或ti-rads分级信息，或者，具有bi-rads分级或ti-rads分级信息和部分bi-rads特征或ti-rads特征的类型的信息。如何基于实际临床中所获得的标注不全的超声图像完成对乳腺病灶预测模型的在线优化具有重要的研究价值。本技术将分别针对具有bi-rads分级或ti-rads分级信息和部分bi-rads特征或ti-rads特征的类型的信息的情况和只具有bi-rads分级或ti-rads分级信息的情况，详细阐述如何实现在线学习。
63.下面以乳腺bi-rads为例进行详细说明，甲状腺ti-rads的相关说明可参考乳腺bi-rads进行理解，本技术不做赘述。
64.请参考图2，本发明一实施例提供的病灶预测模型的在线学习方法可以包括：
65.s201、获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级。
66.本实施例中获取的超声图像可以来自于实际临床过程中，每张超声图像都具有相对应的bi-rads分级信息。可以通过超声成像设备的超声探头向包含乳腺病灶的乳腺区域发射超声波，并接收乳腺区域返回的超声回波，得到超声回波数据，根据超声回波数据实时生成包含乳腺病灶的超声图像，具体的可以由医生在被检者乳腺充分暴露的皮肤表面涂以耦合剂，然后手持超声探头紧贴患者乳腺部皮肤进行扫查。或者还可以从存储设备中获取预先存储的包含乳腺病灶的超声图像。
67.一种可选的实施方式中，当cad系统的在线学习功能开启时，可以实时获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级。另一种可选的实施方式中，为了降低在线学习对于医生正常工作的影响，可以在预设时间段内获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级。预设时间段可以为医生的非工作时间段。预设时间段可以由医生进行设置。
68.s202、从超声图像中提取bi-rads特征对应的多个特征子向量，bi-rads特征包括形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征中的至少两个。
69.本实施例中可以基于传统图像处理方法或者基于卷积神经网络模型从超声图像
中提取bi-rads特征对应的多个特征子向量。例如可以先计算超声图像的灰度值，然后利用harris、sift、surf、lbf、hog、dpm、orb等算子对超声图像进行bi-rads特征提取，将提取的bi-rads特征进行bi-rads特征分组，然后得到对应的多个特征子向量；还可以基于vgg、resnet、densenet、shufflenet、senet、efficientnet等预先训练好的模型从超声图像中提取bi-rads特征，将提取的bi-rads特征进行bi-rads特征分组，然后得到对应的多个特征子向量。本实施例中的bi-rads特征可以包括形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征中的至少两个。本实施例中ti-rads特征可以包括成分特征、回声特征、形状特征、边缘特征、局灶性强回声特征中的至少两个。例如可以从超声图像中提取形状特征对应的特征子向量和方向特征对应的特征子向量；还可以从超声图像中提取形状特征对应的特征子向量、方向特征对应的特征子向量和后方回声特征对应的特征子向量；也可以从超声图像中提取全部bi-rads特征对应的所有特征子向量。
70.s203、从多个特征子向量中确定具有标注信息的目标特征子向量，其中具有标注信息表示存在乳腺病灶的bi-rads特征的类型的描述信息。
71.考虑到实际临床中所获得的超声图像可能只具有部分bi-rads特征的类型的信息，因此本实施例中在提取到特征子向量之后，还需要确定哪些特征子向量具有相应bi-rads特征的类型的描述信息，哪些特征子向量缺失了bi-rads特征的类型的描述信息。
72.实际临床中采集的超声图像通常具有相对应的诊断信息，诊断信息是根据医生的输入确定的或者是由医生对乳腺病灶预测模型的输出进行修改得到的。例如医生可以通过下拉菜单的方式从bi-rads特征的所有类型中选择当前乳腺病灶所对应的类型，也可以通过文本框的方式输入当前乳腺病灶的bi-rads特征的类型的描述信息。一种可选的实施方式中，从多个特征子向量中确定具有标注信息的目标特征子向量具体可以包括：获取乳腺病灶的诊断信息，诊断信息是根据医生的输入确定的或者是由医生对乳腺病灶预测模型的输出进行修改得到的；通过对诊断信息进行自然语言处理，获取诊断信息中所包含的乳腺病灶的bi-rads特征的类型；将诊断信息中所包含的bi-rads特征的类型与各个特征子向量进行匹配，将匹配有bi-rads特征的类型的特征子向量确定为目标特征子向量。
73.s204、确定多个特征子向量对应的第一损失函数。
74.本实施例中在得到多个特征子向量之后，便可以基于无监督聚类的方式确定多个特征子向量对应的第一损失函数。
75.一种可选的实施例中，还可以根据各个特征子向量内部的相关性以及多个特征子向量之间的相关性确定第一损失函数。第一损失函数l
group
可以根据如下表达式确定：
76.l
group
＝(1-mean(d
intra
)) mean(d
inter
)
77.其中，d
intra
表示同一组特征子向量内部的相关性矩阵，d
inter
表示不同组特征子向量之间的相关性矩阵，mean()表示求矩阵内元素的平均值。相关性矩阵d定义如下：
78.d＝bmm(norm(f),norm(f)
t
)
79.其中，f表示提取到的特征子向量，大小为(batch,channels,w*h),norm(f)表示对特征子向量进行归一化，norm(f)
t
是norm(f)的转置矩阵，大小为(batch,w*h,channels)，bmm()表示基于batch的矩阵乘积。
80.s205、确定目标特征子向量对应的第二损失函数。
81.本实施例中在确定出标注了bi-rads特征的类型的目标特征子向量之后，还可以
根据标注的bi-rads特征的类型以及乳腺病灶预测模型输出的bi-rads特征的类型，基于均方损失、交叉熵损失和焦点损失(focal loss)等方法确定目标特征子向量对应的第二损失函数。
82.一种可选的实施方式中，目标特征子向量对应的第二损失函数l
features
′
可以根据如下表达式确定：
[0083][0084]
其中，y
′
表示乳腺病灶预测模型输出的bi-rads特征的预测向量，y表示转化为one-hot编码格式之后的目标特征子向量的标注信息，f
′
的取值范围对应于具有标注信息的目标特征子向量的数量。
[0085]
s206、融合多个特征子向量得到融合特征向量，并根据获取的bi-rads分级确定融合特征向量对应的第三损失函数。
[0086]
本实施例中在从超声图像中提取bi-rads特征对应的多个特征子向量之后，还可以通过融合多个特征子向量来得到bi-rads分级相对应的融合特征向量。一种可选的实施方式中，可以通过特征拼接的方式或者特征相加的方式融合多个特征子向量得到融合特征向量。然后再根据步骤s201中获取到的bi-rads分级以及乳腺病灶预测模型所输出的bi-rads分级来确定融合特征向量对应的第三损失函数。可选的，融合特征向量对应的第三损失函数l
birads
可以根据如下表达式确定：
[0087][0088]
其中，i的取值范围是(0，5)，分别对应bi-rads分级中的2、3、4a、4b、4c和5。yi′
表示乳腺病灶预测模型输出的bi-rads分级的预测向量，每个值分别表示属于某一bi-rads分级的概率，yi表示步骤s201中获取到的bi-rads分级采用one-hot编码格式所对应的向量，具体的：bi-rads分级2对应[1,0,0,0,0,0]，bi-rads分级3对应[0,1,0,0,0,0]，bi-rads分级4a对应[0,0,1,0,0,0]，bi-rads分级4b对应[0,0,0,1,0,0]，bi-rads分级4c对应[0,0,0,0,1,0]，bi-rads分级5对应[0,0,0,0,0,1]。
[0089]
s207、根据第一损失函数、第二损失函数和第三损失函数对乳腺病灶预测模型进行在线训练，乳腺病灶预测模型用于对待分析的包含乳腺病灶的超声图像进行处理和分析，得到乳腺病灶的bi-rads特征的类型和bi-rads分级。
[0090]
本实施例中在得到第一损失函数、第二损失函数和第三损失函数之后，便可以根据第一损失函数、第二损失函数和第三损失函数对乳腺病灶预测模型进行在线训练。可以根据第一损失函数、第二损失函数和第三损失函数确定目标损失函数，并以目标损失函数最小化为目标对乳腺病灶预测模型进行在线训练。目标损失函数例如可以是第一损失函数、第二损失函数和第三损失函数的加权求和。可选的，目标损失函数l
′
可以根据如下表达式确定：
[0091]
l
′
＝α*l
group
β*l
features
′
γ*l
birads
[0092]
其中，α,β,γ是平衡因子，可以用来平衡各部分损失函数，可以根据实验结果确定，例如可以是0至1之间的常数。l
group
表示第一损失函数，l
features
′
表示第二损失函数，
l
birads
表示第三损失函数。
[0093]
乳腺病灶预测模型是用于对待分析的包含乳腺病灶的超声图像进行处理和分析，得到乳腺病灶的bi-rads特征的类型和bi-rads分级的模型。可以理解的是，在对其进行在线训练之前，或者说，在使用之前，需要先基于训练集中的训练样本完成对乳腺病灶预测模型的初始训练。训练样本具有bi-rads分级以及全部bi-rads特征的类型的标注信息。可选的，可以参照如下方法基于训练集中的训练样本对乳腺病灶预测模型进行初始训练：
[0094]
首先对训练样本进行特征提取，从训练样本中提取各个bi-rads特征对应的特征子向量，并按照步骤s204所提供的第一损失函数l
group
的表达式确定第一损失函数的取值。然后再根据训练样本的标注信息和乳腺病灶预测模型输出的预测信息，确定第二损失函数l
features
和第三损失函数l
birads
的取值。其中，
[0095][0096]
f的取值范围是(0,6)，分别对应形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征。y
′
表示乳腺病灶预测模型输出的对于bi-rads特征的类型的预测向量，y表示采用one-hot编码格式的训练样本的标注信息。l
birads
可以采用步骤s206所提供的表达式确定。最后根据如下表达式确定目标损失函数l并以目标损失函数最小化为目标进行迭代训练：
[0097]
l＝α*l
group
β*l
features
γ*l
birads
[0098]
其中，α,β,γ是平衡因子，用来平衡各部分损失。训练过程中，在验证集上对乳腺病灶预测模型的分类精度进行测试，当验证集上的分类精度保持稳定或训练次数达到预设值时，完成对乳腺病灶预测模型的初始训练。一个实施方式中，可以基于本次训练得到的分类精度与之前至少一次迭代训练得到的分类精度的差值来确定本次训练得到的分类精度是否趋近于稳定。例如，如果该差值小于某个预设值，则确定本次训练得到的分类精度趋于稳定。
[0099]
本实施例提供的病灶预测模型的在线学习方法，通过获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级；从超声图像中提取bi-rads特征对应的多个特征子向量；从多个特征子向量中确定具有标注信息的目标特征子向量；确定多个特征子向量对应的第一损失函数；确定目标特征子向量对应的第二损失函数；融合多个特征子向量得到融合特征向量，并根据获取的bi-rads分级确定融合特征向量对应的第三损失函数；根据第一损失函数、第二损失函数和第三损失函数对乳腺病灶预测模型进行在线训练。实现了基于标注缺失的超声图像对乳腺病灶预测模型的在线训练，缩短了模型更新周期，简化了更新操作步骤。而且利用实际临床中所采集的超声图像优化和更新乳腺病灶预测模型，不仅可以使模型更加适应当前医院的数据采集风格和数据分布状态，还可以使得模型的输出结果与当前医院的诊断风格更加一致。对于甲状腺ti-rads的相关说明和效果可参考乳腺bi-rads进行理解，此处不做赘述。
[0100]
为了进一步确保乳腺病灶预测模型的更新是沿着提高分类精度的方向进行的，还需要在测试集上对模型的分类精度进行测试，只有当更新后模型的分类精度大于原模型的分类精度时，才使用更新后的模型替换原模型。在线训练过程中，若每迭代一次便计算一次
分类精度，将大大影响模型的训练效率。因此，在上述实施例的基础上，为了兼顾分类精度和训练效率，本实施例提供的方法还可以包括：根据第一损失函数、第二损失函数和第三损失函数对乳腺病灶预测模型进行预设次数的在线训练，得到新的乳腺病灶预测模型；基于相同的测试集合分别确定乳腺病灶预测模型和新的乳腺病灶预测模型的分类精度；当新的乳腺病灶预测模型的分类精度高于乳腺病灶预测模型的分类精度，将乳腺病灶预测模型更新为新的乳腺病灶预测模型。其中，预设次数的具体取值可以根据实际需要进行设置。当cad系统对于分类精度敏感时，可以设置较小的次数；当cad系统对于计算复杂度敏感时，可以设置较大的次数。假设收集到500张包含乳腺病灶的超声图像用于对乳腺病灶预测模型进行在线训练时，可以每进行10次迭代训练之后，便在测试集上确定模型分类精度，也可以在进行100次迭代训练之后，才在训练集上确定模型的分类精度，以便根据分类精度确定是否对原模型进行替换。
[0101]
在上述实施例的基础上，下面进一步对如何从超声图像中提取bi-rads特征对应的多个特征子向量进行阐述。一种可选的实施方式中，从超声图像中提取bi-rads特征对应的多个特征子向量，具体可以包括：从超声图像中提取特征向量，将提取到的特征向量分为多个特征子向量，每个特征子向量与一个bi-rads特征相对应。例如可以基于卷积神经网络resnet50从超声图像中提取特征向量，然后将提取到的特征进行特征分组，得到各个bi-rads特征相对应的特征子向量。可选的，可以将提取到的特征向量分为五个特征子向量，分别与形状特征、方向特征、边缘特征、内部回声特征和后方回声特征相对应。
[0102]
请参考图3，图3展示了对乳腺病灶预测模型进行在线训练的过程。如图3所示，首先采用卷积神经网络模型(convolutional neural networks，cnn)从包含乳腺病灶的超声图像中提取特征向量。然后将提取到的特征向量分为五个特征子向量，分别与形状特征、方向特征、边缘特征、内部回声特征和后方回声特征相对应，并基于诊断信息确定形状特征的类型为椭圆，方向特征的类型为平行，边缘特征的类型为光整，内部回声特征的类型为无回声，而后方回声特征不具有标注信息，也就是说本示例中的目标特征子向量包括形状特征、方向特征、边缘特征和内部回声特征所对应的特征子向量。最后再对五个特征子向量进行融合，得到与bi-rads分级相对应的融合特征向量，本示例中bi-rads分级为3。基于五个特征子向量、四个目标特征子向量和融合特征向量便可以实现对乳腺病灶预测模型的在线训练。
[0103]
另一种可选的实施方式中，从超声图像中提取bi-rads特征对应的多个特征子向量具体可以包括：采用多个预训练的特征提取卷积神经网络模型从超声图像中提取bi-rads特征对应的多个特征子向量，每个特征提取卷积神经网络模型用于从超声图像中提取一个bi-rads特征所对应的特征子向量。例如可以预先训练形状特征提取卷积神经网络模型用于提取形状特征对应的特征子向量，方向特征提取卷积神经网络模型用于提取方向特征对应的特征子向量，边缘特征提取卷积神经网络模型用于提取边缘特征对应的特征子向量，内部回声特征提取卷积神经网络模型用于提取内部回声特征对应的特征子向量，后方回声特征提取卷积神经网络模型用于提取后方回声特征对应的特征子向量，钙化特征提取卷积神经网络模型用于提取钙化特征对应的特征子向量，血流特征提取卷积神经网络模型用于提取血流特征对应的特征子向量。该实施方式中，在特征提取卷积神经网络模型训练好之后，可以从超声图像中直接获取到各个bi-rads特征所对应的特征子向量，无需再对向
量进行划分。
[0104]
上述实施例阐述了在具有bi-rads分级信息和部分bi-rads特征的类型的信息的情况下，如何实现乳腺病灶预测模型的在线学习。而在实际临床中，还存在一些包含乳腺病灶的超声图像仅具有bi-rads分级信息，下面的实施例将阐述在仅具有bi-rads分级信息的情况下，如何实现乳腺病灶预测模型的在线学习。需要说明的是，下述实施例不仅适用于仅具有bi-rads分级信息的情况，同样适用于具有bi-rads分级信息和部分bi-rads特征的类型的信息的情况，在该情况下可以理解为仅使用了其中的bi-rads分级信息用于实现乳腺病灶预测模型的在线学习。请参考图4，本实施例提供的病灶预测模型的在线学习方法，可以包括：
[0105]
s401、获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级。
[0106]
具体实现方式可以参考s201，此处不再赘述。
[0107]
s402、从超声图像中提取bi-rads特征对应的多个特征子向量，bi-rads特征包括形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征中的至少两个。
[0108]
具体实现方式可以参考s202，此处不再赘述。
[0109]
s403、确定多个特征子向量对应的第一损失函数。
[0110]
具体实现方式可以参考s204，此处不再赘述。
[0111]
s404、融合多个特征子向量得到融合特征向量，并根据获取的bi-rads分级确定融合特征向量对应的第三损失函数。
[0112]
具体实现方式可以参考s206，此处不再赘述。
[0113]
s405、根据第一损失函数和第三损失函数对乳腺病灶预测模型进行在线训练，乳腺病灶预测模型用于对待分析的包含乳腺病灶的超声图像进行处理和分析，得到乳腺病灶的bi-rads特征的类型和bi-rads分级。
[0114]
本实施例中在得到第一损失函数和第三损失函数之后，便可以根据第一损失函数和第三损失函数对乳腺病灶预测模型进行在线训练。可以根据第一损失函数和第三损失函数确定目标损失函数，并以目标损失函数最小化为目标对乳腺病灶预测模型进行在线训练。目标损失函数例如可以是第一损失函数和第三损失函数的加权和。基于训练集中的训练样本对乳腺病灶预测模型的初始训练过程可以参考步骤s207，此处不再赘述。
[0115]
本实施例提供的病灶预测模型的在线学习方法，通过获取包含乳腺病灶的超声图像以及乳腺病灶的bi-rads分级；从超声图像中提取bi-rads特征对应的多个特征子向量；确定多个特征子向量对应的第一损失函数；融合多个特征子向量得到融合特征向量，并根据获取的bi-rads分级确定融合特征向量对应的第三损失函数；根据第一损失函数和第三损失函数对乳腺病灶预测模型进行在线训练。实现了仅基于bi-rads分级信息对乳腺病灶预测模型的在线训练，使得临床中采集到的包含乳腺病灶的超声图像均可以用于乳腺病灶预测模型的在线训练，降低了构建训练样本的成本，缩短了模型更新周期，简化了更新操作步骤。而且利用实际临床中所采集的超声图像优化和更新乳腺病灶预测模型，不仅可以使模型更加适应当前医院的数据采集风格和数据分布状态，还可以使得模型的输出结果与当前医院的诊断风格更加一致。对于甲状腺ti-rads的相关说明和效果可参考乳腺bi-rads进行理解，此处不做赘述。
[0116]
在上述实施例的基础上，为了兼顾分类精度和训练效率，本实施例提供的方法还可以包括：根据第一损失函数和第三损失函数对乳腺病灶预测模型进行预设次数的在线训练，得到新的乳腺病灶预测模型；基于相同的测试集合分别确定乳腺病灶预测模型和新的乳腺病灶预测模型的分类精度；当新的乳腺病灶预测模型的分类精度高于乳腺病灶预测模型的分类精度，将乳腺病灶预测模型更新为新的乳腺病灶预测模型。其中，预设次数的具体取值可以根据实际需要进行设置。本实施例提供的方法可以在确保分类精度的前提下，提高乳腺病灶预测模型在线学习的效率。
[0117]
一种可选的实施方式中，确定多个特征子向量对应的第一损失函数具体可以包括：根据各个特征子向量内部的相关性以及多个特征子向量之间的相关性确定第一损失函数。其中，相关性可以采用相关性矩阵表示。
[0118]
一种可选的实施方式中，从超声图像中提取bi-rads特征对应的多个特征子向量，可以包括：
[0119]
从超声图像中提取特征向量，将提取到的特征向量分为多个特征子向量，每个特征子向量与一个bi-rads特征相对应；
[0120]
或者，
[0121]
采用多个预训练的特征提取卷积神经网络模型从超声图像中提取bi-rads特征对应的多个特征子向量，每个特征提取卷积神经网络模型用于从超声图像中提取一个bi-rads特征所对应的特征子向量。
[0122]
本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。
[0123]
另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(cd-rom、dvd、blu ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
[0124]
虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。
[0125]
前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说
明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。
[0126]
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。