一种曲率感知联邦医学图像分割参数路由方法和系统

摘要: 本发明涉及医学图像处理、联邦学习和模型参数通信优化,具体涉及一种曲率感知联邦医学图像分割参数路由方法和系统。背景技术:1、医学图像分割是医学图像处理中的基础任务...
一种曲率感知联邦医学图像分割参数路由方法和系统

本发明涉及医学图像处理、联邦学习和模型参数通信优化,具体涉及一种曲率感知联邦医学图像分割参数路由方法和系统。

背景技术:

1、医学图像分割是医学图像处理中的基础任务之一,其目标是对医学图像中的器官、组织结构或其他预设目标区域进行像素级或体素级划分。基于深度学习的医学图像分割模型通常包含较多可训练参数,模型性能容易受到数据来源、成像条件、标注方式和样本分布差异的影响。

2、联邦学习是一种多客户端协同训练模型的技术框架。在该框架下,服务器端向多个客户端下发全局模型,各客户端基于本地数据进行模型训练,并将本地模型更新上传至服务器端;服务器端对多个客户端上传的模型更新进行聚合,以获得新的全局模型。该训练方式能够支持多客户端协同建模,但在医学图像分割任务中,深度分割模型参数规模较大,若每一轮均上传完整模型更新,通信开销会随着模型规模、客户端数量和训练轮数的增加而显著增大。

3、为降低通信开销,现有参数压缩或稀疏上传方法通常采用随机选择、固定比例选择或基于参数更新幅值的 top-k 选择等方式减少上传参数数量。随机选择方法实现简单,但被选参数与当前训练目标之间缺少稳定的对应关系;基于参数更新幅值的选择方法能够保留变化幅度较大的参数,但参数更新幅值并不必然反映该参数对训练损失变化或模型优化方向的贡献。

4、对于医学图像分割模型而言,不同参数位置对局部训练损失和分割掩码输出的影响存在差异。部分参数更新虽然幅值较大,但可能对当前优化目标的贡献有限;部分参数更新幅值较小,却可能处于对损失变化更敏感或局部曲率更明显的方向。因此,仅依赖随机策略或更新幅值进行参数筛选,可能难以充分保留对模型训练更有价值的参数更新。

5、一阶梯度信息能够反映参数更新对损失变化的局部线性影响,二阶曲率信息能够反映损失函数在相应参数方向上的局部变化特征。现有稀疏上传方法较少在客户端参数筛选过程中同时利用一阶敏感度和二阶曲率信息,也较少针对稀疏上传后的参数位置执行掩码感知聚合,容易造成不同客户端上传参数位置不一致时的聚合偏差。

6、因此,需要一种适用于联邦医学图像分割任务的参数更新筛选与聚合方法,在减少客户端上传参数数量的同时,能够根据局部参数更新与局部损失函数之间的关系筛选需要上传的参数位置,并能够针对不同客户端实际上传参数位置不一致的情况执行聚合,以支持多客户端在稀疏参数更新条件下对全局医学图像分割模型进行协同训练。

技术实现思路

1、本发明的目的是为解决联邦医学图像分割模型训练过程中完整上传参数更新通信开销较大、现有稀疏上传方法难以准确保留有效参数更新、以及服务器端对稀疏参数更新聚合不够充分的问题,而提出一种曲率感知联邦医学图像分割参数路由方法和系统。这种方法减少无效参数参与二阶计算和上传,提高稀疏参数更新筛选的针对性,能够在多客户端协同训练过程中减少上传参数规模,从而降低通信开销,能够降低不同客户端上传参数位置不一致对聚合结果的影响,适用于多客户端医学图像分割模型的协同训练场景。

2、实现本发明目的的技术方案是:

3、一种曲率感知联邦医学图像分割参数路由方法,包括如下步骤:

4、服务器端向多个客户端下发全局医学图像分割模型,各客户端基于本地医学图像数据对所述全局医学图像分割模型进行本地训练,获得局部模型参数和局部参数更新。各客户端根据本地训练过程中记录得到的局部梯度和局部参数更新计算一阶敏感度,并依据所述一阶敏感度对参数位置进行第一次排序,形成一阶候选池。

5、在所述一阶候选池内,各客户端估计局部损失函数相对于局部模型参数的hessian矩阵的对角元素,得到hessian对角近似,并从所述hessian对角近似中获取与所述一阶候选池内参数位置对应的对角元素。各客户端对所述对角元素执行正曲率截断,将小于零的对角元素置为零,并保留大于或等于零的对角元素,得到非负曲率分量。

6、所述局部参数更新由客户端本地训练后的局部模型参数减去服务器端在本轮本地训练开始前下发的全局医学图像分割模型参数得到。各客户端根据所述非负曲率分量和对应的所述局部参数更新计算二阶曲率敏感度,并分别对所述一阶敏感度和所述二阶曲率敏感度进行归一化,将归一化后的二阶曲率敏感度乘以预设权重系数后,与归一化后的一阶敏感度相加,得到融合敏感度。随后,各客户端按照所述融合敏感度由高至低在所述一阶候选池内进行第二次排序,并根据第二次排序结果生成参数保留掩码。

7、各客户端按照所述参数保留掩码生成稀疏参数更新,并将所述稀疏参数更新和所述参数保留掩码上传至服务器端。服务器端接收多个客户端上传的所述稀疏参数更新和所述参数保留掩码,并基于所述参数保留掩码对实际上传的参数位置执行掩码感知加权聚合,得到聚合更新。服务器端根据所述聚合更新来更新所述全局医学图像分割模型,得到更新后的全局医学图像分割模型。利用所述更新后的全局医学图像分割模型对待分割医学图像进行分割处理,得到所述待分割医学图像中预设目标区域的分割掩码,所述分割掩码为本技术方案方法的医学图像分割输出结果。

8、一种曲率感知联邦医学图像分割参数路由系统,包括服务器端和多个客户端。所述客户端包括本地训练模块、一阶敏感度计算模块、一阶候选池生成模块、二阶曲率敏感度计算模块、参数保留掩码生成模块和稀疏参数更新上传模块。所述服务器端包括全局模型下发模块、稀疏参数更新接收模块、掩码感知聚合模块、全局模型更新模块和分割掩码输出模块。

9、各模块相互配合,用于执行上述一种曲率感知联邦医学图像分割参数路由方法。

10、与现有技术相比,本技术方案至少具有如下有益效果。

11、第一,本技术方案先利用一阶敏感度对参数位置进行初步排序并形成一阶候选池,使后续筛选过程集中于对当前局部损失函数变化具有较高线性影响的参数位置,有利于减少无效参数参与二阶计算和上传。

12、第二,本技术方案基于hessian对角近似和正曲率截断得到非负曲率分量,并根据所述非负曲率分量计算二阶曲率敏感度;将所述一阶敏感度与所述二阶曲率敏感度归一化融合,得到融合敏感度;在所述一阶候选池内依据所述融合敏感度对参数位置进行第二次排序,使参数保留过程能够同时考虑局部参数更新对局部损失函数变化的局部线性影响以及相应参数方向上的局部曲率特征,有利于提高稀疏参数更新筛选的针对性。

13、第三,本技术方案通过参数保留掩码控制客户端上传的参数位置和参数数量,能够在多客户端协同训练过程中减少上传参数规模,从而降低通信开销。

14、第四,本技术方案在服务器端执行掩码感知加权聚合,仅对实际上传的参数位置进行归一化聚合,能够降低不同客户端上传参数位置不一致对聚合结果的影响。

15、第五,本技术方案在客户端上传稀疏参数更新的条件下,通过服务器端执行掩码感知加权聚合,得到更新后的全局医学图像分割模型;利用所述更新后的全局医学图像分割模型对待分割医学图像进行分割处理,得到所述待分割医学图像中预设目标区域的分割掩码,从而在减少客户端上传参数数量的同时,实现全局医学图像分割模型的多客户端协同训练和医学图像分割输出。