一种面向医疗行为互联网的多用户联邦分割学习方法
本发明属于行为互联网与人工智能融合领域,特别涉及一种网络模型位置分割技术。
背景技术:
1、随着信息技术和人工智能的进步,以生物技术为核心的传统医疗通过数字化、信息化逐渐转型为智慧医疗。其中,医疗模式从以疾病为中心转到以患者为中心,信息建设从临床信息化扩展为区域医疗信息化,医疗管理从综合管理深入到个性化管理,防治观念从注重疾病治疗转变为注重预防保健。
2、在智慧医疗中,医疗物联网(internet of medical thing, iomt)受到了广泛的关注。iomt能够实时监测患者的生命体征和健康状况,从而提高医疗诊断和治疗的准确性;能够自动化各类医疗流程,例如数据收集、病症分析和报告生成,从而提高医疗机构的效率;能够让患者更方便地管理自己的健康状况,例如通过可穿戴设备和智能手机应用程序监测并分析身体指标变化。
3、但是iomt对于实现准确的病情诊断,仍旧有着以下三点缺陷。首先,用于病情诊断的数据完整性不足。iomt主要收集到的是医疗传输器获取的指标、状态等信息,精准的病情诊断需要更全面的信息,如饮食结构、作息习惯、消费行为、社交状态等等。其次,iomt数据的适变性不足。iomt通常涵盖预设设备的周期性探测,以及特殊设备的指定检测。其数据在时间上、空间上对病人状态的适变性不足。另外,准确的病情诊断往往需要iomt数据和个人行为习惯相结合,iomt数据个性化不足。iomt所收集数据通常是病理、病情的客观数据,无法体现不同病人的个性化特征对病情发展的影响,也无法支撑对病人进行个性化的诊疗和预测。
4、而在近些年,行为互联网(internet of behavior, iob)在医疗病情诊断中表现出了巨大潜力。iob构建于物联网和各类其他互联网络上,通过更综合全面的信息分析用户行为,将收集的原始数据转化为用户行为数据,并以此为核心推断用户意图、构建行为网络,反映用户的行为习惯,从而提供更智能、更符合个人心理的服务。iob为iomt病情诊断面临的数据完整性不足、适变性不足、个性化不足三个缺陷提出了解决方案。
5、但是miob当前仍处于发展的起步阶段,想要实现准确且高效的病情诊断模型还有许多关键问题需要解决。对于患者而言,不同来源的行为数据不能简单混在一起进行模型的训练。同时,患者iob设备的算力资源有限,无法在本地直接实现全部学习任务。再者,患者希望保有数据的隐私性,不希望把数据全部传给服务器进行训练。因此,需要为患者研究新型的智能病情诊断模型学习技术,不但使得iob设备的本地计算能力得以利用、多源iob设备病情信息得以融合,还能够同步减少服务器的计算压力。与此同时,每个患者独自训练自己的病情诊断模型还会面临训练数据有限、模型准确性不足、模型泛化能力比较差等问题,难以实现全面的病情诊断。因此,还有必要研究一个多用户模型协同学习机制,从而得到全面的病情诊断模型。
6、为此,本发明提出了一种面向miob的多用户联邦分割学习技术,在通过联邦分割学习降低模型训练总功耗开销、提升隐私保护力度的同时,利用基于注意力机制的联邦学习增强病情诊断模型的泛化能力。这对于促进miob病情诊断的规模化落地具有重要意义。
技术实现思路
1、为解决上述技术问题,本发明提出一种面向医疗行为互联网的多用户联邦分割学习方法,在通过联邦分割学习降低模型训练总功耗开销、提升隐私保护力度的同时,利用基于注意力机制的联邦学习增强病情诊断模型的泛化能力。
2、本发明采用的技术方案为:一种面向医疗行为互联网的多用户联邦分割学习方法,所基于的系统包括医院中心服务器、用户个人服务器、各用户个人服务器对应的若干本地iob设备;所述方法包括以下步骤:
3、s1、记病情诊断模型共包括k层网络结构,当前分隔层位置为第k层,各用户个人服务器按照当前分割层位置对当前病情诊断模型进行切分,将前k层记为本地分割模型,将本地分割模型传送给本地iob设备,将后面的第k+1层到第k层记为服务器分割模型;
4、s2、联邦分割学习包括以下过程:
5、s21、同一用户对应的各本地iob设备依据各自收集的数据进行各自当前本地分割模型的多次迭代的前向传播,并连续将各自当前本地分割模型前向传播训练得到的中间层激活输出依据病情相关度进行加权后上传至该用户的用户个人服务器;
6、s22、用户个人服务器在收到其对应的所有本地iob设备上传的同一次迭代的中间层激活输出后,对当前服务器分割模型进行前向后向传播训练;并同时执行步骤s23、s24;
7、s23、向用户个人服务器对应的所有本地iob设备下传分割层反向传播梯度数据;本地iob设备在收到用户个人服务器下传的分割层反向传播梯度数据后,进行反向传播训练,更新本地分割模型,并返回步骤s21;
8、s24、用户个人服务器向医院中心服务器上传当前迭代前向后向传播训练得到的服务器分割模型;
9、s25、医院中心服务器在收到所有用户个人服务器上传的同一次迭代各自的服务器分割模型后,并行同步进行各服务器分割模型的基于注意力机制联邦学习,得到各自对应的联邦后的服务器分割模型与下一次联邦学习各用户注意力权值;并将联邦后的服务器分割模型传递给各个用户个人服务器,从而对各用户个人服务器的服务器分割模型进行更新,然后返回步骤步骤s22;
10、s3、当已完成所有分割层位置的遍历过程,基于总功耗和隐私泄露函数最优筛选出最优分割层位置。
11、进一步地,步骤s3还包括完成每一个分割层位置的遍历后,判断所有本地iob设备单轮通信加计算总功耗是否超过自身最大储能,若超出,则将该分割层位置标记为废弃的无效分层,将未被标记的分割层记为有效分割层。
12、更进一步地,步骤s3在有效分割层中筛选最优分割层位置。
13、本发明的有益效果:本发明设计了面向miob多用户的注意力驱动联邦分割学习分割位置优化算法,算法会对模型全部分割层位置逐一遍历,分别计算各分割层对应数据传输耗时、各设备与服务器的cpu运算耗时、整体通信和计算产生的功耗,同时核对iob设备储能限制,筛除不符合硬件承载能力的分割方案;全部分层遍历结束后,比对所有可用分层对应的功耗与隐私综合表现,输出整体效果最优的模型分割位置。该算法时间复杂度为,空间复杂度为在常规病情诊断神经网络、常规用户与 iob设备数量规模下,遍历带来的运算负担在接受范围内,可快速完成最优分层的筛选计算,能够高效适配多用户、多iob设备同步开展模型训练的实际使用场景。本发明的方法具备以下优点:
14、(1)本发明设计了医院中心服务器-用户个人服务器-iob设备三层的联邦分割学习技术架构,架构中提出了基于病情相关度的新型联邦分割学习方案,既降低iob设备本地计算压力、保护用户隐私,又降低了用户个人服务器端计算压力;
15、(2)本发明设计的三层联邦分割学习技术架构中还在医院中心服务器上对用户个人服务器训练的服务器端模型进行联邦聚合,大幅度提高病情诊断模型的泛化能力;
16、(3)本发明以服务器分割模型参数量占比作为隐私泄露量化函数,对模型总功耗做归一化处理,引入隐私保护重视比例构建隐私泄露和功耗开销的综合最优函数;约束条件覆盖设备最大储能、各链路数据传输耗时要求、各层硬件算力上限、的取值区间,以最优分割位置为唯一优化变量。通过该联合优化模型可在不同隐私偏好、硬件算力、通信环境下定量权衡训练功耗与隐私泄露,为选择分割层位置提供最优决策依据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com