一种基于隐私保护及图像识别的给药方法与装置与流程

1.本发明涉及医疗智能设备技术领域，尤其涉及一种基于隐私保护及图像识别的给药方法与装置。


背景技术：

2.患者在进行口腔内部疾病喷雾给药时，常面临着给药位置不精准、给药量无法根据病情进行调节、药物过期等情况。图像识别技术已经在医学领域有较多实践，可通过为给药装置增加识别装置，识别病灶位置以及病情严重程度，从而对于给药进行调节。由于病人口腔情况的个体差异，相同病情的识别效果可能会有较大差异，还可为给药装置添加信息共享传递功能，基于来自各类患者的口腔图像样本进一步通过联邦学习对识别功能进行训练，这将涉及到患者隐私保护的问题，需要技术方案对其进行解决。同时，针对喷雾给药药物过期的问题，也可通过给药装置的信息传递功能结合区块链及智能合约技术进行给药管理，防止口腔喷雾药物过期及药物滥用。


技术实现要素：

3.本发明的目的是为了解决上述技术问题，提供一种基于隐私保护及图像识别的给药方法。
4.本发明的另一目的是为了提供一种基于隐私保护及图像识别的口腔给药装置。
5.本发明的目的可以通过采取如下技术方案达到： 患者就诊并购买药物后，其医嘱规定用量、药物名称、口腔疾病名称、个人就诊信息录入中央处理装置；所述通过院方及治疗机构、给药装置多终端收集患者口腔病灶图像，聚类并根据病例数量进行隐私保护；通过联邦学习训练口腔定位模型，用于口腔病灶分区定位；训练病情分析模型，用于给药量确定；初始化所述给药装置；患者使用所述给药装置给药，经征集上传所述口腔病灶图像；所述给药装置建立患者给药项目，进行到期提醒、到期锁定以及装置复用。
6.进一步可选地，所述患者就诊并购买药物后，其医嘱规定用量、药物名称、口腔疾病名称、个人就诊信息录入中央处理装置包括：所述口腔疾病名称，包含在以下口腔疾病类别中：龋病、口腔粘膜疾病、牙周疾病。 所述医嘱规定用量，指就诊时医师建议用量，若医生未给出建议用量，则设定为药品说明书规定用量。 所述个人就诊信息，指患者的年龄、性别、开药时间、其他辅助信息。 所述其他辅助信息，指通过文本分析方法从患者就诊病历中所采集的患者既往病史、病情诱因、病情阶段信息，例如：偏好辛辣食物及甜食、曾做过牙髓根管治疗等。 所述中央处理装置，部署于医院或治疗机构信息中心，可对患者医嘱规定用量、药物名称、口腔疾病名称、个人就诊信息数据进行采集、整理、存储及传送。 进一步可选地，所述通过院方及治疗机构、给药装置多终端收集患者口腔病灶图像，聚类并根据病例数量进行隐私保护包括： 所述口腔病灶图像，可通过所述院方及治疗机构经过患者同意后采集，或通过所述给药装置进行采集。 基于所述口腔疾病名称、所述个人就诊信息以及所述其他辅助信息对所述口腔病灶图像聚
类。
7.例如：根据所述口腔疾病名称，某患者患有牙周疾病，且年龄为65周岁，则其与年龄17周岁并患有牙周疾病患者分别分配到两类，这主要是缘于老年人及少年人口腔情况有较大差异。
8.聚类稳定后，统计各聚类所述病例数量，从低至高依次排序，根据排序进行隐私保护，为所述个人就诊信息以及所述其他辅助信息添加噪声，量越少的所述聚类分配越多的隐私预算，以保证样本量少的所述聚类可在模型训练时提供更多可用信息。 所述病例数量，指各聚类中包含的所述口腔病灶图像数量。 所述隐私保护，指使用随机噪声来确保查询请求公开可见信息的结果，并不会泄露个体的隐私信息，即保留数据库的统计学特征的前提下去除个体特征以保护用户隐私；本发明所采用隐私保护技术，为基于拉普拉斯机制的本地差分隐私保护，主要保护结构化信息，包括：所述个人就诊信息以及所述其他辅助信息，隐私预算越大，则信息的保护水平越低，可用信息越多。
9.进一步可选地，所述通过联邦学习训练口腔定位模型，用于口腔病灶分区定位包括： 所述口腔定位模型，用于在口腔内部进行病灶位置识别，具体训练方式包括： 1）对口腔内部结构进行分区，即将口腔各器官位置匹配至多个口腔分区；例如，针对牙齿，可按照临床所用的牙列分类，分为右上、左上、左下、右下等4个区域，右上分为第一区域，即右上中切牙为11牙，右上第二磨牙为17牙，左上分为第二区域，则左上中切牙为21牙，以此类推；2）预收集的所述口腔病灶图像标注所述口腔分区及所述口腔疾病名称，进行机器学习模型训练；3）所得口腔定位模型可基于所述给药装置新采集的口腔图像判断图像中是否包含口腔疾病病灶，并迅速判断病灶所在所述口腔分区； 4）同一医师处就诊的患者，其所述口腔病灶图像进行统一收集及训练；同时，为避免不同医师的诊断差异，在分属各医师的多终端处进行训练的模型，上传训练参数至联邦学习服务器，更新后返回参数，各终端更新模型。
10.所述联邦学习，为横向联邦学习，即分发全部数据到不同的机器，每台机器从服务器下载模型，然后利用本地数据训练模型，之后返回给服务器需要更新的参数；服务器聚合各机器上的返回的参数，更新模型，再把最新的模型反馈到每台机器。 进一步可选地，所述训练病情分析模型，用于给药量确定包括： 基于图像识别技术进行病情分析模型预训练，所得模型可基于所述给药装置新采集的所述口腔病灶图像判断患者口腔疾病的所述聚类。 确定所述聚类对应的所述不同病情规定用药量，作为本次给药所述给药量。 所述病情阶段，指口腔疾病的严重程度，包括病灶的大小及已持续时间。 所述不同病情规定用药量指在所述医嘱规定用量基础上，通过临床试验所确定的该药物在该疾病不同病情严重程度及患者身体条件下的给药量。 进一步可选地，所述初始化所述给药装置包括： 所述初始化，指所述中央处理装置向所述给药装置录入所述医嘱规定用量、所述药物名称、所述口腔疾病名称、所述不同病情规定用药量、所述个人就诊信息数据；同时向所述给药装置嵌入所述口腔定位模型以及所述病情分析模型。 进一步可选地，所述患者使用所述给药装置给药，经征集上传所述口腔病灶图像包括： 患者使用所述给药装置给药，所述给药装置通过所述口腔定位模型以及所述病情分析模型识别口腔内病灶位置，并基于所述不同病情规定用药量或所述不同病情规定用药量进行给药。 根据聚类后的所述病例数量，所述中央处理装置
也可进行所述口腔病灶图像征集，即向所述病例数较少的所述聚类条件相符患者的所述给药装置发送征集推送，以扩大样本量；患者可通过所述给药装置，上传口腔病灶图像，经隐私保护后供模型学习，包括： 1）所述给药装置，在经过患者同意后，可采集患者所述口腔病灶图像及所述个人就诊信息； 2）所述口腔病灶图像经过图像分割处理，非口腔面部器官将被高斯模糊处理，以防泄露患者隐私； 3）所述个人就诊信息上传时去除身份识别信息，例如：姓名、电话、就诊日期；对经征集后自愿上传图像的患者采取奖励机制，即已经征集后上传所述口腔病灶图像的患者自上传之日起，可通过所述给药装置匹配原接诊医师，获得一次远程预约咨询。
11.进一步可选地，所述所述给药装置建立患者给药项目，进行到期提醒、到期锁定以及装置复用包括：由于口腔喷雾给药常面临药物过期的情况，因此通过所述给药装置，结合区块链智能合约功能，可进行给药情况监测，并实现装置复用。
12.区块链预设智能合约，所述智能合约，可在所述给药装置发放之日起录入所述药物名称、所述给药装置发放时间以及药物有效期限，建立所述给药项目。
13.所述智能合约，可为每个所述给药装置在区块链建立所述给药项目进行管理；同时根据所述药物有效期限及所述给药装置发放时间进行时间推算，在所述给药装置发放后时间超过所述药物有效期限时，通过所述给药装置进行到期提醒或对所述给药装置进行到期锁定。
14.所述药物有效期限，包括说明书确定的药物有效期限，以及医嘱所推荐的使用时长，例如：部分药物长时间使用会导致咽部不适，因此医师会对使用时间提出建议。针对说明书所确定的所述药物有效期限，所述给药装置会进行所述到期锁定，即不可再进行给药；针对医嘱所推荐的所述药物有效期限，所述给药装置会进行所述到期提醒，但患者仍可选择继续使用。
15.在所述到期提醒及所述到期锁定后，患者可通过所述给药装置向医院发出申请，若患者经医师诊断需要继续使用该药物或更换其他药物，可在医院进行装置清洗及药物补充，即所述给药装置可继续重复使用。
16.在使用其他药物时，需再次设定新药物的相关参数，建立新的所述给药项目。
17.本发明的另一目的可以通过采取如下技术方案达到：一种基于隐私保护及图像识别的给药方法与装置其特征在于，所述装置包括：所述给药装置，为一种手持、符合人体口腔给药要求的喷雾给药装置，包括储药仓室、图像采集分析装置、给药探头、信息互联装置。 所述储药仓室，用于药液保存。 所述图像采集分析模块，可在口腔前方规定距离和方向进行口腔内部图像采集，并包含所述口腔定位模型以及所述病情分析模型，可进行图像比对及所述病灶口腔分区、所述给药量判断。 所述给药探头向所述病灶口腔分区给予所述给药量的药液，具体包括： 1）所述给药探头，可根据所述口腔定位模型判断结果进行旋转，顶部具有微距摄像头进行图像采集并传回所述图像采集分析模块进行图像比对，直至所述给药探头顶部朝向与所述病灶口腔分区相同； 2）在所述给药量确定后，给药探头吸取所述给药量的药液，并进行给药； 所述信息互联模块，位于所述储药仓室瓶身，主要有以下功能：a. 用于建立所述给药项目，进行所述到期提醒、到期锁定，患者由此向医院发出
所述装置复用申请；b. 用于向患者发送征集推送，患者由此上传所述口腔病灶图像及所述个人就诊信息，经隐私保护后供模型学习；c. 用于记录上传所述口腔病灶图像时间及次数，当患者需要进行预约咨询时向原接诊医师发送预约推送。
18.本发明实施例提供的技术方案可以包括以下有益效果： 本发明所提供的方法与装置，可以通过图像识别确认病人口腔病灶位置及病情严重情况，基于预先设定好的不同病情给药量进行精准给药；采用了联邦学习的方法，结合聚类结果，有选择性地向目标人群采集缺乏的口腔图像样本；同时，聚类结果也影响到了对于不同样本的隐私保护力度，以保证小病例数量聚类在模型训练时能呈现更多的有效信息。同时，本发明所采用的方法及装置不仅有利于扩充口腔病灶图像的训练样本，还有利于为自愿上传的患者设立奖励机制，并可建立给药管理项目，防止喷雾类药物过期及滥用，促进装置复用。
19.【附图说明】 图1为本发明的一种基于隐私保护及图像识别的给药方法的流程图。 图2为本发明的一种基于隐私保护及图像识别的口腔给药装置的结构图。
20.【具体实施方式】 为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。 图1为本发明的一种基于隐私保护及图像识别的给药方法流程图。如图1所示，本实施例一种基于隐私保护及图像识别的给药方法具体可以包括： s1：患者就诊并购买药物后，其医嘱规定用量、药物名称、口腔疾病名称、个人就诊信息录入中央处理装置。
21.所述口腔疾病名称，包含在以下口腔疾病类别中：龋病、口腔粘膜疾病、牙周疾病。 所述医嘱规定用量，指就诊时医师建议用量，若医生未给出建议用量，则设定为药品说明书规定用量。 所述个人就诊信息，指患者的年龄、性别、开药时间、其他辅助信息。 所述其他辅助信息，指通过文本分析方法从患者就诊病历中所采集的患者既往病史、病情诱因、病情阶段信息，例如：偏好辛辣食物及甜食、曾做过牙髓根管治疗等。 所述中央处理装置，部署于医院或治疗机构信息中心，可对患者医嘱规定用量、药物名称、口腔疾病名称、个人就诊信息数据进行采集、整理、存储及传送。 s2：通过院方及治疗机构、给药装置多终端收集患者口腔病灶图像，聚类并根据病例数量进行隐私保护包括： 所述口腔病灶图像，可通过所述院方及治疗机构经过患者同意后采集，或通过所述给药装置进行采集。 基于所述口腔疾病名称、所述个人就诊信息以及所述其他辅助信息对所述口腔病灶图像聚类。
22.例如：根据所述口腔疾病名称，某患者患有牙周疾病，且年龄为65周岁，则其与年龄17周岁并患有牙周疾病患者分别分配到两类，这主要是缘于老年人及少年人口腔情况有较大差异。
23.聚类稳定后，统计各聚类所述病例数量，从低至高依次排序，根据排序进行隐私保护，为所述个人就诊信息以及所述其他辅助信息添加噪声，量越少的所述聚类分配越多的隐私预算，以保证样本量少的所述聚类可在模型训练时提供更多可用信息。 所述病例数量，指各聚类中包含的所述口腔病灶图像数量。 所述隐私保护，指使用随机噪声来确保查询请求公开可见信息的结果，并不会泄露个体的隐私信息，即保留数据库的统计学特征的前提下去除个体特征以保护用户隐私；本发明所采用隐私保护技术，为基于拉普拉斯机制的本地差分隐私保护，主要保护结构化信息，包括：所述个人就诊信息以及所述其他辅助信
息，隐私预算越大，则信息的保护水平越低，可用信息越多。
24.s3：通过联邦学习训练口腔定位模型，用于口腔病灶分区定位包括： 所述口腔定位模型，用于在口腔内部进行病灶位置识别，具体训练方式包括： 1）对口腔内部结构进行分区，即将口腔各器官位置匹配至多个口腔分区；例如，针对牙齿，可按照临床所用的牙列分类，分为右上、左上、左下、右下等4个区域，右上分为第一区域，即右上中切牙为11牙，右上第二磨牙为17牙，左上分为第二区域，则左上中切牙为21牙，以此类推；2）预收集的所述口腔病灶图像标注所述口腔分区及所述口腔疾病名称，进行机器学习模型训练；3）所得口腔定位模型可基于所述给药装置新采集的口腔图像判断图像中是否包含口腔疾病病灶，并迅速判断病灶所在所述口腔分区； 4）同一医师处就诊的患者，其所述口腔病灶图像进行统一收集及训练；同时，为避免不同医师的诊断差异，在分属各医师的多终端处进行训练的模型，上传训练参数至联邦学习服务器，更新后返回参数，各终端更新模型。
25.所述联邦学习，为横向联邦学习，即分发全部数据到不同的机器，每台机器从服务器下载模型，然后利用本地数据训练模型，之后返回给服务器需要更新的参数；服务器聚合各机器上的返回的参数，更新模型，再把最新的模型反馈到每台机器。 s4：训练病情分析模型，用于给药量确定包括： 基于图像识别技术进行病情分析模型预训练，所得模型可基于所述给药装置新采集的所述口腔病灶图像判断患者口腔疾病的所述聚类。 确定所述聚类对应的所述不同病情规定用药量，作为本次给药所述给药量。 所述病情阶段，指口腔疾病的严重程度，包括病灶的大小及已持续时间。 所述不同病情规定用药量指在所述医嘱规定用量基础上，通过临床试验所确定的该药物在该疾病不同病情严重程度及患者身体条件下的给药量。 s5：初始化所述给药装置包括： 所述初始化，指所述中央处理装置向所述给药装置录入所述医嘱规定用量、所述药物名称、所述口腔疾病名称、所述不同病情规定用药量、所述个人就诊信息数据；同时向所述给药装置嵌入所述口腔定位模型以及所述病情分析模型。 s6：患者使用所述给药装置给药，经征集上传所述口腔病灶图像包括： 患者使用所述给药装置给药，所述给药装置通过所述口腔定位模型以及所述病情分析模型识别口腔内病灶位置，并基于所述不同病情规定用药量或所述不同病情规定用药量进行给药。 根据聚类后的所述病例数量，所述中央处理装置也可进行所述口腔病灶图像征集，即向所述病例数较少的所述聚类条件相符患者的所述给药装置发送征集推送，以扩大样本量；患者可通过所述给药装置，上传口腔病灶图像，经隐私保护后供模型学习，包括： 1）所述给药装置，在经过患者同意后，可采集患者所述口腔病灶图像及所述个人就诊信息； 2）所述口腔病灶图像经过图像分割处理，非口腔面部器官将被高斯模糊处理，以防泄露患者隐私； 3）所述个人就诊信息上传时去除身份识别信息，例如：姓名、电话、就诊日期；对经征集后自愿上传图像的患者采取奖励机制，即已经征集后上传所述口腔病灶图像的患者自上传之日起，可通过所述给药装置匹配原接诊医师，获得一次远程预约咨询。
26.s7：所述给药装置建立患者给药项目，进行到期提醒、到期锁定以及装置复用。
27.由于口腔喷雾给药常面临药物过期的情况，因此通过所述给药装置，结合区块链智能合约功能，可进行给药情况监测，并实现装置复用。
28.区块链预设智能合约，所述智能合约，可在所述给药装置发放之日起录入所述药
物名称、所述给药装置发放时间以及药物有效期限，建立所述给药项目。
29.所述智能合约，可为每个所述给药装置在区块链建立所述给药项目进行管理；同时根据所述药物有效期限及所述给药装置发放时间进行时间推算，在所述给药装置发放后时间超过所述药物有效期限时，通过所述给药装置进行到期提醒或对所述给药装置进行到期锁定。
30.所述药物有效期限，包括说明书确定的药物有效期限，以及医嘱所推荐的使用时长，例如：部分药物长时间使用会导致咽部不适，因此医师会对使用时间提出建议。针对说明书所确定的所述药物有效期限，所述给药装置会进行所述到期锁定，即不可再进行给药；针对医嘱所推荐的所述药物有效期限，所述给药装置会进行所述到期提醒，但患者仍可选择继续使用。
31.在所述到期提醒及所述到期锁定后，患者可通过所述给药装置向医院发出申请，若患者经医师诊断需要继续使用该药物或更换其他药物，可在医院进行装置清洗及药物补充，即所述给药装置可继续重复使用。
32.在使用其他药物时，需再次设定新药物的相关参数，建立新的所述给药项目。
33.图2为本发明的一种基于隐私保护及图像识别的口腔给药装置结构图。如图2所示，本实施例一种基于隐私保护及图像识别的口腔给药装置结具体可以包括：所述给药装置，为一种手持、符合人体口腔给药要求的喷雾给药装置，包括储药仓室、图像采集分析装置、给药探头、信息互联装置。 所述储药仓室，用于药液保存。 所述图像采集分析模块，可在口腔前方规定距离和方向进行口腔内部图像采集，并包含所述口腔定位模型以及所述病情分析模型，可进行图像比对及所述病灶口腔分区、所述给药量判断。 所述给药探头向所述病灶口腔分区给予所述给药量的药液，具体包括： 1）所述给药探头，可根据所述口腔定位模型判断结果进行旋转，顶部具有微距摄像头进行图像采集并传回所述图像采集分析模块进行图像比对，直至所述给药探头顶部朝向与所述病灶口腔分区相同； 2）在所述给药量确定后，给药探头吸取所述给药量的药液，并进行给药； 所述信息互联模块，位于所述储药仓室瓶身，主要有以下功能：a. 用于建立所述给药项目，进行所述到期提醒、到期锁定，患者由此向医院发出所述装置复用申请；b. 用于向患者发送征集推送，患者由此上传所述口腔病灶图像及所述个人就诊信息，经隐私保护后供模型学习；c. 用于记录上传所述口腔病灶图像时间及次数，当患者需要进行预约咨询时向原接诊医师发送预约推送。
34.本发明另一实施例提供运行一种基于隐私保护及图像识别的给药方法中联邦学习的装置，主要包括：基础设施模块、云网控制cnc模块、dapps应用模块：其中基础设施模块，包括虚拟主机、虚拟储存、虚拟线路以及tee可信硬件，所述虚拟主机、虚拟储存、虚拟线路以及tee可信硬件来源于开发云厂商、企业云、个人电脑。
35.云网控制cnc模块，用于通过云网链底层技术将所述基础设施模块上运行的所有终端节点的冗余算力进行整合并调度算力，为dapps应用模块提供硬件计算支撑。
36.基础设施模块通过云网控制cnc模块为dapps应用模块提供硬件计算支撑。
37.dapps应用模块，通过所述基础设施模块包括的开放云平台、企业云和个人电脑组
成承载运算的硬件节点，所述硬件节点被组合起来创建子网。所述子网承载软件容器，用户在所述软件容器上传可互操作计算单元，包含代码、状态、隐私计算框架和算法，包含但不限于联邦学习federal learning (fl)算法。
38.结合基础设施模块、互联链模块、云网控制cnc模块、dapps应用模块向互联网开放联邦学习服务。
39.本发明的方法程序通过devops研发运维一体化开发工具进行开发。
40.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。 用于实现本发明进行信息控制的程序，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、python、c ，还包括常规的过程式程序设计语言—诸如c语言或类似的程序设计语言。 程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。 在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。 上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分步骤。 而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。