一种云边协同的早产儿视网膜病变检测系统及检测方法

1.本发明属于计算机、智慧医疗及图像处理技术领域，尤其涉及一种云边协同的早产儿视网膜病变检测系统及检测方法。


背景技术：

2.早产儿视网膜病(retinopathy of prematurity，rop)是导致儿童失明和视力障碍的最重要原因之一，及时筛查、早期识别并干预可以有效预防早产儿视网膜病变导致的失明。我国2016年发布的《早产儿治疗用氧和视网膜病变防治指南(修订版)规定：对出生胎龄≤34周或出生体质量《2000g的早产儿必须进行rop筛查。目前rop筛查工作主要由经验丰富的眼科医生进行双眼间接眼底检查，筛查设备和有经验的rop筛查眼科医师缺一不可。但是世界范围内都存在筛查资源分布不均衡，导致基层或偏远地区的早产儿不能得到及时的眼底筛查病情加重乃至失明的情况时有发生的问题，例如对我国早产儿视网膜病变防治系统研究中发现：国内各地区rop筛查率差异大，人员、设备和技术制约rop筛查的开展。
3.人工智能已经开始应用于医疗领域，但是在早产儿视网膜病变筛查方面的应用中仍然存在不足，如存在数据来源单一，自适应、自优化能力不足，筛查准确率受设备限制，患者隐私信息保护不充分等问题。


技术实现要素：

4.本发明的目的是提供一种云边协同的早产儿视网膜病变检测系统及检测方法，构建面向早产儿rop筛查体系的边云协同架构，建立系统自适应自优化管理机制，提升rop智能检测模型的普适性，并使之具备自适应、自优化能力。
5.本发明一方面提供了一种云边协同的早产儿视网膜病变检测系统，包括：包括早产儿视网膜图像采集设备、检测应用端以及云服务器；其中：
6.所述早产儿视网膜图像采集设备用于获取早产儿多个视角的视网膜图像，并将所述视网膜图像发送给检测应用端；一段时间内采集的所述早产儿多个视角的视网膜图像构成数据集；
7.所述检测应用端安装在边缘设备上，所述检测应用端通过边缘设备对所述早产儿视网膜图像进行预处理操作，所述预处理操作包括几何变换和/或图像增强；所述检测应用端包括图像检测模块、医疗科普模块和信息交流模块；
8.所述云服务器包括用户信息数据库和病变检测模型，即云服务器部署了用户信息数据库和训练好的病变检测模型，所述用户信息数据库中的内容可通过数据传输发送到所述检测应用端并渲染到所述检测应用端的页面上。
9.优选的，所述图像检测模块包括：
10.边缘端病变检测模型，用于在本地执行所述视网膜图像的检测任务；
11.发送单元，用于向所述云服务器传输数据，所述数据包括所述视网膜图像的数据和检测过程中的中间结果；
12.接收单元，用于接收从云端传回的对于所述视网膜图像的检测结果。
13.优选的，所述图像检测模块包括边缘端检测模式、协同检测模式和云端检测模式三种主检测模式和一种辅检索模式，其中：根据用户需求选择三种主检测模式中的一种，将所述视网膜图像输入到训练好的神经网络模型中进行检测；
14.所述边缘端检测模式下，仅在边缘设备上处理所述视网膜图像，不上传至所述云服务器；
15.协同检测模式下，根据当前网络状况及当前任务量将训练好的神经网络模型分为第一部分和第二部分，所述视网膜图像经过边缘设备上第一部分模型的处理得到所述中间结果，将所述中间结果上传至所述云服务器完成本次检测，并将本次检测的结果传回，通过对任务执行时延的计算确定病变检测模型分割的位置；
16.云端检测模式下，将所述视网膜图像上传至所述云服务器进行处理，将本地数据去除用户信息后加密上传云端，云端的病变检测模型对图像进行检测，同时及时更新云端模型；
17.所述辅检索模式针对检测难度较大的所述视网膜图像，由专家登录所述检测应用端的专用账号对所述视网膜图像进行人工检测，并将检测结果发送到所述视网膜图像对应的用户。
18.优选的，还包括病例报告输出模块，所述病例报告输出模块用于根据所述早产儿视网膜病变分析模块的视网膜病变分析结果形成辅助检测结果，通过医生确认、修改和/或输入医嘱，形成检测报告。
19.优选的，所述信息交流模块与所述云服务器保持连接，用户通过所述信息交流模块发表内容，所述内容储存在所述云服务器上的用户信息数据库中，进而实现不同用户之间的信息交流与共享。
20.优选的，所述病变检测模型由对数据集的处理分析得到，所述病变检测模型的建立包括：
21.将所述数据集划分为训练集、验证集和测试集；
22.将所述训练集中的图像输入到神经网络模型中，调整所述神将网络模型的第一参数；
23.将所述验证集输入到神经网络模型中，调整所述神经网络模型的第二参数；
24.将测试集输入到神经网络模型中，对所述神经网络模型进行评价，最终得到针对早产儿视网膜的所述病变检测模型。
25.所述对所述神经网络模型进行评价采用准确率(accuracy)、精确率(precision)、召回率(recall)、综合评价指标(f1-measure)的这四个性能评估指标，具体定义如下：
[0026][0027][0028]
[0029][0030]
其中，tp(true positive，真正)：将正类预测为正类数；tn(true negative，真负)：将负类预测为负类数；fp(false positive，假正)：将负类预测为正类数，误报；fn(false negative，假负)：将正类预测为负类数，漏报；
[0031]
应用性能评估指标好的神经网络模型作为所述的早产儿视网膜病变检测模型。
[0032]
本发明的第二方面提供一种云边协同的早产儿视网膜病变检测方法，包括：
[0033]
构建模型，以图像采集设备采集的早产儿视网膜图像作为数据集；对所述数据集中的数据进行数据预处理；对预处理后的数据通过数据扩增操作解决数据不均衡的问题；将经过数据扩增的数据输入到神经网络模型中进行训练后得到早产儿视网膜的病变检测模型，并将所述病变检测模型部署到边缘设备和云服务器中；
[0034]
病变检测，考虑检测的时延、能耗以及用户隐私需求，根据用户需求选择合适的检测模式，对于边云协同检测，选择合适的模型分割点，将待检测的所述早产儿视网膜图像输入到训练好的所述病变检测模型中进行检测，对于检测难度较大的病例，由专家通过人工在检测应用端进行处理；包括：
[0035]
选择最佳的模型切分点，从而最大化发挥协同检测的优势；所述检测模式中模型分割点的选择基于整个系统的传输时延和能耗，当任务执行时，处理时延为：
[0036][0037]
其中，u表示任务数据量，p表示处理每bit任务所需要的cpu周期数，fc表示边缘设备的计算能力；
[0038]
边缘设备将任务发送到云端的数据传输速率r
lu
和云端将结果返回边缘设备的数据传输速率r
ld
为：
[0039][0040][0041]
其中，b表示边缘设备与云服务器之间的带宽，t-r
表示边缘设备与云服务器之间的信道系数，d表示边缘设备与云服务器的距离，r表示信道的衰落因子，σ2表示信道的噪声功率；
[0042]
边缘设备将任务上传到云端的时延tu、云端将计算结果返回给边缘端的时延dd和任务的处理时间分别te为：
[0043][0044]
[0045][0046]
任务完成总时间为：
[0047]
t＝tu td te[0048]
整个系统处理用户任务产生的总能耗为：
[0049]
e＝e
l
eu[0050]
其中，e
l
为边缘设备cpu产生的能耗；eu为边缘设备将任务卸载到云端处理时产生的能耗；
[0051]
将问题优化目标设置为任务完成时间与能耗的加权和最小，得到如下所示的优化问题，根据优化问题的结果选取合适的模型分割节点：
[0052][0053]
其中，t≤t
max
，e≤e
max
，0≤ω≤1。
[0054]
作为优选的实施方式，还包括：
[0055]
模型优化，所述云服务器接收去除用户隐私信息后的多个边缘设备的本地数据，并基于所述本地数据不断优化所述病变检测模型，由云端分析学习所有视网膜病变数据特征，构建面向各地域人群的所述病变检测模型后，根据通用模型做出自适应和自优化调整。
[0056]
本发明的第三方面提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如第一方面所述的方法。
[0057]
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如第一方面所述的方法。
[0058]
本发明提供的方法、装置、电子设备以及计算机可读存储介质，具有如下有益的技术效果：
[0059]
本发明所提供的一种边云协同的早产儿视网膜病变检测系统和方法，构建了早产儿视网膜病变诊疗的边云协同的架构模式，提高了系统的自适应能力；用户可以通过病变检测应用端与检测人员进行交流；上传云端的数据去除用户个人信息，最大限度保护用户的隐私。
附图说明
[0060]
图1为根据本发明优选实施例示出的边云协同的早产儿视网膜病变检测系统的组成框架示意图；
[0061]
图2为根据本发明优选实施例示出的边云协同的早产儿视网膜病变检测系统的实施流程图；
[0062]
图3为根据本发明优选实施例示出的边云协同的早产儿视网膜病变检测系统的图像采集模块组成结构图；
[0063]
图4为根据本发明优选实施例示出的边云协同的早产儿视网膜病变检测系统的协同检测示意图；
[0064]
图5为根据本发明优选实施例示出的边云协同的早产儿视网膜病变检测系统的
tensorflow模型转换流程图；
[0065]
图6为本发明提供的电子设备一种实施例的结构示意图。
具体实施方式
[0066]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0067]
实施例一
[0068]
一种云边协同的早产儿视网膜病变检测系统，包括：包括早产儿视网膜图像采集设备、检测应用端、云服务器以及病例报告输出模块；其中：
[0069]
所述早产儿视网膜图像采集设备用于获取早产儿多个视角的视网膜图像，并将所述视网膜图像发送给检测应用端；一段时间内采集的所述早产儿多个视角的视网膜图像构成数据集；
[0070]
所述检测应用端安装在边缘设备上，所述检测应用端通过边缘设备对所述早产儿视网膜图像进行预处理操作，所述预处理操作包括几何变换和/或图像增强；所述检测应用端包括图像检测模块、医疗科普模块和信息交流模块；
[0071]
所述云服务器包括用户信息数据库和病变检测模型，即云服务器部署了用户信息数据库和训练好的病变检测模型，所述用户信息数据库中的内容可通过数据传输发送到所述检测应用端并渲染到所述检测应用端页面上。
[0072]
作为优选的实施方式，所述图像检测模块包括：
[0073]
边缘端病变检测模型，用于在本地执行所述视网膜图像的检测任务；
[0074]
发送单元，用于向所述云服务器传输数据，所述数据包括所述视网膜图像的数据和检测过程中的中间结果；
[0075]
接收单元，用于接收从云端传回的对于所述视网膜图像的检测结果。
[0076]
作为优选的实施方式，所述图像检测模块包括边缘端检测模式、协同检测模式和云端检测模式三种主检测模式和一种辅检索模式，其中：根据用户需求选择三种主检测模式中的一种，将所述视网膜图像输入到训练好的神经网络模型中进行检测；
[0077]
所述边缘端检测模式下，仅在边缘设备上处理所述视网膜图像，不上传至所述云服务器，此模式是为了满足用户的隐私需求；所述的边缘端检测模式，定期从云端资源中获取需要的数据、模型来更新、优化本地模型；
[0078]
协同检测模式下，根据当前网络状况及当前任务量将训练好的神经网络模型分为第一部分和第二部分，所述视网膜图像经过边缘设备上第一部分模型的处理得到所述中间结果，将所述中间结果上传至所述云服务器完成本次检测，并将本次检测的结果传回，此模式以时延和能耗最小为目标，满足用户对于检测速度的需求，同时减少系统能耗；所述的协同检测模式，通过对任务执行时延的计算确定病变检测模型分割的位置，实现边云协同；
[0079]
云端检测模式下，将所述视网膜图像上传至所述云服务器进行处理，此模式可以弥补在边缘设备计算能力的不足、减少边缘设备能耗；所述云端检测模式将本地数据去除用户信息后加密上传云端，云端的病变检测模型对图像进行检测，同时及时更新云端模型，既对数据进行了有效的处理，又保护了本地数据的隐私安全；
[0080]
所述辅检索模式针对检测难度较大的所述视网膜图像，由专家登录所述检测应用
端的专用账号对所述视网膜图像进行人工检测，并将检测结果发送到所述视网膜图像对应的用户。
[0081]
作为优选的实施方式，还包括病例报告输出模块，所述病例报告输出模块用于根据所述早产儿视网膜病变分析模块的视网膜病变分析结果形成辅助检测结果，通过医生确认、修改和/或输入医嘱，形成检测报告。
[0082]
作为优选的实施方式，所述信息交流模块与所述云服务器保持连接，用户通过所述信息交流模块发表内容，所述内容储存在所述云服务器上的用户信息数据库中，进而实现不同用户之间的信息交流与共享。
[0083]
作为优选的实施方式，所述病变检测模型由对数据集的处理分析得到，本实施例中是从多家医院数据库中获取近五年的早产儿视网膜病变图像组成所述数据集，所述病变检测模型的建立包括：
[0084]
将所述数据集划分为训练集、验证集和测试集；
[0085]
将所述训练集中的图像输入到神经网络模型中，调整所述神将网络模型的第一参数；
[0086]
将所述验证集输入到神经网络模型中，调整所述神经网络模型的第二参数；
[0087]
将测试集输入到神经网络模型中，对所述神经网络模型进行评价，最终得到针对早产儿视网膜的所述病变检测模型。
[0088]
作为优选的实施方式，所述病变检测模型采用tensorflow lite搭建，tensorflow lite是tensorflow用于移动设备的框架，提供了转换tensorflow模型，并在边缘端(mobile)、嵌入式(embeded)和物联网(iot)设备上运行tensorflow模型所需的所有工具，允许使用者在多种设备上运行tensorflow模型，tensorflow lite为了在各种设备上高效执行模型，采用了一种特殊的格式，tensorflow模型在能被tensorflow lite使用前，必须转换成这种格式，tensorflow lite将病变检测模型进行格式转换后加载到边缘端，可以在本地运行病变检测模型，执行图像处理任务。
[0089]
实施例二
[0090]
如图2所示，一种云边协同的早产儿视网膜病变检测方法，包括：
[0091]
构建模型，以图像采集设备采集的早产儿视网膜图像作为数据集；对所述数据集中的数据进行数据预处理；对预处理后的数据通过数据扩增操作解决数据不均衡的问题；将经过数据扩增的数据输入到神经网络模型中进行训练后得到早产儿视网膜的病变检测模型，并将所述病变检测模型部署到边缘设备和云服务器中；数据扩增为了防止模型的过拟合并增强模型的泛化能力，在训练过程中对数据进行离线扩增以增加数据的多样性，数据扩增的方法包括随机反转所有像素、随机上下/左右翻转、随机高斯模糊、随机平移、随机旋转、随机对比度增强以及mixup数据增强算法的应用。
[0092]
病变检测，考虑检测的时延、能耗以及用户隐私需求，根据用户需求选择合适的检测模式，对于边云协同检测，选择合适的模型分割点，将待检测的所述早产儿视网膜图像输入到训练好的所述病变检测模型中进行检测，对于检测难度较大的病例，由专家通过人工在检测应用端进行处理。
[0093]
作为优选的实施方式，还包括：
[0094]
模型优化，所述云服务器接收去除用户隐私信息后的本地数据，并基于所述本地
数据不断优化所述病变检测模型，所述边缘设备在获取所述云服务上的所述病变检测模型后，根据通用模型做出自适应和自优化调整。
[0095]
作为本实施例的一种优选的实施方式，所述的病变检测模型由对数据集的处理分析得到，本实施例中，从医院数据库中获取近几年视网膜病变图像组成数据集，把数据集划分为训练集、验证集、测试集，将训练集中的图像输入到神经网络模型中调整模型的参数，将验证集输入到神经网络模型中调整模型的超参数，将测试集输入到神经网络模型中对模型进行评价，为了定量评估该神经网络模型的性能，采用准确率(accuracy)、精确率(precision)、召回率(recall)、综合评价指标(f1-measure)的这四个评估指标，具体定义如下：
[0096][0097][0098][0099][0100]
其中，tp(true positive，真正)：将正类预测为正类数；tn(true negative，真负)：将负类预测为负类数；fp(false positive，假正)：将负类预测为正类数，误报；fn(false negative，假负)：将正类预测为负类数，漏报。
[0101]
作为优选的实施方式，应用性能指标好的模型作为所述的早产儿视网膜病变检测模型。
[0102]
作为本实施例的一种优选的实施方式，所述的图像采集设备用于获取早产儿多个视角的视网膜图像，检测应用端的数据集即从该设备中获取；所述安装在边缘设备上的检测应用端包括图像检测模块、医疗科普模块、信息交流模块；所述的云服务器部署了用户信息数据库和训练好的病变检测模型。
[0103]
作为本实施例的一种优选的实施方式，如图3所示，所述的图像检测模块包括：边缘端病变检测模型，用于在本地执行图像检测任务；发送单元，用于向云端传输数据，包括图像数据和中间结果；接收单元，用于接收从云端传回的检测结果。
[0104]
协同检测模式检测过程如图4所示，不同的模型分割点会产生不同的时延和能耗，因此需要选择最佳的模型切分点，从而最大化发挥协同检测的优势。
[0105]
作为本实施例的一种优选的实施方式，所述的协同检测模式中模型分割点的选择考虑整个系统的传输时延和能耗，当任务执行时，处理时延为：
[0106][0107]
其中，u表示任务数据量，p表示处理每bit任务所需要的cpu周期数，fc表示边缘设备的计算能力。
[0108]
边缘设备将任务发送到云端的数据传输速率r
lu
和云端将结果返回边缘设备的数据传输速率r
ld
为：
[0109][0110][0111]
其中，b表示边缘设备与云服务器之间的带宽，d-r
表示边缘设备与云服务器之间的信道系数，d表示边缘设备与云服务器的距离，r表示信道的衰落因子，σ2表示信道的噪声功率。
[0112]
因此，边缘设备将任务上传到云端的时延tu、云端将计算结果返回给边缘端的时延td和任务的处理时间分别te为：
[0113][0114][0115][0116]
任务完成总时间为：
[0117]
t＝tu td te[0118]
整个系统处理用户任务产生的总能耗为：
[0119]
e＝e
l
eu[0120]
其中，e
l
为边缘设备cpu产生的能耗；eu为边缘设备将任务卸载到云端处理时产生的能耗。
[0121]
作为优选的实施方式，可将问题优化目标设置为任务完成时间与能耗的加权和最小，得到如下所示的优化问题，根据优化问题的结果选取合适的模型分割节点：
[0122][0123]
其中，t≤t
max
，e≤e
max
，0≤ω≤1。
[0124]
作为优选的实施方式，所述边缘端检测模式的病变检测模型是在训练好的tensorflow模型的基础上经过tensorflow lite转换器转换得到的。tensorflow lite是tensorflow用于移动设备的框架，提供了转换tensorflow模型，并在边缘端(mobile)、嵌入式(embeded)和物联网(iot)设备上运行tensorflow模型所需的所有工具，允许使用者在多种设备上运行tensorflow模型。tensorflow lite为了在各种设备上高效执行模型，采用了一种特殊的格式，tensorflow模型在能被tensorflow lite使用前，必须转换成这种格式。
[0125]
如图5所示，tensorflow lite在android、ios、linux系统上提供c 应用程序接口，在android和linux系统上提供java应用程序接口，另外在linux操作系统上还提供python应用程序接口。边缘端病变诊疗模型的模型转换过程首先将训练好的tensorflow模
型转化为tensorflow lite可用的tflite格式，再通过应用程序接口将tensorflow lite格式的文件部署到边缘设备中。
[0126]
作为优选的实施方式，所述边缘设备需要对云端资源和检测模型做出自适应和自优化调整，才能更好的地提高云端资源和模型的利用率和普适性，为进一步改善边缘设备智能检测的敏感度和特异度，将多个边缘设备的本地数据上传至云端，由云端分析学习所有视网膜病变数据特征，构建面向各地域人群的早产儿视网膜病变检测模型，实现系统性能的优化提升。
[0127]
本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例二所述的方法。
[0128]
如图6所示，本发明还提供了一种电子设备，包括处理器301和与所述处理器301连接的存储器302，所述存储器302存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例二所述的方法。
[0129]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。