基于眼象识别的糖尿病诊断模型的构建方法和电子设备与流程

1.本技术涉及医疗设备技术领域，更具体地说，涉及一种基于眼象识别的糖尿病诊断模型的构建方法和电子设备。


背景技术：

2.糖尿病是一种严重危害人们健康的系统性疾病，为了治疗该疾病，必须对糖尿病进行科学准确的诊断，以得到精准的诊断结果。目前，对糖尿病的诊断主要通过抽血化验实现，在此过程中需要多次抽血检测血糖，不仅提高受检者及医护人员的时间、经济成本，并且由于此种方法属于有创诊断，因此存在一定的感染风险。此外，受检者必须在特定时间(医院营业时间)及特定地点(医院)参与检测。
3.中国传统医学认为，人体因为疾病而显现的微小颜色变化，可以通过观察双目而得知；同时现代医学也认为，球结膜微循环的改变可以反映全身的情况，不论何种疾病在眼部球结膜微循环都有相应的改变。因此，目诊不但是“上工治未病”的重要技术，也是中西医结合的极佳路径。因此，可以通过对眼象的研究实现对糖尿病的诊断。
4.然而，由于现在对糖尿病的目诊缺乏呈现眼象实体的载体，缺乏信息化、可视化的呈现形式，因此必须依靠医生的肉眼观察及个人经验来完成，导致对糖尿病的目诊存在着极大的模糊性、主观性和不稳定性，这给临床、教学、科研都带来了诸多不便，严重限制了糖尿病目诊的作用。


技术实现要素：

5.有鉴于此，本技术提供一种基于眼象识别的糖尿病诊断模型的构建方法和电子设备，用于为糖尿病的目诊提供一种诊断工具，提高糖尿病目诊的稳定性。
6.为了实现上述目的，现提出的方案如下：
7.一种基于眼象识别的糖尿病诊断模型的构建方法，应用于电子设备，所述构建方法包括步骤：
8.基于所述电子设备获取人群的多组双眼眼象图像和人口学信息，所述人群包括非健康人群和健康人群，所述非健康人群包括其他疾病人群和糖尿病人群；
9.对每组所述双眼眼象图像进行预处理，得到每组所述双眼眼象图像的巩膜图像和虹膜图像，基于所有所述巩膜图像和所述虹膜图像构建训练样本集；
10.利用所述训练样本集中的非健康样本和健康样本构建第一步骤分类器；
11.利用所述训练样本集中的其他疾病样本和糖尿病样本构建第二步骤分类器；
12.对所述第一步骤分类器和所述第二步骤分类器进行整合处理，得到糖尿病诊断模型。
13.可选的，所述双眼眼象图像包括双眼在多个视角时的眼部图像。
14.可选的，所述对每组所述双眼眼象图像进行预处理，包括步骤：
15.对每个所述双眼眼象图像的亮度通道进行白平衡归一化处理；
16.提取经过白平衡归一化处理的所述双眼眼象图像的巩膜部分图像和虹膜部分图像；
17.针对所述巩膜部分图像和所述虹膜部分图像进行精确提取处理，得到所述巩膜图像和所述虹膜图像。
18.可选的，所述对每组所述双眼眼象图像进行预处理，还包括步骤：
19.对所述巩膜图像和/或所述虹膜图像进行增强处理。
20.可选的，所述利用所述训练样本集中的非健康样本和健康样本构建第一步骤分类器，包括步骤：
21.将所述非健康样本作为病例组样本，将所述健康样本作为对照组样本，使用年龄分层的、多元、多视角、多阶段的迁移学习方法对深度残差神经网络进行训练，得到所述第一步骤分类器。
22.可选的，所述利用所述训练样本集中的其他疾病样本和糖尿病样本构建第二步骤分类器，包括步骤：
23.将所述糖尿病样本作为病例组样本，将所述其他疾病样本作为对照组样本，使用年龄分层的、多元、多视角、多阶段的迁移学习方法对深度残差神经网络进行训练，得到所述第二步骤分类器。
24.可选的，还包括步骤：
25.根据所述双眼眼象图像和所述糖尿病诊断模型构建回归模型，所述回归模型用于预测空腹血糖。
26.一种电子设备，所述电子设备包至少一个处理器和与所述处理器连接的存储器，其中：
27.所述存储器用于存储计算机程序或指令；
28.所述处理器用于获取并执行所述计算机程序或指令，以使所述电子设备实现如上所述的基于眼象识别的糖尿病诊断模型的构建方法。
29.从上述的技术方案可以看出，本技术公开了一种基于眼象识别的糖尿病诊断模型的构建方法和电子设备，该构建方法具体为基于电子设备获取人群的多组双眼眼象图像；对每组双眼眼象图像进行预处理，得到每组双眼眼象图像的巩膜图像和虹膜图像，基于所有巩膜图像和虹膜图像构建训练样本集；利用训练样本集中的非健康样本和健康样本构建第一步骤分类器；利用训练样本集中的其他疾病样本和糖尿病样本构建第二步骤分类器；对第一步骤分类器和第二步骤分类器进行整合处理，得到糖尿病诊断模型。通过上述方案可以得到该糖尿病诊断模型这一目诊的诊断工具，其不依赖于医生的肉眼观察及个人经验来，而是基于客观的标准对受诊者进行糖尿病诊断，提高了对糖尿病目诊的稳定性。
附图说明
30.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1为本技术提供的一种实施例的结构图；
32.图2为本技术实施例的双眼眼象图像的示例图；
33.图3为本技术实施例的一种双眼眼象图像的预处理过程的流程图；
34.图4为本技术实施例的每组双眼眼象图像的巩膜部分图像和虹膜图像的示例图；
35.图5为本技术实施例的另一种双眼眼象图像的预处理过程的流程图；
36.图6为本技术实施例的糖尿病诊断模型的诊断流程示意图；
37.图7为本技术实施例的迁移学习过程的示意图；
38.图8为本技术实施例的另一种基于眼象识别的糖尿病诊断模型的构建方法的流程图
39.图9为本技术实施例的一种电子设备的框图。
具体实施方式
40.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.实施例一
42.图1为本技术实施例的一种基于眼象识别的糖尿病诊断模型的构建方法的流程图。
43.如图1所示，本实施例提供的糖尿病诊断模型的构建方法基于电子设备实施，该电子设备可以理解为具有计算和数据处理功能的电子计算机或者服务器，该构建方法基于眼象识别技术实施，该糖尿病诊断模型的构建方法具体包括如下步骤：
44.s1、获取人群的多组双眼眼象图像和人口学信息。
45.这里的人群包括非健康人群和健康人群，健康人群用于作为非健康人群的对照人群。该非健康人群具体包括糖尿病人群和其他疾病人群，将其他疾病人群作为糖尿病人群的对照人群。在采集时，采集所有人群的多组双眼眼象图像，这里的双眼眼象图像是指每个人的双眼的多个视角的眼部图像，如图2所示，其中多个视角包括但不限于上视、下视、左视、右视等。
46.并且，在采集完后对采集的眼象图像进行质控处理，质控项包括但不限于眼象完整程度、眼睛表面暴露面积、对焦状态、色相、明度和饱和度。同时，在采集眼象图像的同时采集所述人的人口学信息，并基于人口学信息的中健康信息对眼象图像进行标注，即标注相应眼象图像属于健康人群、其他疾病人群或糖尿病人群。
47.s2、对每组双眼眼象图像进行预处理。
48.通过对每组双眼眼象图像进行预处理，得到每个双眼眼象图像的巩膜图像和虹膜图像。并将得到的多组巩膜图像和虹膜图像构建训练样本集。其中，上述训练样本集包括糖尿病人群的糖尿病样本、其他疾病人群的其他疾病样本和健康人群的健康样本，其中，糖尿病样本和其他疾病样本为非健康样本。
49.如图3所示，具体预处理的过程如下：
50.s201、对眼象图像的亮度通道进行白平衡归一化。
51.即对每组双眼眼象图像的亮度通道进行白平衡归一化处理。
52.s202、对每组双眼眼象图像前景提取处理。
53.通过前景提取处理。去除每个眼象图像的皮肤、睫毛、眼象采集设备边缘等区域，只保留眼表巩膜部分图像和虹膜部分图像。并在保持图像比例的前提下，对图像大小归一化到512x512x3像素，如图4所示。其中使用的方法包括但不限于活动轮廓模型(snake、水平集法等)、图论分割法(graphcut，grabcut和random walk等)、阈值分割法(大津法)等。
54.s203、提取每组双眼眼象图像的巩膜图像和虹膜图像。
55.即基于上面步骤处理的结果，从中精确提取虹膜图像及巩膜图像。首先使用yolo
‑
v3网络对虹膜外接矩形框进行判断，然后根据minibatchkmeans方法，对外接矩形框内的虹膜进行检测。最后，对于当前虹膜边缘进行椭圆拟合，以得到光滑的虹膜边缘及虹膜中心坐标。从前景图像中分离虹膜部分，即得到巩膜。具体地，图像处理算法包括但不限于图像增强、腐蚀、膨胀、边缘检测，及联通区域的划分等。
56.另外，本实施例还可以包括如下步骤，如图5所示。
57.s204、对巩膜图像和虹膜图像进行增强处理。
58.增强处理的方法包括但不限于图像校正(直方图均衡化、归一化、白平衡、灰度修正与变换、图像平滑等)、光照畸变(图像随机改变亮度、对比度、饱和度等)和几何畸变(图像随机缩放、裁剪、翻转、旋转)、图像局部随机遮挡(图块遮挡、网格遮挡)等。图像最终缩放到224x224像素大小。从而使得巩膜图像和虹膜图像的质量更为良好，以方便后续的建模处理。
59.s3、利用非健康样本和健康样本构建第一步骤分类器。
60.即利用上述训练样本集中的非健康样本作为病例组样本，将健康样本作为对照组样本，使用年龄分层的、多元、多视角、多阶段的迁移学习方法对深度残差神经网络进行训练，得到第一步骤分类器。
61.s4、利用其他疾病样本和糖尿病样本构建第二步骤分类器。
62.即利用上述训练样本集中的糖尿病样本做为病例组样本，将其他疾病样本作为对照组样本，使用年龄分层的、多元、多视角、多阶段的迁移学习方法对深度残差神经网络进行训练，得到第二步骤分类器。
63.s5、将上述第一步骤分类器和第二步骤分类器进行整合处理。
64.通过将第一步骤分类器和第二步骤分类器进行整合处理，得到本实施例中的糖尿病诊断模型。
65.在基于本实施例的糖尿病诊断模型进行诊断实施时，对于第一步骤分类为非健康的样本，使用第二步骤分类器进行预测，并使用第二步骤分类器的结果作为最终模型结果；对于第一步骤分类为健康的样本，直接分类为非糖尿病。具体流程如图6。
66.从上述技术方案可以看出，本实施例提供了一种基于眼象识别的糖尿病诊断模型的构建方法，该构建方法应用于电子设备，具体为基于电子设备获取人群的多组双眼眼象图像；对每组双眼眼象图像进行预处理，得到每组双眼眼象图像的巩膜图像和虹膜图像，基于所有巩膜图像和虹膜图像构建训练样本集；利用训练样本集中的非健康样本和健康样本构建第一步骤分类器；利用训练样本集中的其他疾病样本和糖尿病样本构建第二步骤分类器；对第一步骤分类器和第二步骤分类器进行整合处理，得到糖尿病诊断模型。通过上述方案可以得到该糖尿病诊断模型这一目诊的诊断工具，其不依赖于医生的肉眼观察及个人经
验来，而是基于客观的标准对受诊者进行糖尿病诊断，提高了对糖尿病目诊的稳定性。
67.其中，本技术中均使用年龄分层的、多元、多视角、多阶段的迁移学习对深度残差神经网络进行训练的方案。具体地，将受检者按照年龄分为三个阶段：青年组(<a1岁)、中年组(≥a1岁且<a2岁)、老年组(≥a2岁)，分别根据每个组的样本进行多元、多视角、多阶段的模型训练，建立糖尿病图像级分类器，再从模型中抽取眼象高维特征，建立糖尿病样本级分类器。具体步骤如下：
68.首先按照样本id随机划分出训练集和测试集。以训练集为例，对于其中每一个样本，将此样本对应的多元眼象图根据其拍摄视角分别划入g和l＝{l
p
},p∈[1,2,
…
,m]中的一个子集。即g是所有视角眼象图的集合，用于模型寻找全区眼象特征，l的每一个子集包含某一种特定的内眼角和眼球的相对位置的眼象图(或水平镜像后的眼象图)，用于寻找局部地眼象特征。其中所述数据划分策略包括但不限于k折交叉验证、无放回随机抽样、分层随机抽样、分层等比随机抽样等。其中所述多元眼象图包括步骤2.2
‑
2.4得到的虹膜和巩膜图像、虹膜图像、巩膜图像，以及他们的增强图像。
[0069]
将模型训练的过程分为t个阶段，在第一阶段，使用imagenet预训练模型，分别用g和l中的图像对模型进行微调，得到模型g1和其中，仅对视角为p的图像进行训练和预测。如同第一个阶段，在之后的每个阶段，使用前一阶段得到的模型作为当前阶段的初始模型，并分别使用g和l中的图像对模型进行微调。特别地，为了提高模型的实用性，可以在最后几个阶段，仅仅使用前一阶段模型分类错误较多的类别的数据对模型进行微调。
[0070]
如，第t0个阶段的模型对某类糖尿病和某类健康人群分类正确率较低，那么在之后的t
‑
t0个阶段，可以仅仅使用训练集中这两个子类的数据对模型进行微调。具体地，如果上一阶段得到的模型由m个子模型组成，即上一阶段得到的模型由m个子模型组成，即则第i 1阶段使用g中数据微调这m个模型，同时使用视角为p的图像l
p
微调网络对于t个阶段，本步骤将得到2
t
组模型，每组模型由1或m个子模型组成。以m＝8，t＝4，且使用整张眼表图像为例，每个阶段的迁移学习过程如图7所示。
[0071]
具体地，t取值为大于0的整数；batch size为以2和5为因子的整数；学习率取值范围为(0.0000001,1)；优化方法包括但不限于ranger，adam，sgd，rmsprop，adagrad等；深度残差网络依次包含以下模块：卷积层，归一化，激活层，池化层，8个子模块，随机丢弃，softmax层。其中每个子模块依次包含：卷积层，归一化层，激活层，卷积层，归一化层，残差连接层，激活层。卷积层的卷积核大小包括但不限于3,5,7等整数，随机丢弃的概率包括但不限于0.3,0.5,0.7。
[0072]
具体地，高维特征包括但不限于模型中间层的特征图、特征向量、最后层的图像预测结果等，分类器包括但不限于投票、逻辑回归(logistic regression)、随机森林(random forest)、支持向量机(svm)、决策树(decision tree)、自适应增强(adaboost)、极端梯度提升(xgboost)等。此外，此步骤还可以将图像的虹膜部分同样提取高维特征，与其他高维特征共同进行建模，生成糖尿病样本级分类器，即上面的第二步骤分类器。
[0073]
另外，本实施例的一个具体实施方式中，还包括如下步骤，如图8所示：
[0074]
s6、根据双眼眼象图像构建回归模型。
[0075]
即根据已经获得双眼眼象图像和上面的糖尿病诊断模型建立预测空腹血糖的回归模型。即将上面糖尿病诊断模型的深度残差网络的最后一层变为只有一个输出节点的全连接层(本节最后)。使用双眼眼象图像及其空腹血糖值对残差网络进行训练。得到基于眼象图的空腹血糖预测模型。
[0076]
通过该回归模型可以对被诊断为糖尿病的患者提供空腹血糖的预测值，便于患者对自己身体的监测。
[0077]
本技术提出了分步骤的糖尿病诊断模型构建方法，不仅可以同时判断出健康样本和糖尿病样本，还提高了模型的特异度，具有较高的应用价值。由于糖尿病和健康人群眼象差异较大，模型很容易学习到将两者分类的特征，所以在模型训练过程中，将健康人群和其他非糖尿病人群均作为对照组时，健康对照会通过降低训练损失而阻碍模型继续学习糖尿病特异的特征。本技术的两步法可以避免这种情况，使模型学习到糖尿病特异的特征。
[0078]
本技术提出的分步骤的糖尿病诊断模型构建方法，极大程度地减轻了后续模型调整的工作量。使用多样化的对照数据是模型高鲁棒性和特异性的保障，尤其是将模型应用在社区筛查项目中时。而我们对疾病的认识在不断更新，所以在模型的长期应用中，势必需要将新种类的数据加入到模型的训练中。本技术提出的两步法，将占有最大比例的健康样本在第一步骤就进行了排除。在后期的模型调整过程中，仅需要对第二步骤的模型进行重新训练，极大得节省了时间成本。
[0079]
本技术建立了适用于不同年龄人群的糖尿病分类器，提高了对年轻糖尿病患者的识别敏感度，和对年长受试者的特异度。
[0080]
本技术利用深度学习技术，实现了基于眼表图像的血糖值量化。和传统的血糖测量方法比较，基于眼象的血糖量化更加方便、无创，且不依赖于短期饮食变化，从而更加客观准确。
[0081]
本技术使用深度学习技术和传统机器学习技术，实现了对眼表图像、虹膜、巩膜的自动化分割，可得到光滑边缘的虹膜区域，并得到虹膜中心坐标。
[0082]
本技术不仅提出了一种新的糖尿病风险预测和诊断的方法，更为基于传统医学目诊的现代化应用和研究提供了一种通用的方法和范式。
[0083]
本技术与量表评分方法相比，检测时只需要进行眼表(虹膜和巩膜区域)拍照，在降低检测复杂度的同时，提高了检测准确率，更加适用于面向社区的大规模糖尿病筛查。
[0084]
另外，基于本技术的到的糖尿病诊断模型对患者进行诊断具有准确度稿、使用范围广的优点。本模型对糖尿病的诊断的roc
‑
auc高达0.97,高于糖尿病量表的性能。为面向社区的糖尿病大规模筛查提供了可靠的技术手段，为国家的糖尿病预防控制管理提供支持。
[0085]
与传统的中医目诊方法相比，本技术的糖尿病诊断模型具有如下优点：
[0086]
1、算法通用性强，结果客观准确。本技术基于眼象图像大数据，采用先进的人工智能算法，结果更加客观和鲁棒。
[0087]
2、客观。本技术的糖尿病诊断模型基于眼象图像大数据，不依赖于医者的经验和技术水平，结果更加客观和准确。
[0088]
3、完全自动化、实用性强：本技术的糖尿病诊断模型实现了糖尿病诊断的自动化，
无需目诊中医师的参与，诊断快速，具有较高实用性。
[0089]
与其他糖尿病诊断方法相比，本技术的糖尿病诊断模型具有如下优点：
[0090]
1、鲁棒性高。本技术糖尿病诊断模型的诊断的roc
‑
auc高达0.97,高于其他方法。本技术使用多样性的对照数据，根据两步法进行模型构建，不仅提高了模型的鲁棒性、特异度，而且为后续的新数据的加入、模型的调整提供了方便、低耗的途径。
[0091]
2、本发明建立了适用于不同年龄人群的糖尿病分类器，提高了对年轻糖尿病患者的识别敏感度，和对年长受试者的特异度。
[0092]
3、客观：本技术建立了基于眼象的血糖量化方法。相对于传统的空腹血糖和随机血糖检测方法，无创、方便，且不受限于短期饮食的变化。
[0093]
实施例二
[0094]
图9为本技术实施例的一种电子设备的框图。
[0095]
如图9所示，本实施例提供的电子设备可以理解为具有计算和数据处理功能的电子计算机或者服务器，包至少一个处理器101和存储器102，两者通过数据总线103连接。存储器用于存储计算机程序或指令，处理器用于获取并执行相应计算机程序或指令，以使电子设备实现上面实施例的基于眼象识别的糖尿病诊断模型的构建方法。
[0096]
该构建方法具体为基于电子设备获取人群的多组双眼眼象图像；对每组双眼眼象图像进行预处理，得到每组双眼眼象图像的巩膜图像和虹膜图像，基于所有巩膜图像和虹膜图像构建训练样本集；利用训练样本集中的非健康样本和健康样本构建第一步骤分类器；利用训练样本集中的其他疾病样本和糖尿病样本构建第二步骤分类器；对第一步骤分类器和第二步骤分类器进行整合处理，得到糖尿病诊断模型。通过上述方案可以得到该糖尿病诊断模型这一目诊的诊断工具，其不依赖于医生的肉眼观察及个人经验来，而是基于客观的标准对受诊者进行糖尿病诊断，提高了对糖尿病目诊的稳定性。
[0097]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0098]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0099]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0100]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方
框或多个方框中指定的功能。
[0101]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0102]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0103]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0104]
以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。