一种眼外观图像的识别系统的制作方法

1.本发明涉及图形识别技术领域，特别是涉及一种眼外观图像的识别系统。


背景技术：

2.目前，甲状腺相关眼病(tao)是一种与自身免疫性甲状腺疾病密切相关的眼病，因其与graves病关系密切，又称为graves眼病。tao是成年人最常见的眼眶病之一，在graves病的患者中，约30－45％的患者会发生tao，近年来其发病率呈逐渐上升趋势。tao的临床表现由轻到重，可表现为各种眼征、眼部软组织受累、眼球突出、眼外肌受累、角膜受累、直至视力丧失。
3.tao的疾病发展是不完全可逆的，即治疗只能部分减轻疾病的不良影响，无法完全恢复至发病前的状态。若在疾病发展的早期给予及时干预，并密切监测，则可以将避免疾病进展加重，减轻疾病对患者的影响；若错过最佳治疗时机，在疾病晚期才进行干预，则会导致不可挽回的视力损害，严重影响患者外观，影响患者终身的生活质量。因此tao的最佳诊疗策略是早发现、早诊断、早干预，并持续观察和控制其进展，避免tao眼部体征的出现或将病程维持在早期阶段。
4.目前，临床上需由眼眶病亚专科的眼科医生在询问病人相关病史，并完善相关检查后，才能做出tao的诊断。但这种诊断方法不仅需要患者注意到自身的异常，同时还需要资深的医生并进行相关检测后才能判断，诊断效率较低，不利于对潜在患者进行普遍筛查，使得很多患者延误了最佳的治疗时机。
5.近年来随着技术进步，应用神经网络的图像识别技术开始广泛应用于医疗领域，利用神经网络的学习和分析能力，总结不易被人观察到和识别的特征和规律，帮助医生进行诊断。本发明结合tao和神经网络的相关技术提出了一种眼外观图像的识别系统可以对潜在的tao患者的眼外观图像进行识别并给出分析结果。


技术实现要素：

6.本发明的目的是：提供一种眼外观图像的识别系统，对潜在的tao患者的眼外观图像进行识别并给出分析结果。
7.为了实现上述目的，本发明提供了一种眼外观图像的识别系统，包括：输入模块、预处理模块和识别模块。
8.所述输入模块用于将眼外观图像输入到识别系统中。
9.所述预处理模块用于对输入的眼外观图像进行数据预处理，并调整眼外观图像为预设的输入规格。
10.所述识别模块用于根据预设的神经网络模型对眼外观图像进行图像分类并给出图像分类结果和分类结果的置信度，所述神经网络模型的训练方法包括：获取眼睑退缩患者的第一眼外观图像、健康人的第二眼外观图像以及通过数据增强后获得的第三眼外观图像；将第一眼外观图像、第二眼外观图像和第三眼外观图像输入神经网络中进行训练，获得
基于眼睑退缩患者和健康人眼外观图像的二分类神经网络模型。
11.进一步的，所述对输入的眼外观图像进行数据预处理，具体为：
12.检测眼外观图像的眼睛区域并分割出眼睛区域的roi图像。
13.进一步的，所述检测眼外观图像的眼睛区域并分割出眼睛区域的roi图像，具体方法包括：
14.获取第四眼外观图像并对第四眼外观图像中的一部分图像通过矩形框标注眼睛区域roi，并在矩形框内标注眼眶关键点；所述第四眼外观图像包括健康人眼外观图像和眼睑退缩患者的眼外观图像，所述眼眶关键点包括：内眦、上眼睑、下眼睑、外眦；
15.将标注的图像输入到眼睛区域roi分割神经网络进行训练，得到眼睛区域roi分割模型。
16.进一步的，所述识别系统还包括：患者信息读取模块；
17.所述患者信息读取模块用于读取患者提供的病情信息，并判断病情信息中是否包括眼球突出、斜视、复视、视力下降，若包括则反馈病情信息、图像分类结果和分类结果的置信度给医生。
18.进一步的，所述识别系统还包括云端平台，所述云端平台用于接收上传的眼外观图像并将眼外观图像存储在云端，同时所述云端平台还用于将眼外观图像发送到图像输入模块、接收识别模块识别结果和识别结果的置信度并将识别结果和识别结果的置信度反馈给上传者。
19.进一步的，所述预设的输入规格为三通道rgb图像。
20.进一步的，所述预设的神经网络模型为resnet101，所述模型由1x1、3x3、1x1卷积层组成的bottleneck结构单元模块组成，卷积层之间通过batchnorm和relu激活层连接；所述bottleneck结构包括residual block，所述residual block由1x1的卷积构成。
21.进一步的，所述residual block下采样时stride取2，padding为1；除下采样之外的residual block的stride取1，padding为1。
22.进一步的，所述通过预设的神经网络进行图像分类，具体为：
23.首先通过64个卷积核大小为7，stride为2的卷积层进行下采样，提取256x256x64特征矩阵，然后通过resnet的四层layer，分别将特征矩阵中每一层的特征图继续下采样至128x128，64x64，32x32，16x16；最后连接全连接层输出分类结果及对应的置信度。
24.进一步的，所述第一层layer首先通过3x3、stride为2的maxpool最大池化操作下采样特征，得到128x128x64的特征图，然后采用了重复3次的bottleneck；所述第二层layer中第一个bottleneck采用下采样方式的residual block，bottleneck的1x1、3x3、1x1卷积层分别将特征图变换至128x128x128，64x64x128，64x64x512，bottleneck的输出与residual block输出相加得到第二层layer的第一个bottleneck输出，特征尺寸为64x64x512，然后重复使用3次无下采样的bottleneck得到第二层layer的输出64x64x512特征图；所述第三层layer结构同第二层layer，区别在于3x3下采样的卷积核个数为256，residual block中下采样卷积核个数为1024；第四层layer结构同第二层layer，区别在于3x3下采样的卷积核个数为512，residualblock中下采样卷积核个数为2048。
25.本发明实施例一种眼外观图像的识别系统与现有技术相比，其有益效果在于：识别系统通过眼外观图像进行分析判断，眼外观图像的来源广泛，可以方便的采集进行检测；
通过神经网络对采集到的数据进行分析判断，可以提取到人难以发现和观测到的特征规律，提高判断的准确性；通过集成的系统可以方便推广和应用，方便对广大的潜在患者进行筛查，提高医生的诊断能力，使患者能够早确诊早治疗，避免病情恶化。
附图说明
26.图1是本发明一种眼外观图像的识别系统的第一结构示意图；
27.图2是本发明一种眼外观图像的识别系统的第二结构示意图。
具体实施方式
28.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
29.实施例1：
30.参照附图1，本实施例公开了一种眼外观图像的识别系统，应用于眼外观图像的识别判断，包括：输入模块101、预处理模块102和识别模块103。
31.所述输入模块101用于将眼外观图像输入到识别系统中。
32.所述预处理模块102用于对输入的眼外观图像进行数据预处理，并调整眼外观图像为预设的输入规格。
33.所述识别模块103用于根据预设的神经网络模型对眼外观图像进行图像分类并给出图像分类结果和分类结果的置信度，所述神经网络模型的训练方法包括：获取眼睑退缩患者的第一眼外观图像、健康人的第二眼外观图像以及通过数据增强后获得的第三眼外观图像；将第一眼外观图像、第二眼外观图像和第三眼外观图像输入神经网络中进行训练，获得基于眼睑退缩患者和健康人眼外观图像的二分类神经网络模型。
34.在本实施例中，在训练之前应用数据增强，对输入的图片进行随机的翻转与缩放，可以增加样本数量并提升模型的泛化能力。
35.在本实施例中，本发明使用基于深度学习算法的人工智能技术，利用先期集中采集的大批量眼外观图像、临床诊断结果等临床数据，建立起一种眼外观图像的识别系统，可以判断眼外观图像是否属于眼睑退缩图像，使医生可以参照判断结果进一步进行诊断，提高医生的诊断能力。
36.在本实施例中，识别系统通过眼外观图像进行分析判断，眼外观图像的来源广泛，可以方便的采集进行检测。在医院中可以配备一台较高像素的摄像机进行拍摄，拍摄完成后可以直接将照片输入到识别系统中获得识别结果，方便高效。
37.在本实施例中，所述对输入的眼外观图像进行数据预处理，具体为：
38.检测眼外观图像的眼睛区域并分割出眼睛区域的roi图像。
39.在本实施例中，通过检测眼睑区域并分割出眼睛区域的roi图像可以实现图像的自动提取，使输入图像中所需提取的特征得到保留并减少不必要的数据输入。
40.在本实施例中，所述检测眼外观图像的眼睛区域并分割出眼睛区域的roi图像，具体方法包括：
41.获取第四眼外观图像并对第四眼外观图像中的一部分图像通过矩形框标注眼睛区域roi，并在矩形框内标注眼眶关键点；所述第四眼外观图像包括健康人眼外观图像和眼
睑退缩患者的眼外观图像，所述眼眶关键点包括：内眦、上眼睑、下眼睑、外眦。
42.将标注的图像输入到眼睛区域roi分割神经网络进行训练，得到眼睛区域roi分割模型。
43.在本实施例中，通过建立眼睛区域的roi分割模型实现眼睛roi区域的自动提取，降低人的劳动，实现自动化。同时为了保证提取图像的质量，在进行模型训练时，输入的图像标注了眼眶关键点，包括内眦、上眼睑、下眼睑、外眦等特征，可以使得到的神经网络模型更好的实现对输入图像的分割。
44.在本实施例中，所述识别系统还包括：患者信息读取模块；
45.所述患者信息读取模块用于读取患者提供的病情信息，并判断病情信息中是否包括眼球突出、斜视、复视、视力下降，若包括则反馈病情信息、图像分类结果和分类结果的置信度给医生。
46.在本实施例中，由于具有甲状腺疾病的患者可能还未出现眼睑退缩的症状，因此神经网络无法识别其于健康人的区别。为了更好的筛查，设置了患者信息读取模块，可以读取患者的病例等信息，并判断病情信息中是否包括了特定的特征，如果有则反馈信息给医生进行判断，避免疏漏。
47.在本实施例中，所述识别系统还包括云端平台，所述云端平台用于接收上传的眼外观图像并将眼外观图像存储在云端，同时所述云端平台还用于将眼外观图像发送到图像输入模块、接收识别模块识别结果和识别结果的置信度并将识别结果和识别结果的置信度反馈给上传者。
48.在本实施例中，为了更好的进行数据收集和判断，设置了云端平台，普通群众也可以将自己拍摄的眼外观图像上传到云端平台，云端平台会将图像保存，并将眼外观图像发送到识别系统中进行识别，并反馈信息给上传者。这不仅扩大了数据来源，也方便了普通群众对自身健康的监测。
49.在本实施例中，所述预设的输入规格为三通道rgb图像。
50.在本实施例中，所述预设的神经网络模型为resnet101(101残差网络)，所述模型由1x1、3x3、1x1卷积层组成的bottleneck(瓶颈样结构)结构单元模块组成，卷积层之间通过batchnorm(归一化操作)和relu(截断函数)激活层连接；所述bottleneck结构包括residualblock(前面所述resnet101残差网络的残差块)，所述residual block由1x1的卷积构成。
51.在本实施例中，在训练之前，可以使用图像预测竞赛imagenet(比赛的名称)上预训练好的模型参数，然后将所学到的知识“迁移”到本发明中的神经网络中，获得更快的收敛速度与更优的性能。
52.在本实施例中，所述residual block下采样时stride(卷积核在原图上扫描时，需要跳跃的格数)取2，padding(保持特征图像不要太小，给各个边增加像素的数量)为1；除下采样之外的residual block的stride取1，padding为1。通过stride和padding的设置，可以不改变输入特征图的尺寸大小，只完成一定的线性变换和扩展特征图的通道数量。
53.在本实施例中，所述通过预设的神经网络进行图像分类，具体为：
54.首先通过64个卷积核大小为7，stride为2卷积层下采样提取256x256x64特征矩阵，然后通过resnet的四层layer，分别将特征矩阵中每一层的特征图继续下采样至
128x128，64x64，32x32，16x16；最后连接全连接层输出分类结果及对应的置信度。
55.在本实施例中，通过神经网络对采集到的数据进行分析判断，可以提取到人难以发现和观测到的特征规律，提高判断的准确性；通过集成的系统可以方便推广和应用，方便对广大的潜在患者进行筛查，提高医生的诊断能力，使患者能够早确诊早治疗，避免病情恶化。
56.在本实施例中，所述第一层layer首先通过3x3、stride为2的maxpool最大池化操作下采样特征，得到128x128x64的特征图，然后采用了重复3次的bottleneck；bottleneck的第一个1x1卷积和3x3卷积都使用64个卷积核，最后一个1x1的卷积使用256个卷积核，residual block采用保留输入特征尺寸的1x1卷积，即256个stride为1，padding为1的1x1卷积核，卷积之后与最后一个bottleneck的输出相加，所得到的输出特征是(先后顺序)128x128x64，128x128x64，128x128x256。
57.所述第二层layer中第一个bottleneck采用下采样方式的residual block(512个步长为2的1x1卷积核)，bottleneck的1x1、3x3、1x1卷积层分别将特征图变换至128x128x128，64x64x128，64x64x512，bottleneck的输出与residual block输出相加得到第二层layer的第一个bottleneck输出，特征尺寸为64x64x512，然后重复使用3次无下采样的bottleneck得到第二层layer的输出64x64x512特征图。
58.所述第三层layer结构同第二层layer，区别在于3x3下采样的卷积核个数为256，residual block中下采样卷积核个数为1024；所述第三层layer的第一个bottleneck的1x1、3x3、1x1卷积层分别将特征图变换至(先后顺序)64x64x256，32x32x256，32x32x1024，之后接23个无下采样操作的bottleneck最终输出为32x32x1024。
59.第四层layer结构同第二层layer，区别在于3x3下采样的卷积核个数为512，residual block中下采样卷积核个数为2048。所述第四层layer的第一个bottleneck的1x1、3x3、1x1卷积层分别将特征图变换至(先后顺序)32x32x512，16x16x512，16x16x2048，之后接2个无下采样操作的bottleneck最终输出为16x16x2048。最后对特征矩阵池化并通过全连接层输出2x1的最终分类输出，得到影像的识别结果的分类置信度。
60.综上，本发明实施例提供一种眼外观图像的识别系统与现有技术相比，其有益效果在于：识别系统通过眼外观图像进行分析判断，眼外观图像的来源广泛，可以方便的采集进行检测；通过神经网络对采集到的数据进行分析判断，可以提取到人难以发现和观测到的特征规律，提高判断的准确性；通过集成的系统可以方便推广和应用，方便对广大的潜在患者进行筛查，提高医生的诊断能力，使患者能够早确诊早治疗，避免病情恶化。
61.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。