一种早产儿视网膜病变检测方法及装置

1.本发明涉及图像处理领域，更具体地，涉及一种早产儿视网膜病变检测方法及装置。


背景技术：

2.早产儿视网膜病变(retinopathy of prematurity,rop)是一种常见于早产儿或出生极低体重儿的血管增生性视网膜疾病，是导致婴儿失明的首要原因。据统计我国出生体重小于等于1500g的婴儿rop发病率约为26％。由于rop的治疗窗口期较小，因此早期筛查和及时干预是预防rop致盲的关键因素。目前眼底筛查的共识流程是：使用专业设备采集一组新生儿的眼底图像数据，然后经由专业眼科医生对这一组影像分析诊断，出具检测报告。
3.rop检测存在的难题是检测流程从病灶检出分析到整个眼底区域的分区定位到结合所有信息进行疾病分级是一个繁杂的过程，且需要专业培训多年的经验眼科医生才能够熟练且正确的给出诊断结果。目前已有的方法并不能很好的解决rop检测和诊断完整流程中的所有问题。专利(107945870b)通过建立深度神经网络模型来实现对rop病变阶段的预测；专利(108392174b)按照临床指南共识制定了病灶检测、关键位置检测、分区、分期预测以及附加病变检测的一套检测流程；专利(111259982a)和专利(112308830a)类似地使用注意力卷积神经网络分别实现rop分级和分区功能；专利(111374632a)提出了一种通过质控、增强等模块实现关键位置和病灶检测的方法；童研等人提出了一种基于深度卷积网络模型的rop病变检测流程，基于病灶检出来实现对疾病的分级(中华实验眼科杂志,2019,37(008):647-651和eye vis(lond).2020aug 1)；论文(ieee trans med imaging.2021mar 12)设计了一种新型深度特征融合网络模型来预测rop影像分级；james等人利用深度卷积网络实现对pre-plus、plus disease和normal类型的识别(jama ophthalmol.2018jul 1)。
4.现有方法的主要问题是：(1)现有已发表工作绝大多数集中于解决rop检测流程中的部分问题，例如plus病变检测、疾病分期等；(2)个别工作按照临床指南完整的描述检测流程，并未提出一种切实可行的方法来解决各个部分中的难题，例如分区、关键部位检测等问题；(3)现有工作中提出的方法与传统诊断流程相比，缺少诊断结果的可解释性，通常以患病概率或热力图来表示与疾病高度相关区域，并不能给出清晰的诊断依据；(4)现有方法通常以单影像的方式进行分析给出预测结果，与实际流程中单样本多影像综合评估的方式有区别，由于rop病灶涉及到整个视网膜区域，目前检测设备通常不能覆盖全部区域，因此需要结合多方位的影像来评定最终的诊断，现有方法大多损失了多张影像中的方位信息。


技术实现要素：

5.本发明的首要目的是提供一种早产儿视网膜病变检测方法，实现自动检出病灶、多方位图像拼接融合、分区、分期以及各亚型识别的完整诊断流程。
6.本发明的进一步目的是提供一种早产儿视网膜病变检测装置。
7.为解决上述技术问题，本发明的技术方案如下：
8.一种早产儿视网膜病变检测方法，包括以下步骤：
9.s1：获取待筛查个体的左右两边不同方位的眼底广角影像；
10.s2：以待筛查个体为单位将不同方位的眼底广角影像送入预先训练好的病灶检出模型，得到每张眼底广角影像的病灶检出结果；
11.s3：将带有病灶检出结果的不同方位的眼底广角影像进行拼接合并，得到最终的拼接图像；
12.s4：根据最终的拼接图像得到眼底视网膜分区；
13.s5：在分区后的图像中可视化病灶检出结果和分区标识，并按照病灶类型给出分期结果。
14.优选地，所述步骤s2中病灶检出模型的训练需先标注一批影像数据，具体标注信息为眼底广角影像中的关键部位和具体类型病灶，其中，关键部位包括视盘和黄斑，具体类型病灶包括但不限于血管扩张、新生血管、出血、视网膜脱落(不全/全)等；利用标注后的影像数据对病灶检出模型，得到预训练好的病灶检出模型。
15.优选地，所述步骤s3中将带有病灶检出结果的不同方位的眼底广角影像进行拼接合并，具体为：
16.s31：对不同方位的眼底广角影像进行特征匹配，得到稳定匹配的图像对a和b；
17.s32：根据稳定匹配的图像对的匹配点对集合进行迭代拟合得到由图像b到图像a的单映变换矩阵h和匹配得分；
18.s33：依次对不同方位眼底图像进行两两配对，得到所有匹配得分并进行排序，对最高得分的图像对进行拼接融合，并根据匹配得分确定拼接是否成功，记录拼接失败的图像id，并保存到列表l中；
19.s34：重复步骤s31至s33的匹配和融合步骤，直到眼底广角影像序列中所有眼底广角影像处理完毕，此时得到不同方位拼接成的眼底视网膜图像image_1，此时检查记录列表l，将拼接失败的图像id进行重复步骤s31至s33一次，得到拼接图像image_2，将image_1和image_2按照步骤s31至s33进行拼接得到最终的拼接图像。
20.优选地，所述步骤s31中对不同方位的眼底广角影像进行特征匹配，具体为：
21.s311：遍历筛选图像的局部关键点对应的局部特征算子序列f(f1，f2，
…
，fn)；
22.s312：分别计算图像a和图像b的特征算子fa(fa1，fa2，
…
，fan)和fb(fb1，fb2，
…
fbn)，依次遍历计算fa与fb中的距离相似度，得到两个序列的元素对匹配关系s，筛选后只保留每个元素对的最近距离配对s-s；
23.s313：将图像a和图像b划分为m*m栅格，以每个栅格为单位，分别分析s-s中的匹配对，分析原则为：如果图像a中栅格ma内的特征点ai对应的匹配关系s-s中的特征点bi位于图像b中栅格mb内，且栅格ma内特征点ai的周围邻域至少有x个特征点对应的匹配关系特征点同样位于栅格mb内，则认为特征点ai与特征点bi是稳定匹配，匹配关系保留，不符合的匹配关系则剔除，遍历所有栅格后得到稳定匹配关系，得到稳定匹配的图像对a和b。
24.优选地，所述步骤s33中对最高得分的图像对进行拼接融合，具体为：
25.s331：对图像b利用单映变换矩阵h进行仿射变换得到图像b’；
26.s332：分别计算图像a和图像b’中视网膜区域的外接圆，得到圆心和半径信息；
27.s333：拼接融合过程按照越靠近彼此边缘权重越低，靠近图像中心权重越高的原
则进行融合，融合过程将融合区域分为相交非边界、相交边界和不相交三种类型：
28.①
不相交区域，分别利用图像a和图像b’对应的像素值进行对应区域填充；
29.②
相交非边界区域，计算当前位置对应图像a和图像b’中圆心的距离la和lb’，根据两个距离的比值设置来自图像a和图像b’的像素填充权重；
30.③
相交边界区域，同样计算la和lb’，此时引入阈值t对la和lb’的得到的权重进行压缩或拉伸处理，根据最后的权重完成像素填充。
31.优选地，步骤s3中得到最终的拼接图像后，还将图像序列中的病灶信息按照拼接后的位置进行坐标映射，具体为：
32.按照不同病灶或关键位置点的类别分别存放位置坐标(x，y)，将匹配得到的每一张图像的单映变换矩阵h分别与位置坐标计算得到融合后的位置坐标(x’，y’)＝(x，y)*h，利用相同类型，相似坐标区域合并的原则进行病灶信息合并，确定分区关键部位中的视盘和黄斑位置。
33.优选地，确定分区关键部位中的视盘和黄斑位置后，锯齿缘的位置由事先设计的基于眼底广角影像中视盘位置loc
视
，黄斑位置loc
黄
以及广角图像宽度i
宽
的映射关系f进行计算，公式为：
34.loc
锯
＝f(loc
视
,loc
黄
,i
宽
)，
35.式中，loc
锯
为锯齿缘的位置。
36.优选地，所述映射关系f的确定，具体为：
37.事先准备若干组同一个体获取到的不同各方位的广角眼底影像集合{[a1,a2,
…
,an]，[b1,b2,
…
,bn],
…
}和包含锯齿缘的完整视网膜眼底广域影像[a,b,
…
]，建立从广角影像集合到广域影像的位置映射关系，对广角图像集合a1,a2,
…
an分别于影像a进行匹配，得到对应的单映变换矩阵h1，h2，
…
，hn，将集合中的图像匹配到影像a中的对应位置，通过影像a中事先标注的锯齿缘关键部位位置，可以判定出广角图中出现锯齿缘位置点坐标信息loc锯，令loc
锯
＝f(loc
视
,loc
黄
,i
宽
)成立，以上若干组数据作为训练数据，训练拟合多项式f，得到在广角图上的视盘、黄斑和图像宽到锯齿缘位置的映射函数f，后续直接利用映射函数f模型进行锯齿缘的位置估计。
[0038]
优选地，所述步骤s4中根据最终的拼接图像得到眼底视网膜分区，具体为：
[0039]
以视盘位置为圆心，从视盘到黄斑的距离的两倍作为半径，该圆形区域为i区；以视盘为圆心，视盘到锯齿缘为半径做圆，剔除i区后的圆环区域作为ii区，整个眼底区域，除去i区和ii区以外的即为iii区。
[0040]
一种早产儿视网膜病变检测装置，包括：
[0041]
影像采集模块，所述影响采集模块用于获取待筛查个体的左右两边不同方位的眼底广角影像；
[0042]
检出模块，所述检出模块以待筛查个体为单位将不同方位的眼底广角影像送入预先训练好的病灶检出模型，得到每张眼底广角影像的病灶检出结果；
[0043]
影像合并模块，所述影响合并模块将带有病灶检出结果的不同方位的眼底广角影像进行拼接合并，得到最终的拼接图像；
[0044]
分区模块，所述分区模块根据最终的拼接图像得到眼底视网膜分区；
[0045]
分析模块，所述分析模块在分区后的图像中可视化病灶检出结果和分区标识，并
按照病灶类型给出分期结果。
[0046]
与现有技术相比，本发明技术方案的有益效果是：
[0047]
(1)本发明实现自动检出病灶、多方位图像拼接融合、分区、分期以及各亚型识别的完整诊断流程；
[0048]
(2)本发明通过整合多方位的图像信息，直观展示完整眼底视网膜区域内的病灶、分区，钟点数统计信息，医生可选择直接使用分析结果或根据可视化依据自主给出诊断结果；
[0049]
(3)本发明通过利用广角影像和广域影像的建模，提出了一种客观且可行的自动识别眼底关键部位(锯齿缘)的方法；
[0050]
(4)本发明通过图像拼接和融合直观展示检测结果，相比现有工作中依次输入依次输出预测结果的做法，更符合常规诊断分析流程。
附图说明
[0051]
图1为本发明的方法流程示意图。
[0052]
图2为本发明的影像拼接合并的流程示意图。
[0053]
图3为本发明的影像特征匹配的流程示意图。
[0054]
图4为本发明的最高得分的图像对拼接融合的流程示意图。
[0055]
图5为实施例提供的图像拼接融合结果示意图。
[0056]
图6为实施例提供的病灶信息融合结果示意图。
[0057]
图7为实施例提供的广域图像锯齿缘标注示意图。
[0058]
图8为图7的广角图像映射至广域图像示意图。
[0059]
图9为实施例提供的病灶合并和分区识别示意图。
[0060]
图10为本发明的装置模块示意图。
具体实施方式
[0061]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0062]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0063]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0064]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0065]
实施例1
[0066]
本实施例提供一种早产儿视网膜病变检测方法，如图1所示，包括以下步骤：
[0067]
s1：获取待筛查个体的左右两边不同方位的眼底广角影像；
[0068]
s2：以待筛查个体为单位将不同方位的眼底广角影像送入预先训练好的病灶检出模型，得到每张眼底广角影像的病灶检出结果；
[0069]
s3：将带有病灶检出结果的不同方位的眼底广角影像进行拼接合并，得到最终的拼接图像；
[0070]
s4：根据最终的拼接图像得到眼底视网膜分区；
[0071]
s5：在分区后的图像中可视化病灶检出结果和分区标识，并按照病灶类型给出分期结果。
[0072]
在具体实施过程中，本实施例提出包含病灶检出、眼底分区定位、多方位影像组合、rop分期分析等功能的临床自动辅助诊断流程。本实施例能够对每个病例获取的多方位眼底影像分别检出病灶类型和位置，然后对不同方位的影像进行组合拼接，如图5所示；同时合并不同方位图像中的同一病灶，如图6所示；通过设计和定义一个广角与广域眼底影像之间的映射关系模型得到分区定位关键部位的位置完成区域划分，如图7和图8；综合区域与病灶的关系确定疾病的分期、各类附加病变的判定，并将前面检测结果可视化给操作医生，如图9所示，医生可选择直接采纳分析结果或者调整模型分析结果来最终出具诊断报告。
[0073]
实施例2
[0074]
本实施例在实施例1的基础上，提供步骤s2中预先训练好的病灶检出模型的训练过程：
[0075]
病灶检出模型的训练需先标注一批影像数据，具体标注信息为眼底广角影像中的关键部位和具体类型病灶，其中，关键部位包括视盘和黄斑；利用标注后的影像数据对病灶检出模型，得到预训练好的病灶检出模型。
[0076]
实施例3
[0077]
本实施例在实施例1的基础上，提供步骤s3中将带有病灶检出结果的不同方位的眼底广角影像进行拼接合并的具体流程，如图2所示，具体为：
[0078]
s31：对不同方位的眼底广角影像进行特征匹配，得到稳定匹配的图像对a和b；
[0079]
s32：根据稳定匹配的图像对的匹配点对集合进行迭代拟合得到由图像b到图像a的单映变换矩阵h和匹配得分；
[0080]
s33：依次对不同方位眼底图像进行两两配对，得到所有匹配得分并进行排序，对最高得分的图像对进行拼接融合，并根据匹配得分确定拼接是否成功，记录拼接失败的图像id，并保存到列表l中；
[0081]
s34：重复步骤s31至s33的匹配和融合步骤，直到眼底广角影像序列中所有眼底广角影像处理完毕，此时得到不同方位拼接成的眼底视网膜图像image_1，此时检查记录列表l，将拼接失败的图像id进行重复步骤s31至s33一次，得到拼接图像image_2，将image_1和image_2按照步骤s31至s33进行拼接得到最终的拼接图像。
[0082]
所述步骤s31中对不同方位的眼底广角影像进行特征匹配，如图3所示，具体为：
[0083]
s311：遍历筛选图像的局部关键点对应的局部特征算子序列f(f1，f2，
…
，fn)；
[0084]
s312：分别计算图像a和图像b的特征算子fa(fa1，fa2，
…
，fan)和fb(fb1，fb2，
…
fbn)，依次遍历计算fa与fb中的距离相似度，得到两个序列的元素对匹配关系s，筛选后只保留每个元素对的最近距离配对s-s；
[0085]
s313：将图像a和图像b划分为m*m栅格，以每个栅格为单位，分别分析s-s中的匹配对，分析原则为：如果图像a中栅格ma内的特征点ai对应的匹配关系s-s中的特征点bi位于图像b中栅格mb内，且栅格ma内特征点ai的周围邻域至少有x个特征点对应的匹配关系特征点同样位于栅格mb内，则认为特征点ai与特征点bi是稳定匹配，匹配关系保留，不符合的匹配关系则剔除，遍历所有栅格后得到稳定匹配关系，得到稳定匹配的图像对a和b。
[0086]
所述步骤s32得到由图像b到图像a的单映变换矩阵h和匹配得分，具体为：
[0087]
s321：对图像a和图像b的边界进行填充；
[0088]
s322：图像通道分离，抽取g通道；
[0089]
s323：分割眼底图像区域roi；
[0090]
s324：腐蚀roi得到掩膜mask；
[0091]
s325：遍历检测和计算mask内的局部特征向量；
[0092]
s326：根据图像a和图像b的局部特征向量两两计算最近邻距离；
[0093]
s327：基于栅格统计的特征匹配，剔除错误匹配；
[0094]
s328：判读是否需要计算匹配分，若需要，根据匹配的特征向量对质量和数量评估匹配得分，若不需要，进入步骤s329；
[0095]
s329：基于随机抽样一致性算法进一步剔除错误匹配，保留主要匹配对，并拟合得到单映射矩阵；
[0096]
s3210：根据匹配对得到由图像b到图像a的单映变换矩阵h，并评估仿射变换矩阵中的尺度、角度、位移变换指标；
[0097]
s3211：判断指标是否合适，若合适，得到由图像b到图像a的单映变换矩阵h，若不合适，则匹配失败。
[0098]
所述步骤s33中对最高得分的图像对进行拼接融合，如图4所示，具体为：
[0099]
s331：对图像b利用单映变换矩阵h进行仿射变换得到图像b’；
[0100]
s332：分别计算图像a和图像b’中视网膜区域的外接圆，得到圆心和半径信息；
[0101]
s333：拼接融合过程按照越靠近彼此边缘权重越低，靠近图像中心权重越高的原则进行融合，融合过程将融合区域分为相交非边界、相交边界和不相交三种类型：
[0102]
①
不相交区域，分别利用图像a和图像b’对应的像素值进行对应区域填充；
[0103]
②
相交非边界区域，计算当前位置对应图像a和图像b’中圆心的距离la和lb’，根据两个距离的比值设置来自图像a和图像b’的像素填充权重；
[0104]
③
相交边界区域，同样计算la和lb’，此时引入阈值t对la和lb’的得到的权重进行压缩或拉伸处理，根据最后的权重完成像素填充。
[0105]
实施例4
[0106]
本实施例在实施例1的基础上，继续公开步骤s3中得到最终的拼接图像后，还将图像序列中的病灶信息按照拼接后的位置进行坐标映射，具体为：
[0107]
按照不同病灶或关键位置点的类别分别存放位置坐标(x，y)，将匹配得到的每一张图像的单映变换矩阵h分别与位置坐标计算得到融合后的位置坐标(x’，y’)＝(x，y)*h，利用相同类型，相似坐标区域合并的原则进行病灶信息合并，确定分区关键部位中的视盘和黄斑位置。
[0108]
确定分区关键部位中的视盘和黄斑位置后，锯齿缘的位置由事先设计的基于眼底广角影像中视盘位置loc
视
，黄斑位置loc
黄
以及广角图像宽度i
宽
的映射关系f进行计算，公式为：
[0109]
loc
锯
＝f(loc
视
,loc
黄
,i
宽
)，
[0110]
式中，loc
锯
为锯齿缘的位置。
[0111]
所述映射关系f的确定，具体为：
[0112]
事先准备若干组同一个体获取到的不同各方位的广角眼底影像集合{[a1,a2,
…
,an]，[b1,b2,
…
,bn],
…
}和包含锯齿缘的完整视网膜眼底广域影像[a,b,
…
]，建立从广角影像集合到广域影像的位置映射关系，对广角图像集合a1,a2,
…
an分别于影像a进行匹配，得到对应的单映变换矩阵h1，h2，
…
，hn，将集合中的图像匹配到影像a中的对应位置，通过影像a中事先标注的锯齿缘关键部位位置，可以判定出广角图中出现锯齿缘位置点坐标信息loc锯，令loc
锯
＝f(loc
视
,loc
黄
,i
宽
)成立，以上若干组数据作为训练数据，训练拟合多项式f，得到在广角图上的视盘、黄斑和图像宽到锯齿缘位置的映射函数f，后续直接利用映射函数f模型进行锯齿缘的位置估计。
[0113]
实施例5
[0114]
本实施例在实施例1的基础上，继续公开步骤s4中根据最终的拼接图像得到眼底视网膜分区，具体为：
[0115]
以视盘位置为圆心，从视盘到黄斑的距离的两倍作为半径，该圆形区域为i区；以视盘为圆心，视盘到锯齿缘为半径做圆，剔除i区后的圆环区域作为ii区，整个眼底区域，除去i区和ii区以外的即为iii区。
[0116]
在分区后的图像中可视化病灶检出结果和分区标识，并按照病灶类型给出分期结果；根据病灶类型和位置对应的分区信息确定各类rop亚型；根据病灶所在分区分布情况，统计某类型病灶的分布钟点数，以上信息整合后以结构化信息展示。
[0117]
实施例6
[0118]
本实施例提供一种早产儿视网膜病变检测装置，如图10所示，包括：
[0119]
影像采集模块，所述影响采集模块用于获取待筛查个体的左右两边不同方位的眼底广角影像；
[0120]
检出模块，所述检出模块以待筛查个体为单位将不同方位的眼底广角影像送入预先训练好的病灶检出模型，得到每张眼底广角影像的病灶检出结果；
[0121]
影像合并模块，所述影响合并模块将带有病灶检出结果的不同方位的眼底广角影像进行拼接合并，得到最终的拼接图像；
[0122]
分区模块，所述分区模块根据最终的拼接图像得到眼底视网膜分区；
[0123]
分析模块，所述分析模块在分区后的图像中可视化病灶检出结果和分区标识，并按照病灶类型给出分期结果。
[0124]
相同或相似的标号对应相同或相似的部件；
[0125]
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
[0126]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。