一种基于神经网络的图像层间边界确定方法及装置与流程

1.本发明涉及图像分割技术领域，尤其涉及一种基于神经网络的图像层间边界确定方法及装置。


背景技术：

2.随着计算机和医疗技术的快速发展，oct(optical coherence tomography，光学相干层析成像)技术已被广泛应用于眼底疾病的诊断设备中，对眼科疾病的检测和治疗有着重要意义。oct属于一种高灵敏度、高分辨率、高速度、无入侵的断层扫描成像方式，利用光的相干性对眼底扫描成像，每次扫描被称为一个a
‑
scan，相邻连续的多次扫描组合在一起称为一个b
‑
scan，b
‑
scan也即通常所看到的oct截面图，是医学诊断中oct最主要的成像方式。
3.在对oct截面图(如oct视网膜图像)进行分析处理的实际应用中，精确并自动分割oct截面图中不同组织层并获取组织层的边界(也即分层边界)具有重大意义。现有技术中，对于分层边界的识别，主要是采用图像搜索或图像识别来实现的，通过搜索或识别图像的灰度、梯度、扫描轮廓等特征达到分层边界的识别目的。然而实践发现，这种方法无法确定识别出的分层边界的置信度，存在分层边界被误判的风险。


技术实现要素：

4.本发明提供了一种基于神经网络的图像层间边界确定方法及装置，能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，提高对图像分层边界识别的准确性及效率。
5.为了解决上述技术问题，本发明第一方面公开了一种基于神经网络的图像层间边界确定方法，所述方法包括：
6.将待检测图像输入至第一卷积神经网络模型，得到预测边界结果，所述预测边界结果包括所述待检测图像的n个分层边界、与n个所述分层边界对应的n个边界通道以及n个所述边界通道分别对应的概率值集合，其中，所述n大于等于1，每个所述边界通道对应的概率值集合包括所述待检测图像中所有像素点属于每个所述边界通道的概率值；
7.对于任一所述边界通道中的任一边界位置，确定与该边界位置相对应的目标像素点集，根据所述预测边界结果，计算所述目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度；
8.对于任一所述边界通道中的任一边界位置，根据该边界位置对应的分布集中度，确定该边界位置的确定度信息，该边界位置的确定度信息用于确定该边界位置的准确度。
9.作为一种可选的实施方式，在本发明第一方面中，所述对于任一所述边界通道中的任一边界位置，确定与该边界位置相对应的目标像素点集，包括：
10.对于任一所述边界通道中的任一边界位置，确定该边界通道对应的分层边界的分布方向，当确定出该边界通道对应的分层边界的分布方向是横向时，将该边界通道中该边
界位置处的整列像素点确定为与该边界位置相对应的目标像素点集；当确定出该边界通道对应的分层边界的分布方向是纵向时，将该边界位置处的整行像素点确定为与该边界位置相对应的目标像素点集。
11.作为一种可选的实施方式，在本发明第一方面中，所述根据所述预测边界结果，计算所述目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度，包括：
12.根据所述预测边界结果，对所述目标像素点集中所有像素点属于该边界通道的概率值执行softmax回归操作，得到所述目标像素点集中所有像素点属于该边界通道的回归概率值；
13.对所述目标像素点集中所有像素点属于该边界通道的回归概率值执行概率分布统计操作，得到所述目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，将所述目标像素点集中所有像素点属于该边界通道的概率值的分布集中度确定为该边界位置对应的分布集中度。
14.作为一种可选的实施方式，在本发明第一方面中，所述对于任一所述边界通道中的任一边界位置，根据该边界位置对应的分布集中度，确定该边界位置的确定度信息，包括：
15.对于任一所述边界通道中的任一边界位置，判断该边界位置的分布集中度是否大于预设阈值，当判断出该边界位置的分布集中度大于所述预设阈值时，将用于表示该边界位置为实际边界位置的标识信息确定为该边界位置的确定度信息；
16.当判断出该边界位置的分布集中度小于等于所述预设阈值时，将用于表示该边界位置为非实际边界位置的标识信息确定为该边界位置的确定度信息。
17.作为一种可选的实施方式，在本发明第一方面中，对于任一所述边界通道中的任一边界位置，所述将用于表示该边界位置为非实际边界位置的标识信息确定为该边界位置的确定度信息之后，所述方法还包括：
18.根据该边界位置，从所述待检测图像中确定出局部难例样本图片；
19.将所述局部难例样本图片输入至第二卷积神经网络模型，得到该边界位置对应的纠偏量；
20.根据该边界位置对应的纠偏量，计算该边界位置对应的纠偏边界位置，并将所述纠偏边界位置确定为实际边界位置。
21.作为一种可选的实施方式，在本发明第一方面中，所述第一卷积神经网络模型包括：
22.深度为m的编码层以及与m层所述编码层对应的m层解码层，所述m大于等于1；
23.其中，相邻两层所述编码层之间通过下采样单元连接，相邻两层所述解码层之间通过上采样单元连接；
24.其中，每个所述编码层以及每个所述解码层均包括若干卷积单元，每个所述卷积单元中依次包括卷积层、归一化层、激活层。
25.作为一种可选的实施方式，在本发明第一方面中，在所述将待检测图像输入至第一卷积神经网络模型之前，所述方法还包括：
26.对预训练数据集执行图像增强操作，得到目标训练数据集；
27.将所述目标训练数据集输入到预置神经网络中，得到预分割结果，所述预分割结果包括图像层分类结果以及图像层间边界结果；
28.计算所述预分割结果与预先确定出的标记结果之间的联合损失，所述预先确定出的标记结果包括预先标记分类结果以及预先标记层间边界结果；
29.将所述联合损失进行反向传播，通过预设周期长度的迭代训练得到第一卷积神经网络模型。
30.作为一种可选的实施方式，在本发明第一方面中，所述联合损失的计算公式为：
31.l＝λ
label_dice
l
label_dice
λ
label_ce
l
label_ce
λ
bd_ce
l
bd_ce
λ
bd_l1
l
bd_l1
；
32.其中，l为所述联合损失，l
label_dice
为所述图像层分类结果与所述预先标记分类结果之间的dice损失，λ
label_dice
为所述dice损失对应的权重系数，l
label_ce
为所述图像层分类结果与所述预先标记分类结果之间的分类交叉熵损失，λ
label_ce
为所述分类交叉熵损失对应的权重系数，l
bd_ce
为所述图像层间边界结果与所述预先标记层间边界结果之间的边界交叉熵损失，λ
bd_ce
为所述边界交叉熵损失对应的权重系数，l
bd_l1
为所述图像层间边界结果与所述预先标记层间边界结果之间的平滑损失，λ
bd_l1
为所述平滑损失对应的权重系数。
33.本发明第二方面公开了一种基于神经网络的图像层间边界确定装置，所述装置包括：
34.第一处理模块，用于将待检测图像输入至第一卷积神经网络模型，得到预测边界结果，所述预测边界结果包括所述待检测图像的n个分层边界、与n个所述分层边界对应的n个边界通道以及n个所述边界通道分别对应的概率值集合，其中，所述n大于等于1，每个所述边界通道对应的概率值集合包括所述待检测图像中所有像素点属于每个所述边界通道的概率值；
35.第一确定模块，用于对于任一所述边界通道中的任一边界位置，确定与该边界位置相对应的目标像素点集，根据所述预测边界结果，计算所述目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度；
36.第二确定模块，用于对于任一所述边界通道中的任一边界位置，根据该边界位置对应的分布集中度，确定该边界位置的确定度信息，该边界位置的确定度信息用于确定该边界位置的准确度。
37.作为一种可选的实施方式，在本发明第二方面中，对于任一所述边界通道中的任一边界位置，所述第一确定模块确定与该边界位置相对应的目标像素点集的具体方式为：
38.对于任一所述边界通道中的任一边界位置，确定该边界通道对应的分层边界的分布方向，当确定出该边界通道对应的分层边界的分布方向是横向时，将该边界通道中该边界位置处的整列像素点确定为与该边界位置相对应的目标像素点集；当确定出该边界通道对应的分层边界的分布方向是纵向时，将该边界位置处的整行像素点确定为与该边界位置相对应的目标像素点集。
39.作为一种可选的实施方式，在本发明第二方面中，所述第一确定模块根据所述预测边界结果，计算所述目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度的具体方式为：
40.根据所述预测边界结果，对所述目标像素点集中所有像素点属于该边界通道的概率值执行softmax回归操作，得到所述目标像素点集中所有像素点属于该边界通道的回归
概率值；
41.对所述目标像素点集中所有像素点属于该边界通道的回归概率值执行概率分布统计操作，得到所述目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，将所述目标像素点集中所有像素点属于该边界通道的概率值的分布集中度确定为该边界位置对应的分布集中度。
42.作为一种可选的实施方式，在本发明第二方面中，对于任一所述边界通道中的任一边界位置，所述第二确定模块根据该边界位置对应的分布集中度，确定该边界位置的确定度信息的具体方式为：
43.对于任一所述边界通道中的任一边界位置，判断该边界位置的分布集中度是否大于预设阈值，当判断出该边界位置的分布集中度大于所述预设阈值时，将用于表示该边界位置为实际边界位置的标识信息确定为该边界位置的确定度信息；
44.当判断出该边界位置的分布集中度小于等于所述预设阈值时，将用于表示该边界位置为非实际边界位置的标识信息确定为该边界位置的确定度信息。
45.作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
46.第三确定模块，用于对于任一所述边界通道中的任一边界位置，当所述第二确定模块判断出该边界位置的分布集中度小于等于所述预设阈值时，根据该边界位置，从所述待检测图像中确定出局部难例样本图片；
47.第二处理模块，用于将所述局部难例样本图片输入至第二卷积神经网络模型，得到该边界位置对应的纠偏量；
48.第四确定模块，用于根据该边界位置对应的纠偏量，计算该边界位置对应的纠偏边界位置，并将所述纠偏边界位置确定为实际边界位置。
49.作为一种可选的实施方式，在本发明第二方面中，所述第一卷积神经网络模型包括：
50.深度为m的编码层以及与m层所述编码层对应的m层解码层，所述m大于等于1；
51.其中，相邻两层所述编码层之间通过下采样单元连接，相邻两层所述解码层之间通过上采样单元连接；
52.其中，每个所述编码层以及每个所述解码层均包括若干卷积单元，每个所述卷积单元中依次包括卷积层、归一化层、激活层。
53.作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
54.第三处理模块，用于对预训练数据集执行图像增强操作，得到目标训练数据集；
55.分割模块，用于将所述目标训练数据集输入到预置神经网络中，得到预分割结果，所述预分割结果包括图像层分类结果以及图像层间边界结果；
56.第五确定模块，用于计算所述预分割结果与预先确定出的标记结果之间的联合损失，所述预先确定出的标记结果包括预先标记分类结果以及预先标记层间边界结果；
57.训练模块，用于将所述联合损失进行反向传播，通过预设周期长度的迭代训练得到第一卷积神经网络模型，以触发所述第一确定模块执行所述将待检测图像输入至第一卷积神经网络模型，得到预测边界结果的操作。
58.作为一种可选的实施方式，在本发明第二方面中，所述联合损失的计算公式为：
59.l＝λ
label_dice
l
label_dice
λ
label_ce
l
label_ce
λ
bd_ce
l
bd_ce
λ
bd_l1
l
bd_l1
；
60.其中，l为所述联合损失，l
label_dice
为所述图像层分类结果与所述预先标记分类结果之间的dice损失，λ
label_dice
为所述dice损失对应的权重系数，l
label_ce
为所述图像层分类结果与所述预先标记分类结果之间的分类交叉熵损失，λ
label_ce
为所述分类交叉熵损失对应的权重系数，l
bd_ce
为所述图像层间边界结果与所述预先标记层间边界结果之间的边界交叉熵损失，λ
bd_ce
为所述边界交叉熵损失对应的权重系数，l
bd_l1
为所述图像层间边界结果与所述预先标记层间边界结果之间的平滑损失，λ
bd_l1
为所述平滑损失对应的权重系数。
61.本发明第三方面公开了另一种基于神经网络的图像层间边界确定装置，所述装置包括：
62.存储有可执行程序代码的存储器；
63.与所述存储器耦合的处理器；
64.所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的一种基于神经网络的图像层间边界确定方法中的部分或全部步骤。
65.本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机程序代码，所述计算机程序代码被调用时，用于执行本发明第一方面公开的一种基于神经网络的图像层间边界确定方法中的部分或全部步骤。
66.与现有技术相比，本发明具有以下有益效果：
67.本发明中，将待检测图像输入至第一卷积神经网络模型，得到预测边界结果，该预测边界结果包括n个分层边界以及与分层边界对应的n个边界通道；对于任一边界通道中的边界位置，确定与该边界位置相对应的目标像素点集；计算目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度；根据该边界位置对应的分布集中度，确定该边界位置的确定度信息，该边界位置的确定度信息用于确定该边界位置的准确度。可见，本发明能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，通过一种量化的方式来确定出预测边界结果的确定度，有利于提高对图像分层边界识别的准确性，提高识别效率和可靠性，便于灵活筛选不同确定度程度的边界预测水平，进而可以降低后续图像处理的复杂度和整体调试的难度，同时可以排除不确定度高的点，并有利于后续使用纠正方法纠正模型输出。
附图说明
68.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
69.图1是本发明实施例公开的一种基于神经网络的图像层间边界确定方法的流程示意图；
70.图2是本发明实施例公开的另一种基于神经网络的图像层间边界确定方法的流程示意图；
71.图3是本发明实施例公开的一种基于神经网络的图像层间边界确定装置的结构示意图；
72.图4是本发明实施例公开的另一种基于神经网络的图像层间边界确定装置的结构
示意图。
73.图5是本发明实施例公开的又一种基于神经网络的图像层间边界确定装置的结构示意图。
具体实施方式
74.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
75.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
76.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
77.本发明涉及一种基于神经网络的图像层间边界确定方法及装置，该基于神经网络的图像层间边界确定方法及装置能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息。本发明一个或多个实施例可以应用于任意需要进行分层边界识别的图像，包括可以直接输入到神经网络进行分析的截面图片(例如oct图像)，也包括经过预处理得到的特征提取图像(例如rgb图像经过卷积网络处理之后得到的单颜色通道的特征分割图)，还可以包括结合图像的采样差值算法、图像超分辨率重建算法等对图像进行划分后的图像，本发明实施例不做限定。
78.实施例一
79.请参阅图1，图1是本发明实施例公开的一种基于神经网络的图像层间边界确定方法的流程示意图。其中，该方法可以应用于图像分层判定装置中，该图像分层判定装置可以是一个独立的装置，也可以集成在图片或视频处理设备中，本发明实施例不做限定。如图1所示，该基于神经网络的图像层间边界确定方法可以包括以下操作：
80.100、将待检测图像输入至第一卷积神经网络模型，得到预测边界结果，该预测边界结果包括n个分层边界以及与分层边界对应的n个边界通道。
81.本发明实施例中，通过第一卷积神经网络模型，可以得到待检测图像的预测边界结果，该预测边界结果包括该待检测图像中所有像素属于某两层间边界的可能性。具体的，该预测边界结果包括该待检测图像的n(n大于等于1)个分层边界、与n个分层边界对应的n个边界通道以及n个边界通道分别对应的概率值集合，其中，每个边界通道对应的概率值集合包括该待检测图像中所有像素点属于每个边界通道的概率值；
82.101、对于任一边界通道中的任一边界位置，确定与该边界位置相对应的目标像素点集。
83.本发明实施例中，在得到预测边界结果之后，对于任一边界通道中的任一边界位置，首先确定出与该边界位置相对应的目标像素点集，该目标像素点集用于进行概率统计分析。目标像素点集并不限定具体的范围和数目，但选取的目标像素点集样本应当是与该边界位置相对应、相关联的，例如以该边界位置为中心的正方形、圆形区域或者其他不规则图形区域范围内的所有像素点的集合。
84.需要说明的是，对每一个边界位置进行目标像素点集选取时，各个边界位置对应的目标像素点集之间可以有相互重叠的像素点，也可以是完全相互独立的像素点集，本发明实施例不做限定。
85.102、根据预测边界结果，计算目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度。
86.本发明实施例中，在确定该边界位置对应的目标像素点集之后，计算该边界位置对应的目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，例如可以计算目标像素点集对应的所有概率值的峰度值k，其中k的计算公式如下：
[0087][0088]
其中，k为目标像素点集对应的所有概率值的峰度值，n为该目标像素点集中所有像素点的总数目，x
i
为目标像素点集中第i个像素点属于该边界通道的概率值，x为目标像素点集中所有像素点属于该边界通道的概率值的平均值。
[0089]
需要说明的是，本发明实施例中，并不限定所使用的分布集中度的具体形式，除峰度值反映分布集中度外，还可以使用偏度、方差、标准差等其他评价概率分布集中度的参数，本发明实施例不作限定。
[0090]
103、对于任一边界通道中的任一边界位置，根据该边界位置对应的分布集中度，确定该边界位置的确定度信息。
[0091]
本发明实施例中，通过计算分析每个通道的概率分布集中度情况，用来衡量该通道该位置处分层边界的确定度信息，该边界位置的确定度信息用于确定该边界位置的准确度。以峰度值k为例，可以通过峰度值k反映每个通道每列中概率值的分散情况，置信度分布越集中的列，k值越大，确定度越高，置信度分布越分散的列，k值越小，不确定度越高。
[0092]
可见，本发明能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，通过一种量化的方式来确定出预测边界结果的确定度，有利于提高对图像分层边界识别的准确性，进而可以降低后续图像处理的复杂度和整体调试的难度，同时可以排除不确定度高的点，并有利于后续使用纠正方法纠正模型输出。
[0093]
进一步可选的，步骤100中将待检测图像输入至第一卷积神经网络模型，得到的预测边界结果还可以包括该待检测图像中所有像素属于某个分层的可能性。具体的，该预测边界结果还可以包括该待检测图像的b(b大于等于2)个分层、b 1(通道数目等于分层数目加1层背景)个分层通道以及b 1个分层通道分别对应的概率值集合，其中每个分层通道对应的概率值集合包括该待检测图像中所有像素点属于每个分层通道的概率值。
[0094]
可见，本发明不仅能够基于神经网络准确分割图像的分层并获取分层边界信息，
还能够获取分层信息，进而确定识别出的分层信息的准确度信息，通过一种量化的方式来确定出分层结果的确定度，有利于提高对图像分层分割的准确性，进而可以降低后续图像处理的复杂度和整体调试的难度，同时可以排除不确定度高的点，并有利于后续使用纠正方法纠正模型输出。
[0095]
在一个可选的实施例中，对于任一边界通道中的任一边界位置，确定与该边界位置相对应的目标像素点集，可以选择一种更优的确定方法：确定该边界通道对应的分层边界的分布方向，当确定出该边界通道对应的分层边界的分布方向是横向时，将该边界通道中的该边界位置处的整列像素点确定为与该边界位置相对应的目标像素点集；当确定出该边界通道对应的分层边界的分布方向是纵向时，将该边界位置处的整行像素点确定为与该边界位置相对应的目标像素点集。例如，视网膜的分层基本上都是横向的层在竖直方向上的叠加，边界信息是个数为w(图像像素级宽度)的y坐标的高度值组成，所以可以将该边界位置处的一整列的所有像素点组成为目标像素点集，进而对该列像素点的分析结果作为该边界位置处的分析结果。
[0096]
可见，本发明通过优化边界位置处的目标像素点集的取样方式，能够更准确的评价该边界位置处的确定度水平，进而有利于提高对图像分层边界准确度，提高识别效率和可靠性。
[0097]
在一个可选的实施例中，根据预测边界结果，计算目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度，可以包括：
[0098]
根据预测边界结果，对目标像素点集中所有像素点属于该边界通道的概率值执行softmax回归操作，得到目标像素点集中所有像素点属于该边界通道的回归概率值；
[0099]
对目标像素点集中所有像素点属于该边界通道的回归概率值执行概率分布统计操作，得到目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，将目标像素点集中所有像素点属于该边界通道的概率值的分布集中度确定为该边界位置对应的分布集中度。
[0100]
本发明实施例中，通过softmax算法，对目标像素点集中所有像素点属于该边界通道个概率值进行归一化的逻辑回归，将所有概率值转化为回归概率值，即将所有概率值映射到0
‑
1区间的回归概率值，且所有回归概率值的和为1，进而对回归概率值进行概率统计分析。需要说明的是，本发明实施例中还可以使用其他归一化准则，例如logistic回归算法，本发明不做限定，但应当说明的是softmax是本方案的优选方案。
[0101]
可见，本发明通过归一化的转化方式，可以最小化预测边界与实际边界之间的损失，进行最大似然估计，提高概率分布统计样本的可靠性，可以更加准确地实现对边界位置的识别，提高识别和分割边界的可靠性。
[0102]
在该可选的实施例中，进一步可选的，在得到每一通道每一分界位置的softmax结果之后，可以将该softmax结果与像素的对应位置编号进行点积运算，最终可以获得该分界在该位置出的点积结果，也即层间边界的分界信息。例如，以视网膜图片分析为例，对每一通道每一列求softmax得到结果b1，再与该列每行编号点积运算后，获得该分界在该列的位置得到b2，b2即为视网膜组织层间分界信息。
[0103]
在一个可选的实施例中，对于任一边界通道中的任一边界位置，可以通过预设阈值判断的方式，判断该边界位置的分布集中度是否大于预设阈值，当判断出该边界位置的
分布集中度大于该预设阈值时，将用于表示该边界位置为实际位置的标识信息确定为该边界位置的确定度信息；当判断出该边界位置的分布集中度小于等于该预设阈值时，将用于表示该边界位置为非实际边界位置的标识信息确定为该边界位置的确定度信息。例如在视网膜oct组织层识别过程中，以峰度值k作为衡量分布集中度的方式，当k值小于等于70的时，反映相应位置处的概率分布越分散，不确定度越高，也越容易出现预测错误的情况，当k值大于70时，说明相应位置处的概率分布比较集中，不确定度较低，本发明得到的预测边界位置的为实际边界位置的置信度较高。需要说明的是，本发明中提到的阈值70只是作为示例，实际方案中可以根据实际情况需要，动态调整对应的阈值范围和水平，以适应不同图像的分割和判断需要。同样，本发明并不限定每个通道使用同一个阈值水平，可以根据实际情况调整不同通道的预设阈值，比如对于其中个别不重要的分层边界不需要很高的确定度水平，可以适当降低对应分层边界对应的预设阈值。
[0104]
可见，本发明通过预设阈值的方式，可以根据实际需要，动态调整控制图像识别过程中的确定度水平，便于灵活筛选不同确定度程度的边界预测水平，降低后续纠正模型的处理数据量，提高纠正模型的处理速率。
[0105]
在一个可选的实施例中，本发明实施例中第一卷积神经网络模型可以包括：多个编码层和与编码成相对应的解码层，每个编码层或者解码层由若干个卷积单元组成，每个卷积单元中依次包括卷积层(卷积核大小可以是3x3、5x5、7x3，本发明实施例不做限定)、归一化层(批归一化层、实例归一化层或无，本发明实施例不作限定)、激活层(relu或其他变种，如prelu、leakyrelu，本发明实施例不做限定)。其中同级的编码层与解码层之间可以带有短连接，短连接有利于梯度传播，使得神经网络更容易训练。
[0106]
需要说明的是，本发明实施例中，两个或多个卷积单元中也可以带有短连接。相邻两层编码层之间可以通过下采样单元连接，下采样单元可以为步幅为预设值的卷积或者最大池化层或平均池化层，相邻两层解码层之间可以通过上采样单元连接，上采样单元可以为步幅为预设值的反卷积或上采样层。
[0107]
可见，本发明能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，通过一种量化的方式来确定出预测边界结果的确定度，有利于提高对图像分层边界识别的准确性，提高识别效率和可靠性，便于灵活筛选不同确定度程度的边界预测水平，进而可以降低后续图像处理的复杂度和整体调试的难度，同时可以排除不确定度高的点，并有利于后续使用纠正方法纠正模型输出。
[0108]
实施例二
[0109]
请参阅图2，图2是本发明实施例公开的另一种基于神经网络的图像层间边界确定方法的流程示意图。其中，该方法可以应用于图像分层判定装置中，该图像分层判定装置可以是一个独立的装置，也可以集成在图片或视频处理设备中，本发明实施例不做限定。如图2所示，该基于神经网络的图像层间边界确定方法可以包括以下操作：
[0110]
201、将待检测图像输入至第一卷积神经网络模型，得到预测边界结果，该预测边界结果包括n个分层边界以及与分层边界对应的n个边界通道。
[0111]
202、对于任一边界通道中的任一边界位置，确定与该边界位置相对应的目标像素点集。
[0112]
203、根据预测边界结果，计算目标像素点集中所有像素点属于该边界通道的概率
值的分布集中度，得到该边界位置对应的分布集中度。
[0113]
204、对于任一边界通道中的任一边界位置，根据该边界位置对应的分布集中度，确定该边界位置的确定度信息。
[0114]
本发明实施例中，针对步骤201
‑
步骤204的其它描述，请分别对应参照实施例一中针对步骤100
‑
步骤103的详细描述，本发明实施例不再赘述。
[0115]
可见，本发明能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，通过一种量化的方式来确定出预测边界结果的确定度，有利于提高对图像分层边界识别的准确性，进而可以降低后续图像处理的复杂度和整体调试的难度，同时可以排除不确定度高的点，并有利于后续使用纠正方法纠正模型输出。
[0116]
在一个可选的实施例中，在步骤203将用于表示该边界位置为非实际边界位置的标识信息确定为该边界位置的确定度信息之后，该方法还可以包括：
[0117]
205、根据该边界位置，从待检测图像中确定出局部难例样本图片，对该局部难例样本图片进行纠正。
[0118]
本发明实施例中，通过找出k值小于某固定值的点，可以找出第一神经网络模型预测不确定度高的点，可以通过插值纠正不确定的预测点。其中一些插值的方法如：a.通过相邻附近点信息插值纠正；b.同一分界前后帧插值纠正；c.通过对整个对齐后的3d(所有b
‑
scan)图像边界进行预测，对不确定度高的点使用2维插值进行纠正。上述所指明的方法只是作为示例，实际可以根据实际情况进行选择，本发明实施例不做限定。
[0119]
可见，本发明能够基于神经网络准确分割图像的分层并获取分层边界信息，进而在确定识别出的边界信息的准确度信息之后，对于不确定度高的点，通过纠正算法对不确定点进行纠正操作，进而可以使得分层结果更加准确。
[0120]
在该可选的实施例中，进一步可选的，本发明实施例也可以通过筛选出不确定区域，专门训练第二神经网络模型，同时接受组织层边界输入和相应位置的峰度信息，预测边界的偏移量，通过比对标注信息得到损失从而训练得到纠正神经网络，也即第二神经网络。例如，详细的纠正过程可以如下：a、通过第一神经网络模型中训练得到的预测边界结果，结合kurtosis或其它度量，筛选出不确定度高的区域，如h*32的大小(h为图片的高度，宽度可任意，一般应大于不确定度高的区域的宽度)，作为新的训练样本。这些样本代表了对于第一神经网络来说的难以确定的难例样本；b、建立纠偏网络，也即第二神经网络，经过若干个卷积单元及池化层，最后通过若干全连接层，输出长度为k*w的纠偏向量(k条分层线，w为图像的宽度)。第二神经网络的输入为经过第一神经网络筛选的局部难例样本图片(置信度低的图片局部)、第一神经网络预测的分层位置及置信度信息，第二神经网络的输出为对应不同层边界的修正量，例如第一神经网络预测边界的位置为126，而真正的位置为132，则第二神经网络通过学习，预测出纠偏量为5.5(真实纠偏量为6)，通过两个网络结合，可以使得分层结果更加准确。
[0121]
可见，本发明能够基于神经网络准确分割图像的分层并获取分层边界信息，进而在确定识别出的边界信息的准确度信息之后，通过纠偏神经网络模型对第一神经网络模型的输出结果进行纠正，可以得到精确的纠偏量，进而通过两个神经网络模型的结合，使得分层结果更加准确。
[0122]
在一个可选的实施例中，在将待检测图像输入至第一卷积神经网络模型之前，该
方法还包括：
[0123]
200、通过训练数据集对预设神经网络模型进行训练，得到第一卷积神经网络模型。
[0124]
本发明实施例中，对预设神经网络模型进行训练的方法，可以包括如下操作：
[0125]
对预训练数据集执行图像增强操作，得到目标训练数据集。
[0126]
本发明实施例中，对预训练数据集执行图像增强操作，其中图像增强操作用于增加模型健壮性，图像增强操作包括上下移动、左右翻转、上下翻转、对比度变化、亮度变化等，本发明实施例不做限定，进而得到目标训练数据集。
[0127]
将目标训练数据集输入到预置神经网络中，得到预分割结果，预分割结果包括图像层分类结果以及图像层间边界结果。
[0128]
本发明实施例中，将目标训练数据集输入到阈值神经网络中，进行前向传播，以得到预分割结果。其中，预分割结果可以包括图像层分类结果以及图像层间边界结果。
[0129]
计算预分割结果与预先确定出的标记结果之间的联合损失，预先确定出的标记结果包括预先标记分类结果以及预先标记层间边界结果。
[0130]
本发明实施例中，在对预置神经网络进行训练的过程中，由于需要不断训练，因此本发明实施例采用了预分割结果与预先确定出的标记结果之间的损失函数配合作用来对预置神经网络进行不断训练。其中，预先确定出的标记结果包括预先标记分类结果以及预先标记层间边界结果。例如，专家标注的像素级图像或者其他自动判定方式确定出来的图像。
[0131]
将联合损失进行反向传播，通过预设周期长度的迭代训练得到第一卷积神经网络模型。
[0132]
本发明实施例中，将联合损失值进行反向传播，并通过预设周期长度的迭代训练得到第一卷积神经网络。其中，联合损失用来表示预分割预测结果与其相对应的经过one
‑
hot编码后的专家像素级标记图像之间的误差。通过联合损失函数公式计算预分割预测图与经过one
‑
hot编码后的专家像素级标记图像之间的损失值进行反向传播，以便于对权重参数进行更新，通过预设周期长度的迭代训练，以最小化损失函数值，从而得到训练好的第一卷积神经网络用于测试。
[0133]
其中，联合损失的计算公式为：
[0134]
l＝λ
label_dice
l
label_dice
λ
label_ce
l
label_ce
λ
bd_ce
l
bd_ce
λ
bd_l1
l
bd_l1
；
[0135]
其中，l为联合损失，l
label_dice
为图像层分类结果与预先标记分类结果之间的dice损失，λ
label_dice
为dice损失对应的权重系数，l
label_ce
为图像层分类结果与预先标记分类结果之间的分类交叉熵损失，λ
label_ce
为分类交叉熵损失对应的权重系数，l
bd_ce
为图像层间边界结果与预先标记层间边界结果之间的边界交叉熵损失，λ
bd_ce
为边界交叉熵损失对应的权重系数，l
bd_l1
为图像层间边界结果与预先标记层间边界结果之间的平滑损失，λ
bd_l1
为平滑损失对应的权重系数。
[0136]
可见，本发明能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，可以提高训练的可靠性，得到最优的第一神经网络模型，进而提高神经网络模型应用的广泛性，满足实际应用需求。
[0137]
实施例三
[0138]
请参阅图3，图3是本发明实施例公开的一种基于神经网络的图像层间边界确定装置的结构示意图。需要说明的是，该动静判定装置参照的是实施例一和实施例二所描述的基于神经网络的图像层间边界确定方法中的步骤，详细的描述在本实施例中就不做赘述，如图3所示，该基于神经网络的图像层间边界确定装置可以包括：
[0139]
第一处理模块301，用于将待检测图像输入至第一卷积神经网络模型，得到预测边界结果，该预测边界结果包括该待检测图像的n个分层边界、与n个分层边界对应的n个边界通道以及n个边界通道分别对应的概率值集合，其中，n大于等于1，每个边界通道对应的概率值集合包括该待检测图像中所有像素点属于每个边界通道的概率值；
[0140]
第一确定模块302，用于对于任一边界通道中的任一边界位置，确定与该边界位置相对应的目标像素点集，根据预测边界结果，计算该目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度；
[0141]
第二确定模块303，用于对于任一边界通道中的任一边界位置，根据该边界位置对应的分布集中度，确定该边界位置的确定度信息，该边界位置的确定度信息用于确定该边界位置的准确度。
[0142]
可见，本发明所描述的基于神经网络的图像层间边界确定装置，能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，通过一种量化的方式来确定出预测边界结果的确定度，有利于提高对图像分层边界识别的准确性，进而可以降低后续图像处理的复杂度和整体调试的难度，同时可以排除不确定度高的点，并有利于后续使用纠正方法纠正模型输出。
[0143]
在一个可选的实施例中，对于任一边界通道中的任一边界位置，第一确定模块302确定与该边界位置相对应的目标像素点集的具体方式为：
[0144]
对于任一边界通道中的任一边界位置，确定该边界通道对应的分层边界的分布方向，当确定出该边界通道对应的分层边界的分布方向是横向时，将该边界通道中该边界位置处的整列像素点确定为与该边界位置相对应的目标像素点集；当确定出该边界通道对应的分层边界的分布方向是纵向时，将该边界位置处的整行像素点确定为与该边界位置相对应的目标像素点集。
[0145]
可见，本发明所描述的基于神经网络的图像层间边界确定装置，能够更准确的评价该边界位置处的确定度水平，进而有利于提高对图像分层边界准确度，提高识别效率和可靠性。
[0146]
在一个可选的实施例中，第一确定模块302根据预测边界结果，计算目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，得到该边界位置对应的分布集中度的具体方式为：
[0147]
根据预测边界结果，对目标像素点集中所有像素点属于该边界通道的概率值执行softmax回归操作，得到目标像素点集中所有像素点属于该边界通道的回归概率值；
[0148]
对目标像素点集中所有像素点属于该边界通道的回归概率值执行概率分布统计操作，得到目标像素点集中所有像素点属于该边界通道的概率值的分布集中度，将目标像素点集中所有像素点属于该边界通道的概率值的分布集中度确定为该边界位置对应的分布集中度。
[0149]
可见，本发明所描述的基于神经网络的图像层间边界确定装置，能够通过归一化
的转化方式，可以最小化预测边界与实际边界之间的损失，进行最大似然估计，提高概率分布统计样本的可靠性，可以更加准确地实现对边界位置的识别，提高识别和分割边界的可靠性。
[0150]
在一个可选的实施例中，对于任一边界通道中的任一边界位置，第二确定模块303根据该边界位置对应的分布集中度，确定该边界位置的确定度信息的具体方式为：
[0151]
对于任一边界通道中的任一边界位置，判断该边界位置的分布集中度是否大于预设阈值，当判断出该边界位置的分布集中度大于预设阈值时，将用于表示该边界位置为实际边界位置的标识信息确定为该边界位置的确定度信息；
[0152]
当判断出该边界位置的分布集中度小于等于预设阈值时，将用于表示该边界位置为非实际边界位置的标识信息确定为该边界位置的确定度信息。
[0153]
可见，本发明所描述的基于神经网络的图像层间边界确定装置，能够通过预设阈值的方式，可以根据实际需要，动态调整控制图像识别过程中的确定度水平，便于灵活筛选不同确定度程度的边界预测水平，降低后续纠正模型的处理数据量，提高纠正模型的处理速率。
[0154]
在一个可选的实施例中，如图4所示，该基于神经网络的图像层间边界确定装置还可以包括：
[0155]
第三确定模块304，用于对于任一边界通道中的任一边界位置，当第二确定模块303判断出该边界位置的分布集中度小于等于预设阈值时，根据该边界位置，从待检测图像中确定出局部难例样本图片；
[0156]
第二处理模块305，用于将局部难例样本图片输入至第二卷积神经网络模型，得到该边界位置对应的纠偏量；
[0157]
第四确定模块306，用于根据该边界位置对应的纠偏量，计算该边界位置对应的纠偏边界位置，并将纠偏边界位置确定为实际边界位置。
[0158]
可见，本发明所描述的基于神经网络的图像层间边界确定装置，能够基于神经网络准确分割图像的分层并获取分层边界信息，进而在确定识别出的边界信息的准确度信息之后，通过纠偏神经网络模型对第一神经网络模型的输出结果进行纠正，可以得到精确的纠偏量，进而通过两个神经网络模型的结合，使得分层结果更加准确。
[0159]
在一个可选的实施例中，该基于神经网络的图像层间边界确定装置中第一卷积神经网络模型包括：
[0160]
深度为m的编码层以及与m层编码层对应的m层解码层，m大于等于1；
[0161]
其中，相邻两层编码层之间通过下采样单元连接，相邻两层解码层之间通过上采样单元连接；
[0162]
其中，每个编码层以及每个解码层均包括若干卷积单元，每个卷积单元中依次包括卷积层、归一化层、激活层。
[0163]
在一个可选的实施例中，该基于神经网络的图像层间边界确定装置还可以包括：
[0164]
第三处理模块307，用于对预训练数据集执行图像增强操作，得到目标训练数据集；
[0165]
分割模块308，用于将目标训练数据集输入到预置神经网络中，得到预分割结果，预分割结果包括图像层分类结果以及图像层间边界结果；
[0166]
第五确定模块309，用于计算预分割结果与预先确定出的标记结果之间的联合损失，预先确定出的标记结果包括预先标记分类结果以及预先标记层间边界结果；
[0167]
训练模块310，用于将联合损失进行反向传播，通过预设周期长度的迭代训练得到第一卷积神经网络模型，以触发第一确定模块执行将待检测图像输入至第一卷积神经网络模型，得到预测边界结果的操作，继而触发执行第一处理模块301执行将待检测图像输入至第一卷积神经网络模型，得到预测边界结果的操作。
[0168]
可见，本发明所描述的基于神经网络的图像层间边界确定装置，能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，可以提高训练的可靠性，得到最优的第一神经网络模型，进而提高神经网络模型应用的广泛性，满足实际应用需求。
[0169]
在一个可选的实施例中，该基于神经网络的图像层间边界确定装置中的联合损失的计算公式为：
[0170]
l＝λ
label_dice
l
label_dice
λ
label_ce
l
label_ce
λ
bd_ce
l
bd_ce
λ
bd_l1
l
bd_l1
；
[0171]
其中，l为联合损失，l
label_dice
为图像层分类结果与预先标记分类结果之间的dice损失，λ
label_dice
为dice损失对应的权重系数，l
label_ce
为图像层分类结果与预先标记分类结果之间的分类交叉熵损失，λ
label_ce
为分类交叉熵损失对应的权重系数，l
bd_ce
为图像层间边界结果与预先标记层间边界结果之间的边界交叉熵损失，λ
bd_ce
为边界交叉熵损失对应的权重系数，l
bd_l1
为图像层间边界结果与预先标记层间边界结果之间的平滑损失，λ
bd_l1
为所述平滑损失对应的权重系数。
[0172]
可见，本发明所描述的基于神经网络的图像层间边界确定装置，能够基于神经网络准确分割图像的分层并获取分层边界信息，进而确定识别出的边界信息的准确度信息，通过一种量化的方式来确定出预测边界结果的确定度，有利于提高对图像分层边界识别的准确性，提高识别效率和可靠性，便于灵活筛选不同确定度程度的边界预测水平，进而可以降低后续图像处理的复杂度和整体调试的难度，同时可以排除不确定度高的点，并有利于后续使用纠正方法纠正模型输出。
[0173]
实施例四
[0174]
请参阅图5，图5是本发明实施例公开的另一种基于神经网络的图像层间边界确定装置的结构示意图。如图5所示，该基于神经网络的图像层间边界确定装置可以包括：
[0175]
存储有可执行程序代码的存储器401；
[0176]
与存储器401耦合的处理器402；
[0177]
处理器402调用存储器401中存储的可执行程序代码，用于执行实施例一或实施例二所描述的基于神经网络的图像层间边界确定方法中的步骤。
[0178]
实施例五
[0179]
本发明实施例公开了一种计算机读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行实施例一或实施例二所描述的基于神经网络的图像层间边界确定方法中的步骤。
[0180]
实施例六
[0181]
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或
实施例二所描述的基于神经网络的图像层间边界确定方法中的步骤。
[0182]
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0183]
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(read
‑
only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read
‑
only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one
‑
time programmable read
‑
only memory，otprom)、电子抹除式可复写只读存储器(electrically
‑
erasable programmable read
‑
only memory，eeprom)、只读光盘(compact disc read
‑
only memory，cd
‑
rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0184]
需要说明的是本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c 、c#、vb.net、python等，常规程序化编程语言如c语言、visual basic、fortran2003、perl、cobol 2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在计算机(pc、嵌入式智能设备等)上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。
[0185]
最后应说明的是：本发明实施例公开的一种基于神经网络的图像层间边界确定方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。