一种结肠镜图像的数据增强方法

1.本发明属于计算机视觉技术领域，具体涉及一种结肠镜图像的数据增强方法。


背景技术：

2.结肠镜是进行肠道疾病筛查的重要标准，结肠镜筛查目前主要依靠医生进行人工检查。然而，限于医生经验、体力、设备成像等约束，人工检查仍存在较大的病灶漏检可能。
3.随着人工智能技术的发展，卷积神经网络在视觉领域中的分析性能大幅提升，其在某些视觉分析任务中甚至已经超越人类水平。鉴于此，卷积神经网络被广泛用于结肠镜病灶智能分析，如息肉检测、分型、出血检测等。尽管相应算法已表现出了一定的分析性能，如病灶召回率，但同专家水平的检查结果仍然存在较大差距。现有人工智能算法用于临床结肠镜分析的一个很大约束是其对跨域场景的适应性。跨域主要是指不同设备采集图像时生成的图像具有差异性的问题。人工智能算法主要通过人工构建的图像数据集合进行学习，单一数据容易将人工智能算法引入局部最优。现有图像数据增强算法主要是通过图像旋转、裁切、缩放、颜色随机变换等方式进行，尚缺乏针对结肠镜图像特性的技术方法。
4.综上所述，在结肠镜场景下，人工智能对结肠镜病灶的图像进行分析时，因为参考图像数据单一，导致分析结果稳定性差，可靠性低。


技术实现要素：

5.本发明实施例的目的是提供一种结肠镜图像的数据增强方法，能够解决现有的人工智能进行结肠镜病灶分析的过程中参考图像数据单一，分析结果稳定性差，可靠性低的技术问题。
6.为了解决上述技术问题，本发明是这样实现的：
7.本发明实施例提供了一种结肠镜图像的数据增强方法，包括：
8.s101：获取多张原始结肠镜图像，将每张原始结肠镜图像的颜色空间分别转换至灰度空间和色调-饱和度-亮度颜色空间，得到原始结肠镜图像的灰度信息和饱和度信息；
9.s102：对灰度信息和饱和度信息进行融合，并根据第一预设强度阈值和第二预设强度阈值，获得原始结肠镜图像的反光区域坐标点集合；
10.s103：根据第三预设强度阈值，从反光区域坐标点集合中计算出小反光区的坐标点集合；
11.s104：对小反光区的坐标点进行恢复，得到小反光区恢复图像；
12.s105：选取源图像和目标域图像，通过融合多特征空间提取反光区域和暗色区域，其中，源图像为原始结肠镜图像或小反光区恢复图像；
13.s106：将源图像和目标域图像转换至lab颜色空间，得到源图像的分量特征和目标域图像的分量特征，目标域图像分辨率比源图像分辨率高且与源图像具有相同的样本，分量特征包括l分量强度值，a分量强度值和b分量强度值；
14.s107：根据源图像的分量特征和目标域图像的分量特征，计算源图像中除了反光
区域和暗色区域以外的图像区域的各颜色通道的标准差和均值，计算目标域图像中除了反光区域和暗色区域以外的图像区域的各颜色通道的标准差和均值；
15.s108：根据源图像的标准差和均值、目标域图像的标准差和均值，将源图像的颜色域迁移至目标域图像对应的目标域，得到迁移图像；
16.s109：对迁移图像的暗色区域进行恢复，得到颜色域迁移增强图像；
17.s110：将原始结肠镜图像，小反光区恢复图像和颜色域迁移增强图像组成结肠镜增强图像数据集合，其中，结肠镜增强数据图像集合用于后续结肠镜图像分析。
18.在本发明实施例中，通过对多张原始结肠镜图像的灰度信息和饱和度信息进行融合，并预设强度阈值提取小反光区坐标点集合，之后对其进行恢复得到关于小反光区恢复图像，对原始结肠镜图像进行了数据增强，增加了结肠镜图像增强数据集合的数据量，此外，还通过选取原始结肠镜图像和小反光区恢复图像与目标域图像进行多特征融合，提取反光区和暗色区，并转换至lab颜色空间，将原始结肠镜图像和小反光区恢复图像通过向目标域图像进行颜色域迁移，之后在对其进行暗色区恢复，获得颜色域迁移增强图像，进一步扩充了结肠镜增强图像数据集合的数据量。得到的结肠镜增强图像数据集合为人工智能分析结肠镜图像提供更丰富的参考图像数据，提高分析结果的稳定性和可靠性。
附图说明
19.图1是本发明实施例提供的一种结肠镜图像的数据增强方法的流程示意图。
20.本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。
具体实施方式
21.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.下面结合附图，通过具体的实施例及其应用场景对本发明实施结肠镜图像的数据增强方法进行详细地说明。
23.参照图1，示出了本发明实施例提供的一种结肠镜图像的数据增强方法的流程示意图。
24.本发明实施例提供的一种结肠镜图像的数据增强方法，包括：
25.s101：获取多张原始结肠镜图像，将每张原始结肠镜图像的颜色空间分别转换至灰度空间和色调-饱和度-亮度颜色空间，得到原始结肠镜图像的灰度信息和饱和度信息。
26.在一种可能的实施方式中，s101具体为：
27.s1011：获取结肠镜视频数据；
28.s1012：对结肠镜视频数据截帧，获得多张原始结肠镜图像。
29.s102：对灰度信息和饱和度信息进行融合，并根据第一预设强度阈值和第二预设强度阈值，获得原始结肠镜图像的反光区域坐标点集合。
30.在一种可能的实施方式中，s102具体包括：
31.s1021：根据下述公式1获得原始结肠镜图像的反光区域坐标点集合p：
32.p＝{x|x∈d，g(x)＞th1&s(x)＜th2}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1
33.其中，p表示反光区域坐标点集合，d表示原始结肠镜图像坐标点集合，g(x)表示原始结肠镜图像中坐标x处灰度空间的灰度强度值，s(x)表示在原始结肠镜图像中坐标x处饱和度空间的强度值，其中，th1表示第一预设强度阈值，th2表示第二预设强度阈值，符号&表示逻辑与运算。
34.可选地，第一预设强度阈值和第二预设强度阈值分别设定为240、0.3。
35.s103：根据第三预设强度阈值，从反光区域坐标点集合中计算出小反光区的坐标点集合。
36.在一种可能的实施方式中，s103具体包括：
37.s1031：计算出小反光区的坐标点集合s：
[0038][0039]
其中，s表示小反光区的坐标点集合，p
sub
表示原始结肠镜图像反光区域图像坐标点集合中的一个连通子集，符号|.|用于计算集合包含的坐标点数量，th3表示第三预设强度阈值。
[0040]
可选地，第三预设强度阈值设定为1000。
[0041]
s104：对小反光区的坐标点进行恢复，得到小反光区恢复图像。
[0042]
在一种可能的实施方式中，s104具体包括：
[0043]
s1041：对原始结肠镜图像从上到下和从左到右进行扫描；
[0044]
s1042：在扫描像素点坐标属于小反光区坐标点集合的情况下，对扫描像素点进行填充，并将填充的扫描像素点作为次正常像素点。
[0045]
其中，s1042具体包括：
[0046]
s1042a：以所述扫描像素点为中心，“回”字形逐层外扩搜索区域，其中第一层搜索区域为扫描像素点的8邻域，第二层搜索区域为第一层搜索区域外扩一圈；
[0047]
s1042b：在搜索到k个正常/次正常像素点的情况下，计算k个正常/次正常像素点的颜色向量均值，并将颜色向量均值填充至当前扫描到的待填充像素点。
[0048]
可选地，k的预设值为6。
[0049]
需要说明的是，通过对属于小反光区坐标点集合范围内的扫描像素点进行填充，使得该小反光区与周围领域像素点颜色域效果接近，小反光区恢复图像中与真实图像的显示效果偏差更小。
[0050]
s105：选取源图像和目标域图像，通过融合多特征空间提取反光区域和暗色区域，其中，源图像为原始结肠镜图像或小反光区恢复图像。
[0051]
在一种可能的实施方式中，s105具体包括：
[0052]
s1051：计算源图像暗色区域和目标域图像暗色区域坐标点集合的方法为：
[0053]
pd＝{x|x∈d，g(x)＜th4}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式3
[0054]
其中，pd表示获取的暗色区域坐标点集合，d为源图像全图坐标点集合，g(x)为源图像坐标x处灰度强度值，其中th4为第四预设强度值；
[0055]
计算目标域图像暗色区域坐标点集合的方法为：
[0056]
pd＝{x|x∈d，g(x)＜th4}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4
[0057]
其中，pd表示获取的暗色区域坐标点集合，d为目标域图像全图坐标点集合，g(x)为目标域图像坐标x处灰度强度值，其中th4为第四预设强度值。
[0058]
需要说明的是，在对源图像和目标域图像的反光区进行提取的过程与原始结肠镜图像的反光区提取方式相同，提取的目标是对应的源图像或者目标域图像的坐标集合。
[0059]
s106：将源图像和目标域图像转换至lab颜色空间，得到源图像的分量特征和目标域图像的分量特征，目标域图像分辨率比源图像分辨率高且与源图像具有相同的样本，分量特征包括l分量强度值，a分量强度值和b分量强度值。
[0060]
需要说明的是，目标域图像样本的像素数是源图像样本的n倍，
[0061]
s107：根据源图像的分量特征和目标域图像的分量特征，计算源图像中除了反光区域和暗色区域以外的图像区域的各颜色通道的标准差和均值，计算目标域图像中除了反光区域和暗色区域以外的图像区域的各颜色通道的标准差和均值。
[0062]
在一种可能的实施方式中，s107具体包括：
[0063]
s1071：选取一张原始结肠镜图像或者小反光区恢复图像，源图像方差和源图像均值的计算方法分别为：源图像中除了反光区域和暗色区域以外的图像区域的各颜色通道的标准差
[0064]
源图像标准差：
[0065][0066]
其中，集合l(x)、a(x)、b(x)分别表示相应像素点集合的lab颜色空间l分量强度值、a分量强度值、b分量强度值，集合σ(l(x))、σ(a(x))和σ(b(x))分别表示计算集合l(x)、a(x)和b(x)的方差，集合σ(l(x))、σ(a(x))和σ(b(x))分别构成了源图像各颜色通道方差的l分量强度值、a分量强度值和b分量强度值，x为源图像中除了反光区和暗色区的所有像素点；
[0067]
源图像均值：
[0068][0069]
其中，μ(l(x))、μ(a(x))和μ(b(x))分别表示计算集合l(x)、a(x)、b(x)的均值，x表示源图像中去除源图像反光区域和源图像暗色区域两者的像素点，集合μ(l(x))、μ(a(x))和μ(b(x))分别构成了源图像各颜色通道均值的l分量强度值、a分量强度值和b分量强度值；
[0070]
s1072：选取n张目标域图像，目标域图像方差和目标域图像均值的计算方法分别为；
[0071]
目标域图像标准差：
[0072][0073]
其中，x表示目标域图像中去除目标域图像反光区和目标域图像暗色区的像素点，集合σ(l(x))、σ(a(x))和σ(b(x))分别构成了目标域图像各颜色通道方差的l分量强度值、a分量强度值和b分量强度值，di、pi和p
di
分别表示第i张目标域图像的全图坐标点集合、第i张目标域图像反光区域图像坐标点集合和第i张目标域图像暗色区图像坐标点集合；
[0074]
目标域图像均值：
[0075][0076]
其中，集合μ(l(x))、μ(a(x))和μ(b(x))分别构成了目标域图像各颜色通道均值的l分量强度值、a分量强度值和b分量强度值。
[0077]
s108：根据源图像的标准差和均值、目标域图像的标准差和均值，将源图像的颜色域迁移至目标域图像对应的目标域，得到迁移图像。
[0078]
在一种可能的实施方式中，s108具体为：
[0079][0080]
其中，t(x)表示迁移图像在迁移图像坐标x处的lab颜色空间l分量强度值、a分量强度值和b分量强度值，σ0,、σ1和σ2分别表示源图像各颜色通道方差的l分量强度值、a分量强度值和b分量强度值，μ0、μ1和μ2分别表示源图像各颜色通道均值的l分量强度值、a分量强度值和b分量强度值，σ
m0
,、σ
m1
和σ
m2
分别表示目标域图像各颜色通道方差的l分量强度值、a分量强度值和b分量强度值，μ
m0
、μ
m1
和μ
m2
分别表示目标域图像各颜色通道均值的l分量强度值、a分量强度值和b分量强度值。
[0081]
其中，目标域图像和源图像中的背景像素不属于任何物体类别，在进行迁移过程中，主要是对样本数据进行颜色域迁移。
[0082]
需要说明的是，在将源图像的颜色域向目标域图像对应目标域迁移之前，将反光区域和暗色区域排除在外，可以有效规避图像迁移过程中特殊图像成像区对得到的迁移图像的影响。
[0083]
针对结肠镜场景，充分考量结肠镜图像的成像特性，主要通过颜色域定向迁移丰富数据集，避免随机颜色变化脱离实际成像特点，为获取更为稳定可靠的结肠镜图像智能分析模型奠定基础。
[0084]
s109：对迁移图像的暗色区域进行恢复，得到颜色域迁移增强图像。
[0085]
需要说明的是，对迁移图像进行恢复也就是对迁移图像中属于暗色区域坐标点集合的区域进行像素点填充。
[0086]
可选地，在填充过程中，在搜索到第20个正常或者次正常像素点，计算搜索到的20个像素点的颜色向量均值，并将颜色向量均值填充至待填充的扫描像素点。
[0087]
s110：将原始结肠镜图像，小反光区恢复图像和颜色域迁移增强图像组成增强图像数据集合。
[0088]
其中，增强图像数据集合用于后续图像分析。
[0089]
需要说明的是，通过获取的原始结肠镜图像和基于原始结肠镜图像获取的小反光区恢复图像和颜色域增强图像可以提供丰富的数据集，供人工智能对结肠镜图像病灶分析时进行参考。
[0090]
在本发明实施例中，通过对多张结肠镜原始结肠镜图像的灰度信息和饱和度信息进行融合，并预设强度阈值提取小反光区坐标点集合，之后对其进行恢复得到关于小反光区恢复图像，对原始结肠镜图像进行了数据增强，增加了结肠镜图像增强数据集合的数据量，此外，还通过选取原始结肠镜图像和小反光区恢复图像与目标域图像进行多特征融合，提取反光区和暗色区，并转换至lab颜色空间，将原始结肠镜图像和小反光区恢复图像通过
向目标域图像进行颜色域迁移，之后在对其进行暗色区恢复，获得颜色域迁移增强图像，进一步扩充了结肠镜增强图像数据集合的数据量。得到的结肠镜增强图像数据集合为人工智能分析结肠镜图像提供更丰富的参考图像数据，提高分析结果的稳定性和可靠性。
[0091]
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。